Пример при разработке
Модель помечает сто заказов вероятностью мошенничества 0,8. Если примерно 80 из них действительно мошеннические, прогноз хорошо откалиброван, даже если отдельные решения могут быть ошибочны.
Это редакционный пример применения, а не часть определения или доказательство концепции.Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Сразу приклеить к ситуации название принципа и выбрать решение, не проверив его условия и границы применимости.
Сначала описать конкретную ситуацию, затем проверить условия принципа и только после этого выбирать действие. После изменения сравнить ожидаемый результат с фактическим.
Ограничения
«Калибровка вероятностей» объясняет только часть происходящего в области «Машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Alexandru Niculescu-Mizil; Rich Caruana, “Predicting Good Probabilities with Supervised Learning”, 2005.