Простыми словами
Представьте ученика, который запомнил ответы тренировочного теста, но не понял правило и ошибается на новых задачах. С моделью происходит похожее: на знакомой выборке показатели отличные, а на новых данных качество заметно падает. Поэтому обучение проверяют на данных, которые модель не использовала для подгонки параметров.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Применять локальное решение без проверки контекста, ограничений и вторичных последствий.
Сначала определить механизм, затем выбрать минимальное изменение и измерить результат.
Ограничения
«Переобучение модели» объясняет только часть происходящего в области «AI и машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning. 2009. ISBN 9780387848570.