SYSTEM ATLASЗагрузка материала

Вложенная кросс-валидация

Nested Cross Validation

Разделяет подбор гиперпараметров и честную оценку качества.

Пример от @Vibeclakr

Пример при разработке

Команда выбирает параметры модели и оценивает её качество. Внутренний цикл подбирает настройки, а отдельный внешний цикл проверяет результат, чтобы оценка не была подогнана под тот же набор данных.

Это редакционный пример применения, а не часть определения или доказательство концепции.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Сразу приклеить к ситуации название принципа и выбрать решение, не проверив его условия и границы применимости.

Системный подход

Сначала описать конкретную ситуацию, затем проверить условия принципа и только после этого выбирать действие. После изменения сравнить ожидаемый результат с фактическим.

Ограничения

«Вложенная кросс-валидация» объясняет только часть происходящего в области «Машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Sudhir Varma; Richard Simon, “Bias in error estimation when using cross-validation for model selection”, 2006.

Первоисточник