SYSTEM ATLASЗагрузка материала

Structural Risk Minimization

Structural Risk Minimization

Выбирается баланс эмпирической ошибки и сложности класса моделей.

Простыми словами

Например, модель учится отличать спам от обычных писем, а затем получает сообщение, которого буквально не было в обучающей выборке. Поэтому результат проверяют на данных и отдельной выборке, а не только на впечатляющем примере - иначе модель может выглядеть убедительно и при этом ошибаться на реальных случаях.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Решение принимают без учета механизма «Structural Risk Minimization», оценивая только ближайший эффект.

Системный подход

Перед изменением проверяют, как «Structural Risk Minimization» влияет на ограничения, стимулы, зависимости и вторичные последствия.

Ограничения

«Structural Risk Minimization» объясняет только часть происходящего в области «AI и машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Vladimir Vapnik, “The Nature of Statistical Learning Theory”, 1995.

Первоисточник