SYSTEM ATLASЗагрузка материала

Регуляризация

Regularization

Штраф за сложность улучшает обобщение модели.

Простыми словами

Например, алгоритм быстро нашёл хорошее решение рядом со стартовой точкой, но это ещё не означает, что лучшего решения нет в другой области поиска. Поэтому результат сравнивают не только с ближайшим улучшением, но и с ограничениями всей задачи - иначе можно быстро прийти к хорошему на вид, но далёкому от лучшего решению.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на внимание, ожидания, ограничения выбора и обратную связь. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Решение принимают без учета механизма «Регуляризация», оценивая только ближайший эффект.

Системный подход

Перед изменением проверяют, как «Регуляризация» влияет на ограничения, стимулы, зависимости и вторичные последствия.

Ограничения

«Регуляризация» объясняет только часть происходящего в области «Оптимизация и решения». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Andrey Tikhonov. Solution of incorrectly formulated problems and the regularization method. 1963. DOI 10.1016/0041-5553(63)90120-8.

Первоисточник