Простыми словами
Например, модель ошибается в прогнозе спроса. После каждого шага она немного меняет параметры в направлении, которое сильнее всего уменьшает ошибку, и повторяет это до приемлемого результата. Поэтому результат сравнивают не только с ближайшим улучшением, но и с ограничениями всей задачи - иначе можно быстро прийти к хорошему на вид, но далёкому от лучшего решению.
Пример при разработке
Модель ошибается в прогнозе спроса. После каждого шага она немного меняет параметры в направлении, которое сильнее всего уменьшает ошибку, и повторяет это до приемлемого результата.
Это редакционный пример применения, а не часть определения или доказательство концепции.Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на внимание, ожидания, ограничения выбора и обратную связь. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Решение принимают без учета механизма «Градиентный спуск», оценивая только ближайший эффект.
Перед изменением проверяют, как «Градиентный спуск» влияет на ограничения, стимулы, зависимости и вторичные последствия.
Ограничения
«Градиентный спуск» объясняет только часть происходящего в области «Оптимизация и решения». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Léon Bottou; Frank E. Curtis; Jorge Nocedal, “Optimization Methods for Large-Scale Machine Learning”, 2018.