КАТЕГОРИЯ
Оптимизация
18 материалов
Теорема No Free LunchНет алгоритма, который лучше всех на всех возможных задачах.Компромисс исследования и использованияНужно балансировать между проверенным решением и поиском нового.Оптимальность ПаретоНельзя улучшить один критерий, не ухудшив другой.Компромисс смещения и дисперсииСлишком простая модель недообучается, слишком гибкая - переобучается.Ловушка локального оптимумаПоследовательные улучшения могут вести к лучшему локальному, но не глобальному решению.Двойственность линейного программированияКаждой линейной задаче соответствует двойственная задача с согласованными оптимумами.Метод множителей ЛагранжаНаходит экстремумы функции при ограничениях-равенствах.ВыпуклостьДелает локальные минимумы глобальными и упрощает поиск оптимума.Сильная двойственностьПри определенных условиях оптимумы прямой и двойственной задач совпадают.Слабая двойственностьЗначение двойственной задачи ограничивает значение прямой задачи.Условия дополняющей нежесткостиСвязывают активные ограничения и двойственные переменные в оптимуме.Метод субградиентаОптимизирует нев differentiable выпуклые функции через субградиенты.Проксимальный градиентный методРазделяет гладкую часть цели и негладкий регуляризатор.Координатный спускПоследовательно оптимизирует функцию по отдельным координатам.Квазиньютоновские методыПриближают матрицу вторых производных без ее прямого вычисления.Метод внутренней точкиДвижется внутри допустимой области к оптимуму задач с ограничениями.Симплекс-методПеремещается между вершинами многогранника линейной задачи.Метод ветвей и границОтсекает области поиска по верхним и нижним оценкам.