SYSTEM ATLASЗагрузка материала

Принцип минимальной длины описания

Minimum Description Length

Лучшая модель кратко описывает и себя, и данные.

Простыми словами

Из нескольких объяснений стоит предпочесть то, которое наиболее коротко описывает и правило, и оставшиеся ошибки. Это похоже на выбор карты: слишком простая теряет важные улицы, слишком подробная мешает ориентироваться. Поэтому хорошая модель не просто краткая, а экономно объясняет данные без лишних исключений.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

В задаче «Аналитика» сразу применить привычное решение и назвать происходящее «Принцип минимальной длины описания», не проверив, действительно ли работает этот механизм. Так можно улучшить один симптом и пропустить основную причину.

Системный подход

Использовать «Принцип минимальной длины описания» как гипотезу: сначала определить границы ситуации и исходное состояние, затем менять только то, что связано с проверяемым механизмом, и смотреть на результат.

Ограничения

MDL зависит от языка описания и выбранного класса моделей; короткое кодирование не гарантирует причинной истинности модели.

Источник

Jorma Rissanen, “Modeling by Shortest Data Description”, 1978.

Первоисточник