SYSTEM ATLASЗагрузка материала

Байесовский информационный критерий

Bayesian Information Criterion

Штрафует сложность модели сильнее при росте выборки.

Простыми словами

Например, файл нужно сжать без потерь, и существует предел, ниже которого объём уже нельзя уменьшить без утраты информации. Поэтому этот инструмент используют, чтобы сравнивать количество информации, неопределённость или цену передачи - без контекста одна формула не говорит, какое инженерное решение лучше.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Решение принимают без учета механизма «Байесовский информационный критерий», оценивая только ближайший эффект.

Системный подход

Перед изменением проверяют, как «Байесовский информационный критерий» влияет на ограничения, стимулы, зависимости и вторичные последствия.

Ограничения

«Байесовский информационный критерий» объясняет только часть происходящего в области «Теория информации». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Gideon Schwarz. Estimating the Dimension of a Model. 1978. DOI 10.1214/aos/1176344136.

Первоисточник