Простыми словами
Полезное представление данных сохраняет то, что нужно для задачи, и отбрасывает лишнее. Как хороший конспект: он не копирует книгу целиком, но оставляет идеи, по которым можно восстановить главное. Поэтому сжатие полезно, пока оно не уничтожает признаки, от которых зависит решение.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
В задаче «Аналитика» сразу применить привычное решение и назвать происходящее «Информационное бутылочное горлышко», не проверив, действительно ли работает этот механизм. Так можно улучшить один симптом и пропустить основную причину.
Использовать «Информационное бутылочное горлышко» как гипотезу: сначала определить границы ситуации и исходное состояние, затем менять только то, что связано с проверяемым механизмом, и смотреть на результат.
Ограничения
«Информационное бутылочное горлышко» объясняет только часть происходящего в области «Теория информации». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Naftali Tishby, Fernando Pereira, William Bialek, “The Information Bottleneck Method”, 1999.