КАТЕГОРИЯ
Теория информации
23 материалов
Теория информации ШеннонаИнформацию можно измерять независимо от ее смысла.Энтропия ШеннонаКоличество информации связано с неопределенностью источника.Пропускная способность каналаУ любого шумного канала есть предел надежной передачи данных.Колмогоровская сложностьСложность объекта определяется длиной его кратчайшего описания.Принцип минимальной длины описанияЛучшая модель кратко описывает и себя, и данные.Отношение сигнал/шумПолезный сигнал должен быть отделен от случайных колебаний.Информационное бутылочное горлышкоСохраняйте только информацию, полезную для решаемой задачи.Взаимная информацияИзмеряет, сколько знание одной переменной сообщает о другой.Условная энтропияОставшаяся неопределенность после знания другой переменной.Дивергенция Кульбака-ЛейблераИзмеряет информаальную потерю при приближении одного распределения другим.Кросс-энтропияОценивает стоимость кодирования истинного распределения моделью.Теорема кодирования источникаЭнтропия задает предел сжатия без потерь.Теорема кодирования шумного каналаНиже емкости канала ошибки можно сделать сколь угодно редкими.Формула Шеннона-ХартлиЕмкость аналогового канала зависит от полосы и отношения сигнал/шум.Неравенство обработки данныхОбработка не может увеличить информацию о скрытой переменной.Rate-Distortion TheoryОпределяет минимальный битрейт для допустимого искажения.Байесовское доказательствоМодель оценивается по вероятности наблюдаемых данных с учетом априорной сложности.Информационный критерий АкаикеБалансирует качество подгонки и число параметров.Байесовский информационный критерийШтрафует сложность модели сильнее при росте выборки.Принцип максимальной энтропииПри известных ограничениях выбирается наименее предположительное распределение.Принцип минимальной дискриминационной информацииОбновление распределения минимально отклоняется от исходного при новых ограничениях.Избыточность кодаДополнительные биты позволяют обнаруживать и исправлять ошибки.Принцип ЛандауэраСтирание одного бита информации имеет минимальную энергетическую стоимость.