Избыточность информации — термин из теории информации , означающий превышение количества информации , используемой для передачи или хранения сообщения, над его информационной энтропией . Для уменьшения избыточности применяется сжатие данных без потерь , в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).

Количественное определение

Информационное содержание одного сообщения в потоке, в наиболее общем случае, определяется как:

${\displaystyle r=\mathbb {E} H(M_{t}|M_{t-1},M_{t-2},M_{t-3},\dots )}$ ,

где ${\displaystyle H}$ — условная энтропия , а ${\displaystyle \mathbb {E} }$ — математическое ожидание .

Обозначим как R логарифм числа символов в алфавите сообщений:

${\displaystyle R=\log |M|}$

Абсолютная избыточность может быть определена как разность этих двух величин:

${\displaystyle D=R-r}$

Соотношение ${\displaystyle {\frac {D}{R}}}$ называется относительной избыточностью и дает математическую оценку максимальной степени сжатия , на которую может быть уменьшен размер файла.

Другие определения избыточности

Мера избыточности между двумя случайными величинами — взаимная информация .

См. также

• Обнаружение и исправление ошибок
• Алгоритмическая теория информации
• Колмогоровская сложность

Для улучшения этой статьи желательно : Найти и оформить в виде сносок ссылки на независимые авторитетные источники , подтверждающие написанное . Исправить статью согласно стилистическим правилам Википедии . После исправления проблемы исключите её из списка. Удалите шаблон, если устранены все недостатки.