Количество информации
в
теории информации
– это количество информации в одном случайном объекте относительно другого.
Пусть
и
–
случайные величины
, заданные на соответствующих множествах
и
. Тогда количество информации
относительно
есть разность априорной и апостериорной энтропий:
-
,
где
-
—
энтропия
, а
-
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Свойства энтропии
Для энтропии справедливы свойства:
-
,
где
количество элементов множества
.
, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что
и
.
Максимум значения энтропии
достигается, когда все
, т.е. все исходы равновероятны.
Для условной энтропии справедливы свойства:
-
,
При этом,
, если отображение
в
однозначное, т.е.
.
Максимум значения условной энтропии
достигается, когда
и
- независимые случайные величины.
Свойства количества информации
Для количества информации справедливы свойства:
-
как следствие
теоремы Байеса
.
-
-
если
и
– независимые случайные величины.
-
Последнее свойство показывает, что количество информации совпадает с
информационной энтропией
, если компонента потери информации (шум) равна нулю.
Литература