Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Условная взаимная информация Относительная энтропия Энтропийная скорость
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)}$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

${\displaystyle I(X;Y)=I(Y;X)}$

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

${\displaystyle 0\leq I(X;Y)\leq \min[H(X),H(Y)]}$

В частности, для независимых случайных величин взаимная информация равна нулю:

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0}$

В случае, когда одна случайная величина (например, ${\displaystyle X}$ ) является детерминированной функцией другой случайной величины ( ${\displaystyle Y}$ ), взаимная информация равна энтропии:

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)}$

Условная и относительная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

${\displaystyle I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)}$

Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

${\displaystyle I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)}$

Свойства

• Являются симметричными функциями:

${\displaystyle I(X;Y\mid Z)=I(Y;X\mid Z)}$

${\displaystyle I(X;Y\mid Z=z)=I(Y;X\mid Z=z)}$

• Удовлетворяют неравенствам:

${\displaystyle 0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]}$

${\displaystyle 0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]}$

Взаимная информация трёх случайных величин

Определяют также взаимную информацию трёх случайных величин :

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов ${\displaystyle (x,y,z)}$ , таких, что ${\displaystyle x\oplus y\oplus z=0}$ . Определим случайные величины ${\displaystyle X,Y,Z}$ как значения битов ${\displaystyle x,y,z}$ , соответственно. Тогда

${\displaystyle I(X;Y)=H(X)-H(X\mid Y)=1-1=0,}$

но при этом

${\displaystyle I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,}$

а, следовательно, ${\displaystyle I(X;Y;Z)=-1}$ .

Литература

• Габидулин Э. М. , — МФТИ , 2007. — 214 с. — ISBN 978-5-7417-0197-3
• Верещагин Н.К., Щепин Е.В. Информация, кодирование и предсказание. — М. : ФМОП, МЦНМО, 2012. — 238 с.