Собственная информация — статистическая функция дискретной случайной величины .

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии .

Для случайной величины ${\displaystyle X}$ , имеющей конечное число значений:

${\displaystyle P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,n,\quad \sum _{i=1}^{n}p_{i}=1}$

собственная информация определяется как

${\displaystyle I(X)=-\log P_{X}(X).}$

Единицы измерения информации зависят от основания логарифма . В случае логарифма с основанием 2 единицей измерения является бит , если используется натуральный логарифм — то нат , если десятичный — то хартли .

Основание логарифма	Единица измерения	Количество информации о падении монеты «орлом» вверх
2	бит	${\displaystyle -\log _{2}(1/2)=\log _{2}2=1}$ бит
e	нат	${\displaystyle -\ln(1/2)=\ln 2\approx 0,69}$ ната
10	хартли	${\displaystyle -\log _{10}(1/2)=\log _{10}2\approx 0,30}$ хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

1. Неотрицательность : ${\displaystyle I(x)\geqslant 0}$ . ${\displaystyle I(x)=0}$ при ${\displaystyle p(x)=1}$ , т. е. предопределённый факт никакой информации не несёт.
2. Монотонность : ${\displaystyle I(x_{1})>I(x_{2})}$ , если ${\displaystyle p(x_{1})<p(x_{2})}$ .
3. Аддитивность : для независимых ${\displaystyle x_{1},\dots ,x_{n}}$ справедливо ${\displaystyle I(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}I(x_{i})}$ .

См. также

• Информационная энтропия
• Взаимная информация

Литература

• Габидулин Э. М. , — МФТИ , 2007. — 214 с. — ISBN 978-5-7417-0197-3