Interested Article - Собственная информация
![](/images/009/059/9059424/1.jpg?rand=265493)
![](https://cdn.wafarin.com/avatars/4af09080574089cbece43db636e2025f.jpg)
- 2020-03-27
- 1
![](/images/009/059/9059424/1.jpg?rand=877067)
Собственная информация — статистическая функция дискретной случайной величины .
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии .
Для случайной величины , имеющей конечное число значений:
собственная информация определяется как
Единицы измерения информации зависят от основания логарифма . В случае логарифма с основанием 2 единицей измерения является бит , если используется натуральный логарифм — то нат , если десятичный — то хартли .
Основание
логарифма |
Единица
измерения |
Количество информации
о падении монеты «орлом» вверх |
---|---|---|
2 | бит | бит |
e | нат | ната |
10 | хартли | хартли |
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.
Свойства собственной информации
- Неотрицательность : . при , т. е. предопределённый факт никакой информации не несёт.
- Монотонность : , если .
- Аддитивность : для независимых справедливо .
См. также
Литература
- Габидулин Э. М. , — МФТИ , 2007. — 214 с. — ISBN 978-5-7417-0197-3
![](https://cdn.wafarin.com/avatars/4af09080574089cbece43db636e2025f.jpg)
- 2020-03-27
- 1