Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Взаимная информация Условная взаимная информация Относительная энтропия
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость ${\displaystyle H(X)}$ является пределом ${\displaystyle n}$ членов процесса ${\displaystyle X_{k}}$ , поделённым на ${\displaystyle n}$ , при стремлении ${\displaystyle n}$ к бесконечности :

${\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}$

если предел существует. Альтернативно, связанной величиной является:

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Для сильно стационарных стохастических процессов ${\displaystyle H(X)=H'(X)}$ . Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть . Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении .

Энтропийная скорость для марковских цепей

Поскольку стохастический процесс, определяемый цепью Маркова , которая неприводима , непериодична и положительно рекурренктна , имеет стационарное распределение , энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова ${\displaystyle Y_{k}}$ , определённом на счётном числе состояний, заданных матрицей переходов ${\displaystyle P_{ij}}$ , ${\displaystyle H(Y)}$ , задаётся выражением:

${\displaystyle \displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$ ,

где ${\displaystyle \mu _{i}}$ является цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также

• Марковский источник информации

Примечания

Литература