Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами

Теорема Шеннона — Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом . Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации ), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или спектральной плотностью мощности . Закон назван в честь Клода Шеннона и Ральфа Хартли .

Утверждение теоремы

Рассматривая все возможные многоуровневые и многофазные методы кодирования, теорема Шеннона — Хартли утверждает, что пропускная способность канала ${\displaystyle C}$ , означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала ${\displaystyle S}$ через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности ${\displaystyle N}$ равна

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right),}$

где

${\displaystyle C}$ — пропускная способность канала, бит /с;

${\displaystyle B}$ — полоса пропускания канала, Гц ;

${\displaystyle S}$ — полная мощность сигнала над полосой пропускания, Вт или В ²;

${\displaystyle N}$ — полная шумовая мощность над полосой пропускания, Вт или В ²;

${\displaystyle S/N}$ — отношение мощности сигнала к шуму (SNR) .

История развития

В течение конца 1920-х годов Гарри Найквист и Ральф Хартли разработали фундаментальные идеи, связанные с передачей информации с помощью телеграфа как системы коммуникаций. В то время это был прорыв, но науки как таковой не существовало. В 1940-х годах Клод Шеннон ввёл понятие пропускной способности канала , которое базировалось на идеях Найквиста и Хартли, а затем сформулировал полную теорию передачи информации.

Критерий Найквиста

В 1927 году Найквист установил, что число независимых импульсов в единицу времени, которые могут быть переданы через телеграфный канал, ограничено удвоенной максимальной частотой пропускания канала (этой частоте соответствует чередующаяся последовательность нулей и единиц, остальные комбинации сигналов соответствуют более низким частотам):

${\displaystyle f_{p}\leqslant 2B,}$

где ${\displaystyle f_{p}}$ — частота импульса (имп/с), и ${\displaystyle B}$ — полоса пропускания (Гц).

Формула Хартли

Теоремы Шеннона для канала с шумами

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Если скорость передачи сообщений меньше пропускной способности канала связи

${\displaystyle R<C,}$

то существуют коды и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности.

Если же

${\displaystyle R>C,}$

то кода, на основе которого можно добиться сколько угодной малой вероятности возникновения ошибки, не существует.

Теорема Шеннона — Хартли

В данной теореме определено, что достичь максимальной скорости (бит/с) можно путём увеличения полосы пропускания и мощности сигнала и, в то же время, уменьшения шума.

Теорема Шеннона — Хартли ограничивает информационную скорость (бит/с) для заданной полосы пропускания и отношения «сигнал/шум». Для увеличения скорости необходимо увеличить уровень полезного сигнала по отношению к уровню шума.

Если бы существовал бесшумовой аналоговый канал с бесконечной полосой пропускания, то по нему можно было бы передать неограниченное количество безошибочных данных за единицу времени. Реальные каналы имеют ограничения по частоте, и в них всегда присутствует шум.

Удивительно, но не только ограничения полосы пропускания влияют на количество передаваемой информации. Если мы комбинируем шум и ограничения полосы пропускания, мы действительно видим, что есть предел количества информации, которую можно было передать, даже используя многоуровневые методы кодирования. В канале, который рассматривает теорема Шеннона — Хартли, шум и сигнал дополняют друг друга. Таким образом, приёмник воспринимает сигнал, который равен сумме сигналов, кодирующего нужную информацию и непрерывную случайную, которая представляет шум.

Это дополнение создаёт неуверенность относительно ценности оригинального сигнала. Если приёмник обладает информацией о вероятности ненужного сигнала, который создает шум, то можно восстановить информацию в оригинальном виде, рассматривая все возможные влияния шумового процесса. В случае теоремы Шеннона — Хартли шум, как таковой, произведён гауссовским процессом с некоторыми отклонениями в канале передачи. Такой канал называют совокупным белым гауссовским шумовым каналом , так как гауссовский шум является частью полезного сигнала. «Белый» подразумевает равное количество шума во всех частотах в пределах полосы пропускания канала. Такой шум может возникнуть при воздействии случайных источников энергии, а также быть связан с ошибками, возникшими при кодировании. Знание о вероятности возникновения гауссовского шума значительно упрощает определение полезного сигнала.

Значение теоремы

Пропускная способность канала и формула Хартли

Сравнивая пропускную способность канала и формулу Хартли, мы можем найти эффективное число ${\displaystyle M}$ различимых уровней:

${\displaystyle 2B\log _{2}M=B\log _{2}\left(1+{\frac {S}{N}}\right),}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

Взятие квадратного корня по сути возвращает отношение мощностей к отношению напряжений, таким образом число уровней приблизительно равно отношению среднеквадратичной амплитуды сигнала к шумовому стандартному отклонению. Это подобие в форме между пропускной способностью по Шеннону и формулой Хартли не стоит понимать буквально, что для безошибочной передачи достаточно ${\displaystyle M}$ уровней сигнала. Избыточное кодирование для устранения ошибок потребует большего числа уровней, но предельная скорость передачи данных, к которой можно приблизиться с кодированием, эквивалентна использованию того самого ${\displaystyle M}$ из формулы Хартли.

См. также

• Теорема Котельникова

Ссылки