Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Взаимная информация Условная взаимная информация Энтропийная скорость
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

Расстояние (расхождение, дивергенция) Ку́льбака — Ле́йблера ( англ. Kullback–Leibler divergence ), РКЛ , информационное расхождение , различающая информация , информационный выигрыш , относительная энтропия ( англ. relative entropy ) — неотрицательнозначный функционал , являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений , определённых на общем пространстве элементарных событий . Часто применяется в теории информации и математической статистике .

Определение и интерпретации

Расхождение Кульбака — Лейблера распределения ${\displaystyle Q}$ относительно ${\displaystyle P}$ (или, условно говоря, «расстояние от ${\displaystyle P}$ до ${\displaystyle Q}$ ») обозначается ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)}$ . Первый аргумент функционала (распределение ${\displaystyle P}$ ) обычно интерпретируется как истинное или постулируемое априори распределение , второй (распределение ${\displaystyle Q}$ ) — как предполагаемое (проверяемое). Распределение ${\displaystyle Q}$ часто служит приближением распределения ${\displaystyle P}$ . Значение функционала можно понимать как количество неучтённой информации распределения ${\displaystyle P}$ , если ${\displaystyle Q}$ было использовано для приближения ${\displaystyle P}$ . Данная мера расстояния в теории информации также интерпретируется как величина потерь информации при замене истинного распределения ${\displaystyle P}$ на распределение ${\displaystyle Q}$ .

В общем случае, если ${\displaystyle \mu }$ — любая мера на ${\displaystyle X}$ , для которой существуют абсолютно непрерывные относительно ${\displaystyle \mu }$ функции ${\displaystyle p={\frac {{\rm {d}}P}{{\rm {d}}\mu }}}$ и ${\displaystyle q={\frac {{\rm {d}}Q}{{\rm {d}}\mu }}}$ , тогда расхождение Кульбака — Лейблера распределения ${\displaystyle Q}$ относительно ${\displaystyle P}$ определяется как

${\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\int _{X}p\,\log {\frac {p}{q}}\,{\rm {d}}\mu }$ .

Основание логарифма в этой формуле существенной роли не играет. Его выбор позволяет зафиксировать конкретный вид функционала из семейства эквивалентных функционалов и равносилен выбору единицы измерения расхождения Кульбака — Лейблера (подобно ситуации с вычислением энтропии ), поэтому возможно применение логарифма с любым основанием, большим единицы. Другими словами, функционал определён с точностью до положительного постоянного сомножителя. Наиболее употребительными являются натуральный логарифм (по соображениям удобства), а также двоичный логарифм — для измерения расхождения в битах (обычно используется в теории информации ). Расхождение Кульбака — Лейблера является безразмерной величиной независимо от размерности исходных случайных величин.

Хотя расстояние Кульбака — Лейблера (РКЛ) часто рассматривается как способ измерения расстояния между вероятностными распределениями, данный функционал не является метрикой в пространстве распределений, поскольку не удовлетворяет неравенству треугольника и не удовлетворяет аксиоме симметричности: ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)}$ . Тем не менее, его инфинитезимальная форма, особенно его гессиан , даёт метрический тензор , который известен как .

Расстояние Кульбака — Лейблера — это частный случай более общего класса расхождений, которые называются f -расхождения , а также частный случай класса расхождений Брэгмана . РКЛ — это единственное расхождение вероятностей, которое принадлежит и тому и другому классу.

РКЛ изначально было представлено Соломоном Кульбаком и Ричардом Лейблером в 1951 году как направленное расхождение между двумя распределениями. Это обсуждается в тексте Кульбака «Информационная теория и статистика» .

Расстояние Кульбака — Лейблера ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)}$ иногда также интерпретируют как информационный выигрыш, достигнутый, если ${\displaystyle P}$ использовано вместо ${\displaystyle Q}$ . Иногда для РКЛ используют вносящие путаницу названия относительная энтропия ${\displaystyle P}$ относительно ${\displaystyle Q}$ (обозначается ${\displaystyle H(P\mid Q)}$ ) или перекрёстная энтропия .

Существуют различные соглашения относительно того, как читать обозначение ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)}$ . Часто его называют просто расхождением или расстоянием между ${\displaystyle P}$ и ${\displaystyle Q}$ , однако это не позволяет передать фундаментальную асимметрию в соотношении. Иногда говорят «расхождение ${\displaystyle P}$ из (относительно) ${\displaystyle Q}$ » или, условно говоря, «расстояние из ${\displaystyle Q}$ в ${\displaystyle P}$ » (обычно в контексте относительной энтропии или информационного выигрыша). При этом распределение ${\displaystyle Q}$ интерпретируется как истинное.

Частные определения и определения через производную Радона—Никодима

Для дискретных вероятностных распределений ${\displaystyle P}$ и ${\displaystyle Q}$ с числом элементарных событий ${\displaystyle n}$ расхождение Кульбака — Лейблера распределения ${\displaystyle Q}$ относительно распределения ${\displaystyle P}$ (или «расстояние от ${\displaystyle P}$ до ${\displaystyle Q}$ ») определяется как:

${\displaystyle D_{KL}(P\parallel Q)=\sum \limits _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ .

Другими словами, это математическое ожидание логарифмической разности между вероятностями ${\displaystyle p}$ и ${\displaystyle q}$ , где математическое ожидание берётся по распределению ${\displaystyle P}$ . РКЛ определено, только если ${\displaystyle q_{i}=0\Rightarrow p_{i}=0}$ , для всех ${\displaystyle i=1,...,n}$ ( абсолютная непрерывность ). Всякий раз, когда ${\displaystyle p_{i}=0}$ , вклад ${\displaystyle i}$ -го члена интерпретируется как ноль, потому что ${\displaystyle \lim _{x\to 0}x\log(x)=0}$ .

Для ${\displaystyle k}$ -мерных абсолютно непрерывных распределений ${\displaystyle P}$ и ${\displaystyle Q}$ расстояние Кульбака — Лейблера задаётся выражением

${\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\,p(x)\log {\frac {p(x)}{q(x)}}\,{\rm {d}}x}$ ,

где ${\displaystyle p(x)}$ и ${\displaystyle q(x)}$ — функции плотности распределений ${\displaystyle P}$ и ${\displaystyle Q}$ соответственно, определённые на интервале ${\displaystyle X\subseteq R^{k}}$ .

В более общем смысле, если ${\displaystyle P}$ и ${\displaystyle Q}$ — вероятностные меры на множестве ${\displaystyle X}$ , и ${\displaystyle P}$ абсолютно непрерывна относительно ${\displaystyle Q}$ , тогда РКЛ от ${\displaystyle P}$ до ${\displaystyle Q}$ определено как

${\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log {\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}P}$ ,

где ${\displaystyle {\frac {{\rm {d}}P}{{\rm {d}}Q}}}$ — это производная Радона — Никодима ${\displaystyle P}$ относительно ${\displaystyle Q}$ , и при условии, что выражение справа существует. Эквивалентно это может быть записано как

${\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log \!\left({\frac {{\rm {d}}P}{{\rm {d}}Q}}\right){\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q}$ .

Следует заметить, что использование производной Радона — Никодима служит формальным средством записи данных выражений, однако не раскрывает их содержательный смысл.

Функционал дивергенции Кульбака — Лейблера является безразмерным, однако его значения могут иметь различные единицы измерения. Так, если логарифмы в этих формулах берутся по основанию 2, то дивергенция (она же — информация, с точки зрения теории информации) измеряется в битах ; если по основанию e (с натуральным основанием), то дивергенция (информация) измеряется в натах . Большинство формул, содержащих РКЛ, сохраняют смысл независимо от основания логарифма.

Характеризация

Артур Хобсон доказал, что расстояние Кульбака — Лейблера — это единственная мера разницы между вероятностными распределениями, которая удовлетворяет некоторым желательным свойствам, являющимся каноническими расширениями для появляющихся в часто используемых характеризациях энтропии . Следовательно, взаимная информация — это единственная мера взаимной зависимости, которая подчиняется некоторым связанным условиям, так как она может быть определена в терминах РКЛ.

Существует также Байесовская характеризация расстояния Кульбака — Лейблера .

Мотивация

В теории информации теорема Крафта — Макмиллана устанавливает, что любую непосредственно декодируемую схему кодирования для кодировки сообщения для идентификации одного значения ${\displaystyle x_{i}\subset X}$ , можно рассматривать как представление неявного распределения вероятностей ${\displaystyle q(x_{i})=2^{-I_{i}}}$ над ${\displaystyle X}$ , где ${\displaystyle I_{i}}$ — длина кода для ${\displaystyle x_{i}}$ в битах. Поэтому РКЛ может быть интерпретировано как ожидаемая дополнительная длина сообщения с нулевой отметки, которая должна быть передана, если код, который является оптимальным для данного (неправильного) распределения ${\displaystyle Q}$ , используется по сравнению с использованием кода на основе истинного распределения ${\displaystyle P}$ .

${\textstyle {\begin{matrix}D_{\mathrm {KL} }(P\parallel Q)=-\sum _{x}p(x)\log q(x)+\sum _{x}p(x)\log p(x)=H(P,Q)-H(P)\,\!\end{matrix}}}$ , где ${\displaystyle H(P,Q)}$ — перекрестная энтропия ${\displaystyle P}$ и ${\displaystyle Q}$ , ${\displaystyle H(P)}$ — энтропия ${\displaystyle P}$ .

Также можно отметить, что существует связь между РКЛ и в .

Свойства

• Расстояние Кульбака — Лейблера всегда неотрицательно, ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)\geq 0,}$ — это результат, который известен как , ${\displaystyle D_{KL}(P\parallel Q)=0\iff P=Q}$ почти всюду . Энтропия ${\displaystyle H(P)}$ , таким образом, задаёт минимальное значение перекрестной энтропии ${\displaystyle H(P,Q)}$ , ожидаемое число дополнительных битов, требуемых, когда используется код, основанный на ${\displaystyle Q}$ , а не на ${\displaystyle P}$ . Поэтому РКЛ представляет собой ожидаемое число дополнительных битов, которые должны быть переданы, чтобы определить значение ${\displaystyle x\subset X}$ , если используется код, соответствующий распределению вероятностей ${\displaystyle Q}$ , а не «истинному» распределению ${\displaystyle P}$ .
• Расстояние Кульбака — Лейблера не симметрично: ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)}$ .
• Расстояние Кульбака — Лейблера остается строго определённым для непрерывных распределений и, кроме того, инвариантно относительно замены переменных. Например, если сделана замена переменной ${\displaystyle x}$ на переменную ${\displaystyle y(x)}$ , тогда, поскольку ${\displaystyle P(x)dx=P(y)dy}$ и ${\displaystyle Q(x)dx=Q(y)}$ , РКЛ может быть переписано в виде:

${\textstyle D_{\mathrm {KL} }(P\parallel Q)=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right)\,dx=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)dy/dx}{Q(y)dy/dx}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)}{Q(y)}}\right)\,dy}$ ,

где ${\displaystyle y_{a}=y(x_{a})}$ и ${\displaystyle y_{b}=y(x_{b})}$ . Несмотря на предположение, что преобразование было непрерывным, это не необходимо в данном случае. Это также показывает, что РКЛ задаёт величину согласованную с размерностью , так как если ${\displaystyle x}$ — размерная переменная, то ${\displaystyle P(x)}$ и ${\displaystyle Q(x)}$ также имеют размерность, так как ${\displaystyle P(x)dx}$ является безразмерной величиной. Тем не менее, выражение под логарифмом остаётся безразмерным, как и должно. Поэтому расстояние Кульбака — Лейблера можно рассматривать, в некотором смысле, как более фундаментальную величину, чем некоторые другие свойства в теории информации (такие как собственная информация или энтропия Шеннона ), которые могут стать неопределёнными или отрицательными для недискретных вероятностей.

• РКЛ аддитивна для независимых распределений во многом таким же образом, как энтропия Шеннона. Если ${\displaystyle P_{1},P_{2}}$ являются независимыми распределениями с совместным распределением ${\displaystyle P(x,y)=P_{1}(x)P_{2}(y)}$ и, аналогично, ${\displaystyle Q(x,y)=Q_{1}(x)Q_{2}(y)}$ , то ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)=D_{\mathrm {KL} }(P_{1}\parallel Q_{1})+D_{\mathrm {KL} }(P_{2}\parallel Q_{2}).}$

Расстояние Кульбака — Лейблера для многомерного нормального распределения

Допустим, что мы имеем два многомерных нормальных распределения , со средними ${\displaystyle \mu _{0},\mu _{1}}$ и с (обратимыми) матрицами ковариаций ${\displaystyle \Sigma _{0},\Sigma _{1}}$ . Если два распределения имеют одинаковую размерность k, то РКЛ между распределениями следующее :

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left(\mathrm {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top }\Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\ln \left({\det \Sigma _{1} \over \det \Sigma _{0}}\right)\right).}$

Логарифм в последнем члене должен быть взят по основанию e, так как все члены, кроме последнего, являются натуральными логарифмами выражений, которые являются либо любыми множителями функции плотности, либо, в противном случае, возникают естественным образом. Поэтому уравнение даёт результат, измеряемый в натах . Целиком разделив это выражение на log _e 2, получим распределение в битах.

Отношение к метрикам

Можно было бы назвать РКЛ « метрикой » в пространстве вероятностных распределений, но это было бы некорректно, так как оно не симметрично ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)}$ , и не удовлетворяет неравенству треугольника . Все-таки, будучи , она порождает топологию в пространстве вероятностных распределений . Более конкретно, если ${\displaystyle \{P_{1},P_{2},\cdots \}}$ - это последовательность распределений такая, что ${\displaystyle \lim _{n\rightarrow \infty }D_{\mathrm {KL} }(P_{n}\parallel Q)=0}$ , тогда говорят, что ${\displaystyle P_{n}{\xrightarrow {D}}Q}$ . Из следует, что — ${\displaystyle P_{n}{\xrightarrow {\mathrm {D} }}P\Rightarrow P_{n}{\xrightarrow {\mathrm {TV} }}P}$ , где последнее нужно для сходимости по вариации .

Согласно Альфреду Реньи (1970, 1961).

Информационная метрика Фишера

Однако, расстояние Кульбака — Лейблера и напрямую связано с метрикой, а именно с . Предположим, что у нас имеются вероятностные распределения P и Q, они оба параметризованы одинаковым (возможно многомерным) параметром ${\displaystyle \theta }$ . Рассмотрим теперь два близких значения ${\displaystyle P=P(\theta )}$ и ${\displaystyle Q=P(\theta _{0})}$ , таких что параметр ${\displaystyle \theta }$ отличается только на небольшое число от параметра ${\displaystyle \theta _{0}}$ . А именно, разлагая в ряд Тейлора вплоть до первого порядка, имеем (используя соглашение Эйнштейна )

${\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta ^{j}P_{j}(\theta _{0})+\cdots }$ ,

где ${\displaystyle \Delta \theta ^{j}=(\theta -\theta _{0})^{j}}$ — малое изменение ${\displaystyle \theta }$ в j-м направлении, а ${\displaystyle P_{j}(\theta _{0})={\frac {\partial P}{\partial \theta ^{j}}}(\theta _{0})}$ соответствующая скорость изменения распределения вероятностей. Так как РКЛ имеет абсолютный минимум, равный 0, при P=Q, то есть ${\displaystyle \theta =\theta _{0}}$ то РКЛ имеет второй порядок малости по параметрам ${\displaystyle \Delta \theta ^{j}}$ . Более формально, как и для любого минимума, первая производная расхождения обращается в ноль ${\displaystyle \left.{\frac {\partial }{\partial \theta ^{j}}}\right|_{\theta =\theta _{0}}D_{KL}(P(\theta )\parallel P(\theta _{0}))=0,}$

и разложение Тейлора начинается со второго порядка малости

${\displaystyle D_{\mathrm {KL} }(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\cdots }$ ,

где Гессиан ${\displaystyle g_{jk}(\theta )}$ должен быть неотрицательным. Если позволить ${\displaystyle \theta _{0}}$ изменяться (и опуская подиндекс 0), то Гессиан ${\displaystyle g_{jk}(\theta )}$ определяет (возможно, вырожденную) в пространстве параметра ${\displaystyle \theta }$ , называемую информационной метрикой Фишера.

Отношение к другим величинам информационной теории

Многие другие величины информационной теории могут быть интерпретированы как применение расстояния Кульбака — Лейблера к частным случаям.

Собственная информация ${\displaystyle D_{\mathrm {KL} }(\delta _{im}\parallel \{p_{i}\})}$ является РКЛ вероятностного распределения ${\displaystyle P(i)}$ из символа Кронекера , представляющего определённость в том, что ${\displaystyle i=m}$ — то есть число дополнительных бит, которые должны быть переданы для определения ${\displaystyle i}$ , если только вероятностное распределение ${\displaystyle P(i)}$ доступно для получателя, не факт, что ${\displaystyle i=m}$ .

Взаимная информация -

${\displaystyle {\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\parallel P(X)P(Y))\\&=\operatorname {E} _{X}\{D_{\mathrm {KL} }(P(Y\mid X)\parallel P(Y))\}\\&=\operatorname {E} _{Y}\{D_{\mathrm {KL} }(P(X\mid Y)\parallel P(X))\}\end{aligned}}}$

является РКЛ произведения ${\displaystyle P(X)P(Y)}$ двух маргинальных вероятностных распределений из совместного вероятностного распределения ${\displaystyle P(X,Y)}$ — то есть ожидаемое число дополнительных битов, которые должны быть посланы, чтобы определить ${\displaystyle X}$ и ${\displaystyle Y}$ , если они закодированы, используя только их маргинальное распределение вместо совместного распределения. Эквивалентно, если совместная вероятность ${\displaystyle P(X,Y)}$ известна, это ожидаемое число дополнительных битов, которые должны быть в среднем отправлены для определения ${\displaystyle Y}$ , если значение ${\displaystyle X}$ уже не известны получателю.

Энтропия Шеннона -

${\displaystyle {\begin{aligned}\mathrm {H} (X)&=\operatorname {E} [\operatorname {I} _{X}(x)]\\&=\log(N)-D_{\text{KL}}(P(X)\parallel P_{U}(X))\end{aligned}}}$

это число битов, которые должны быть переданы для идентификации ${\displaystyle X}$ из ${\displaystyle N}$ одинаково вероятных исходов, это меньше, чем РКЛ равномерного распределения ${\displaystyle P_{U}(X)}$ из истинного распределения ${\displaystyle P(X)}$ — то есть меньше ожидаемого числа сохранённых битов, которые должны быть отправлены, если значение ${\displaystyle X}$ закодировано согласно с равномерным распределением ${\displaystyle P_{U}(X)}$ , а не истинным распределение ${\displaystyle P(X)}$ .

Условная энтропия -

${\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\&=\log(N)-\operatorname {E} _{Y}{\bigl [}D_{\text{KL}}(P(X\mid Y)\parallel P_{U}(X)){\bigr ]}\end{aligned}}}$

это число битов, которые должны быть переданы для идентификации ${\displaystyle X}$ из ${\displaystyle N}$ одинаково вероятных исходов, это меньше, чем РКЛ произведения распределений ${\displaystyle P_{U}(X)}$ из истинного совместного распределения ${\displaystyle P(X,Y)}$ — то есть меньше ожидаемого числа сохранённых битов, которые должны быть отправлены, если значение ${\displaystyle X}$ закодировано согласно с равномерным распределением ${\displaystyle P_{U}(X)}$ , а не с условным распределением ${\displaystyle P(X\mid Y)}$ данных ${\displaystyle X}$ и ${\displaystyle Y}$ .

Перекрёстная энтропия между двумя вероятностными распределениями измеряет среднее число битов, необходимых для определения события из множества возможных, если использована схема кодирования, основанная на данном распределении вероятности ${\displaystyle Q}$ , а не «истинного» распределения ${\displaystyle P}$ . Перекрёстная энтропия для двух распределений ${\displaystyle P}$ и ${\displaystyle Q}$ над тем же вероятностным пространством определяется так: ${\displaystyle H(p,q)=\operatorname {E} _{p}[-\log q]=H(p)+D_{\mathrm {KL} }(p\parallel q).}$

Расстояние Кульбака — Лейблера и Байесовская модификация

В Байесовской статистике Расстояние Кульбака — Лейблера может быть использовано как мера информационного выигрыша при переходе от априорного к апостериорному вероятностному распределению. Если обнаружен некоторый новый факт ${\displaystyle Y=y}$ , оно может быть использовано для модификации (априорного) распределения вероятностей ${\displaystyle p(x\mid I)}$ для ${\displaystyle X}$ в новое (апостериорное) распределение вероятностей ${\displaystyle p(x\mid y,I)}$ используя Теорему Байеса :

${\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}.}$

Это распределение имеет новую энтропию

${\displaystyle H{\big (}p(\cdot \mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}$

которая может быть меньше или больше, чем изначальная энтропия ${\displaystyle H{\big (}p(\cdot \mid I){\big )}}$ . Однако, с точки зрения нового распределения вероятностей можно оценить, что использование исходного кода, основанного на ${\displaystyle p(x\mid I)}$ вместо нового кода, основанного на ${\displaystyle p(x\mid y,I)}$ , добавило бы ожидаемое число битов — ${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y,I)\mid p(\cdot \mid I){\big )}=\sum _{x}p(x\mid y,I)\log {\frac {p(x\mid y,I)}{p(x\mid I)}}}$ к длине сообщения. Это, таким образом, представляет собой количество полезной информации, или информационного выигрыша, касательно ${\displaystyle X}$ , которое было получено при обнаружении, что ${\displaystyle Y=y}$ .

Если впоследствии приходит ещё один фрагмент данных, ${\displaystyle Y_{2}=y_{2}}$ , то вероятностное распределение для x может быть обновлено далее, чтобы дать новое лучшее предположение ${\displaystyle p(x\mid y_{1},y_{2},I)}$ . Если исследовать заново информационный выигрыш для использования ${\displaystyle p(x\mid y_{1},I)}$ , а не ${\displaystyle p(x\mid I)}$ , оказывается, что это может быть больше или меньше, чем предполагалось ранее: ${\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}}$ , может быть ${\displaystyle \leq }$ или ${\displaystyle >}$ , чем ${\displaystyle \displaystyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I)}}}$ , и поэтому общий информационный выигрыш не выполняет неравенство треугольника:

${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid I){\big )}}$ , может быть больше, меньше или равно ${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid y_{1},I){\big )}+D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},I)\parallel p(x\mid I){\big )}.}$

Все, что можно сказать, что в среднем, беря среднее, используя ${\displaystyle p(y_{2}\mid y_{1},x,I)}$ , обе стороны будут давать среднее значение.

Экспериментальная модель Байеса

Широко распространённая цель в — максимизировать ожидаемое РКЛ между априорным и апостериорным распределениями. Когда апостериорное приближено к Гауссовому распределению, модель, максимизирующая ожидаемое РКЛ, называется .

Различающая информация

Расстояние Кульбака — Лейблера ${\displaystyle D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))}$ может также быть интерпретировано как ожидаемая различающая информация для ${\displaystyle H_{1}}$ над ${\displaystyle H_{0}}$ : средняя информация на одну выборку для различия в пользу гипотезы ${\displaystyle H_{1}}$ , против гипотезы ${\displaystyle H_{0}}$ , когда гипотеза ${\displaystyle H_{1}}$ верна . Ещё одно имя для этой величины, данное Ирвингом Джоном Гудом , это ожидаемая масса доказательства для ${\displaystyle H_{1}}$ над ${\displaystyle H_{0}}$ , ожидаемая из каждой выборки.

Ожидаемая масса доказательства для ${\displaystyle H_{1}}$ над ${\displaystyle H_{0}}$ это не то же что информационный выигрыш, ожидаемый, например, для вероятностного распределения p(H) гипотезы, ${\displaystyle D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\mathrm {KL} }(p(H\mid x)\parallel p(H\mid I)).}$ .

Любая из двух величин может быть использована как функция полезности в Байесовской экспериментальной форме, для выбора оптимального следующего вопроса для исследования, но вообще они приведут скорее к разным экспериментальным стратегиям.

В шкале энтропии информационного выигрыша очень маленькая разница между почти уверенностью и полной уверенностью — кодирование с почти полной уверенностью вряд ли потребует больше битов, чем кодирование с полной уверенностью. С другой стороны, в шкале подразумевается вес доказательств, и разница между двумя огромна, едва ли не бесконечна. Это может отражать разницу между почти уверенностью (на вероятностном уровне), скажем, в том, что Гипотеза Римана верна, и с полной уверенностью, что она верна, потому что имеется математическое доказательство. Две разные шкалы функции потерь для неопределённости обе являются полезными, согласно с тем, насколько хорошо каждая отражает конкретные обстоятельства рассматриваемой проблемы в задаче. ^{[ уточнить ]}

Принцип минимальной различающей информации

Идея РКЛ как различающей информации привела Кульбака к предположению Принципа Минимальной различающей информации ( англ. Minimum Discrimination Information, MDI ): учитывая новые факты, новое распределение ${\displaystyle f}$ следует выбрать, из тех, которые трудно отличить от первоначального распределения ${\displaystyle f_{0}}$ ; потому что новые данные производят так мало информационного выигрыша ${\displaystyle D_{KL}(f\parallel f_{0})}$ как только возможно.

Например, если мы имеем априорное распределение ${\displaystyle p(x,a)}$ над ${\displaystyle x}$ и ${\displaystyle a}$ , и потом изучим истинное распределение ${\displaystyle a}$ и ${\displaystyle u(a)}$ . РКЛ между новым совместным распределением для ${\displaystyle x}$ и ${\displaystyle a}$ , ${\displaystyle q(x\mid a)u(a)}$ , и прежнего априорного распределения было бы: ${\displaystyle D_{\mathrm {KL} }(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\{D_{\mathrm {KL} }(q(x\mid a)\parallel p(x\mid a))\}+D_{\mathrm {KL} }(u(a)\parallel p(a)),}$

то есть сумма РКЛ ${\displaystyle p(a)}$ априорного распределения для ${\displaystyle a}$ из обновлённого распределения ${\displaystyle u(a)}$ , плюс ожидаемое значение (используемое вероятностное распределение ${\displaystyle u(a)}$ ) РКЛ априорного условного распределения ${\displaystyle p(x\mid a)}$ из нового распределения ${\displaystyle p(x\mid a)}$ . (Заметьте что часто позднее ожидаемое значение называется условное РКЛ (или условная относительная энтропия) и обозначается ${\displaystyle D_{KL}(q(x\mid a)\parallel p(x\mid a))}$ . Это минимизирует, если ${\displaystyle q(x\mid a)=p(x\mid a)}$ над общим содержанием ${\displaystyle u(a)}$ . И мы замечаем что этот результат объединяет теорему Байеса, если новое распределение ${\displaystyle u(a)}$ это по факту функция, уверенно представляющая, что ${\displaystyle a}$ имеет одно частное значение.

Минимальная различающая информация может быть рассмотрена как расширение Лапласа (другое его название — принцип недостаточного основания) и Принципа максимума энтропии Джейнса . В частности, это естественное расширение принципа максимума энтропии из дискретного до непрерывного распределения, для которого энтропия Шеннона становится не очень удобной (см. дифференциальная энтропия ), но РКЛ продолжает быть столь же актуальной.

В инженерной литературе, MDI иногда называется принципом минимума перекрёстной энтропии . Минимизация РКЛ ${\displaystyle m}$ из ${\displaystyle p}$ в отношении ${\displaystyle m}$ эквивалентна минимизации перекрёстной энтропии ${\displaystyle p}$ и ${\displaystyle m}$ , так ${\displaystyle H(p,m)=H(p)+D_{\mathrm {KL} }(p\parallel m),}$ который подходит, если попытаться выбрать точное приближенное значение до ${\displaystyle p}$ .

Пример использования

Пусть по выборке ${\displaystyle x_{1},x_{2},\dotsc ,x_{n}}$ из распределения некоторой случайной величины требуется восстановить плотность её распределения, заданную в виде параметрического семейства ${\displaystyle f(x,\theta )}$ , где ${\displaystyle x\in X\subseteq R}$ — аргумент функции, ${\displaystyle \theta }$ — неизвестный параметр. Оценка параметра ${\displaystyle \theta }$ может быть найдена как решение задачи минимизации расстояния Кульбака — Лейблера между плотностью ${\displaystyle f(x,\theta )}$ и эмпирической плотностью распределения, считающейся «истинной»,

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {\delta } (x-x_{i})}$ ,

где ${\displaystyle \delta }$ — функция Дирака :

${\displaystyle {\hat {\theta }}=\operatorname {arg} {\underset {\theta }{\operatorname {min} }}D_{KL}({\hat {f}}(x),f(x,\theta ))=\operatorname {arg} {\underset {\theta }{\operatorname {max} }}\int \limits _{X}^{}{\hat {f}}(x)\ln f(x,\theta )\,dx=\operatorname {arg} {\underset {\theta }{\operatorname {max} }}\sum \limits _{i=1}^{n}\mathbf {\ln } f(x_{i},\theta )}$ .

Нетрудно видеть, что решение этой задачи приводит к оценке максимального правдоподобия для параметра ${\displaystyle \theta }$ . В случае если фактическая плотность распределения случайной величины не принадлежит семейству ${\displaystyle f(x,\theta )}$ , найденная оценка ${\displaystyle {\hat {\theta }}}$ параметра ${\displaystyle \theta }$ называется квазиправдоподобной и обеспечивает наилучшую аппроксимацию фактического распределения, представленного выборкой, среди распределений с плотностями ${\displaystyle f(x,\theta )}$ с точки зрения расстояния Кульбака — Лейблера.

Примечания