В байесовской статистике априорная вероятность Джеффриса , по имени Гарольда Джеффриса — неинформативная (объективная) априорная вероятность в пространстве параметра, пропорциональная квадратному корню из детерминанта информации Фишера :

${\displaystyle p\left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right)}}.}$

Её ключевая особенность — вектора параметра ${\displaystyle {\vec {\theta }}}$ .

Репараметризация

Для альтернативной параметризации ${\displaystyle {\vec {\varphi }}}$ можно вывести

${\displaystyle p({\vec {\varphi }})\propto {\sqrt {\det I({\vec {\varphi }})}}}$

из

${\displaystyle p({\vec {\theta }})\propto {\sqrt {\det I({\vec {\theta }})}}}$

используя теорему о смене переменных, определение информации Фишера, и то, что произведение детерминантов есть детерминант произведения матриц:

${\displaystyle {\begin{aligned}p({\vec {\varphi }})&=p({\vec {\theta }})\left|\det {\frac {\partial \theta _{i}}{\partial \varphi _{j}}}\right|\\&\propto {\sqrt {\det I({\vec {\theta }})\,{\det }^{2}{\frac {\partial \theta _{i}}{\partial \varphi _{j}}}}}\\&={\sqrt {\det {\frac {\partial \theta _{k}}{\partial \varphi _{i}}}\,\det \operatorname {E} \!\left[{\frac {\partial \ln L}{\partial \theta _{k}}}{\frac {\partial \ln L}{\partial \theta _{l}}}\right]\,\det {\frac {\partial \theta _{l}}{\partial \varphi _{j}}}}}\\&={\sqrt {\det \operatorname {E} \!\left[\sum _{k,l}{\frac {\partial \theta _{k}}{\partial \varphi _{i}}}{\frac {\partial \ln L}{\partial \theta _{k}}}{\frac {\partial \ln L}{\partial \theta _{l}}}{\frac {\partial \theta _{l}}{\partial \varphi _{j}}}\right]}}\\&={\sqrt {\det \operatorname {E} \!\left[{\frac {\partial \ln L}{\partial \varphi _{i}}}{\frac {\partial \ln L}{\partial \varphi _{j}}}\right]}}={\sqrt {\det I({\vec {\varphi }})}}.\end{aligned}}}$

В более простом случае одного параметра можно вывести:

${\displaystyle {\begin{aligned}p(\varphi )&=p(\theta )\left|{\frac {d\theta }{d\varphi }}\right|\propto {\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\theta }}\right)^{2}\right]\left({\frac {d\theta }{d\varphi }}\right)^{2}}}\\&={\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\theta }}{\frac {d\theta }{d\varphi }}\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d\ln L}{d\varphi }}\right)^{2}\right]}}={\sqrt {I(\varphi )}}.\end{aligned}}}$

Свойства

С практической и математической точки зрения, веской причиной использовать именно неинформативные априорные вероятности является то, что они не зависят от набора параметров, в котором выбрано описывать параметрическое пространство.

Иногда априорные вероятности Джеффриса не могут быть нормализованы — этот случай называют . Например, для гауссовского распределения с известной дисперсией априорное распределение вероятностей Джеффриса для среднего является равномерным по всей действительной оси.

Использование априорных вероятностей Джеффриса нарушает сильную формулировку принципа максимального правдоподобия , которая принимается многими, но не всеми, статистиками. Используя априорную вероятность Джеффриса, вывод о ${\displaystyle {\vec {\theta }}}$ зависит не только от вероятностей наблюдаемых данных как функции от ${\displaystyle {\vec {\theta }}}$ , но также и от универсума всех возможных исходов эксперимента, определенных дизайном эксперимента, т.к. информация Фишера вычисляется для ожиданий в выбранном универсуме. Соответственно, априорные вероятности Джеффриса, а, следовательно, и использующие их выводы, могут быть разными для двух экспериментов, использующих один и тот же параметр ${\displaystyle {\vec {\theta }}}$ , и даже одну и ту же функцию правдоподобия — а это нарушение сильной формулировки принципа максимального правдоподобия.

Примеры

Априорная вероятность Джеффриса определяется задачей. Она вычислима для заданного семейства распределений с неизвестным параметром. И наоборот, для заданного распределения можно спросить: для какой задачи с неизвестным параметром распределение будет априорным Джеффриса. Например, логарифмическое априорное распределение на положительной действительной полуоси — это априорное распределение Джеффриса для , но не для распределения Пуассона в стандартной параметризации, хотя пространство параметра одинаковое.

Распределение Гаусса со средним как параметром

Для распределения Гаусса действительной переменной ${\displaystyle x}$ :

${\displaystyle f(x|\mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}$

априорное распределение вероятностей Джеффриса для среднего ${\displaystyle \mu }$ :

${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x|\mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x|\mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\frac {\sigma ^{2}}{\sigma ^{4}}}}\propto 1.\end{aligned}}}$

То есть, априорное распределение Джеффриса для ${\displaystyle \mu }$ является ненормализуемым равномерным распределением на действительной оси — оно равно 1 (или любой другой фиксированной константе) для всех точек. Это случай , и, с точностью до выбора константы, уникальное инвариантное к сдвигу распределение на действительных числах, соответствующее единственно известной информации: параметр ${\displaystyle \mu }$ — мера положения и трансляционная инвариантность ввиду отсутствия информации о положении.

Распределение Гаусса со стандартным отклонением как параметром

Для распределения Гаусса действительной переменной ${\displaystyle x}$ :

${\displaystyle f(x|\sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}$

априорное распределение вероятностей Джеффриса для стандартного отклонения σ:

${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x|\sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x|\mu )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{|\sigma |}}.\end{aligned}}}$

Соответственно, априорное распределение вероятностей Джеффриса для log σ² (или log |σ|) является ненормализуемым равномерным распределением на действительной оси, и известно как логарифмическое априорное распределение . Оно определено (с точностью до множителя) на положительных действительных числах, масштабно-инвариантно, так что стандартное отклонение является единственной мерой масштаба. В силу равномерности является .

Распределение Пуассона в стандартной параметризации

Для распределения Пуассона неотрицательного целого ${\displaystyle n}$ :

${\displaystyle f(n|\lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},}$

априорное распределение вероятностей параметра ${\displaystyle \lambda }$ :

${\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(x|\lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n|\lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}}$

Соответственно, априорное распределение вероятностей Джеффриса для ${\displaystyle {\sqrt {\lambda }}}$ является ненормализируемым равномерным распределение на не-отрицательной действительной оси, и соответственно — .

Испытание по схеме Бернулли

Для монеты с вероятностью выпадения "орла" ${\displaystyle \gamma }$ и вероятностью "решки" ${\displaystyle 1-\gamma }$ , для заданного (H,T) ∈ {(0,1), (1,0)} имеем вероятность ${\displaystyle \gamma ^{H}(1-\gamma )^{T}}$ . Априорное распределение вероятностей Джеффриса для параметра ${\displaystyle \gamma }$ :

${\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x|\gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}$

Это и Бета-распределение с α = β = ½. Более того, если ${\displaystyle \gamma =\sin ^{2}(\theta )}$ априорное распределение Джеффриса для ${\displaystyle \theta }$ будет равномерным на интервале ${\displaystyle [0,{\frac {\pi }{2}}]}$ . Соответственно, ${\displaystyle \theta }$ также равномерно на всей окружности ${\displaystyle [0,2\pi ]}$ .

N -гранный кубик со смещенными вероятностями

Аналогично, для броска N -гранного кубика с вероятностями выпадения граней ${\displaystyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$ удовлетворяющих ${\displaystyle \sum _{i=1}^{N}\gamma _{i}=1}$ , априорное распределение Джеффриса для ${\displaystyle {\vec {\gamma }}}$ — распределение Дирихле со всеми параметрами α равными ½. В частности, если ${\displaystyle \gamma _{i}={\phi _{i}}^{2}}$ для каждого ${\displaystyle i}$ , то априорное распределение Джеффриса для ${\displaystyle {\vec {\phi }}}$ является равномерным на ( N –1)-мерной единичной сфере (то есть, оно равномерно на поверхности N -мерного единичной мячика ).

Ссылки

• (англ.) ( . (англ.) // Proceedings of the Royal Society of London. Series A, Mathematical and Physical Sciences : journal. — 1946. — Vol. 186 , no. 1007 . — P. 453—461 . — doi : .

• Jeffreys, H. Theory of Probability (англ.) . — Oxford University Press , 1939.