Interested Article - Неравенство Крамера — Рао

Неравенство Краме́ра — Ра́о — неравенство , которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера .

Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао , но независимо от них устанавливалось также Фреше , ( фр. ), ( англ. ) и ( Harold Silverstone ). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао .

Формулировка

Для статистической модели $(X,\,B,\,P_{\theta })$ , $x=(x_{1},\dots ,\,x_{n})$ — выборка размера $n$ , — определена функция правдоподобия $L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})$ и выполнены следующие условия ( условия регулярности ):

$L_{}^{}>0$ и везде дифференцируема по $\theta _{}^{}$ ;
функция $U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}$ ( ) имеет конечную дисперсию (или, что то же, конечна информация Фишера );
для любой статистики ${\widehat {\theta }}(x)$ с конечным вторым моментом имеет место равенство:

${\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx$ .

Если при этих условиях дана статистика ${\widehat {\theta }}(x)$ , которая несмещённо оценивает дифференцируемую функцию $\tau (\theta )$ , то справедливо следующее неравенство:

\mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {(\tau '(\theta ))^{2}}{nI(\theta )}}

, где

I(\theta )=M\left({\frac {d\ln L(\theta ,x)}{d\theta }}\right)^{2}

;

а равенство достигается тогда и только тогда, когда:

{\frac {d\ln L(\theta ,x)}{d\theta }}=a(\theta )({\widehat {\theta }}(x)-\tau (\theta ))

.

Здесь $I^{}(\theta )$ — количество информации по Фишеру в одном наблюдении, а $L(\theta ,t)$ — плотность распределения генеральной совокупности $X$ в случае непрерывной статистической модели и вероятность события $(X=t)$ в случае дискретной статистической модели.

Частный случай

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а ${\widehat {\theta }}(x)$ — несмещённая оценка параметра $\theta$ , то:

\mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}

.

Равенство в этом неравенстве достигается тогда и только тогда, когда ${\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)$ .

Применение

Оценка параметра называется эффективной , если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.