Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике , основанный на предполагаемых свойствах моментов ( Пирсон , 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Суть метода

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение ${\displaystyle \mathbb {P} _{\theta }}$ , зависящее от параметров ${\displaystyle \theta \in \Theta \subset \mathbb {R} ^{k}}$ . Пусть для функций (называемых моментами или моментными функциями ) ${\displaystyle g_{i}:\mathbb {R} ^{m}\to \mathbb {R} }$ , интегрируемых по мере ${\displaystyle \mathbb {P} _{\theta }}$ , выполнены условия на моменты

${\displaystyle \mathbb {E} \left[g_{i}(X,\theta )\right]=0~,~~i=1..k}$

Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ — выборка случайной величины X. Предполагается, что соотношения, аналогичные условиям на моменты, выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

${\displaystyle {\overline {g_{i}(X,\theta )}}=0~,~~i=1..k}$

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов . Название метода связано с тем, что чаще всего в качестве функций ${\displaystyle g_{i}}$ выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны .

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель ${\displaystyle y_{t}=x_{t}^{T}b+\varepsilon _{t}}$ удовлетворяет условию ${\displaystyle E(x_{t}^{T}\varepsilon _{t})=0}$ , то условия на моменты выглядят следующим образом:

${\displaystyle X^{T}e=0~\Rightarrow ~X^{T}(y-Xb)=0~\Rightarrow ~X^{T}Xb=X^{T}y}$

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов ${\displaystyle {\hat {b}}_{MM}={\hat {b}}_{OLS}=(X^{T}X)^{-1}X^{T}y}$

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок ${\displaystyle E(x_{t}^{T}\varepsilon _{t})=0}$

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть ${\displaystyle E(z_{t}^{T}\varepsilon _{t})=0}$ . Тогда имеем выборочный аналог этого условия:

${\displaystyle Z^{T}e=0~\Rightarrow Z^{T}(y-Xb)=0~\Rightarrow ~Z^{T}Xb=Z^{T}y}$

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных : ${\displaystyle {\hat {b}}_{MM}={\hat {b}}_{IV}=(Z^{T}X)^{-1}Z^{T}y}$ .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай, когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть ${\displaystyle E(g(x,b))=0}$ — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка, минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

${\displaystyle {\hat {b}}_{GMM}=\arg \min _{b}{\overline {g(x,b)}}^{T}W{\overline {g(x,b)}}}$

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариационной матрице моментных функций ${\displaystyle W=V_{g}^{-1}}$ . Это так называемый эффективный GMM . Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают ковариационную матрицу моментных функций и используют полученную оценку в эффективном GMM (это т. н. доступный эффективный GMM).

Пример

Пусть ${\displaystyle X_{1},\ldots ,X_{n}\sim \Gamma (\alpha ,\beta )}$ — выборка из гамма-распределения с неизвестными параметрами ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ . Тогда

${\displaystyle \mathbb {E} [X_{i}]=\alpha \beta ,\;\mathbb {E} \left[X_{i}^{2}\right]=\alpha (\alpha +1)\beta ^{2},\quad i=1,\ldots ,n}$ .

Тогда оценки метода моментов удовлетворяют системе уравнений:

${\displaystyle {\begin{matrix}{\overline {X}}=&{\hat {\alpha }}_{\mathrm {MM} }{\hat {\beta }}_{\mathrm {MM} }\\{\overline {X^{2}}}=&{\hat {\alpha }}_{\mathrm {MM} }({\hat {\alpha }}_{\mathrm {MM} }+1)\left({\hat {\beta }}_{\mathrm {MM} }\right)^{2}\end{matrix}}~~\Rightarrow ~~{\hat {\alpha }}_{\mathrm {MM} }={\frac {\left({\overline {X}}\right)^{2}}{{\overline {X^{2}}}-\left({\overline {X}}\right)^{2}}}~,~~{\hat {\beta }}_{\mathrm {MM} }={\frac {{\overline {X^{2}}}-\left({\overline {X}}\right)^{2}}{\overline {X}}}}$ .

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия , так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров , в то время как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона .

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой , то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

• Метод максимального правдоподобия
• Метод наименьших квадратов
• Метод инструментальных переменных