Информационный критерий Акаике (AIC) — критерий, применяющийся исключительно для выбора из нескольких статистических моделей. Разработан в 1971 как «an information criterion» («(некий) информационный критерий») Хироцугу Акаике и предложен им в статье 1974 года .

Предпосылкой к созданию критерия послужила задача оценки качества предсказаний модели на тестовой выборке при известном качестве на обучающей выборке при условии, что модель мы настраивали по методу максимального правдоподобия . То есть стояла задача оценки переобучения модели . Акаике, используя теорию информации (в том числе расстояние Кульбака — Лейблера ), смог для ряда частных случаев получить искомую оценку.

Определение

В общем случае AIC:

${\displaystyle {\mathit {AIC}}=2k-2\ln(L)}$ ,

где ${\displaystyle k}$ — число параметров в статистической модели , ${\displaystyle L}$ — максимизированное значение функции правдоподобия модели .

Далее будем полагать, что ошибки модели нормально и независимо распределены. Пусть ${\displaystyle n}$ — число наблюдений, а

${\displaystyle {\mathit {RSS}}=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}.}$

Далее мы предполагаем, что дисперсия ошибок модели неизвестна, но одинакова для всех них. Следовательно:

${\displaystyle {\mathit {AIC}}=2k+n[\ln(2\pi {\mathit {RSS}}/n)+1]\,.}$

В случае сравнения моделей на выборках одинаковой длины, выражение можно упростить, выкидывая члены зависящие только от ${\displaystyle n}$ :

${\displaystyle {\mathit {AIC}}=2k+n[\ln({\mathit {RSS}})]\,.}$

Таким образом, критерий не только вознаграждает за качество приближения, но и штрафует за использование излишнего количества параметров модели. Считается, что наилучшей будет модель с наименьшим значением критерия AIC. Критерий Шварца (SIC) штрафует свободные параметры в большей мере.

Стоит отметить, что абсолютное значение AIC не имеет смысла — он указывает только на относительный порядок сравниваемых моделей.

Применимость к настройке по χ² (максимуму правдоподобия)

Часто необходимо выбирать между моделями, для которых считается, что их ошибки нормально распределены. Это приводит к критерию ${\displaystyle \chi ^{2}}$ .

Для таких случаев можно приспособить AIC. В рамках статьи назовем его ${\displaystyle AIC_{\chi ^{2}}}$ . От непосредственно AIC он будет отличаться на аддитивную константу (функцию лишь данных, но не модели), которой можно пренебречь ввиду относительного характера критерия.

Для приближения ${\displaystyle \chi ^{2}}$ функция правдоподобия определяется следующим образом:

${\displaystyle L=\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\exp \left(-\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{2\sigma _{i}^{2}}}\right)}$

${\displaystyle \therefore \ln L=\ln \left(\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\right)-{\frac {1}{2}}\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{\sigma _{i}^{2}}}}$

${\displaystyle \therefore \ln L=C-\chi ^{2}/2}$ ,

где ${\displaystyle C}$ — независимая от модели константа, которую можно исключить в случае сравнения моделей на одних и тех же данных.

Таким образом: ${\displaystyle AIC=2k-2\ln(L)=2k-2(C-\chi ^{2}/2)=2k-2C+\chi ^{2}}$ . Исключая константу:

${\displaystyle AIC_{\chi ^{2}}=\chi ^{2}+2k.}$

Эта форма критерия часто удобна, если мы уже вычислили ${\displaystyle \chi ^{2}}$ как статистику качества приближения. В случае обучения моделей на данных с одинаковым количеством точек, нужно брать модель с наименьшим значением ${\displaystyle AIC_{\chi ^{2}}}$ .

Аналогично, если имеется вычисленная статистика ${\displaystyle R^{2}}$ («Объясненная дисперсия»), можно записать:

${\displaystyle AIC_{R^{2}}=n\ln {\frac {1-R^{2}}{n}}+2k.\ }$

См. также

• Байесовский информационный критерий (BIC; он же Критерий Шварца, SIC)

Ссылки

Литература

• Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974. — Т. 19. — С. 716. — 723 с.
• Liddle A. R. (недоступная ссылка) . — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
• Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN ISBN 0-387-95364-7 .
• McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN ISBN 981-02-3242-X .
• Бидюк П. И., Зворыгина Т. Ф. .