Дисперсионный анализ — метод в математической статистике , направленный на поиск зависимостей в экспериментальных данных путём исследования значимости различий в средних значениях . В отличие от t-критерия , позволяет сравнивать средние значения трёх и более групп. Разработан Р. Фишером для анализа результатов экспериментальных исследований. В литературе также встречается обозначение ANOVA (от англ. ANalysis Of VAriance ) .

Типы дисперсионного анализа

Суть дисперсионного анализа сводится к изучению влияния одной или нескольких независимых переменных , обычно именуемых факторами, на зависимую переменную . Зависимые переменные представлены значениями абсолютных шкал (шкала отношений). Независимые переменные являются номинативными (шкала наименований), то есть отражают групповую принадлежность, и могут иметь два или более значения (типа, градации или уровня). Примерами независимой переменной ${\displaystyle X_{i}}$ с двумя значениями могут служить пол (женский: ${\displaystyle X_{1}}$ , мужской: ${\displaystyle X_{2}}$ ) или тип экспериментальной группы (контрольная: ${\displaystyle X_{1}}$ , экспериментальная: ${\displaystyle X_{2}}$ ). Градации, соответствующие независимым выборкам объектов, называются межгрупповыми, а градации, соответствующие зависимым выборкам, — внутригрупповыми.

В зависимости от типа и количества переменных различают:

• однофакторный и многофакторный дисперсионный анализ (одна или несколько независимых переменных);
• одномерный и многомерный дисперсионный анализ (одна или несколько зависимых переменных);
• дисперсионный анализ с повторными измерениями (для зависимых выборок);
• дисперсионный анализ с постоянными факторами, случайными факторами, и смешанные модели с факторами обоих типов;

Математическая модель дисперсионного анализа

Математическая модель дисперсионного анализа представляет собой частный случай основной линейной модели . Пусть с помощью методов ${\displaystyle A_{j}\ (1\leq j\leq m)}$ производится измерение нескольких параметров ${\displaystyle x_{i}\ (1\leq i\leq n)}$ , чьи точные значения — ${\displaystyle \mu _{i}\ (1\leq i\leq n)}$ . В таком случае результаты измерений различных величин различными методами можно представить как:

${\displaystyle x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}}$ ,

где:

• ${\displaystyle x_{i,j}}$ — результат измерения ${\displaystyle i}$ -го параметра по методу ${\displaystyle A_{j}}$ ;
• ${\displaystyle \mu _{i}}$ — точное значение ${\displaystyle i}$ -го параметра;
• ${\displaystyle a_{i,j}}$ — систематическая ошибка измерения ${\displaystyle i}$ -го параметра в группе по методу ${\displaystyle A_{j}}$ ;
• ${\displaystyle e_{i,j}}$ — случайная ошибка измерения ${\displaystyle i}$ -го параметра по методу ${\displaystyle A_{j}}$ .

Тогда дисперсии следующих случайных величин:
${\displaystyle x_{i,j}}$
${\displaystyle x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*}}$
${\displaystyle x_{i,*}}$
${\displaystyle x_{*,j}}$
(где:

${\displaystyle x_{*,j}={\frac {1}{n}}\sum _{i}x_{i,j},}$

${\displaystyle x_{i,*}={\frac {1}{m}}\sum _{j}x_{i,j},}$

${\displaystyle x_{*,*}={\frac {1}{nm}}\sum _{i,j}x_{i,j}}$ )

выражаются как:

${\displaystyle s^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{*,*})^{2}}$

${\displaystyle s_{0}^{2}={\frac {1}{nm}}\sum _{i}\sum _{j}(x_{i,j}-x_{i,*}-x_{*,j}+x_{*,*})^{2}}$

${\displaystyle s_{1}^{2}={\frac {1}{n}}\sum _{i}(x_{i,*}-x_{*,*})^{2}}$

${\displaystyle s_{2}^{2}={\frac {1}{m}}\sum _{j}(x_{*,j}-x_{*,*})^{2}}$

и удовлетворяют тождеству:

${\displaystyle s^{2}=s_{0}^{2}+s_{1}^{2}+s_{2}^{2}}$

Процедура дисперсионного анализа состоит в определении соотношения систематической (межгрупповой) дисперсии к случайной (внутригрупповой) дисперсии в измеряемых данных. В качестве показателя изменчивости используется сумма квадратов отклонения значений параметра от среднего: ${\displaystyle SS}$ (от англ. Sum of Squares ). Можно показать, что общая сумма квадратов ${\displaystyle SS_{\textrm {total}}}$ раскладывается на межгрупповую сумму квадратов ${\displaystyle SS_{\textrm {bg}}}$ и внутригрупповую сумму квадратов ${\displaystyle SS_{\textrm {wg}}}$ :

${\displaystyle SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}}$

Пусть точное значение каждого параметра есть его математическое ожидание, равное среднему генеральной совокупности ${\displaystyle E(X)=M}$ . При отсутствии систематических ошибок групповое среднее и среднее генеральной совокупности тождественны: ${\displaystyle M_{j}=M}$ . Тогда случайная ошибка измерения есть разница между результатом измерения ${\displaystyle x_{i,j}}$ и средним группы: ${\displaystyle x_{i,j}-M_{j}}$ . Если же метод ${\displaystyle A_{j}}$ оказывает систематическое воздействие, то систематическая ошибка при воздействии этого фактора есть разница между средним группы ${\displaystyle M_{j}}$ и средним генеральной совокупности: ${\displaystyle M_{j}-M}$ .

Тогда уравнение ${\displaystyle x_{i,j}=\mu _{i}+a_{i,j}+e_{i,j}}$ может быть представлено в следующем виде:

${\displaystyle x_{i,j}=M+(M_{j}-M)+(x_{i,j}-M_{j})}$ , или

${\displaystyle x_{i,j}-M=(M_{j}-M)+(x_{i,j}-M_{j})}$ .

Тогда

${\displaystyle {\begin{aligned}\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}&=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}+\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2},\\\end{aligned}}}$

где

${\displaystyle SS_{\textrm {total}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M)^{2}}$

${\displaystyle SS_{\textrm {bg}}=\sum _{i=1}^{n_{j}}(M_{j}-M)^{2}}$

${\displaystyle SS_{\textrm {wg}}=\sum _{i=1}^{n_{j}}(x_{i,j}-M_{j})^{2}}$

Следовательно

${\displaystyle SS_{\textrm {total}}=SS_{\textrm {bg}}+SS_{\textrm {wg}}.}$

Аналогичным образом раскладываются степени свободы:

${\displaystyle df_{\textrm {total}}=df_{\textrm {bg}}+df_{\textrm {wg}},}$ где

${\displaystyle df_{\textrm {total}}=N-1,}$

${\displaystyle df_{\textrm {bg}}=J-1,}$

${\displaystyle df_{\textrm {wg}}=N-J,}$

и ${\displaystyle N}$ есть объём полной выборки, а ${\displaystyle J}$ — количество групп.

Тогда дисперсия каждой части, именуемая в модели дисперсионного анализа как «средний квадрат», или ${\displaystyle MS}$ (от англ. Mean Square ), есть отношение суммы квадратов к числу их степеней свободы:

${\displaystyle MS_{\textrm {total}}={\frac {SS_{\textrm {total}}}{N-1}}}$

${\displaystyle MS_{\textrm {bg}}={\frac {SS_{\textrm {bg}}}{J-1}}}$

${\displaystyle MS_{\textrm {wg}}={\frac {SS_{\textrm {wg}}}{N-J}},}$

Соотношение межгрупповой и внутригрупповой дисперсий имеет F -распределение ( распределение Фишера ) и определяется при помощи ( F -критерия Фишера ):

${\displaystyle F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.}$

Принципы и применение

Исходными положениями дисперсионного анализа являются

• нормальное распределение значений изучаемого признака в генеральной совокупности;
• равенство дисперсий в сравниваемых генеральных совокупностях;
• случайный и независимый характер выборки.

Нулевой гипотезой в дисперсионном анализе является утверждение о равенстве средних значений:

${\displaystyle H_{0}{:}\quad \mu _{1}=\mu _{2}=\dots =\mu _{j}.}$

При отклонении нулевой гипотезы принимается альтернативная гипотеза о том, что не все средние равны, то есть имеются, по крайней мере, две группы, отличающиеся средними значениями:

${\displaystyle H_{1}{:}\exists i,j\in \{1,...,j\},i\neq j:\mu _{i}\neq \mu _{j}.}$

При наличии трёх и более групп для определения различий между средними применяются post-hoc t -тесты или метод контрастов.

Однофакторный дисперсионный анализ

Простейшим случаем дисперсионного анализа является одномерный однофакторный анализ для двух или нескольких независимых групп, когда все группы объединены по одному признаку. В ходе анализа проверяется нулевая гипотеза о равенстве средних. При анализе двух групп дисперсионный анализ тождественен двухвыборочному t -критерию Стьюдента для независимых выборок, и величина F -статистики равна квадрату соответствующей t -статистики .

Для подтверждения положения о равенстве дисперсий обычно применяется критерий Ливена ( Levene’s test ). В случае отвержения гипотезы о равенстве дисперсий основной анализ неприменим. Если дисперсии равны, то для оценки соотношения межгрупповой и внутригрупповой изменчивости применяется F -критерий Фишера :

${\displaystyle F_{df_{\textrm {bg}},df_{\textrm {wg}}}={\frac {MS_{\textrm {bg}}}{MS_{\textrm {wg}}}}.}$

Если F -статистика превышает критическое значение, то нулевая гипотеза не может быть принята (отвергается) и делается вывод о неравенстве средних. При анализе средних двух групп результаты могут быть интерпретированы непосредственно после применения критерия Фишера .

При наличии трёх и более групп требуется попарное сравнение средних для выявления статистически значимых отличий между ними. Априорный анализ включает метод контрастов, при котором межгрупповая сумма квадратов дробится на суммы квадратов отдельных контрастов:

${\displaystyle SS_{\textrm {bg}}=SS_{\psi _{1}}+SS_{\psi _{2}}+...+SS_{\psi _{n}},}$

где ${\displaystyle \psi }$ есть контраст между средними двух групп, и затем при помощи критерия Фишера проверяется соотношение среднего квадрата для каждого контраста к внутригрупповому среднему квадрату:

${\displaystyle F_{1,df_{\textrm {wg}}}={\frac {MS_{\psi _{i}}}{MS_{\textrm {wg}}}}.}$

Апостериорный анализ включает post-hoc t -критерии по методам Бонферрони или Шеффе, а также сравнение разностей средних по методу Тьюки. Особенностью post-hoc -тестов является использование внутригруппового среднего квадрата ${\displaystyle MS_{\textrm {wg}}}$ для оценки любых пар средних. Тесты по методам Бонферрони и Шеффе являются наиболее консервативными, так как они используют наименьшую критическую область при заданном уровне значимости ${\displaystyle \alpha }$ .

Помимо оценки средних дисперсионный анализ включает определение коэффициента детерминации ${\displaystyle R^{2}}$ , показывающего, какую долю общей изменчивости объясняет данный фактор:

${\displaystyle R^{2}={\frac {SS_{\textrm {bg}}}{SS_{\textrm {total}}}}.}$

Многофакторный дисперсионный анализ

• Многофакторный анализ позволяет проверить влияние нескольких факторов на зависимую переменную. Линейная модель многофакторной модели имеет вид:

${\displaystyle x_{i,j,k}=\mu _{i}+a_{i,j}+b_{i,k}+...+(ab)_{i,j,k}+e_{i,j,k}}$ , где:

• • ${\displaystyle x_{i,j,k}}$ — результат измерения ${\displaystyle i}$ -го параметра;
  • ${\displaystyle \mu _{i}}$ — среднее для ${\displaystyle i}$ -го параметра;
  • ${\displaystyle a_{i,j}}$ — систематическая ошибка измерения ${\displaystyle i}$ -го параметра в ${\displaystyle j}$ группе по методу ${\displaystyle A}$ ;
  • ${\displaystyle b_{i,k}}$ — систематическая ошибка измерения ${\displaystyle i}$ -го параметра в ${\displaystyle k}$ группе по методу ${\displaystyle B}$ ;
  • ${\displaystyle (ab)_{i,j,k}}$ — систематическая ошибка измерения ${\displaystyle i}$ -го параметра в ${\displaystyle j,k}$ группе в силу комбинации методов ${\displaystyle A}$ и ${\displaystyle B}$ ;
  • ${\displaystyle e_{i,j,k}}$ — случайная ошибка измерения ${\displaystyle i}$ -го параметра.

В отличие от однофакторной модели, где имеется одна межгрупповая сумма квадратов, модель многофакторного анализа включает суммы квадратов для каждого фактора в отдельности и суммы квадратов всех взаимодействий между ними. Так, в двухфакторной модели межгрупповая сумма квадратов раскладывается на сумму квадратов фактора ${\displaystyle A}$ , сумму квадратов фактора ${\displaystyle B}$ и сумму квадратов взаимодействия факторов ${\displaystyle A}$ и ${\displaystyle B}$ :

${\displaystyle SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{AB}+SS_{\textrm {wg}}.}$

Соответственно трёхфакторная модель включает сумму квадратов фактора ${\displaystyle A}$ , сумму квадратов фактора ${\displaystyle B}$ , сумму квадратов фактора ${\displaystyle C}$ и суммы квадратов взаимодействий факторов ${\displaystyle A}$ и ${\displaystyle B}$ , ${\displaystyle B}$ и ${\displaystyle C}$ , ${\displaystyle A}$ и ${\displaystyle C}$ , а также взаимодействия всех трёх факторов ${\displaystyle A,B,C}$ :

${\displaystyle SS_{\textrm {total}}=SS_{A}+SS_{B}+SS_{C}+SS_{AB}+SS_{BC}+SS_{AC}+SS_{ABC}+SS_{\textrm {wg}}.}$

Степени свободы раскладываются аналогичным образом:

${\displaystyle df_{\textrm {total}}=df_{A}+df_{B}+df_{AB}+df_{\textrm {wg}},}$ где

${\displaystyle df_{\textrm {total}}=N-1,}$

${\displaystyle df_{A}=J-1,}$

${\displaystyle df_{B}=K-1,}$

${\displaystyle df_{AB}=(J-1)(K-1),}$

${\displaystyle df_{\textrm {wg}}=N-JK,}$

и ${\displaystyle N}$ есть объём полной выборки, ${\displaystyle J}$ — количество уровней (групп) фактора ${\displaystyle A}$ , а ${\displaystyle K}$ — количество уровней (групп) фактора ${\displaystyle B}$ .

В ходе анализа проверяются несколько нулевых гипотез :

• гипотеза о равенстве средних под влиянием фактора ${\displaystyle A}$ : ${\displaystyle H_{0}{:}\ \mu _{1,*}=\mu _{2,*}=\dots =\mu _{j,*}}$ ;
• гипотеза о равенстве средних под влиянием фактора ${\displaystyle B}$ : ${\displaystyle H_{0}{:}\ \mu _{*,1}=\mu _{*,2}=\dots =\mu _{*,k}}$ ;
• гипотеза об отсутствии взаимодействия факторов ${\displaystyle A}$ и ${\displaystyle B}$ : ${\displaystyle H_{0}{:}\ (ab)_{j,k}=0}$ для всех ${\displaystyle j}$ и ${\displaystyle k.}$

Каждая гипотеза проверяется с помощью критерия Фишера:

${\displaystyle F_{df_{A},df_{\textrm {wg}}}={\frac {MS_{A}}{MS_{\textrm {wg}}}};}$

${\displaystyle F_{df_{B},df_{\textrm {wg}}}={\frac {MS_{B}}{MS_{\textrm {wg}}}};}$

${\displaystyle F_{df_{AB},df_{\textrm {wg}}}={\frac {MS_{AB}}{MS_{\textrm {wg}}}}.}$

При отвержении нулевой гипотезы о влиянии отдельного фактора принимается утверждение, что присутствует главный эффект фактора ${\displaystyle A}$ ( ${\displaystyle B,}$ и т. д.). При отвержении нулевой гипотезы о взаимодействии факторов принимается утверждение о том, что влияние фактора ${\displaystyle A}$ проявляется по-разному на разных уровнях фактора ${\displaystyle B}$ . Обычно в таком случае результаты общего анализа признаются не имеющими силы, и влияние фактора ${\displaystyle A}$ проверяется отдельно на каждом уровне фактора ${\displaystyle B}$ с помощью однофакторного дисперсионного анализа или t -критерия .

Примечания

Литература

• Шеффе Г. Дисперсионный анализ, пер. с англ. — М., 1963.
• Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. — 2 изд.. — М. , 1965.