Interested Article - Степени свободы (теория вероятностей)

Количество степеней свободы — это количество значений в итоговом вычислении статистики , способных варьироваться. Иными словами, количество степеней свободы показывает размерность вектора из случайных величин, количество «свободных» величин, необходимых для того, чтобы полностью определить вектор.

Количество степеней свободы может быть не только натуральным , но и любым действительным числом, хотя стандартные таблицы рассчитывают p-value наиболее распространённых распределений только для натурального числа степеней свободы.

Степени свободы распределений

Хи-квадрат

Если случайные величины $Z_{1};\ldots ;Z_{n}$ $Z_{1};\ldots ;Z_{n}$ независимы и все имеют стандартное нормальное распределение ( $Z\sim {\mathcal {N}}(0;1)$ $Z\sim {\mathcal {N}}(0;1)$ ), то тогда говорят, что случайная величина $X$ $X$ , являющаяся суммой квадратов стандартных нормальных величин в количестве $n$ $n$ штук, имеет распределение хи-квадрат с $n$ $n$ степенями свободы ( $\chi _{n}^{2}$ $\chi _{n}^{2}$ ):

$X=\sum \limits _{i=1}^{n}Z_{i}^{2}\sim \chi _{n}^{2}$ $X=\sum \limits _{{i=1}}^{n}Z_{i}^{2}\sim \chi _{n}^{2}$

t -распределение Стьюдента

Если случайная величина $Z$ $Z$ имеет стандартное нормальное распределение ( $Z\sim {\mathcal {N}}(0;1)$ $Z\sim {\mathcal {N}}(0;1)$ ), случайная величина $X$ $X$ имеет распределение хи-квадрат с $n$ $n$ степенями свободы ( $\chi _{n}^{2}$ $\chi _{n}^{2}$ ) и $Z$ $Z$ и $X$ $X$ независимы (их корреляция равна нулю), то случайная величина $T={\frac {Z}{\sqrt {\frac {X}{n}}}}$ $T={\frac {Z}{{\sqrt {{\frac {X}{n}}}}}}$ имеет распределение Стьюдента с $n$ $n$ степенями свободы ( $t_{n}$ $t_{n}$ ):

$T={\frac {{\mathcal {N}}(0;1)}{\sqrt {\frac {\chi _{n}^{2}}{n}}}}\sim t_{n}$ $T={\frac {{\mathcal {N}}(0;1)}{{\sqrt {{\frac {\chi _{n}^{2}}{n}}}}}}\sim t_{n}$

Распределение Фишера—Снедекора

Если случайная величина $X_{1}$ $X_{1}$ имеет распределение хи-квадрат с $n$ $n$ степенями свободы, а случайная величина $X_{2}$ $X_{2}$ имеет распределение хи-квадрат с $m$ $m$ степенями свободы, то случайная величина $F={\frac {X_{1}/n}{X_{2}/m}}$ $F={\frac {X_{1}/n}{X_{2}/m}}$ имеет распределение Фишера—Снедекора с $n$ $n$ и $m$ $m$ степенями свободы ( $t_{n}$ $t_{n}$ ):

$F={\frac {\chi _{n}^{2}/n}{\chi _{m}^{2}/m}}\sim \mathrm {F} _{n;m}$ $F={\frac {\chi _{n}^{2}/n}{\chi _{m}^{2}/m}}\sim {\mathrm {F}}_{{n;m}}$

Если $m\rightarrow \infty$ $m\rightarrow \infty$ , то $F_{n;m}={\frac {\chi _{n}^{2}/n}{\chi _{m}^{2}/m}}\rightarrow \chi _{n}^{2}$ $F_{{n;m}}={\frac {\chi _{n}^{2}/n}{\chi _{m}^{2}/m}}\rightarrow \chi _{n}^{2}$ .
Если возвести случайную величину, имеющую распределение Стьюдента с $m$ $m$ степенями свободы, в квадрат, то она будет иметь распределение Фишера—Снедекора с $1$ $1$ и $m$ $m$ степенями свободы:

$(t_{m})^{2}=\left({\frac {{\mathcal {N}}(0;1)}{\sqrt {\frac {\chi _{m}^{2}}{m}}}}\right)^{2}={\frac {{\bigl (}{\mathcal {N}}(0;1){\bigr)}^{2}}{\left({\sqrt {\frac {\chi _{m}^{2}}{m}}}\right)^{2}}}={\frac {\chi _{1}^{2}}{\chi _{m}^{2}/m}}={\frac {\chi _{1}^{2}/1}{\chi _{m}^{2}/m}}\sim \mathrm {F} _{1;m}$ $(t_{m})^{2}=\left({\frac {{\mathcal {N}}(0;1)}{{\sqrt {{\frac {\chi _{m}^{2}}{m}}}}}}\right)^{2}={\frac {{\bigl (}{\mathcal {N}}(0;1){\bigr)}^{2}}{\left({\sqrt {{\frac {\chi _{m}^{2}}{m}}}}\right)^{2}}}={\frac {\chi _{1}^{2}}{\chi _{m}^{2}/m}}={\frac {\chi _{1}^{2}/1}{\chi _{m}^{2}/m}}\sim {\mathrm {F}}_{{1;m}}$

Теория вероятностей

Пусть $X_{i}$ $X_{i}$ — одномерная случайная величина . Тогда будут верны следующие утверждения о количестве степеней свободы :

Случайная величина $S^{2}={\frac {\sum \limits _{i}(X_{i}-{\bar {X}})^{2}}{n-1}}$ $S^{2}={\frac {\sum \limits _{i}(X_{i}-{\bar X})^{2}}{n-1}}$ распределена по закону $\chi ^{2}$ $\chi ^{2}$ с $(n-1)$ $(n-1)$ степенями свободы (при этом часто под $S^{2}$ $S^{2}$ подразумевают выборочную дисперсию ${\hat {\sigma }}^{2}$ ${\hat \sigma }^{2}$ ).
Исходя из вышеуказанных обозначений, можно утверждать, что случайная величина ${\frac {X-{\bar {X}}}{\sqrt {\frac {S^{2}}{n}}}}$ ${\frac {X-{\bar X}}{{\sqrt {{\frac {S^{2}}{n}}}}}}$ имеет распределение Стьюдента с $n-1$ $n-1$ степенями свободы ( $t_{n-1}$ $t_{n-1}$ ) .
Случайная величина ${\frac {X-\mathbb {E} (X)}{\sqrt {\frac {{\hat {\sigma }}^{2}}{n}}}}$ ${\frac {X-{\mathbb {E}}(X)}{{\sqrt {{\frac {{\hat \sigma }^{2}}{n}}}}}}$ распределена по закону $\chi ^{2}$ $\chi ^{2}$ с $n$ $n$ степенями свободы.
Случайная величина ${\frac {X-\mathbb {E} (X)}{\sqrt {\frac {\sigma _{X}^{2}}{n}}}}$ ${\frac {X-{\mathbb {E}}(X)}{{\sqrt {{\frac {\sigma _{X}^{2}}{n}}}}}}$ распределена по стандартному нормальному закону ( ${\mathcal {N}}(0;1)$ ${\mathcal {N}}(0;1)$ ), где $\sigma _{X}^{2}$ $\sigma _{X}^{2}$ — истинная дисперсия случайной величины $X$ $X$ .

Замена случайной величины ${\bar {X}}(X_{1};\ldots ;X_{n})$ ${\bar X}(X_{1};\ldots ;X_{n})$ на её истинное математическое ожидание даёт прибавку в одну степень свободы по следующей причине. Рассмотрим случайную величину $\xi _{k}=X_{k}-{\bar {X}}$ $\xi _{k}=X_{k}-{\bar X}$ . Далее, $\sum \limits _{i=1}^{n}\xi _{i}=\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})=\sum \limits _{i=1}^{n}X_{i}-\sum \limits _{i=1}^{n}{\bar {X}}=n{\bar {X}}-n{\bar {X}}=0$ $\sum \limits _{{i=1}}^{n}\xi _{i}=\sum \limits _{{i=1}}^{n}(X_{i}-{\bar X})=\sum \limits _{{i=1}}^{n}X_{i}-\sum \limits _{{i=1}}^{n}{\bar X}=n{\bar X}-n{\bar X}=0$ . Следовательно, имеется $n$ $n$ штук зависимых случайных величин. Поэтому $n-1$ $n-1$ штук величин независимы, поэтому в формуле с ${\bar {X}}$ $\bar X$ в числителе на одну степень свободы меньше, чем в формуле с истинным матожиданием.

Регрессионный анализ

В регрессионном анализе при использовании метода наименьших квадратов сопоставляются наблюдения $Y_{i}$ $Y_{i}$ с расчётными значениями ${\hat {Y}}_{i}$ ${\hat Y}_{i}$ (полученными из уравнения регрессии). Если ${\bar {Y}}$ ${\bar Y}$ — это арифметическое среднее всех наблюдений, то в соответствии с многомерной теоремой Пифагора имеет место равенство:

$\underbrace {\sum \limits _{i}(Y_{i}-{\bar {Y}})^{2}} _{TSS}=\underbrace {\sum \limits _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}} _{ESS}+\underbrace {\sum \limits _{i}(Y_{i}-{\hat {Y}})^{2}} _{RSS}$ $\underbrace {\sum \limits _{i}(Y_{i}-{\bar Y})^{2}}_{{TSS}}=\underbrace {\sum \limits _{i}({\hat Y}_{i}-{\bar Y})^{2}}_{{ESS}}+\underbrace {\sum \limits _{i}(Y_{i}-{\hat Y})^{2}}_{{RSS}}$

При этом $TSS$ $TSS$ (Total Sum of Squares) распределён как $\chi ^{2}$ $\chi ^{2}$ с $(n-1)$ $(n-1)$ степенями свободы, $ESS$ $ESS$ (Estimated Sum of Squares; не путать с Error!) распределён как $\chi ^{2}$ $\chi ^{2}$ с одной степенью свободы, $RSS$ $RSS$ (Residual Sum of Squares; не путать с Regression!) распределён как $\chi ^{2}$ $\chi ^{2}$ с $(n-2)$ $(n-2)$ степенями свободы.