В теории вероятностей два случайных события называются независимыми , если наступление одного из них не изменяет вероятность наступления другого. Аналогично, две случайные величины называют независимыми , если известное значение одной из них не дает информации о другой.

Независимые события

Будем считать, что дано фиксированное вероятностное пространство ${\displaystyle (\Omega ,\;{\mathcal {F}},\;\mathbb {P} )}$ .

Определение 1. Два события ${\displaystyle A,B\in {\mathcal {F}}}$ независимы, если

появление события ${\displaystyle A}$ не меняет вероятности появления события ${\displaystyle B}$ .

Замечание 1. В том случае, если вероятность одного события, скажем ${\displaystyle B}$ , ненулевая, то есть ${\displaystyle \mathbb {P} (B)>0}$ , определение независимости эквивалентно:

${\displaystyle \mathbb {P} (A\mid B)=\mathbb {P} (A),}$

то есть условная вероятность события ${\displaystyle A}$ при условии ${\displaystyle B}$ равна безусловной вероятности события ${\displaystyle A}$ .

Определение 2. Пусть есть семейство (конечное или бесконечное) случайных событий ${\displaystyle \{A_{i}\}_{i\in I}\subset {\mathcal {F}}}$ , где ${\displaystyle I}$ — произвольное индексное множество . Тогда эти события попарно независимы , если любые два события из этого семейства независимы, то есть

${\displaystyle \mathbb {P} (A_{i}\cap A_{j})=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j}),\;\forall i\neq j.}$

Определение 3. Пусть есть семейство (конечное или бесконечное) случайных событий ${\displaystyle \{A_{i}\}_{i\in I}\subset {\mathcal {F}}}$ . Тогда эти события совместно независимы , если для любого конечного набора этих событий ${\displaystyle \{A_{i_{k}}\}_{k=1}^{N}}$ верно:

${\displaystyle \mathbb {P} (A_{i_{1}}\cap \ldots \cap A_{i_{N}})=\mathbb {P} (A_{i_{1}})\cdot \ldots \cdot \mathbb {P} (A_{i_{N}}).}$

Замечание 2. Совместная независимость, очевидно, влечет попарную независимость. Обратное, вообще говоря, неверно.

Пример 1. Пусть брошены три уравновешенные монеты. Определим события следующим образом:

• ${\displaystyle A_{1}}$ : монеты 1 и 2 упали одной и той же стороной;
• ${\displaystyle A_{2}}$ : монеты 2 и 3 упали одной и той же стороной;
• ${\displaystyle A_{3}}$ : монеты 1 и 3 упали одной и той же стороной;

Легко проверить, что любые два события из этого набора независимы. Все же три в совокупности зависимы, ибо зная, например, что события ${\displaystyle A_{1}}$ и ${\displaystyle A_{2}}$ произошли, мы знаем точно, что ${\displaystyle A_{3}}$ также произошло. Более формально: ${\displaystyle \mathbb {P} (A_{i}\cap A_{j})={\frac {1}{4}}={\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j})\quad \forall i\neq j}$ . С другой стороны, ${\displaystyle \mathbb {P} (A_{1}\cap A_{2}\cap A_{3})={\frac {1}{4}}\neq {\frac {1}{2}}\cdot {\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2})\cdot \mathbb {P} (A_{3})}$ .

Независимые сигма-алгебры

Определение 4. Пусть ${\displaystyle {\mathcal {A}}_{1},\;{\mathcal {A}}_{2}\subset {\mathcal {F}}}$ две сигма-алгебры на одном и том же вероятностном пространстве. Они называются независимыми , если любые их представители независимы между собой, то есть:

${\displaystyle \mathbb {P} (A_{1}\cap A_{2})=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2}),\;\forall A_{1}\in {\mathcal {A}}_{1},\;A_{2}\in {\mathcal {A}}_{2}}$ .

Если вместо двух имеется целое семейство (возможно бесконечное) сигма-алгебр, то для него определяется попарная и совместная независимость очевидным образом.

Независимые случайные величины

Определения

Определение 5. Пусть дано семейство случайных величин ${\displaystyle (X_{i})_{i\in I}}$ , так что ${\displaystyle X_{i}\colon \Omega \to \mathbb {R} ,\;\forall i\in I}$ . Тогда эти случайные величины попарно независимы , если попарно независимы порождённые ими сигма-алгебры ${\displaystyle \{\sigma (X_{i})\}_{i\in I}}$ . Случайные величины независимы в совокупности , если таковы порождённые ими сигма-алгебры.

Следует отметить, что на практике, если это не выводится из контекста, считается, что независимость означает независимость в совокупности .

Определение, данное выше, эквивалентно любому другому из нижеперечисленных. Две случайные величины ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда :

• Для любых ${\displaystyle A,\;B\in {\mathcal {B}}(\mathbb {R} )}$ :

${\displaystyle \mathbb {P} (X\in A,\;Y\in B)=\mathbb {P} (X\in A)\cdot \mathbb {P} (Y\in B)=\mathbb {P} (\left\{\omega :X(\omega )\in A,~\omega \in \Omega \right\})\cdot \mathbb {P} (\left\{\omega :Y(\omega )\in B,~\omega \in \Omega \right\}).}$

• Для любых борелевских функций ${\displaystyle f,\;g\colon \mathbb {R} \to \mathbb {R} }$ случайные величины ${\displaystyle f(X),\;g(Y)}$ независимы.
• Для любых ограниченных борелевских функций ${\displaystyle f,\;g\colon \mathbb {R} \to \mathbb {R} }$ :

${\displaystyle \mathbb {E} \left[f(X)g(Y)\right]=\mathbb {E} \left[f(X)\right]\cdot \mathbb {E} \left[g(Y)\right].}$

Свойства независимых случайных величин

• Пусть ${\displaystyle \mathbb {P} ^{X,\;Y}}$ — распределение случайного вектора ${\displaystyle (X,\;Y)}$ , ${\displaystyle \mathbb {P} ^{X}}$ — распределение ${\displaystyle X}$ и ${\displaystyle \mathbb {P} ^{Y}}$ — распределение ${\displaystyle Y}$ . Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} ^{X,\;Y}=\mathbb {P} ^{X}\otimes \mathbb {P} ^{Y},}$

где ${\displaystyle \otimes }$ обозначает (прямое) произведение мер .

• Пусть ${\displaystyle F_{X,\;Y},\;F_{X},\;F_{Y}}$ — кумулятивные функции распределения ${\displaystyle (X,\;Y),\;X,\;Y}$ соответственно. Тогда ${\displaystyle X,\;Y}$ независимы тогда и только тогда, когда

${\displaystyle F_{X,\;Y}(x,\;y)=F_{X}(x)\cdot F_{Y}(y).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ дискретны . Тогда они независимы тогда и только тогда, когда

${\displaystyle \mathbb {P} (X=i,\;Y=j)=\mathbb {P} (X=i)\cdot \mathbb {P} (Y=j).}$

• Пусть случайные величины ${\displaystyle X,\;Y}$ совместно абсолютно непрерывны, то есть их совместное распределение имеет плотность ${\displaystyle f_{X,\;Y}(x,\;y)}$ . Тогда они независимы тогда и только тогда, когда

${\displaystyle f_{X,\;Y}(x,\;y)=f_{X}(x)\cdot f_{Y}(y),\;\forall (x,\;y)\in \mathbb {R} ^{2}}$ ,

где ${\displaystyle f_{X}(x),\;f_{Y}(y)}$ — плотности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$ соответственно.

• Пусть случайные величины ${\displaystyle X,\;Y}$ — независимы и обладают конечной дисперсией . Тогда они не являются коррелированными .
• Любой набор независимых в совокупности случайных величин является попарно независимым, но не все попарно независимые наборы являются независимыми в совокупности. Последнее демонстрирует пример с подбрасыванием монетки , приведённый Бернштейном С. Н.

n-арная независимость

В общем случае для любого ${\displaystyle n\geqslant 2}$ можно говорить о ${\displaystyle n}$ -арной независимости. Идея схожа: семейство случайных величин является ${\displaystyle n}$ -арно независимым, если любое его подмножество мощности ${\displaystyle n}$ является независимым в совокупности. ${\displaystyle n}$ -арная независимость использовалась в теоретической информатике для доказательства теоремы о задаче .

См. также

• Произведение мер
• Теорема Тонелли — Фубини
• Лемма Бореля — Кантелли
• Закон нуля или единицы Колмогорова
• Копула

Ссылки

• Russell, Stuart. / Stuart Russell, Peter Norvig. — Prentice Hall , 2002. — P. . — ISBN 0-13-790395-2 .