Ковариацио́нная ма́трица (или ма́трица ковариа́ций ) в теории вероятностей — это матрица , составленная из попарных ковариаций элементов одного или двух случайных векторов .

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

Определения

• Пусть ${\displaystyle \mathbf {X} :\Omega \to \mathbb {R} ^{n}}$ , ${\displaystyle \mathbf {Y} :\Omega \to \mathbb {R} ^{m}}$ — два случайных вектора размерности ${\displaystyle n}$ и ${\displaystyle m}$ соответственно. Пусть также случайные величины ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ имеют конечный второй момент ( дисперсию ), то есть ${\displaystyle X_{i},Y_{j}\in L^{2}}$ . Тогда матрицей ковариации векторов ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ называется

${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$

то есть

${\displaystyle \Sigma =(\sigma _{ij})}$ ,

где

${\displaystyle \sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ ,

${\displaystyle \mathbb {E} }$ — математическое ожидание .

• Если ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$ , то ${\displaystyle \Sigma }$ называется матрицей ковариации вектора ${\displaystyle \mathbf {X} }$ и обозначается ${\displaystyle \mathrm {cov} (\mathbf {X} )}$ . Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины , а её след — скалярным выражением дисперсии многомерной случайной величины . В связи с этим используется также обозначение ${\displaystyle V(X)}$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины , аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$ .

• Матрица ковариации случайного вектора неотрицательно определена :

${\displaystyle \mathrm {cov} (\mathbf {X} )\geq 0}$ .

• Смена масштаба:

${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$ .

• Если случайные векторы ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ нескоррелированы ( ${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$ ), то

${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$ .

• Матрица ковариации аффинного преобразования :

${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$ ,

где ${\displaystyle \mathbf {A} }$ — произвольная матрица размера ${\displaystyle n\times n}$ , а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$ .

• Перестановка аргументов:

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$

• Матрица ковариации аддитивна по каждому аргументу:

${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$ ,

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$ .

• Если ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ независимы, то

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$ .

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание ( функция регрессии ) и условная ковариационная матрица.

Пусть случайные векторы ${\displaystyle X}$ и ${\displaystyle Y}$ имеют совместное нормальное распределение с математическими ожиданиями ${\displaystyle \mu _{X},\mu _{Y}}$ , ковариационными матрицами ${\displaystyle V_{X},V_{Y}}$ и матрицей ковариаций ${\displaystyle C_{XY}}$ . Это означает, что объединенный случайный вектор ${\displaystyle {\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\displaystyle {\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},}$ и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

${\displaystyle {\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}}$ где ${\displaystyle C_{YX}=C_{XY}^{T}}$

Тогда случайный вектор ${\displaystyle Y}$ при заданном значении случайного вектора ${\displaystyle X}$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

${\displaystyle E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}}$

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора ${\displaystyle Y}$ от заданного значения x случайного вектора ${\displaystyle X}$ ), причем матрица ${\displaystyle C_{XY}V^{-1}}$ - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора ${\displaystyle Y}$ на вектор ${\displaystyle X}$ .

В случае если ${\displaystyle Y}$ - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии ${\displaystyle Y}$ на вектор ${\displaystyle X}$ )

Примечания