Возвра́тное состоя́ние — это состояние марковской цепи , посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем ${\displaystyle \{X_{n}\}_{n\geq 0}}$ . Пусть

${\displaystyle f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1\mid X_{0}=i)}$

— вероятность , выйдя из состояния ${\displaystyle i}$ , вернуться в него ровно за ${\displaystyle n}$ шагов. Тогда

${\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)}}$

— вероятность, выйдя из состояния ${\displaystyle i}$ , вернуться в него (за конечное или бесконечное время).

Состояние ${\displaystyle i}$ называется возвра́тным (рекурре́нтным) , если ${\displaystyle f_{ii}=1}$ . В противном случае состояние называется невозвра́тным (транзие́нтным) .

Критерий возвратности

Состояние ${\displaystyle i}$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. ${\displaystyle \sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty }$ , где ${\displaystyle p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)}$ .
2. ${\displaystyle \mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1}$ .

Соответственно, состояние ${\displaystyle i}$ невозвратно тогда и только тогда, когда выполнено любое из условий:

1. ${\displaystyle \sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty }$ .
2. ${\displaystyle \mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0}$ .

Время возвращения

Предположим, что ${\displaystyle X_{0}=i}$ почти всюду , и определим случайную величину ${\displaystyle T_{i}}$ , равную времени первого возвращения в состояние ${\displaystyle i}$ , то есть

${\displaystyle T_{i}=\inf\{n\geq 1\mid X_{n}=i\}}$ .

Тогда ${\displaystyle T_{i}}$ имеет дискретное распределение , задаваемое функцией вероятности

${\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)}}$ .

Возвратное состояние ${\displaystyle i}$ называется положи́тельным , если

${\displaystyle \mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty }$ ,

и нулевы́м , если

${\displaystyle \mathbb {E} [T_{i}]=\infty }$ .

Возвратность неразложимого класса

• Если состояния ${\displaystyle i}$ и ${\displaystyle j}$ сообщаются , и ${\displaystyle i}$ — возвратно, то состояние ${\displaystyle j}$ также возвратно.
• Более того если состояние ${\displaystyle i}$ положительно, то и состояние ${\displaystyle j}$ также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса . Если Марковская цепь неразложима, то говорят о её возвратности и положительности.

Примечания