Суще́ственное состоя́ние — это такое состояние цепи Маркова, покинув которое, она всегда может в него вернуться.

Определение

Пусть дана однородная цепь Маркова с дискретным временем ${\displaystyle \{X_{n}\}_{n\geq 0}}$ и дискретным пространством состояний ${\displaystyle \{1,2,\ldots \}}$ . Тогда состояние ${\displaystyle i}$ называется несуще́ственным , если существует состояние ${\displaystyle j}$ и ${\displaystyle n_{ij}\in \mathbb {N} }$ , такие что

${\displaystyle p_{ij}^{(n_{ij})}>0}$ , но ${\displaystyle p_{ji}^{(n)}=0,\quad \forall n\in \mathbb {N} }$ .

В противном случае состояние ${\displaystyle i}$ называется суще́ственным .

Замечание

Несущественные состояния не играют роли при изучении долговременного поведения цепи Маркова, а потому их чаще всего игнорируют.

Пример

Пусть пространство состояний цепи Маркова конечно: ${\displaystyle \{1,2,3,4\}}$ , а матрица переходных вероятностей имеет вид:

${\displaystyle P=\left({\begin{matrix}0&1&0&0\\0&0&0.6&0.4\\0&0&0.5&0.5\\0&0&0.1&0.9\end{matrix}}\right)}$ .

Тогда состояния ${\displaystyle 1}$ и ${\displaystyle 2}$ несущественны, а ${\displaystyle 3}$ и ${\displaystyle 4}$ — существенны.

Примечания