Определение

Пусть ${\displaystyle \{X_{n}\}_{n\in \mathbb {N} }}$ — однородная цепь Маркова с дискретным временем. Состояние ${\displaystyle j}$ называется достижи́мым из состояния ${\displaystyle i}$ , если существует ${\displaystyle n=n(i,j)}$ такое, что

${\displaystyle p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0}$ .

Пишут ${\displaystyle i\rightarrow j}$ .

Сообщающиеся состояния

• Состояния ${\displaystyle i}$ и ${\displaystyle j}$ называются сообща́ющимися , если ${\displaystyle i\rightarrow j}$ и ${\displaystyle j\rightarrow i}$ . Пишем: ${\displaystyle i\leftrightarrow j}$ .
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности . Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами . Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой .
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные , либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

• Пусть ${\displaystyle \{X_{n}\}_{n\geq 0}}$ — цепь Маркова с тремя состояниями ${\displaystyle \{1,2,3\}}$ , и её матрица переходных вероятностей имеет вид

${\displaystyle P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).}$

Состояния этой цепи образуют два неразложимых класса: ${\displaystyle \{1,2\}}$ и ${\displaystyle \{3\}}$ . В частности, ${\displaystyle 1\leftrightarrow 2}$ , но ${\displaystyle 1\not \rightarrow 3}$ и ${\displaystyle 3\not \rightarrow 1}$ .

• Цепь Маркова, задаваемая матрицей переходных вероятностей

${\displaystyle P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)}$ ,

неразложима.

Примечания