Неразложимая цепь Маркова

Определение

Пусть $\{X_n\}_{n \in \mathbb{N}}$ — однородная цепь Маркова с дискретным временем. Состояние j называется достижи́мым из состояния i, если существует n = n(i,j) такое, что

$p_{ij}^{(n)}\equiv \mathbb{P}(X_n = j \mid X_0 = i) > 0$.

Пишут $i \rightarrow j$.

Сообщающиеся состояния

• Состояния i и j называются сообща́ющимися, если $i \rightarrow j$ и $j \rightarrow i$. Пишем: $i \leftrightarrow j$.

• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.

• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

• Пусть $\{X_n\}_{n \ge 0}$ - цепь Маркова с тремя состояниями {1,2,3}, и её матрица переходных вероятностей имеет вид

$P = \left( \begin{matrix} 0.5 & 0.5 & 0 \\ 0.1 & 0.9 & 0 \\ 0 & 0 & 1 \end{matrix} \right).$

Состояния этой цепи образуют два неразложимых класса: {1,2} и {3}. В частности, $1 \leftrightarrow 2$, но $1 \not\rightarrow 3$ и $3 \not\rightarrow 1$.

• Цепь Маркова, задаваемая матрицей переходных вероятностей

$P = \left( \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{matrix} \right)$,

неразложима.