Эргодическая цепь Маркова

Определение

Пусть $\{X_n\}_{n \ge 0}$ - однородная цепь Маркова с дискретным временем и счётным числом состояний. Обозначим

$p_{ij}^{(n)} = \mathbb{P} (X_n = j \mid X_0 = i)$

переходные вероятности за n шагов. Если существует дискретное распределение $\pi = (\pi_1,\pi_2,\ldots )^{\top}$, такое что $\pi_i > 0,\; i \in \mathbb{N}$ и

$\lim\limits_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall i=1,2, \ldots$,

то оно называется эргоди́ческим распределе́нием, а сама цепь называется эргоди́ческой.

Основная теорема об эргодических распределениях

Пусть $\{X_n\}_{n \ge 0}$ - цепь Маркова с дискретным пространством состояний и матрицей переходных вероятностей $P = (p_{ij}),\; i,j=1,2,\ldots$. Тогда эта цепь является эргодической тогда и только тогда, когда она

1. неразложима;
2. положительно возвратна;
3. апериодична.

Эргодическое распределение $\mathbf{\pi}$ тогда является единственным решением системы:

$\sum\limits_{i=0}^{\infty} \pi_i = 1,\; \pi_j \ge 0,\; \pi_j = \sum\limits_{i=0}^{\infty} \pi_i\, p_{ij},\quad \, j\in \mathbb{N}$.

См. также

• Стационарное распределение.