Возвратное состояние

Возвра́тное состоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n\}_{n \ge 0}$. Пусть

$f_{ii}^{(n)} = \mathbb{P}(X_n = i,\; X_k \not= i, \, k=1,\ldots, n-1 \mid X_0 = i )$

— вероятность, выйдя из состояния $i$, вернуться в него ровно за $n$ шагов. Тогда

$f_{ii} = \sum\limits_{n=1}^{\infty} f_{ii}^{(n)}$

— вероятность, выйдя из состояния $i$, вернуться в него (за конечное или бесконечное время).

Состояние $i$ называется возвра́тным (рекурре́нтным), если $f_{ii} = 1$. В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратности

Состояние $i$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. $\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} = \infty$, где $p_{ii}^{(n)} = \mathbb{P}(X_n = i \mid X_0 = i)$.
2. $\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 1$.

Соответственно, состояние $i$ невозвратно тогда и только тогда, когда выполнено любое из условий:

1. $\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} < \infty$.
2. $\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 0$.

Время возвращения

Предположим, что $X_0 = i$ почти всюду, и определим случайную величину $T_i$, равную времени первого возвращения в состояние $i$, то есть

$T_i = \inf\{n \ge 1 \mid X_n = i \}$.

Тогда $T_i$ имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb{P}(T_i = n) = f_{ii}^{(n)}$.

Возвратное состояние $i$ называется положи́тельным, если

$\mathbb{E}[T_i] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} < \infty$,

и нулевы́м, если

$\mathbb{E}[T_i] = \infty$.

Возвратность неразложимого класса

• Если состояния $i$ и $j$ сообщаются, и $i$ — возвратно, то состояние $j$ также возвратно.
• Более того если состояние $i$ положительно, то и состояние $j$ также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.

Для улучшения этой статьи по математике желательно?: Проставить интервики в рамках проекта Интервики. Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное.