Классификация состояний

Пусть $l_{i j}(n) = \mathbb {P}\left(X_{n} = j, X_{k} \neq i \text{ при } 1 \leq k < n \mid X_{0} = i\right)$ — вероятность того, что цепь переходит из $i$ в $j$ за $n$ шагов, ни разу не вернувшись в $i$. Положив

покажите, что $P_{i j}(s) = P_{i i}(s) L_{i j}(s)$ при $i \neq j$. Выведите отсюда, что времена первого достижения и времена последнего выхода имеют одинаковое распределение для любой марковской цепи, для которой $P_{i i}(s) = P_{j j}(s)$ при всех $i$ и $j$. Приведите пример такой цепи.

Пусть $X$ — марковская цепь, содержащая поглощающее состояние $s$, с которым сообщаются все остальные состояния $i$ в том смысле, что $p_{i s}(n) > 0$ при некотором $n = n(i)$. Покажите, что все состояния, кроме $s$, невозвратны.

Покажите, что состояние $i$ возвратно тогда и только тогда, когда среднее число посещений цепью состояния $i$ при старте из $i$ бесконечно. Иными словами, $i$ возвратно тогда и только тогда, когда $\sum_{n} p_{i i}(n) = \infty$.

Пусть $V_{j} = \left|\left\{ n \geq 1: X_{n} = j\right\} \right|$ — число посещений марковской цепью $X$ состояния $j$, и определим $\eta_{i j} = \mathbb {P}_{i}\left(V_{j} = \infty \right)$. Покажите, что:

Различные состояния $i, j$ марковской цепи называются симметричными, если

где $T_{i} = \min \left\{ n \geq 1: X_{n} = i\right\}$. Покажите, что если $X_{0} = i$ и пара $i, j$ симметрична, то ожидаемое число посещений $j$ до того, как цепь снова попадёт в $i$, равно 1. [Ср. с цитатой, следующей за теоремой (3.10.18).]

Пусть $X$ — марковская цепь, и пусть $T$ — геометрическая случайная величина с $\mathbb {P}\left(T > n\right) = s^{n}$ при $n \geq 0$, независимая от $X$. Рассматривая ожидаемое число посещений цепью $X$ заданного состояния до момента $T$, докажите теорему (6.2.3).

Пусть $X$ — эргодическая марковская цепь, начинающаяся из $a$, и предположим, что $X$ неприводима (в том смысле, что для состояний $i, j$ найдётся $m \geq 0$ такое, что $p_{i j}(m) > 0$). Пусть $a, b, c$ — различные состояния, и пусть $T(a, b, \neg c)$ — время до первого посещения $X$ состояния $b$ без промежуточного посещения $c$. То есть, если $X$ посещает $b$ раньше $c$, то $T(a, b, \neg c)$ равно этому времени, а если $X$ посещает $c$ раньше $b$, то полагаем $T(a, b, \neg c) = \infty$. Пусть

Покажите, что

где, например, $F_{a b}(s)$ — производящая функция вероятностей времени первого достижения $T_{a b}$ из $a$ в $b$ независимо от промежуточных посещений $c$. Покажите далее, что

где, например, $\mu_{a b} = \mathbb {E}_{a}\left[T_{a b}\right]$.