Цепные марковские процессы с непрерывным временем

Пусть $\lambda \mu > 0$, и пусть $X$ — марковская цепь на $\left\{ 1,2\right\}$ с генератором

В продолжение предыдущего упражнения найдите:

Задания поступают в компьютерную очередь в соответствии с пуассоновским процессом интенсивности $\lambda$. Центральный процессор обрабатывает их одно за другим в порядке поступления, и время выполнения каждого имеет показательное распределение с параметром $\mu$, причём времена выполнения разных заданий независимы друг от друга и от процесса поступления. Пусть $X(t)$ — число заданий в системе (выполняющихся или ожидающих) в момент времени $t$, где $X(0) = 0$. Объясните, почему $X$ — марковская цепь, и запишите её генератор. Покажите, что стационарное распределение существует тогда и только тогда, когда $\lambda < \mu$, и найдите его в этом случае.

Пусть $X = \left\{ X(t): t \geq 0\right\}$ — марковская цепь со стационарным распределением $\mathbf{\pi }$. Мы можем выбирать значения $X$ в моменты пуассоновского процесса: пусть $N$ — пуассоновский процесс с интенсивностью $\lambda$, независимый от $X$, и определим $Y_{n} = X\left(T_{n}\right)$. Покажите, что $Y = \left\{ Y_{n}: n \geq 0\right\}$ — дискретная марковская цепь с тем же стационарным распределением, что и $X$. (Это иллюстрирует свойство PASTA: пуассоновские поступления видят усреднённые по времени характеристики.) [Полное предположение о независимости $N$ и $X$ не является необходимым для этого вывода. Достаточно, чтобы $\left\{ N(s): s \geq t\right\}$ было независимо от $\left\{ X(s): s \leq t\right\}$ — свойство, известное как «отсутствие предвидения». Не требуется даже, чтобы $X$ была марковской; свойство PASTA выполняется для многих подходящих эргодических процессов.]

Пусть $X$ — марковская цепь с непрерывным временем с генератором $\mathbf{G}$, удовлетворяющим $g_{i} = -g_{i i} > 0$ при всех $i$. Пусть $H_{A} = \inf \left\{ t \geq 0: X(t) \in A\right\}$ — время достижения множества состояний $A$, и пусть $\eta_{j} = \mathbb {P}_{j}\left(H_{A} < \infty \right)$ — вероятность когда-либо достичь $A$, начав из $j$. Используя свойства цепи скачков, которую можно считать «благополучной», покажите, что $\sum_{k} g_{j k} \eta_{k} = 0$ при $j \notin A$.

В продолжение предыдущего упражнения пусть $\mu_{j} = \mathbb {E}_{j}\left[H_{A}\right]$. Покажите, что вектор $\mathbf{\mu }$ является минимальным неотрицательным решением уравнений

Пусть $X$ — марковская цепь с непрерывным временем и переходными вероятностями $p_{i j}(t)$, и определим $F_{i} = \inf \left\{ t > T_{1}: X(t) = i\right\}$, где $T_{1}$ — момент первого скачка $X$. Покажите, что если $g_{i i} \neq 0$, то $\mathbb {P}_{i}\left(F_{i} < \infty \right) = 1$ тогда и только тогда, когда $i$ возвратно.

Пусть $X$ — простое симметричное случайное блуждание по целым числам в непрерывном времени, так что

Покажите, что это блуждание возвратно. Пусть $T$ — время, проведённое в $m$ за время экскурсии из 0. Найдите распределение $T$.

Пусть $i$ — невозвратное состояние марковской цепи с непрерывным временем $X$ с $X(0) = i$. Покажите, что суммарное время, проведённое в состоянии $i$, имеет показательное распределение.

Пусть $X$ — асимметричное простое случайное блуждание в непрерывном времени по неотрицательным целым числам с удержанием в $0$, так что

Предположим, что $X(0) = 0$ и $\lambda > \mu$. Покажите, что суммарное время $V_{r}$, проведённое в состоянии $r$, имеет показательное распределение с параметром $\lambda -\mu$.

Предположим теперь, что $X(0)$ имеет некоторое общее распределение с производящей функцией вероятностей $G$. Найдите ожидаемое количество времени, проведённого в 0, через $G$.

Пусть $X$ — марковская цепь с непрерывным временем на конечном пространстве состояний $S$ с генератором $\mathbf{G} = \left(g_{i j}\right)$. Покажите из первых принципов, что переходные вероятности удовлетворяют

Пусть $X$ — марковская цепь на целых числах $\mathbb {Z}$ с генератором, удовлетворяющим $g_{i, i-1} = g_{i, i+1} = 2^{i}$ при $i \in \mathbb {Z}$, и $g_{i, j} = 0$ для остальных пар $(i, j)$ с $i \neq j$. Взрывается ли $X$?

Популяция растёт под угрозой полного уничтожения. Она моделируется марковской цепью с генератором $\mathbf{G} = \left(g_{i j}\right)$, удовлетворяющим

причём остальные внедиагональные элементы $\mathbf{G}$ равны 0. Покажите, что эта цепь нуль-возвратна.

Пусть $Z_{n} = X(n h)$, где $X$ — марковская цепь и $h > 0$. Покажите, что $i$ возвратно для $Z$ тогда и только тогда, когда оно возвратно для $X$. Покажите, что $Z$ неприводима тогда и только тогда, когда $X$ неприводима.