Скачкообразные марковские процессы

Доказать, что процесс Пуассона с интенсивностью $\lambda$ является однородным скачкообразным марковским процессом. Найти переходную функцию этого процесса.

Доказать, что переходные вероятности однородного скачкообразного марковского процесса удовлетворяют уравнению Колмогорова — Чепмена:

Доказать, что в случае дифференцируемости переходные вероятности однородного скачкообразного марковского процесса с конечным числом состояний удовлетворяют прямым уравнениям Колмогорова

а также обратным уравнениям Колмогорова

Пусть однородный скачкообразный марковский процесс имеет два состояния 0 и 1, где, к примеру, 0 означает, что некоторый субъект здоров, а 1 — что он болен. Найти переходные вероятности, если матрица переходных интенсивностей равна

при некоторых $\lambda , \mu > 0$. Найти предел переходных вероятностей $p_{ij}(t)$ при $t \to \infty$.

Пусть $\xi (t)$ — однородный скачкообразный марковский процесс с матрицей интенсивностей перехода $Q = \left\| q_{ij}\right\|$. Доказать, что если в момент времени $t$ процесс $\xi (\cdot )$ находится в состоянии $x_{i}$, то распределение времени до следующего скачка процесса является экспоненциальным с параметром $q_{ii}$, независимо от предыстории процесса до момента $t$, а в момент следующего скачка процесс переходит в состояние $x_{j} \neq x_{i}$ с вероятностью $-q_{ij}/q_{ii}$ независимо от времени скачка и от предыстории процесса до него.

В условиях предыдущей задачи положим $T_{0} = 0$, $T_{n}$ — время $n$-го скачка процесса $\xi (\cdot )$. Доказать, что при условии $\xi (T_{n}) = x_{i}$ величина $T_{n+1} - T_{n}$ имеет экспоненциальное распределение с параметром $q_{ii}$ и не зависит от предыстории процесса до момента времени $T_{n}$.

Доказать, что в условиях предыдущей задачи последовательность $\xi_{n}^{*} = \xi (T_{n})$ является цепью Маркова. Найти вероятности перехода этой вложенной цепи Маркова.

Доказать, что для вложенной цепи Маркова $\xi_{n}^{*}$ состояния $x_{i}$ и $x_{j}$ являются сообщающемися тогда и только тогда, когда $p_{ij}(t) > 0$ при всех $t > 0$.

Пусть скачкообразный марковский процесс со значениями 1, 2, 3, 4 и 5 определяется матрицей переходных интенсивностей

Найти матрицу переходных вероятностей и классифицировать состояния.

Некоторая частица перемещается между тремя состояниями как однородный скачкообразный марковский процесс с матрицей переходных интенсивностей

Найти вероятности перехода за время $t$ и их пределы при $t \to \infty$.

Однородный скачкообразный марковский процесс с тремя значениями задаётся матрицей переходных интенсивностей

Однородный скачкообразный марковский процесс со значениями 1, 2, 3, 4, 5 и 6 задан матрицей переходных интенсивностей

Динамика системы задаётся скачкообразным марковским процессом с переходными интенсивностями

Показать, что все состояния процесса являются сообщающими, и найти его стационарное распределение.

Пусть $\xi (t)$ — целочисленное случайное блуждание в непрерывном времени с задерживающим барьером в состоянии 0, т.е. скачкообразный марковский процесс с переходными интенсивностями $q_{i,i+1} = \lambda > 0$ при $i \geq 0$, $q_{i,i-1} = \mu > 0$ при $i \geq 1$, $q_{ii} = -(\lambda +\mu )$ при $i \geq 1$, $q_{00} = -\lambda$, $q_{ij} = 0$ для всех других $j \neq i$. Показать, что стационарное распределение процесса $\xi (t)$ существует тогда и только тогда, когда $\lambda < \mu$, и найти его в этом случае.

Пусть $\xi (t)$ — процесс рождения и гибели в непрерывном времени в пространстве состояний $\mathbb {Z}^{+}$, т.е. однородный скачкообразный марковский процесс с переходными интенсивностями $q_{i,i+1} = \lambda_{i}$ при $i \geq 0$ (вероятность рождения в состоянии $i$), $q_{i,i-1} = \mu_{i}$ при $i \geq 1$ (вероятность гибели), $q_{ii} = -(\lambda +\mu )_{i}$ при $i \geq 1$, $q_{00} = 0$, $q_{ij} = 0$ для всех других $j \neq i$. Под $\lambda$ можно понимать интенсивность рождения потомка одним индивидуумом, а под $\mu$ — интенсивность гибели одного индивидуума. С помощью вложенной цепи Маркова показать, что 0 является поглощающим состоянием процесса, и найти вероятность поглощения в нуле процесса, стартующего из произвольного состояния $i > 0$.

На фабрике $M$ машин, каждая из работающих в момент времени $t$ машин с вероятностью $\mu h + o(h)$ может сломаться в интервале времени $(t, t+h)$ — независимо от того, что происходило до момента времени $t$. Инженер ремонтирует каждую из сломанных машин. Если в момент $t$ есть хотя бы одна сломанная машина, то вероятность того, что в интервале времени $(t, t+h)$ ровно одна из них будет отремонтирована, есть $\lambda h + o(h)$ — опять независимо от истории процесса до момента времени $t$ и от работающих машин. Пусть $\xi (t)$ — количество машин в рабочем состоянии в момент времени $t$.

Однородный скачкообразный марковский процесс $\xi (t)$ со значениями 1, 2, 3, 4, 5 и 6 задаётся матрицей переходных интенсивностей