Марковские процессы. Дискретное и непрерывное время

Докажите, что определение (1) равносильно тому, что для каждого $s \in T$ и любых $A \in \mathscr {F}_{s}, B \in \mathscr {F}_{ \geqslant s}$ выполнено равенство

Определение 1: процесс $X$, согласованный с фильтрацией $\left(\mathscr {F}_{t}\right)_{t \in T}$, называется марковским (по отношению к этой фильтрации и мере $\mathbb {P}$), если для каждого $s \in T$ и любого события $C \in \mathscr {F}_{ \geqslant s} = \sigma \left\{ X_{u}, u \geqslant s, u \in T\right\}$

Заметим, что, если $\left(\mathscr {F}_{s}\right)_{s \in T}$ — естественная фильтрация марковского процесса $X = \left\{ X_{t}, t \in T\right\}$, то определение марковости в виде выполнимости свойства (83) имеет симметричный (по отношению к "прошлому" и "будущему") характер и означает условную независимость "прошлого" и "будущего" процесса $X$ при фиксированном "настоящем".

Пусть $X = \left\{ X_{t}, t \in T\right\}$ — марковский процесс, $T \subset \mathbb {R}$. Объясните, почему $\left\{ X_{t}, t \in U\right\}$, где $U \subset T$, также марковский процесс. В частности, если $\left\{ X_{t}, t \geqslant 0\right\}$ — марковский процесс, то для любого $\Delta > 0$ процесс $X^{\Delta } = \left\{ X_{k \Delta }, k \geqslant 0\right\}$ будет марковским. Верно ли обратное утверждение?

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ — марковский процесс со значениями при каждом $t$ в измеримом пространстве ( $\mathrm{S}, \mathscr {B})$. Пусть $(\mathrm{V}, \mathscr {E})$ — измеримое пространство и $h_{t}: \mathrm{S} \rightarrow \mathrm{V}, h_{t} \in \mathscr {B} \mid \mathscr {E}, t \geqslant 0$. Докажите, что если $h_{t}$ для каждого $t \geqslant 0$ является взаимно-однозначным отображением, то $Y = \left\{ Y_{t} = h_{t}\left(X_{t}\right), t \geqslant 0\right\}$ также есть марковский процесс. Приведите пример, показывающий, что если отказаться от условия взаимной однозначности отображения $h_{t}$, то это утверждение может не выполняться.

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ — марковский процесс со значениями в $S \subset \mathbb {R}$. Положим $Y_{t} = \left[X_{t}\right]$, где $\left[\cdot \right]$ — целая часть числа. Можно ли утверждать, что процесс $Y = \left\{ Y_{t}, t \geqslant 0\right\}$ является марковским?

(сравните с упражнением 3). Пусть $W = \left\{ W(t) = \left(W_{1}(t), \ldots , W_{m}(t)\right), t \geqslant 0\right\}$ есть $m$-мерное броуновское движение и $X_{m} = \left\{ X_{m}(t) = \left(\sum_{k = 1}^{m} W_{k}^{2}(t)\right)^{1 / 2}, t \geqslant 0\right\}$ — процесс Бесселя, т.е. радиальная часть процесса $W$. Будет ли процесс $X_{m}$ марковским? Отметим, что $X_{1}(t) = \left|W_{1}(t)\right|$ при $t \geqslant 0, m = 1$.

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ и $Y = \left\{ Y_{t}, t \geqslant 0\right\}$ — действительные марковские процессы. Будут ли процессы $X+Y = \left\{ X_{t}+Y_{t}, t \geqslant 0\right\}$ и $X Y = \left\{ X_{t} Y_{t}, t \geqslant 0\right\}$ марковскими? Что можно сказать о частном случае, когда $Y_{t} = c(t)$, где $c(t)$ — детерминированная функция?

Пусть $\left\{ X_{k}, k = 0,1, \ldots \right\}$ — действительный марковский процесс. Положим $X_{t} = (t-k) X_{k}+(k+1-t) X_{k+1}$ для $t \in [k, k+1), k = 0,1, \ldots$, т. е. рассмотрим на $[0, \infty )$ непрерывную ломаную с узлами $\left(k, X_{k}\right)$. Будет ли процесс $X = \left\{ X_{t}, t \geqslant 0\right\}$ марковским? Будет ли марковским процесс $Y = \left\{ Y_{t} = X_{\left[t\right]}, t \geqslant 0\right\}$, где $\left[\cdot \right]$ — целая часть числа?

Пусть $\xi_{1}, \xi_{2}, \ldots$ — независимые одинаково распределенные случайные величины, принимающие значения 1 и -1 с вероятностью $1 / 2$. Положим $S_{0} = 0$, $S_{n} = \xi_{1}+\cdots +\xi_{n}, n \geqslant 1$, и $X_{n} = \max_{0 \leqslant k \leqslant n} S_{k}$. Докажите, что процесс $X = \left\{ X_{n}, n \geqslant 0\right\}$ не является марковским.

Приведите пример мартингала, не являющегося марковским процессом. Постройте пример действительного марковского процесса $X = \left\{ X_{t}, t \in T\right\}$ с $\mathbb {E}\left[\left|X_{t}\right|\right] < \infty$ при всех $t \in T$, который не является мартингалом.

Пусть $\eta , \xi_{1}, \xi_{2}, \ldots$ — независимые величины, причем $\xi_{1}, \xi_{2}, \ldots$ равномерно распределены на $[0,1]$, а $\eta$ — действительная случайная величина с функцией распределения $F_{\eta }(x)$. Положим $S_{n} = 1$, если $\xi_{n} \leqslant \eta$, и $S_{n} = -1$, если $\xi_{n} > \eta (n = 1,2, \ldots )$. Будет ли $\left\{ S_{n}, n \geqslant 1\right\}$ однородным марковским процессом?

Верно ли, что действительный гауссовский процесс $X = \left\{ X_{t}, t \geqslant 0\right\}$ является марковским, если условие (12) выполнено лишь для функции $f(x) \equiv x, x \in \mathbb {R}$ ?

Докажите, что действительный гауссовский процесс $X = \left\{ X_{t}, t \in T\right\}$, $T \subset \mathbb {R}$, будет марковским тогда и только тогда, когда для любых $t_{1} < t_{2} < t_{3} \left(t_{1}, t_{2}, t_{3} \in T\right)$ справедливо равенство

где $r(s, t) = \operatorname {cov}\left(X_{s}, X_{t}\right), s, t \in T$. Будет ли марковским процессом фрактальное броуновское движение?

Является ли процесс Орнштейна-Уленбека (определение 13 главы III) однородным марковским процессом?

Определение 13 главы III. Процессом Орнштейна-Уленбека с параметрами $\alpha , \beta > 0$ называется процесс, задаваемый формулой

где $W = \left\{ W(t), t \geqslant 0\right\}$ — некоторое стандартное броуновское движение.

Пусть $\mathbb {P}\left(X_{0} = 1\right) = \mathbb {P}\left(X_{0} = -1\right) = 1 / 2$, причем $X_{0}$ не зависит от пуассоновского процесса $N = \left\{ N_{t}, t \geqslant 0\right\}$ интенсивности $\lambda > 0$. Пусть процесс $X = \left\{ X_{t}, t \geqslant 0\right\}$ меняет свое значение на значение противоположного знака в точках скачков пуассоновского процесса. Будет ли процесс $X$, называемый телеграфным сигналом, марковским? Нарисуйте график траектории этого процесса.

Для $x \geqslant 0$ пусть $\tau_{x} = \inf \left\{ t \geqslant 0: W(t) = x\right\}$, где $W = \left\{ W(t), t \geqslant 0\right\}$ — винеровский процесс. Докажите, что процесс $\left\{ \tau_{x}, x \geqslant 0\right\}$ есть процесс с независимыми приращениями (следовательно, марковский по теореме 3 ).

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ — марковский процесс. Для $s > 0$ определим процесс $Y = \left\{ Y_{t} = X_{s-t}, t \in [0, s]\right\}$. Будет ли $Y$ марковским процессом? Обязан ли процесс $Y$ быть однородным процессом, если таковым является $X$ ?

Докажите, что броуновский мост (см. определение в $\S 9$ главы V) — это неоднородный марковский процесс.

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ — случайньй процесс на $[0, \infty )$, и

Докажите, что процессы $X$ и $Y$ могут быть марковскими только одновременно. Докажите, что если $Y$ — марковский процесс, то этот процесс обязательно является однородным. Как связаны переходные функции марковских процессов $X$ и $Y$ ?

Интересно отметить, что к одним и тем же конечномерным распределениям марковского процесса могут приводить разные переходные функции, как показывает

Пример 3. Пусть $\mathrm{S} = \mathbb {R}, \mathscr {B} = \mathscr {B}(\mathbb {R}), T = [0, \infty )$. Возьмем начальное распределение $\mathbb {Q} = \delta_{0}$ (мера Дирака, сосредоточенная в точке 0 ). Для $x \in \mathbb {R}, t \geqslant 0, B \in \mathscr {B}(\mathbb {R})$ введем функции

где $\operatorname {sgn} x$ определяется согласно (IV.16).

Легко видеть, что $P$ и $\widetilde{P}$ обладают свойствами $\left.1^{\circ }\right)-4^{\circ }$ ), приведенными в $\S 12$, и, следовательно, являются переходными функциями. Пользуясь формулой (35), получаем, что $P$ и $\widetilde{P}$ приводят к конечномерным распределениям процесса, тождественно равного нулю.

Пусть $X = \left\{ X_{t}, t \geqslant 0\right\}$ — однородньй марковский процесс со значениями (при каждом $t$ ) в некотором польском пространстве $\mathrm{S}$. Докажите, что существуют измеримые функции $h_{s}: \mathrm{S} \times [0,1] \rightarrow \mathrm{S}, s \geqslant 0$ (т.е. $h_{s} \in \mathscr {B}(\mathrm{S}) \otimes \mathscr {B}([0,1]) \mid \mathscr {B}(\mathrm{S}), s \geqslant 0)$ и равномерно распределенные величины $\theta_{t, s}$, независящие от $\left\{ X_{u}, 0 \leqslant u \leqslant t\right\}$ при $t, s \geqslant 0$, такие, что $X_{t+s} = h_{s}\left(X_{t}, \theta_{t, s}\right)$ п. н. для всех $t, s \geqslant 0$.

Пусть однородный марковский процесс принимает значения в $\mathbb {R}^{m}$ и его переходная функция такова, что $P(x, t, B) = P(x+y, t, B+y)$ для всех $x, y \in \mathbb {R}^{m}$, $t \geqslant 0, B \in \mathscr {B}\left(\mathbb {R}^{m}\right)$. Докажите, что тогда этот процесс имеет независимые приращения.

Докажите, что для стандартного пуассоновского процесса интенсивности $\lambda > 0$ имеет место "усиленный закон больших чисел": $N(t) / t \rightarrow \lambda$ п. н. при $t \rightarrow \infty$.

("парадокс времени ожидания") Пусть пуассоновский процесс $N = \left\{ N_{t}, t \geqslant 0\right\}$ строится согласно теореме 2 главы II по последовательности $\left\{ \xi_{j}\right\}$ независимых экспоненциальных (с параметром $\lambda$ ) случайных величин. Найдите при фиксированном $t > 0$ распределение случайной величины $\zeta_{t} = \sum_{j = 1}^{N_{t}+1} \xi_{j}-t$, т. е. величины "перескока" за уровень $t$ накапливающихся частных сумм $S_{k} = \sum_{j = 1}^{k} \xi_{j}, k \geqslant 1$. С этой задачей связан следующий занятный вопрос. Пусть $\xi_{j}$ — это случайные интервалы между временами прихода автобусов на данную остановку. Спрашивается, сколько времени Вы будете ждать появления ближайшего автобуса, если оказались на остановке в момент $t$ ?

(продолжение упражнения 22) Докажите, что для каждого фиксированного $t > 0$ введенные выше величины $\zeta_{t}, \xi_{N_{t}+2}, \xi_{N_{t}+3}, \ldots$ образуют последовательность независимых экспоненциально распределенных случайных величин с параметром $\lambda$.

В связи с пуассоновским процессом обсудим более детально элементарную конструкцию точечного случайного процесса без кратных точек.

Пусть на некотором вероятностном пространстве $(\Omega , \mathscr {F}, \mathbb {P})$ задана последовательность случайных величин $\left\{ \tau_{k}\right\}_{k} \geqslant 1$ таких, что для $\omega \in \Omega_{0}$, где $\mathbb {P}\left(\Omega_{0}\right) = 1$,

Определение 11. Точечная случайная мера $\mu : \mathscr {B}\left(\mathbb {R}_{+}\right) \times \Omega \rightarrow \overline{\mathbb {Z}}_{+} = \mathbb {Z}_{+} \cup \left\{ \infty \right\}$ задается формулой

где последовательность $\left\{ \tau_{k}\right\}_{k \geqslant 1}$ описана вьше, $\delta_{x}$ — мера Дирака.

При каждом фиксированном $\omega \in \Omega_{0}$, очевидно, $\mu (\cdot , \omega )$ есть целочисленная мера на $\mathscr {B}\left(\mathbb {R}_{+}\right)$. Условие (84) влечет, что $\mu (\cdot , \omega )$ для каждого $\omega \in \Omega_{0}$ является мерой Радона, т.е. мерой, конечной на компактных подмножествах $\mathbb {R}_{+}$, а, следовательно, $\mu (\cdot , \omega )$ есть $\sigma$-конечная мера на $\mathscr {B}\left(\mathbb {R}_{+}\right)$для этих $\omega$.

Заметим, что приведенная конструкция дает случайную точечную меру без кратных точек, т.е. меру, для которой $\mu (\left\{ t\right\} , \omega ) \leqslant 1$ при всех $t \in \mathbb {R}_{+}$и $\omega \in \Omega_{0}$.

Определение 12. Точечный случайный прочесс $Y = \left\{ Y(t), t \geqslant 0\right\}$, где $Y(0) = 0$, вводится для $t > 0$ следующим образом:

где точечная случайная мера $\mu$ дается формулой (85).

Очевидно, $\left\{ Y(t) \geqslant n\right\} = \left\{ \tau_{n} \leqslant t\right\}$ для $t \in \mathbb {R}_{+}$и $n \in \mathbb {Z}_{+} = \left\{ 0,1, \ldots \right\}$, поэтому $Y(t) \in \mathscr {F} \mid \mathscr {A}$ для каждого $t \in \mathbb {R}_{+}$, где $\mathscr {A}$ — $\sigma$-алгебра, состоящая из всевозможных конечных или счетных подмножеств $\overline{\mathbb {Z}}_{+}$.

Определим $m(B) = \mathbb {E}\left[\mu (B, \cdot )\right]$ для всех $B \in \mathscr {B}\left(\mathbb {R}_{+}\right)$, где $\mu (B, \cdot )$ фигурирует в (85). Будет ли функция $m(\cdot )$ мерой на $\mathscr {B}\left(\mathbb {R}_{+}\right)$? Можно ли представить в виде (86) пуассоновский процесс с локально конечной мерой интенсивности $m$ ?

(сравните с теоремой 14 главы V). Докажите, что точечный случайный процесс (86) является пуассоновским, если $Y$ имеет независимые приращения и $Y$ стохастически непрерывен на $\mathbb {R}_{+}$(см. (I.56)).

По теореме 3 величины $\tau_{k} = \xi_{1}+\cdots +\xi_{k}, k \in \mathbb {N}$, образуют цепь Маркова, если слагаемые — независимые действительные случайные величины. Будет ли марковским процесс (86), если $\left\{ \tau_{k}, k \in \mathbb {N}\right\}$ — произвольная цепь Маркова, удовлетворяющая условию (84)?

Определение 13. Пусть на некотором вероятностном пространстве $(\Omega , \mathscr {F}, \mathbb {P})$ заданы пуассоновский процесс $N = \left\{ N(t), t \geqslant 0\right\}$ интенсивности $\lambda = 1$ и независящий от него процесс $\Lambda = \left\{ \Lambda (t), t \geqslant 0\right\}$ с п. н. неубывающими, конечными и непрерывными справа траекториями, выходящими из нуля. Процессом Кокса называется процесс $Z = \left\{ Z(t), t \geqslant 0\right\}$, где $Z(t, \omega ) = N(\Lambda (t, \omega ), \omega ), t \geqslant 0, \omega \in \Omega$.

Является ли процесс Кокса марковским?

Определение 14. Будем говорить, что случайный процесс $X = \left\{ X(t), t \geqslant 0\right\}$ является “дробовым шумом", если

где ограниченная борелевская функция $\phi : \mathbb {R} \rightarrow \mathbb {R}$ финитна, случайные величины $\tau_{k} (k \in \mathbb {N}$ ) удовлетворяют условию (84) (обеспечивающему, что ряд (87) сходится при каждом $t \geqslant 0$ на множестве $\Omega_{0}$ вероятности единица).

Заметим, что в литературе встречаются и другие варианты процесса “дробового шума". Например, в сумму (87) вводятся случайные амплитуды и масштабные множители. Рассматриваются также случайные поля дробового шума, заданные на $\mathbb {R}^{d}$.

Найдите ковариационную функцию процесса (87), если последовательность $\left\{ \tau_{k}\right\}_{k} \geqslant 1$ задает точечный пуассоновский процесс интенсивности $\lambda$. Достаточно ли для сходимости ряда (87) с вероятностью единица при каждом $t \geqslant 0$ потребовать, чтобы ограниченная функция $\phi$ была интегрируема по Лебегу?

Дадим определение маркированного точечного процесса, являющегося естественным обобщением введенного выше понятия "точечного случайного процесса". Пусть кроме последовательности $\left\{ \tau_{k}\right\}_{k} \geqslant 1$ случайных величин, удовлетворяющих условию (84), на том же вероятностном пространстве $(\Omega , \mathscr {F}, \mathbb {P})$ имеется некоторая последовательность $\left\{ \eta_{k}\right\}_{k} \geqslant 1$ действительных случайных величин, "привязанная" к моментам $\tau_{k}, k \geqslant 1$. Например, можно себе вообразить, что в случайный момент времени $\tau_{k}$ страховая компания выплачивает некоторую случайную сумму $\eta_{k}$. Интерпретируя величины $\eta_{k}, k \geqslant 1$, как "марки", "метки", дадим следующее

Определение 15. Маркированным точечным случайным процессом называется процесс (индексированный множествами $C$ ) следующего вида

Функция

называется считающей функцией (сравните с (86)).

Согласно (85) имеем

Кроме того,

где процесс $Y$ задается формулой (86).

Нарисуйте график траектории $Y(t, D), t \geqslant 0$, при фиксированном $D \in \mathscr {B}(\mathbb {R})$.

Пусть $N = \left\{ N(t), t \geqslant 0\right\}$ — пуассоновский процесс с ведущей мерой $m = m(\cdot )$, определяемый последовательностью $\left\{ \tau_{k}\right\}_{k \geqslant 1}$, задающей точки скачков $N$. Пусть $\left\{ \eta_{k}\right\}_{k \geqslant 1}$ — последовательность независимых одинаково распределенных действительных случайных величин с $\operatorname {Law}\left(\eta_{k}\right) = \widetilde{\mathbb {P}}$. Возьмем $D \in \mathscr {B}(\mathbb {R})$ такое, что $\widetilde{\mathbb {P}}(D) > 0$. Докажите, что "прореженный процесс" $Y(t, D), t \geqslant 0$, определенный формулой (88), является пуассоновским с ведущей мерой $m(\cdot ) \widetilde{\mathbb {P}}(D)$.

О точечных случайных процессах и полях см., например, $[111,178]$; специально о маркированных процессах см. [156].

Дадим наглядное представление о связи инфинитезимальной матрицы $Q$ (стандартной) марковской цепи $X = \left\{ X(t), t \geqslant 0\right\}$ с поведением самой цепи. Пусть

Процесс $X$ является стохастически непрерывным на всей полупрямой $[0, \infty )$ и, согласно теореме 13 главы I, он имеет сепарабельную модификацию (с любым счетным множеством сепарабельности $R \subset [0, \infty )$ ), которую мы и будем рассматривать. Пусть в момент $s \geqslant 0$ процесс находится в состоянии $i$ с вероятностью $\mathbb {P}\left(X(s) = i\right) \neq 0$. Тогда для любого $t > 0$ (учитывая сепарабельность процесса $X$ ) имеем

поскольку из определения $q_{i}$ получаем

Если $t = 0$, то левая часть формулы (90) равна 1 , поэтому данное соотношение справедливо для всех $t \geqslant 0$.

Левая часть (90) представляет собой вероятность пребывания процесса $X$ после момента $s$ в состоянии $i$ в течение времени, не меньшего $t$, при условии, что в момент $s$ процесс находился в состоянии $i$. Таким образом, результат не зависит от $s$, как и следовало ожидать для однородного процесса. Поэтому можно говорить о длительности пребывания процесса $X$ в состоянии $i$, начиная с произвольного момента времени.

Итак, доказана (сравните с теоремой 2 главы II)

Теорема 12. Пусть однородная марковская цепь $X = \left\{ X(t), t \geqslant 0\right\}$ удовлетворяет условию (89). Тогда условная длительность пребывания этого процесса в любом состоянии $i$ имеет показательное распределение с параметром $q_{i}$.

Для марковских цепей, как уже упоминалось в $\S 1$, важным представляется вопрос о классификации состояний (возвратные, периодические состояния и т. д.). Для цепей Маркова с дискретным временем об этом можно прочитать, например, в книгах $[85,101,78]$.

Определение 16. Состояние $i$, для которого $0 \leqslant q_{i} < \infty$, называется устойчивым. Оно называется поглощающим, когда $q_{i} = 0$. Состояние $i$ называется мгновенным, если $q_{i} = \infty$.

Если процесс попадает в поглощающее состояние, то он остается там "навсегда" (это следует из (90) при $q_{i} = 0$ ).

Происхождение названия "мгновенное состояние" объясняет упражнение

Пусть в состоянии $i$ значение $q_{i} = \infty$. Тогда вероятность пребывания процесса $X$ в этом состоянии положительное время равна нулю, т. е. попав в это состояние, процесс мгновенно его покидает.

Теория цепей Маркова, имеющих мгновенные состояния, чрезвычайно сложна. Интересно отметить, что существуют примеры однородных цепей, все состояния которых мгновенны (см. [21]).

Пусть теперь процесс $X$ консервативен (см. (63)). Тогда при $q_{i} \neq 0$ величины $q_{i j} / q_{i}, j \neq i$, можно интерпретировать как интенсивности вероятностей переходов из состояния $i$ в состояние $j$. Точнее говоря, пусть для $j \neq i, t > 0$

Легко видеть, что

Если $0 < q_{i} < \infty$ и $\sum_{j \neq i} q_{i j} < q_{i}$, то $1-\sum_{j \neq i} q_{i j} / q_{i}$ можно понимать как интенсивность вероятности "ухода процесса на бесконечность".

Данная выше интерпретация элементов матрицы $Q$ делает естественным следующий способ построения марковских цепей, предложенньй Дж. Дубом.

Пусть S — конечное или счетное множество, и пусть $X = \left\{ X(t), t \geqslant 0\right\}$ — консервативная марковская цепь с инфинитезимальной матрицей $Q$, причем $q_{i} \in (0, \infty )$, $i \in \mathrm{S}$. Построим рекуррентным образом последовательности случайных величин $\left\{ \eta_{n}\right\}_{n \geqslant 1}$ и $\left\{ \tau_{n}\right\}_{n \geqslant 1}$ со значениями в $\mathrm{S}$ и $\mathbb {R}_{+} = [0, \infty )$ соответственно и так, что $\eta_{1}$ имеет произвольное распределение,

и при $n \geqslant 1, i, j, i_{1}, \ldots , i_{n} \in \mathrm{S}, x_{1}, \ldots , x_{n} \in \mathbb {R}_{+}$пусть

Докажите, что на подходящем вероятностном пространстве $(\Omega , \mathscr {F}, \mathbb {P})$ существуют описанные выше последовательности случайных величин $\left\{ \eta_{n}\right\}_{n \geqslant 1}$ и $\left\{ \tau_{n}\right\}_{n \geqslant 1}$, удовлетворяющие условиям (92) и (93). При этом $0 = \tau_{0} < \tau_{1}(\omega ) < \tau_{2}(\omega ) < \cdots$ п.н. Можно ли утверждать, что всегда $\lim_{n \rightarrow \infty } \tau_{n} = \infty$ п.н.? Докажите, что последнее заведомо справедливо, если $\sup q_{i} < \infty$.

Пусть $\tau_{0}(\omega ) = 0$ п.н. Используя случайные величины $\eta_{n}, \tau_{n}(n \geqslant 1)$, фигурирующие в упражнении 32 , и считая выполненным условие (84), введем процесс $Y = \left\{ Y(t), t \geqslant 0\right\}$, положив

(для $\omega$ таких, что $\tau_{n-1}(\omega ) = \tau_{n}(\omega )$ при некотором $n \geqslant 1$, пусть $Y(t, \omega ) = 0$, $t \geqslant 0)$. Докажите, что $Y$ — марковский процесс, имеющий те же конечномерные распределения, что и процесс $X$, который определял матрицу $Q$. Как модифицировать приведенное построение, если некоторые величины $q_{i}$ равны нулю?

В связи с последними двумя упражнениями заслуживает внимания следующее упражнение.

Докажите, что $\sup_{i} q_{i} < \infty$ тогда и только тогда, когда $p_{i i}(t) \rightarrow 1$ при $t \rightarrow 0+$ равномерно по $i \in \mathrm{S}$ (или, что эквивалентно, $p_{i j}(t) \rightarrow \delta_{i j}$ при $t \rightarrow 0+$ равномерно по $i, j \in \mathrm{S}$ ).

Приведите пример переходных вероятностей, для которых не выполнено условие стандартности (49). Приведите пример, когда выполнено свойство (49), a (89) не имеет места.

В упражнении 33 указано, как, располагая консервативной инфинитезимальной матрицей $Q$, построить марковский процесс, имеющий полугруппу переходных вероятностей с инфинитезимальной матрицей $Q$. Другая постановка этой задачи восстановление полугруппы $(P(t))_{t \geqslant 0}$ по ее генератору $Q$ (см., например, [23]). Если нам удастся построить стохастическую полугруппу $(P(t))_{t \geqslant 0}$, имеющую инфинитезимальной матрицей заданную матрицу $Q$, то дальше теорема 5 обеспечит построение самого процесса с переходной матрицей $P(t)$ (даже семейства марковских процессов, поскольку можно варьировать начальное распределение). В этой связи предлагается упражнение

Пусть пространство состояний $\mathrm{S}$ состоит из конечного числа $N$ элементов, а переходная матрица $P(t)$ стандартна. Докажите, что тогда эта матрица допускает следующее представление:

где $N \times N$-матрица $Q$ удовлетворяет условию

Обратно, если для матрицы $Q$ выполнены условия (95), то формула (94) определяет стандартную матрицу переходных вероятностей.

Рассмотрим теперь более общую матрищу $Q = \left(q_{i j}\right)_{i, j \in \mathrm{S}}$ с действительными элементами, где $\mathrm{S}$ счетно, такую, что

Поставим следующий вопрос: существует ли стохастическая полугруппа $(P(t))_{t \geqslant 0}$, имеющая своей инфинитезимальной матрицей матрицу $Q$ ?

Оказалось, что искать решение этой задачи удобно сначала в классе полустохастических матрии $(P(t))_{t \geqslant 0}$, для которых, по-прежнему, выполнено уравнение (37), а в (39) вместо условия $\sum_{j} p_{i j}(t) = 1, t \geqslant 0, i \in \mathrm{S}$, налагается менее ограничительное требование $\sum_{j} p_{i j}(t) \leqslant 1, t \geqslant 0, i \in \mathrm{S}$. Решение такой задачи часто называют $Q$-решением, подразумевая следующее. Если окажется, что $\sum_{j} p_{i j}(t) = 1$ для всех $t \geqslant 0, i \in \mathrm{S}$, то говорят о собственном решении (или процессе), а если выполняется лишь неравенство $\sum_{j} p_{i j}(t) \leqslant 1, t \geqslant 0, i \in \mathrm{S}$, то-о несобственном решении. В первом случае действительно существует марковская цепь (разумеется, можно менять начальное распределение) с переходными вероятностями $p_{i j}(t), t \geqslant 0, i, j \in \mathrm{S}$. Во втором же случае можно построить соответствующий марковский процесс $\widehat{X}$, pacширив пространство состояний $S$ еще дополнительной точкой, скажем, $\infty$ и определяя для него переходные вероятности $\widehat{p} . .(t)$ следуюшим образом:

В связи с вышеизложенным рассмотрим проблему существования и единственности решений систем (прямых и обратных) уравнений Колмогорова, исследовавшуюся многими авторами с помощью разнообразной техники. В. Феллер использовал преобразование Лапласа. Г. Ройтер и В. Ледерман применяли метод, основанный на приближениях матрицы $Q$ "усеченными матрицами". Т. Като опирался на теорию возмущений (подробнее об этом см., например, [1]).

Интересно отметить, что сами уравнения (65) и (72) можно понимать либо в узком смысле (т.е. что все $p_{i j}^{\prime }(t)$ непрерывны при $t \geqslant 0$ и изучаемые уравнения справедливы при всех $t \geqslant 0$ ), либо в широком смысле, т. е. что $p_{i j}(t)$ абсолютно непрерывны и рассматриваемые уравнения верны для почти всех (по мере Лебега) $t \geqslant 0$.

Докажите, что для систем уравнений Колмогорова обе данные вьше интерпретации (в узком и широком смыслах) эквивалентны. Для прямых уравнений это упражнение надо отнести к числу весьма трудных.

Теорема 13. Пусть выполнено условие (96). Тогда существует $Q$-решение, удовлетворяющее как обратной, так и прямой системам Колмогорова. Кроме того, обратное уравнение (64) имеет в классе полустохастических матрии, единственное собственное $Q$-решение тогда и только тогда, когда то же самое верно для прямого уравнения (71).

Подробное доказательство можно прочитать, например, в [1].

Теорема 14 ([180]). Пусть матрица $Q$, удовлетворяющая условию (96), консервативна. Тогда любое из следующих двух условий необходимо и достаточно для существования единственного $Q$-решения.

1. Для некоторого $\lambda > 0$ единственным ограниченным решением уравнения

   $$(Q-\lambda I) x = 0$$

   является $x = (0,0 \ldots )^{*}$, а ограниченность решения означает, что $\sup_{i}\left|x_{i}\right| < \infty$.

2. Для некоторого $\lambda > 0$ единственным неотрицательным ограниченным решением $x = \left(x_{1}, x_{2}, \ldots \right)^{*}$, где все $x_{i} \geqslant 0$, указанного уравнения является $x = (0,0, \ldots )^{*}$.

(см. также упражнение 34). Докажите, что если $\sup_{i} q_{i} < \infty$, то обе системы уравнений Колмогорова имеют единственное решение.

Интересно отметить, что, как показывает нижеследующая теорема, проблема существования и единственности решения уравнений Колмогорова тесно связана со свойствами траекторий марковской цепи.

Теорема 15 (см. [82; с. 341]). Пусть все $q_{i} < \infty$. Тогда для того, чтобы были справедливы и система прямых, и система обратных уравнений Колмогорова, необходимо и достаточно, чтобы почти все траектории обладали следующим свойством: если $X(s, \omega ) \rightarrow \infty$ при $s \rightarrow t$ с одной стороны (слева или справа), то $X(s, \omega ) \rightarrow \infty$ при $s \rightarrow t$ с обеих сторон.

Единственность и неединственность решений уравнений Колмогорова у добно рассмотреть на примерах процессов рождения и гибели.

Определение 17. Однородный марковский процесс $X = \left\{ X(t), t \geqslant 0\right\}$ с пространством состояний $S = \left\{ 0,1, \ldots \right\}$ называется процессом рождения и гибели, если его инфинитезимальная матрица $Q$ имеет следующий вид

где $\mu_{0} = 0, \mu_{i} > 0, i \geqslant 1$ и $\lambda_{i} > 0, i \geqslant 0$. Если $\mu_{i} = 0$ для всех $i \geqslant 0$, то говорят о процессе рождения, а если $\lambda_{i} = 0, i \geqslant 0$, то — о процессе гибели.

Пусть процесс рождения таков, что $\sum_{i} \lambda_{i}^{-1} < \infty$. Докажите, что тогда система прямых уравнений Колмогорова имеет единственное решение, а система обратных — бесконечно много. Докажите, что если для процесса гибели $\sum_{i} \mu_{i}^{-1} < \infty$, то система обратных уравнений имеет единственное решение, а система прямых — бесконечно много, среди которых ровно одно собственное.

Чтобы сформулировать общий результат о процессах рождения и гибели, введем некоторые обозначения. Положим

Теорема 16 (Ледерман-Ройтер). Пусть матрица $Q$ консервативна и удовлетворяет условию (96). Тогда

1. Если $R = \infty$, то существует ровно одно $Q$-решение, оно собственное и удовлетворяет системе прямых уравнений.

2. Если $R < \infty$ и $S = \infty$, то имеется бесконечно много $Q$-решений. Только одно из них удовлетворяет системе прямых уравнений, но это решение несобственное.

3. Если $R < \infty$ и $S < \infty$, что эквивалентно условию $T < \infty$, то существует бесконечно много $Q$-решений, удовлетворяющих системе прямых уравнений. Ровно одно из этих решений является собственным. Вьше прямые и обратные уравнения Колмогорова рассматривались лишь для марковских цепей, для которых (по определению) пространство состояний $\mathrm{S}$ дискретно. В этой связи отметим, что в классической работе 1931 года А. Н. Колмогорова "Об аналитических методах в теории вероятностей" (см. [33]) прямые и обратные уравнения даются и для более общего пространства состояний, в частности, для $\mathrm{S} = \mathbb {R}^{d}$. При этом соответствующие прямые и обратные уравнения будут уже уравнениями в частных производных. (Некоторый класс таких прямых уравнений был ранее рассмотрен в физике Фоккером и Планком.) Об этом направлении исследований, приведшему к моделям диффузионных процессов, можно прочитать, например, в $[12,192,76]$. В главе VIII мы рассмотрим конструкцию диффузионных процессов как решений стохастических дифференциальных уравнений.

Наряду с понятием марковского процесса, в общей теории важным является понятие марковского семейства случайных процессов.

Пусть $\left(\mathrm{S}_{t}, \mathscr {B}_{t}\right)_{t \in T}$ — борелевские пространства, $T \subset \mathbb {R}$ и $P(s, x, t, B)$ — переходная функция. Возьмем произвольное $s \in T$ и в качестве начального распределения выберем меру $\mathbb {Q}_{s}\left(\cdot \right) = \delta_{x}(\cdot )$, где $x \in \mathrm{S}_{s}$. На некотором вероятностном пространстве существует марковский процесс

имеющий заданную переходную функцию и такой, что $X_{s}^{s, x} = x$ п.н. Этот процесс $X^{s, x}$ с помощью теоремы Колмогорова может быть непосредственно задан (см. (I.42)) на пространстве $\left(\mathrm{S}_{T_{s}}, \mathscr {B}_{T_{s}}\right)$, снабженном вероятностью $\mathbb {Q}_{s, x} = \operatorname {Law}\left(X^{s, x}\right)$. Переопределим процесс $X^{s, x}$ на $\Omega = \mathrm{S}_{T}$ формулой

где $\pi_{T, T_{s}}$ обозначает отображение сужения функции с множества $T$ на множество $T_{s}$. Введем $\sigma$-алгебру $\mathscr {F} \geqslant s: = \pi_{T, T_{s}}^{-1} \mathscr {B}_{T_{s}}$ и зададим на ней меру $\mathbb {P}_{s, x} = \mathbb {Q}_{s, x} \pi_{T, T_{s}}^{-1}$.

Нетрудно видеть, что $Y^{s, t} = \left\{ Y_{t}^{s, x}, t \in T_{s}\right\}$ — случайный процесс на $\left(\Omega , \mathscr {F}_{ \geqslant s}, \mathbb {P}_{s, x}\right)$.

Теорема 17. Для каждых $s \in T u x \in \mathrm{S}_{s}$ процесс $Y^{s, x} = \left\{ Y_{t}^{s, x}(\omega ), t \in T_{s}, \omega \in \Omega \right\}$ будет марковским на $\left(\Omega , \mathscr {F} \geqslant s, \mathbb {P}_{s, x}\right)$ с переходной функцией $P(s, x, t, B)$. Кроме того, $Y_{s}^{s, x} = x$ (п.н.) по мере $\mathbb {P}_{s, x}$.

Доказательство. Равенство $Y_{s}^{s, x} = x$ очевидно, поскольку $\mathbb {Q}_{s} = \delta_{x}$. Проверим, что для любых точек $u$ и $t$ из $T(u \leqslant t)$ и $B \in \mathscr {B}_{t}$