Стационарные процессы

Пусть $\ldots , Z_{-1}, Z_{0}, Z_{1}, Z_{2}, \ldots$ — независимые вещественные случайные величины с нулевыми средними и дисперсиями $1$, и пусть $\alpha , \beta \in \mathbb {R}$. Покажите, что существует (слабо) стационарная последовательность $\left\{ W_{n}\right\}$, удовлетворяющая $W_{n} = \alpha W_{n-1}+\beta W_{n-2}+Z_{n}, n = \ldots ,-1,0,1, \ldots$, если (возможно комплексные) корни квадратного уравнения $z^{2}-\alpha z-\beta = 0$ по модулю меньше 1.

Пусть $U$ равномерно распределена на $[0,1]$ с двоичным разложением $U = \sum_{i = 1}^{\infty } X_{i} 2^{-i}$. Покажите, что последовательность

строго стационарна, и вычислите её автоковариационную функцию.

Пусть $\left\{ X_{n}: n = \ldots ,-1,0,1, \ldots \right\}$ — стационарная вещественная последовательность с нулевым средним и автоковариационной функцией $c(m)$.

(i) Покажите, что бесконечный ряд $\sum_{n = 0}^{\infty } a_{n} X_{n}$ сходится почти наверное и в среднем квадратичном, если $\sum_{n = 0}^{\infty }\left|a_{n}\right| < \infty$.

(ii) Пусть

где $\sum_{k = 0}^{\infty }\left|a_{k}\right| < \infty$. Найдите выражение для автоковариационной функции $c_{Y}$ величины $Y$, и покажите, что

Пусть $X = \left\{ X_{n}: n \geq 0\right\}$ — марковская цепь с дискретным временем со счётным пространством состояний $S$ и стационарным распределением $\mathbf{\pi }$, и предположим, что $X_{0}$ имеет распределение $\mathbf{\pi }$. Покажите, что последовательность $\left\{ f\left(X_{n}\right): n \geq 0\right\}$ строго стационарна для любой функции $f: S \rightarrow \mathbb {R}$.

Пусть $W, X, Y, Z$ имеют многомерное нормальное распределение с нулевыми средними и ковариационной матрицей

Пусть $U = W+i X$ и $V = Y+i Z$. Покажите, что $U$ и $V$ некоррелированы, но не независимы. Почему это не противоречит выводу примера (4.5.9) о том, что многомерные нормальные случайные величины независимы тогда и только тогда, когда они некоррелированы?

Пусть $X_{n} = \cos (n S+U)$ при $n \in \mathbb {Z}$, где $U$ равномерно распределена на $(-\pi , \pi )$, а $S$ независима от $U$ и имеет плотность $g$, симметричную на своём носителе $(-\pi , \pi )$. Покажите, что $X = \left\{ X_{n}: n \in \mathbb {Z}\right\}$ слабо стационарна, и найдите её автокорреляционную функцию $\rho_{X}$.

Пусть $Y_{n} = Z_{n}+a Z_{n-1}$ при $n \in \mathbb {Z}$, где $\left|a\right| < 1$, а $Z_{n}$ — независимые, одинаково распределённые случайные величины с нулевыми средними и единичными дисперсиями. Можно ли выбрать $g$ так, чтобы $Y = \left\{ Y_{n}: n \in \mathbb {Z}\right\}$ имела ту же автокорреляционную функцию, что и $X$? Если да, то как?

Пусть $X$ — (слабо) стационарная последовательность с нулевым средним и автоковариационной функцией $c(m)$.

(i) Найдите наилучший линейный прогноз $\widehat{X}_{n+1}$ величины $X_{n+1}$ по $X_{n}$.

(ii) Найдите наилучший линейный прогноз $\widetilde{X}_{n+1}$ величины $X_{n+1}$ по $X_{n}$ и $X_{n-1}$.

(iii) Найдите выражение для $D = \mathbb {E}\left[\left(X_{n+1}-\widehat{X}_{n+1}\right)^{2}\right]-\mathbb {E}\left[\left(X_{n+1}-\widetilde{X}_{n+1}\right)^{2}\right]$, и вычислите это выражение, когда:

Существует ли (слабо) стационарная последовательность $\left\{ X_{n}:-\infty < n < \infty \right\}$ с нулевыми средними и автоковариационной функцией

Предполагая, что такая последовательность существует, найдите наилучший линейный прогноз $\widehat{X}_{n}$ величины $X_{n}$ по $X_{n-1}$, $X_{n-2}, \ldots$, и покажите, что среднеквадратичная ошибка прогноза равна $\left(1+a^{2}\right)^{-1}$. Проверьте, что $\left\{ \hat{X}_{n}\right\}$ (слабо) стационарна.

Пусть $X_{n} = A \cos (n \lambda )+B \sin (n \lambda )$, где $A$ и $B$ — некоррелированные случайные величины с нулевыми средними и единичными дисперсиями. Покажите, что $X$ стационарна и её спектр содержит ровно одну точку.

Пусть $U$ равномерно распределена на $(-\pi , \pi )$, а $V$ независима от $U$ и имеет функцию распределения $F$. Покажите, что $X_{n} = e^{i(U-V n)}$ определяет стационарную (комплексную) последовательность со спектральной функцией распределения $F$.

Найдите автокорреляционную функцию стационарного процесса $\left\{ X(t):-\infty < t < \infty \right\}$, спектральная плотность которого равна:

(i) $N(0,1)$,

(ii) $f(x) = \frac{1}{2} e^{-\left|x\right|},-\infty < x < \infty$.

Пусть $X_{1}, X_{2}, \ldots$ — вещественнозначная стационарная последовательность с нулевыми средними и автоковариационной функцией $c(m)$. Покажите, что

где $F$ — спектральная функция распределения. Выведите, что $n^{-1} \sum_{j = 1}^{n} X_{j} \xrightarrow {\text{ с.к. }} 0$ тогда и только тогда, когда $F(0)-F(0-) = 0$, и покажите, что

Пусть $Z = \left\{ Z_{n}: n \in \mathbb {Z}\right\}$ — последовательность некоррелированных случайных величин со средними 0 и дисперсиями 1, и предположим, что последовательность $X = \left\{ X_{n}: n \in \mathbb {Z}\right\}$ удовлетворяет $X_{n} = \phi X_{n-1}+Z_{n}+\theta Z_{n-1}$.

Пусть $Z = \left\{ Z_{n}: n \in \mathbb {Z}\right\}$ — последовательность некоррелированных случайных величин со средними 0 и дисперсиями $1$, и предположим, что $X_{n} = \phi X_{n-1}+\theta X_{n-2}+Z_{n}$ при $n \in \mathbb {Z}$, где $\phi^{2}+4 \theta > 0$. Предположим, что $d_{k}$ — вещественная последовательность, такая что

Покажите, что $d_{k} = a_{1} r_{1}^{k}+a_{2} r_{2}^{k}$, где $a_{1}+a_{2} = 1$ и $a_{1} r_{1}+a_{2} r_{2} = \phi$. Покажите далее, что

Отсюда найдите $\mathbb {E}\left[X_{n}^{2}\right]$ через $\phi$ и $\theta$, когда $\left|r_{1}\right|,\left|r_{2}\right| < 1$.

Пусть $X = \left\{ X_{n}: n \in \mathbb {Z}\right\}$ — стационарный процесс с нулевыми средними и дисперсиями $\sigma^{2}$, и пусть $\widehat{X}_{n+1}$ — наилучший линейный прогноз $X_{n+1}$ по $\left\{ X_{r}: r \leq n\right\}$. (См. раздел 9.2.) Формула Колмогорова-Сегё утверждает, что

где $f$ — спектральная плотность $X$. Проверьте это для авторегрессионной схемы из примера (9.3.23).

Пусть $S$ — спектральный процесс стационарного процесса $X$ с нулевым средним и единичной дисперсией. Покажите, что приращения $S$ имеют нулевые средние.

Пусть $X$ — стационарный процесс с дискретным временем с нулевыми средними, непрерывной строго положительной спектральной плотностью $f$ и спектральным процессом $S$. Пусть

Покажите, что $\ldots , Y_{-1}, Y_{0}, Y_{1}, \ldots$ — последовательность некоррелированных случайных величин с нулевыми средними и единичными дисперсиями.

Покажите, что $X_{n}$ может быть представлен как скользящее среднее $X_{n} = \sum_{j = -\infty }^{\infty } a_{j} Y_{n-j}$, где $a_{j}$ — константы, удовлетворяющие

Пусть $X$ — стационарная последовательность с дискретным временем с нулевым средним и единичной дисперсией, конечномерные распределения которой имеют многомерный нормальный тип. Покажите, что спектральный процесс $X$ имеет независимые приращения с нормальными распределениями.

Пусть $T = \left\{ 1,2, \ldots \right\}$, и пусть $\ell$ — множество инвариантных событий $\left(\mathbb {R}^{T}, \mathscr {B}^{T}\right)$. Покажите, что $\ell$ является $\sigma$-алгеброй.

Предположим, что $X_{1}, X_{2}, \ldots$ — стационарная последовательность с автоковариационной функцией $c(m)$. Покажите, что

Предполагая, что $j^{-1} \sum_{i = 0}^{j-1} c(i) \rightarrow \sigma^{2}$ при $j \rightarrow \infty$, покажите, что

Пусть $X_{1}, X_{2}, \ldots$ — независимые одинаково распределённые случайные величины с нулевым средним и единичной дисперсией. Пусть

где $\alpha_{i}$ — константы, удовлетворяющие $\sum_{i} \alpha_{i}^{2} < \infty$. Используя теорему о сходимости мартингалов, покажите, что указанная сумма сходится почти наверное и в среднем квадратичном. Докажите, что $n^{-1} \sum_{i = 1}^{n} Y_{i} \rightarrow 0$ п.н. и в среднем при $n \rightarrow \infty$.

Покажите, что функция $c(s, t) = \min \left\{ s, t\right\}$ положительно определена. То есть покажите, что

для всех $0 \leq t_{1} < t_{2} < \cdots < t_{n}$ и всех комплексных чисел $z_{1}, z_{2}, \ldots , z_{n}$, из которых хотя бы одно ненулевое.

Пусть $X_{1}, X_{2}, \ldots$ — стационарная гауссовская последовательность с нулевыми средними и единичными дисперсиями, удовлетворяющая марковскому свойству. Найдите спектральную функцию плотности последовательности через константу $\rho = \operatorname {Cov}\left[X_{1}, X_{2}\right]$.

Покажите, что гауссовский процесс строго стационарен тогда и только тогда, когда он слабо стационарен.

Пусть $X$ — стационарный гауссовский процесс с нулевым средним, единичной дисперсией и автоковариационной функцией $c(t)$. Найдите автоковариационные функции процессов

Пусть $X(s, t)$ — двухпараметрический гауссовский процесс с нулевым средним на положительном квадранте $[0, \infty )^{2}$ пространства $\mathbb {R}^{2}$, с ковариационной функцией $\operatorname {Cov}\left[X(s, t), X(u, v)\right] = (s \wedge u)(t \wedge v)$, где $x \wedge y = \min \left\{ x, y\right\}$. Для любого прямоугольника $R$ с углами $(s, t),(u, t),(s, v),(u, v)$, где $0 \leq s < u < \infty$ и $0 \leq t < v < \infty$, определим

Найдите $\operatorname {Var}\left[Y(R)\right]$, и покажите, что $Y$ имеет независимые приращения.

Пусть $\ldots , X_{-1}, X_{0}, X_{1}, \ldots$ — некоррелированные случайные величины с нулевыми средними и единичными дисперсиями, и определим

где $\alpha$ и $\beta$ — константы, удовлетворяющие $\left|\beta \right| < 1,\left|\beta -\alpha \right| < 1$. Найдите наилучший линейный прогноз $Y_{n+1}$ по всему прошлому $Y_{n}, Y_{n-1}, \ldots$

Пусть $\left\{ Y_{k}:-\infty < k < \infty \right\}$ — стационарная последовательность с дисперсией $\sigma_{Y}^{2}$, и пусть

где $a_{0}, a_{1}, \ldots , a_{r}$ — константы. Покажите, что $X$ имеет спектральную плотность

где $f_{Y}$ — спектральная плотность $Y, \sigma_{X}^{2} = \operatorname {Var}\left[X_{1}\right]$, а $G_{a}(z) = \sum_{k = 0}^{r} a_{k} z^{k}$. Вычислите эту спектральную плотность в явном виде в случае «экспоненциального сглаживания», когда $r = \infty$, $a_{k} = \mu^{k}(1-\mu )$, и $0 < \mu < 1$.

Предположим, что $\widehat{Y}_{n+1} = \alpha Y_{n}+\beta Y_{n-1}$ является наилучшим линейным прогнозом $Y_{n+1}$ по всему прошлому $Y_{n}, Y_{n-1}, \ldots$ стационарной последовательности $\left\{ Y_{k}:-\infty < k < \infty \right\}$. Найдите спектральную плотность последовательности.

Метеориты падают в целочисленные моменты времени $T_{1}, T_{2}, \ldots$, где $T_{n} = X_{1}+X_{2}+\cdots +X_{n}$. Мы предполагаем, что $X_{i}$ независимы, $X_{2}, X_{3}, \ldots$ одинаково распределены, а распределение $X_{1}$ таково, что вероятность падения метеорита в момент времени $n$ постоянна для всех $n$. Пусть $Y_{n}$ — индикаторная функция события, что метеорит падает в момент времени $n$. Покажите, что $\left\{ Y_{n}\right\}$ стационарна, и найдите её спектральную плотность через характеристическую функцию $X_{2}$.

Пусть $X = \left\{ X_{n}: n \geq 1\right\}$ задаётся как $X_{n} = \cos (n U)$, где $U$ равномерно распределена на $[-\pi , \pi ]$. Покажите, что $X$ стационарна, но не строго стационарна. Найдите автокорреляционную функцию $X$ и её спектральную плотность.

Пусть $Z_{1}, Z_{2}, \ldots$ — некоррелированные величины, каждая с нулевым средним и единичной дисперсией.

Покажите, что комплекснозначный стационарный процесс $X = \left\{ X(t):-\infty < t < \infty \right\}$ имеет спектральную плотность, которая ограничена и равномерно непрерывна всякий раз, когда его автокорреляционная функция $\rho$ непрерывна и удовлетворяет $\int_{0}^{\infty }\left|\rho (t)\right| d t < \infty$.

Пусть $X = \left\{ X_{n}: n \geq 1\right\}$ стационарна с постоянным средним $\mu = \mathbb {E}\left[X_{n}\right]$ для всех $n$, и такова, что $\operatorname {Cov}\left[X_{1}, X_{n}\right] \rightarrow 0$ при $n \rightarrow \infty$. Покажите, что $n^{-1} \sum_{j = 1}^{n} X_{j} \xrightarrow {\text{ с.к. }} \mu$.

Выведите усиленный закон больших чисел из подходящей эргодической теоремы.

Пусть $\mathbb {Q}$ — стационарная мера на $\left(\mathbb {R}^{T}, \mathscr {B}^{T}\right)$, где $T = \left\{ 1,2, \ldots \right\}$. Покажите, что $\mathbb {Q}$ эргодична тогда и только тогда, когда

для всех $Y: \mathbb {R}^{T} \rightarrow \mathbb {R}$, для которых $\mathbb {E}\left[Y\right]$ существует, где $Y_{i}: \mathbb {R}^{T} \rightarrow \mathbb {R}$ задаётся как $Y_{i}(\mathbf{x}) = Y\left(\tau^{i-1}(\mathbf{x})\right)$. Как обычно, $\tau$ — естественный оператор сдвига на $\mathbb {R}^{T}$.

Стационарная мера $\mathbb {Q}$ на $\left(\mathbb {R}^{T}, \mathscr {B}^{T}\right)$ называется сильно перемешивающей, если $\mathbb {Q}\left(A \cap \tau^{-n} B\right) \rightarrow \mathbb {Q}\left(A\right) \mathbb {Q}\left(B\right)$ при $n \rightarrow \infty$, для всех $A, B \in \mathscr {B}^{T}$; как обычно, $T = \left\{ 1,2, \ldots \right\}$, а $\tau$ — оператор сдвига на $\mathbb {R}^{T}$. Покажите, что всякая сильно перемешивающая мера эргодична.

Пусть $(\Omega , \mathcal{F}, \mathbb {P})$ — вероятностное пространство, и пусть $T: \Omega \rightarrow \Omega$ измеримо и сохраняет меру (т.е. $\mathbb {P}\left(T^{-1} A\right) = \mathbb {P}\left(A\right)$ для всех $A \in \mathcal{F}$). Пусть $X: \Omega \rightarrow \mathbb {R}$ — случайная величина, и пусть $X_{i}$ задаётся как $X_{i}(\omega ) = X\left(T^{i-1}(\omega )\right)$. Покажите, что

где $l$ — $\sigma$-алгебра инвариантных событий $T$. Если $T$ эргодично (в том смысле, что $\mathbb {P}\left(A\right)$ равно 0 или 1, когда $A$ инвариантно), докажите, что $\mathbb {E}\left[X \mid \ell \right] = \mathbb {E}\left[X\right]$ почти наверное.

Рассмотрим вероятностное пространство $(\Omega , \mathcal{F}, \mathbb {P})$, где $\Omega = [0,1)$, $\mathcal{F}$ — множество борелевских подмножеств, а $\mathbb {P}$ — мера Лебега.

Пусть $g: \mathbb {R} \rightarrow \mathbb {R}$ периодична с периодом $1$, равномерно непрерывна и интегрируема на $[0,1]$. Определим $Z_{n} = g(X+(n-1) \alpha ), n \geq 1$, где $X$ равномерна на $[0,1]$, а $\alpha$ иррационально. Покажите, что при $n \rightarrow \infty$

Пусть $X = \left\{ X(t): t \geq 0\right\}$ — неубывающий случайный процесс, такой что:

(a) $X(0) = 0$, $X$ принимает значения в неотрицательных целых числах,

(b) $X$ имеет стационарные независимые приращения,

(c) траектории $\left\{ X(t, \omega ): t \geq 0\right\}$ имеют только скачкообразные разрывы единичной величины. Покажите, что $X$ является пуассоновским процессом.

Пусть $X$ — процесс с непрерывным временем. Покажите, что:

Винеровский процесс $W$ называется стандартным, если $W(0) = 0$ и $W(1)$ имеет единичную дисперсию. Пусть $W$ — стандартный винеровский процесс, а $\alpha$ — положительная константа. Покажите, что:

Пусть $W$ — стандартный винеровский процесс. Покажите, что стохастические интегралы

корректно определены, и докажите, что $X(t) = W(t)$, и что $Y$ имеет автоковариационную функцию $\operatorname {Cov}\left[Y(s), Y(t)\right] = \frac{1}{2}\left(e^{-\left|s-t\right|}-e^{-s-t}\right), s < t$.

Пусть $W$ — стандартный винеровский процесс. Найдите средние следующих трёх процессов и автоковариационные функции в случаях (b) и (c):

Пусть $W$ — стандартный винеровский процесс. Найдите условную совместную плотность $W\left(t_{2}\right)$ и $W\left(t_{3}\right)$ при условии $W\left(t_{1}\right) = W\left(t_{4}\right) = 0$, где $t_{1} < t_{2} < t_{3} < t_{4}$.

Покажите, что условная корреляция $W\left(t_{2}\right)$ и $W\left(t_{3}\right)$ равна

Пусть $U_{1}, U_{2}, \ldots$ — независимые случайные величины с равномерным распределением на $[0,1]$. Пусть $I_{j}(x)$ — индикаторная функция события $\left\{ U_{j} \leq x\right\}$, и определим

Функция $F_{n}$ называется «эмпирической функцией распределения» величин $U_{j}$.

Урна изначально содержит один красный шар и один зелёный шар. На последующих этапах из урны равномерно случайно выбирается шар и возвращается в урну вместе с новым шаром того же цвета. Предполагается обычная независимость. Пусть $X_{k}$ — индикаторная функция события, что $k$-й вынутый шар красный.