Сходимость случайных величин

Пусть $r \geq 1$, и определим $\left\| X\right\|_{r} = \left\{ \mathbb {E}\left[\left|X^{r}\right|\right]\right\}^{1 / r}$. Покажите, что:

Определим $\langle X, Y\rangle = \mathbb {E}\left[X Y\right]$ для случайных величин $X$ и $Y$ с конечной дисперсией, и определим $\left\| X\right\| = \sqrt{ }\langle X, X\rangle$. Покажите, что:

Пусть $g, h:[0,1] \rightarrow \mathbb {R}$, и определим $d_{\epsilon }(g, h) = \int_{E} d x$, где $E = \left\{ u \in [0,1] : \left|g(u)-h(u)\right| > \epsilon \right\}$. Покажите, что $d_{\epsilon }$ не удовлетворяет неравенству треугольника.

Для двух функций распределения $F$ и $G$ положим

Покажите, что $d$ является метрикой на пространстве функций распределения.

Найдите случайные величины $X, X_{1}, X_{2}, \ldots$, такие что $\mathbb {E}\left[\left|X_{n}-X\right|^{2}\right] \rightarrow 0$ при $n \rightarrow \infty$, но $\mathbb {E}\left[\left|X_{n}\right|\right] = \infty$ при всех $n$.

Предположим, что $\left|X_{n}\right| \leq Z$ при всех $n$, где $\mathbb {E}\left[Z\right] < \infty$. Докажите, что если $X_{n} \xrightarrow {\mathrm{P}} X$, то $X_{n} \xrightarrow {1} X$.

Покажите, что сходимость по распределению эквивалентна сходимости по метрике Леви из упражнения (7.1.4).

Пусть $X_{1}, X_{2}, \ldots$ — случайные величины на вероятностном пространстве $(\Omega , \mathcal{F}, \mathbb {P})$. Покажите, что множество $A = \left\{ \omega \in \Omega \colon \text{последовательность } X_{n}(\omega ) \text{ сходится}\right\}$ является событием (то есть принадлежит $\mathcal{F}$), и что существует случайная величина $X$ (то есть $\mathcal{F}$-измеримая функция $X: \Omega \rightarrow \mathbb {R}$), такая что $X_{n}(\omega ) \rightarrow X(\omega )$ для $\omega \in A$.

Пусть $\left\{ X_{n}\right\}$ — последовательность случайных величин, и пусть $\left\{ c_{n}\right\}$ — последовательность вещественных чисел, сходящаяся к пределу $c$. Покажите, что сходимость $X_{n}$ к $X$ влечёт сходимость $c_{n} X_{n}$ к $c X$, для сходимости

Пусть $\left\{ X_{n}\right\}$ — последовательность независимых случайных величин, сходящаяся по вероятности к пределу $X$. Покажите, что $X$ почти наверное постоянна.

Говорят, что последовательность дискретных случайных величин $X_{n}$ с функциями вероятностей $f_{n}$ сходится по вариации к $X$ с функцией вероятностей $f$, если

Предположим, что $X_{n} \rightarrow X$ по вариации, и $u: \mathbb {R} \rightarrow \mathbb {R}$ ограничена. Покажите, что $\mathbb {E}\left[u\left(X_{n}\right)\right] \rightarrow \mathbb {E}\left[u(X)\right]$.

Пусть $\left\{ X_{r}: r \geq 1\right\}$ — независимые пуассоновские величины с параметрами $\left\{ \lambda_{r}: r \geq 1\right\}$ соответственно. Покажите, что $\sum_{r = 1}^{\infty } X_{r}$ сходится или расходится почти наверное в зависимости от того, сходится или расходится $\sum_{r = 1}^{\infty } \lambda_{r}$.

Пусть $X_{1}, X_{2}, \ldots$ — независимые случайные величины, равномерно распределённые на $\left\{ 1,2, \ldots , m\right\}$, и пусть $I_{m} = \min \left\{ r \geq 2: X_{r} = X_{S} \text{ при некотором } s < r\right\}$ — наименьший индекс совпадения значений. Покажите, что $I_{m} / \sqrt{m}$ сходится по распределению при $m \rightarrow \infty$ к распределению Рэлея с плотностью $f(x) = x e^{-\frac{1}{2} x^{2}}, x > 0$.

Случайная величина $X$ имеет конечные моменты всех порядков и удовлетворяет $\mathbb {P}\left(X > 0\right) = 1$, $\mathbb {P}\left(X > x\right) > 0$ при $x > 0$.

Покажите, что вероятность того, что произойдёт бесконечно много событий $\left\{ A_{n}: n \geq 1\right\}$, удовлетворяет $\mathbb {P}\left(A_{n} \text{ б.ч.}\right) \geq \lim \sup_{n \rightarrow \infty } \mathbb {P}\left(A_{n}\right)$.

Пусть $\left\{ S_{n}: n \geq 0\right\}$ — простое случайное блуждание, которое на каждом шаге сдвигается вправо с вероятностью $p$, и пусть $S_{0} = 0$. Обозначим $X_{n} = S_{n}-S_{n-1}$.

Пусть $X_{1}, X_{2}, \ldots$ — независимые одинаково распределённые случайные величины. Событие $A$, определённое в терминах $X_{n}$, называется перестановочным (обмениваемым), если $A$ инвариантно относительно конечных перестановок координат, то есть его индикаторная функция $I_{A}$ удовлетворяет $I_{A}\left(X_{1}, X_{2}, \ldots , X_{n}, \ldots \right) = I_{A}\left(X_{i_{1}}, X_{i_{2}}, \ldots , X_{i_{n}}, X_{n+1}, \ldots \right)$ при всех $n \geq 1$ и всех перестановках $\left(i_{1}, i_{2}, \ldots , i_{n}\right)$ чисел $(1,2, \ldots , n)$. Покажите, что для всякого перестановочного события $A$ либо $\mathbb {P}\left(A\right) = 0$, либо $\mathbb {P}\left(A\right) = 1$.

Возвращаясь к простому случайному блужданию $S$ из упражнения (7.3.3), покажите, что $\left\{ S_{n} = 0 \text{ б.ч.}\right\}$ — перестановочное событие относительно шагов блуждания, и выведите из закона нуля или единицы Хьюитта-Сэвиджа, что его вероятность равна либо 0, либо 1.

Пусть $f:[0,1] \rightarrow \mathbb {R}$ — непрерывная функция, и пусть $S_{n}$ — случайная величина, имеющая биномиальное распределение с параметрами $n$ и $x$. Используя формулу $\mathbb {E}\left[Z\right] = \mathbb {E}\left[Z I_{A}\right]+\mathbb {E}\left[Z I_{A^{\complement }}\right]$ с $Z = f(x)-f\left(n^{-1} S_{n}\right)$ и $A = \left\{ \left|n^{-1} S_{n}-x\right| > \delta \right\}$, покажите, что

Вы доказали теорему Вейерштрасса об аппроксимации, утверждающую, что всякая непрерывная функция на $[0,1]$ может быть равномерно на этом интервале приближена многочленом.

Говорят, что последовательность случайных величин $X_{1}, X_{2}, \ldots$ полностью сходится к $X$, если

Покажите, что для последовательностей независимых величин полная сходимость эквивалентна п.н.-сходимости. Найдите последовательность (зависимых) случайных величин, которая сходится п.н., но не полностью.

Пусть $X_{1}, X_{2}, \ldots$ — независимые одинаково распределённые случайные величины с общим средним $\mu$ и конечной дисперсией. Покажите, что

Пусть $\left\{ X_{n}: n \geq 1\right\}$ — независимые случайные величины, имеющие показательное распределение с параметром 1. Покажите, что

Пусть $\left\{ X_{n}: n \geq 1\right\}$ — независимые случайные величины со стандартным нормальным распределением $N(0,1)$. Покажите, что:

Постройте пример, показывающий, что сходимость по распределению $X_{n}$ к $X$ не влечёт сходимости единственных медиан последовательности $X_{n}$.

(i) Пусть $\left\{ X_{r}: r \geq 1\right\}$ — независимые, неотрицательные и одинаково распределённые случайные величины с бесконечным средним. Покажите, что $\lim_{\sup_{r \rightarrow \infty }} X_{r} / r = \infty$ почти наверное.

(ii) Пусть $\left\{ X_{r}\right\}$ — стационарная марковская цепь на положительных целых числах с переходными вероятностями

Пусть $\left\{ X_{r}: 1 \leq r \leq n\right\}$ — независимые одинаково распределённые случайные величины со средним $\mu$ и конечной дисперсией $\sigma^{2}$. Пусть $\overline{X} = n^{-1} \sum_{r = 1}^{n} X_{r}$. Покажите, что

сходится по распределению к распределению $N(0,1)$ при $n \rightarrow \infty$.

Для случайной величины $X$ со средним $0$, дисперсией $\sigma^{2}$ и $\mathbb {E}\left[X^{4}\right] < \infty$ покажите, что

Пусть $X_{2}, X_{3}, \ldots$ — независимые случайные величины, такие что

Покажите, что эта последовательность подчиняется слабому закону, но не усиленному закону, в том смысле, что $n^{-1} \sum_{1}^{n} X_{i}$ сходится к 0 по вероятности, но не почти наверное.

Постройте последовательность $\left\{ X_{r}: r \geq 1\right\}$ независимых случайных величин с нулевым средним, такую что $n^{-1} \sum_{r = 1}^{n} X_{r} \rightarrow -\infty$ почти наверное при $n \rightarrow \infty$.

Пусть $N$ — пространственный пуассоновский процесс с постоянной интенсивностью $\lambda$ в $\mathbb {R}^{d}$, где $d \geq 2$. Пусть $S$ — шар радиуса $r$ с центром в нуле. Покажите, что $N(S) /\left|S\right| \rightarrow \lambda$ почти наверное при $r \rightarrow \infty$, где $\left|S\right|$ — объём шара.

В каждой из последовательности независимых ставок игрок либо выигрывает $30 \%$, либо теряет $25 \%$ своего текущего капитала, каждое с вероятностью $\frac{1}{2}$. Обозначая её капитал после $n$ ставок через $F_{n}$, покажите, что $\mathbb {E}\left[F_{n}\right] \rightarrow \infty$ при $n \rightarrow \infty$, тогда как $F_{n} \rightarrow 0$ почти наверное.

Пусть $S_{n} = X_{1}+X_{2}+\cdots +X_{n}$ — сумма независимых одинаково распределённых случайных величин. Пусть $\delta , \epsilon > 0$, и определим усечённые величины $Y_{j} = X_{j} I_{\left\{ \left|X_{j}\right| \leq \delta n\right\} }$. Пусть $A = \left\{ X_{j} = Y_{j} \text{ при } j = 1,2, \ldots , n\right\}$, и $B = \left\{ \left|S_{n}-n \mathbb {E}\left[Y_{1}\right]\right| \geq \epsilon n\right\}$. Докажите, что:

Интервал $[0,1]$ разбит на $n$ непересекающихся подынтервалов длиной $p_{1}, p_{2}, \ldots$, $p_{n}$, и энтропия этого разбиения определяется как

Пусть $X_{1}, X_{2}, \ldots$ — независимые случайные величины, равномерно распределённые на $[0,1]$, и пусть $Z_{m}(i)$ — число величин среди $X_{1}, X_{2}, \ldots , X_{m}$, попавших в $i$-й интервал указанного разбиения. Покажите, что

удовлетворяет $m^{-1} \log R_{m} \rightarrow -h$ почти наверное при $m \rightarrow \infty$.

Катастрофы происходят в моменты времени $T_{1}, T_{2}, \ldots$, где $T_{i} = X_{1}+X_{2}+\cdots +X_{i}$, а $X_{i}$ — независимые одинаково распределённые положительные случайные величины. Пусть $N(t) = \max \left\{ n: T_{n} \leq t\right\}$ — число катастроф, произошедших к моменту $t$. Докажите, что если $\mathbb {E}\left[X_{1}\right] < \infty$, то $N(t) \rightarrow \infty$ и $N(t) / t \rightarrow 1 / \mathbb {E}\left[X_{1}\right]$ при $t \rightarrow \infty$, почти наверное.

Пусть $X_{1}, X_{2}, \ldots$ — независимые одинаково распределённые случайные величины, принимающие значения в целых числах $\mathbb {Z}$ и имеющие конечное среднее. Покажите, что марковская цепь $S = \left\{ S_{n}\right\}$, заданная как $S_{n} = \sum_{1}^{n} X_{i}$, невозвратна, если $\mathbb {E}\left[X_{1}\right] \neq 0$.

Говорят, что функция $\phi (x)$ принадлежит «верхнему классу», если, в обозначениях этого раздела, $\mathbb {P}\left(S_{n} > \phi (n) \sqrt{n} \text{ б.ч.}\right) = 0$. Следствием закона повторного логарифма является то, что $\sqrt{\alpha \log \log x}$ принадлежит верхнему классу при всех $\alpha > 2$. Используя первую лемму Бореля-Кантелли, докажите гораздо более слабый факт, что $\phi (x) = \sqrt{\alpha \log x}$ принадлежит верхнему классу при всех $\alpha > 2$, в частном случае, когда $X_{i}$ — независимые величины $N(0,1)$.

Пусть $X_{1}, X_{2}, \ldots$ — случайные величины, такие что частичные суммы $S_{n} = X_{1}+X_{2}+\cdots +X_{n}$ образуют мартингал. Покажите, что $\mathbb {E}\left[X_{i} X_{j}\right] = 0$, если $i \neq j$.

Пусть $Z_{n}$ — размер $n$-го поколения ветвящегося процесса с иммиграцией, в котором размеры семей имеют среднее $\mu ( \neq 1)$, а среднее число иммигрантов в каждом поколении равно $m$. Предположим, что $\mathbb {E}\left[Z_{0}\right] < \infty$, и покажите, что

является мартингалом относительно подходящей последовательности случайных величин.

Пусть $X_{0}, X_{1}, X_{2}, \ldots$ — последовательность случайных величин с конечными средними, удовлетворяющая $\mathbb {E}\left[X_{n+1} \mid X_{0}, X_{1}, \ldots , X_{n}\right] = a X_{n}+b X_{n-1}$ при $n \geq 1$, где $0 < a, b < 1$ и $a+b = 1$. Найдите значение $\alpha$, при котором $S_{n} = \alpha X_{n}+X_{n-1}, n \geq 1$, задаёт мартингал относительно последовательности $X$.

Пусть $X_{n}$ — чистый выигрыш игрока от ставки в одну единицу на $n$-й игре в казино; величины $X_{n}$ могут быть зависимыми, но игра честная в том смысле, что $\mathbb {E}\left[X_{n+1} \mid X_{1}, X_{2}, \ldots , X_{n}\right] = 0$ при всех $n$. Игрок ставит $Y$ на первую игру, а затем ставит $f_{n}\left(X_{1}, X_{2}, \ldots , X_{n}\right)$ на $(n+1)$-ю игру, где $f_{1}, f_{2}, \ldots$ — заданные функции. Покажите, что её выигрыш после $n$ игр равен

где $f_{0} = Y$. Покажите далее, что последовательность $S = \left\{ S_{n}\right\}$ удовлетворяет условию мартингальности $\mathbb {E}\left[S_{n+1} \mid X_{1}, X_{2}, \ldots , X_{n}\right] = S_{n}, n \geq 1$, если $Y$ считается известной на протяжении всего процесса.

Серией в случайной перестановке $\left(\pi_{1}, \pi_{2}, \ldots , \pi_{n}\right)$ чисел $(1,2, \ldots , n)$ называется подпоследовательность, удовлетворяющая $\pi_{r-1} > \pi_{r} < \pi_{r+1} < \cdots < \pi_{s} > \pi_{s+1}$. По соглашению положим $\pi_{0} = n+1$ и $\pi_{n+1} = 0$. Пусть $R_{n}$ — число серий. Покажите, что $M_{n} = n R_{n}-\frac{1}{2} n(n+1)$ является мартингалом. Найдите $\mathbb {E}\left[R_{n}\right]$ и $\mathbb {E}\left[R_{n}^{2}\right]$.

Пусть $X_{1}, X_{2}, \ldots$ — независимые случайные величины с нулевыми средними и конечными дисперсиями, и пусть $S_{n} = X_{1}+X_{2}+\cdots +X_{n}$. Используя неравенство Дуба-Колмогорова, покажите, что

Пусть $X_{1}, X_{2}, \ldots$ — независимые случайные величины, такие что $\sum_{n} n^{-2} \operatorname {Var}\left[X_{n}\right] < \infty$. Используя неравенство Колмогорова, докажите, что

для некоторой конечной случайной величины $Y$, и выведите отсюда, что

(Может оказаться полезной лемма Кронекера: если $\left(a_{n}\right)$ и $\left(b_{n}\right)$ — вещественные последовательности с $b_{n} \uparrow \infty$ и $\sum_{i} a_{i} / b_{i} < \infty$, то $b_{n}^{-1} \sum_{i = 1}^{n} a_{i} \rightarrow 0$ при $n \rightarrow \infty$.)

Пусть $S$ — мартингал относительно $X$, такой что $\mathbb {E}\left[S_{n}^{2}\right] < K < \infty$ при некотором $K \in \mathbb {R}$. Предположим, что $\operatorname {Var}\left[S_{n}\right] \rightarrow 0$ при $n \rightarrow \infty$, и докажите, что $S = \lim_{n \rightarrow \infty } S_{n}$ существует и почти наверное постоянен.

Пусть $Y$ равномерно распределена на $[-1,1]$, и пусть $X = Y^{2}$.

Пусть $X_{1}, X_{2}, \ldots , X_{n}$ — случайные величины с нулевыми средними и ковариационной матрицей $\mathbf{V} = \left(v_{i j}\right)$, и пусть $Y$ имеет конечный второй момент. Найдите линейную функцию $h$ от $X_{i}$, минимизирующую среднеквадратичную ошибку $\mathbb {E}\left[\left(Y-h\left(X_{1}, \ldots , X_{n}\right)\right)^{2}\right]$.

Проверьте следующие свойства условного математического ожидания. Можете считать, что соответствующие математические ожидания существуют.

Пусть $X$ и $Y$ имеют совместную функцию вероятности $f(x, y) = \left\{ x(x+1)\right\}^{-1}$ при $x = y = 1,2, \ldots$. Покажите, что $\mathbb {E}\left[Y \mid X\right] < \infty$, тогда как $\mathbb {E}\left[Y\right] = \infty$

Пусть $(\Omega , \mathcal{F}, \mathbb {P})$ — вероятностное пространство, и пусть $\mathcal{g}$ — под-$\sigma$-алгебра $\mathcal{F}$. Пусть $H$ — пространство $\mathcal{g}_{\text{измеримых случ}}$ случайных величин с конечным вторым моментом.

Для, возможно, зависимых случайных величин $X$ и $Y$ определим коэффициент максимальной корреляции $m(X, Y) = \sup \rho (f(X), g(Y))$, где $\rho$ обозначает обычную корреляцию, а супремум берётся по всем функциям $f$ и $g$, таким что $f(X)$ и $g(Y)$ имеют конечные ненулевые дисперсии. Покажите, что: