Сходимость распределений

$14.8 \uparrow$ Приведите простое доказательство теоремы Гливенко—Кантелли (Теорема 20.6) при дополнительном предположении, что $F$ непрерывна.

Начальные цифры.

Покажите, что для каждой вероятностной меры $\mu$ на прямой существуют вероятностные меры $\mu_{n}$ с конечным носителем такие, что $\mu_{n} \Rightarrow \mu$. Покажите далее, что $\mu_{n}\left\{ x\right\}$ можно взять рациональным и что каждую точку носителя можно взять рациональной. Таким образом, существует счётное множество вероятностных мер такое, что каждая $\mu$ является слабым пределом некоторой последовательности из этого множества. Таким образом, пространство функций распределения сепарабельно в метрике Леви (см. Задачу 14.5).

Покажите, что (25.5) влечёт $\mathbb {P}\left([X \leq x] \Delta \left[X_{n} \leq x\right]\right) \rightarrow 0$, если $\mathbb {P}\left(X=x\right)=0$.

Для произвольных случайных величин $X_{n}$ существуют положительные константы $a_{n}$ такие, что $a_{n} X_{n} \Rightarrow 0$.

Обобщите Пример 25.8, показав для трёхмерных случайных векторов $(A_{n}, B_{n}, X_{n})$ и констант $a$ и $b, a \geq 0$, что если $A_{n} \Rightarrow a, B_{n} \Rightarrow b$ и $X_{n} \Rightarrow X$, то $A_{n} X_{n}+B_{n} \Rightarrow a X+b$. Указание: Сначала покажите, что если $Y_{n} \Rightarrow Y$ и $D_{n} \Rightarrow 0$, то $D_{n} Y_{n} \Rightarrow 0$.

Предположим, что $X_{n} \Rightarrow X$ и $h_{n}$ и $h$ — борелевские функции. Пусть $E$ — множество тех $x$, для которых $h_{n} x_{n} \rightarrow h x$ не выполняется для некоторой последовательности $x_{n} \rightarrow x$. Предположим, что $E \in \mathscr {R}^{1}$ и $\mathbb {P}\left(X \in E\right)=0$. Покажите, что $h_{n} X_{n} \Rightarrow h X$.

Предположим, что распределения случайных величин $X_{n}$ и $X$ имеют плотности $f_{n}$ и $f$. Покажите, что если $f_{n}(x) \rightarrow f(x)$ для $x$ вне множества лебеговой меры 0, то $X_{n} \Rightarrow X$.

$\uparrow$ Предположим, что $X_{n}$ принимает в качестве значений $\gamma_{n}+k \delta_{n}, k=0, \pm 1, \ldots$, где $\delta_{n}>0$. Предположим, что $\delta_{n} \rightarrow 0$ и что, если $k_{n}$ — целое число, меняющееся вместе с $n$ таким образом, что $\gamma_{n}+k_{n} \delta_{n} \rightarrow x$, то $\mathbb {P}\left(X_{n}=\gamma_{n}+k_{n} \delta_{n}\right) \delta_{n}^{-1} \rightarrow f(x)$, где $f$ — плотность случайной величины $X$. Покажите, что $X_{n} \Rightarrow X$.

$\uparrow$ Пусть $S_{n}$ имеет биномиальное распределение с параметрами $n$ и $p$. Примем как известное, что

если $\left(k_{n}-n p\right)(n p(1-p))^{-1 / 2} \rightarrow x$. Выведите теорему Муавра—Лапласа: $\left(S_{n}-n p\right)(n p(1-p))^{-1 / 2} \Rightarrow N$, где $N$ имеет стандартное нормальное распределение. Это частный случай центральной предельной теоремы; см. Раздел 27.

Докажите слабую сходимость в Примере 25.3, используя Теорему 25.8 и теорию интеграла Римана.

$\uparrow$ Пусть $\mu$ — мера Лебега, ограниченная на единичный интервал; пусть $\mu_{n}$ соответствует массе $x_{n, i}-x_{n, i-1}$ в некоторой точке из ( $x_{n, i-1}, x_{n, i}$ ], где $0=x_{n 0} <x_{n 1}<\cdots <x_{n n}=1$. Покажите, рассматривая функции распределения, что $\mu_{n} \Rightarrow \mu$, если $\max_{i<n}\left(x_{n, i}-x_{n, i-1}\right) \rightarrow 0$. Выведите, что ограниченная борелевская функция, непрерывная почти всюду на единичном интервале, интегрируема по Риману. См. Задачу 17.1.

$2.18 \; 5.19 \uparrow$ Функция $f$ положительных целых чисел имеет функцию распределения $F$, если $F$ является слабым пределом функции распределения $P_{n}[m: f(m) \leq x]$ величины $f$ относительно меры, имеющей вероятность $1 / n$ в каждой из точек $1, \ldots , n$ (см. 2.34)). В этом случае $D[m: f(m) \leq x]=F(x)$ (см. (2.35)) для точек непрерывности $x$ функции $F$. Покажите, что $\varphi (m) / m$ (см. (2.37)) имеет распределение:

Для $A \in \mathscr {R}^{1}$ и $T>0$ положим $\lambda_{T}(A)=\lambda ([-T, T] \cap A) / 2 T$, где $\lambda$ — мера Лебега. Относительной мерой $A$ называется

при условии, что этот предел существует. Это непрерывный аналог плотности (см. (2.35)) для множеств целых чисел. Борелевская функция $f$ имеет распределение относительно $\lambda_{T}$; если оно слабо сходится к $F$, то

для точек непрерывности $u$ функции $F$, и $F$ называется функцией распределения $f$. Покажите, что все периодические функции имеют распределения.

Предположим, что $\sup_{n} \int f d \mu_{n}<\infty$ для неотрицательной $f$ такой, что $f(x) \rightarrow \infty$ при $x \rightarrow \pm \infty$. Покажите, что $\left\{ \mu_{n}\right\}$ плотно.

$23.4 \uparrow$ Покажите, что случайные величины $A_{t}$ и $L_{t}$ из Задач 23.3 и 23.4 сходятся по распределению. Покажите, что моменты сходятся.

В приложениях Теоремы 9.2 на самом деле требуется лишь более слабый результат: для каждого $K$ существует положительное $\alpha =\alpha (K)$ такое, что если $\mathbb {E}\left[X\right]=0, \mathbb {E}\left[X^{2}\right]=1$ и $\mathbb {E}\left[X^{4}\right] \leq K$, то $\mathbb {P}\left(X \geq 0\right) \geq \alpha$. Докажите это, используя плотность и следствие из Теоремы 25.12.

Найдите равномерно интегрируемые случайные величины $X_{n}$, для которых не существует интегрируемой $Z$, удовлетворяющей $\mathbb {P}\left(\left|X_{n}\right| \geq t\right) \leq \mathbb {P}\left(\left|Z\right| \geq t\right)$ при $t>0$.

Случайная величина имеет решётчатое распределение, если для некоторых $a$ и $b, b>0$, решётка $[a+n b: n=0, \pm 1, \ldots ]$ является носителем распределения $X$. Пусть $X$ имеет характеристическую функцию $\varphi$.

Если $\mu (-\infty , x]=\mu [-x, \infty )$ для всех $x$ (что влечёт $\mu (A)=\mu (-A)$ для всех $A \in \mathscr {R}^{1}$), то $\mu$ называется симметричной. Покажите, что это выполняется тогда и только тогда, когда характеристическая функция вещественна.

Рассмотрите функции $\varphi$, которые вещественны и неотрицательны и удовлетворяют $\varphi (-t)= \varphi (t)$ и $\varphi (0)=1$.

$\uparrow$ Пусть $\varphi_{1}$ и $\varphi_{2}$ — характеристические функции, и покажите, что множество $A=\left[t: \varphi_{1}(t)=\varphi_{2}(t)\right]$ замкнуто, содержит 0 и симметрично относительно 0. Покажите, что любое множество с этими тремя свойствами может быть таким $A$. Что это говорит о теореме единственности?

Покажите с помощью Теоремы 26.1 и интегрирования по частям, что если $\mu$ имеет плотность $f$ с интегрируемой производной $f^{\prime }$, то $\varphi (t)=o\left(t^{-1}\right)$ при $\left|t\right| \rightarrow \infty$. Распространите на производные более высоких порядков.

Покажите для независимых случайных величин, равномерно распределённых на $(-1,+1)$, что $X_{1}+\cdots +X_{n}$ имеет плотность $\pi^{-1} \int_{0}^{\infty }((\sin t) / t)^{n} \cos t x d t$ при $n \geq 2$.

$21.17 \uparrow$ Теорема единственности для производящих функций моментов. Предположим, что $F$ имеет производящую функцию моментов на $\left(-s_{0}, s_{0}\right), s_{0}>0$. Исходя из того, что $\int_{-\infty }^{\infty } e^{z x} d F(x)$ аналитична в полосе $-s_{0}<\operatorname {Re} z<s_{0}$, докажите, что производящая функция моментов определяет $F$. Покажите, что достаточно, чтобы производящая функция моментов существовала на $\left[0, s_{0}\right), s_{0}>0$.

$21.20 \quad 26.7 \uparrow$ Покажите, что гамма-плотность (20.47) имеет характеристическую функцию

где логарифм берётся в смысле главной части. Покажите, что $\int_{0}^{\infty } e^{z x} f(x ; \alpha , u) d x$ аналитична при $\operatorname {Re} z<\alpha$.

С помощью характеристических функций дайте простое доказательство того, что семейство распределений Коши, определяемых формулой (20.45), замкнуто относительно свёртки; сравните с рассуждением в Задаче 20.14(a). Сделайте то же самое для нормального распределения (сравните с Примером 20.6), а также для распределения Пуассона и гамма-распределения.

Предположим, что $F_{n} \Rightarrow F$ и что характеристические функции мажорируются интегрируемой функцией. Покажите, что $F$ обладает плотностью, являющейся пределом плотностей $F_{n}$.

Покажите, что для всех $a$ и $b$ правая часть (26.16) равна $\mu (a, b)+\frac{1}{2} \mu \left\{ a\right\} +\frac{1}{2} \mu$

Рассуждением того же типа, что привело к (26.16), покажите, что

$\uparrow$ Пусть $x_{1}, x_{2}, \ldots$ — точки положительной $\mu$-меры. С помощью следующих шагов докажите, что

Пусть $X$ и $Y$ независимы и имеют характеристическую функцию $\varphi$.

$\uparrow$ Покажите, что $\mu$ не имеет точечных масс, если $\varphi^{2}(t)$ интегрируема.

$14.5 \quad 26.15 \uparrow$ Для функций распределения $F$ и $G$ определим $d^{\prime }(F, G)= \sup_{t}\left|\varphi (t)-\psi (t)\right| /(1+\left|t\right|)$, где $\varphi$ и $\psi$ — соответствующие характеристические функции. Покажите, что это метрика, эквивалентная метрике Леви.

$25.16 \uparrow$ Вещественная функция $f$ имеет среднее значение

при условии, что $f$ интегрируема на каждом $[-T, T]$ и предел существует.

Предположим, что $X$ иррационально с вероятностью 1. Пусть $\mu_{n}$ — распределение дробной части $\left\{ n X\right\}$. Используя теорему непрерывности и Теорему 25.1, покажите, что $n^{-1} \sum_{k=1}^{n} \mu_{k}$ слабо сходится к равномерному распределению на $[0,1]$.

$25.13 \uparrow$ Теорема единственности для характеристических функций может быть выведена из теоремы Вейерштрасса об аппроксимации. Восполните детали следующего рассуждения. Пусть $\mu$ и $\nu$ — вероятностные меры на прямой. Для непрерывной $f$ с ограниченным носителем выберите $a$ так, чтобы $\mu (-a, a)$ и $\nu (-a, a)$ были близки к 1, а $f$ обращалась в 0 вне $(-a, a)$. Пусть $g$ периодична и совпадает с $f$ на $(-a, a)$; по теореме Вейерштрасса равномерно приблизьте $g(x)$ тригонометрической суммой $p(x)=\sum_{k=1}^{N} a_{k} e^{i i_{k} x}$. Если $\mu$ и $\nu$ имеют одинаковую характеристическую функцию, то $\int f d \mu \approx \int g d \mu \approx \int p d \mu =\int p d \nu \approx \int g d \nu \approx \int f d \nu$.

Используя теорему непрерывности, докажите результат из Примера 25.2 о сходимости биномиального распределения к распределению Пуассона.

Согласно Примеру 25.8, если $X_{n} \Rightarrow X, a_{n} \rightarrow a$ и $b_{n} \rightarrow b$, то $a_{n} X_{n}+b_{n} \Rightarrow a X+b$. Докажите это с помощью характеристических функций.

$26.1 \quad 26.15 \uparrow$ Согласно Теореме 14.2, если $X_{n} \Rightarrow X$ и $a_{n} X_{n}+b_{n} \Rightarrow Y$, где $a_{n}>0$, а распределения $X$ и $Y$ невырождены, то $a_{n} \rightarrow a>0, b_{n} \rightarrow b$, и $a X+b$ и $Y$ имеют одинаковое распределение. Докажите это с помощью характеристических функций. Пусть $\varphi_{n}, \varphi , \psi$ — характеристические функции $X_{n}, X, Y$.

Докажите теорему непрерывности для производящих функций моментов, определённых формулой (22.4), для вероятностных мер на $[0, \infty )$. О единственности см. Теорему 22.2; аналогом (26.22) служит

$26.4 \uparrow$ Приведите пример, показывающий, что значения $\varphi (m)$ характеристической функции в целочисленных точках могут не определять распределение, если оно не сосредоточено на $[0,2 \pi ]$.

Пусть $f$ интегрируема на $[0,2 \pi ]$; определим её коэффициенты Фурье как $\int_{0}^{2 \pi } e^{i m x} f(x) d x$. Покажите, что эти коэффициенты однозначно определяют $f$ с точностью до множеств меры 0.

$19.8 \quad 26.25 \uparrow$ Покажите, что тригонометрическая система (19.17) полна.

Аналогом условия (26.19) для рядов Фурье служит $\sum_{m}\left|c_{m}\right|<\infty$. Покажите, что из него следует, что $\mu$ обладает плотностью $f(x)=(2 \pi )^{-1} \sum_{m} c_{m} e^{-i m x}$ на $[0,2 \pi ]$, причём $f$ непрерывна и $f(0)=f(2 \pi )$. Это аналог формулы обращения (26.20).

$\uparrow$ Покажите, что

Покажите, что $\sum_{m=1}^{\infty } 1 / m^{2}=\pi^{2} / 6$ и $\sum_{m=1}^{\infty }(-1)^{m+1} / m^{2}=\pi^{2} / 12$.

$26.25 \uparrow$ Теория рядов Фурье может быть перенесена с $[0,2 \pi ]$ на единичную окружность в комплексной плоскости с нормированной круговой мерой Лебега $P$. Круговые функции $e^{i m x}$ переходят в степени $\omega^{m}$, и интегрируемая функция $f$ определяется с точностью до множеств меры 0 своими коэффициентами Фурье $c_{m}= \int_{\Omega } \omega^{m} f(\omega ) P(d \omega )$. Предположим, что $A$ инвариантно относительно поворота на угол $\arg c$ (Пример 24.4). Найдите соотношение для коэффициентов Фурье $I_{A}$ и заключите, что поворот эргодичен, если $c$ не является корнем из единицы. Сравните с доказательством на с. 316.

Докажите Теорему 23.2 с помощью характеристических функций. Указание: используйте (27.5), чтобы сравнить характеристическую функцию $\sum_{k=1}^{r_{n}} Z_{n k}$ с $\exp \left[\sum_{k} p_{n k}\left(e^{i t}-1\right)\right]$.

Если $\left\{ X_{n}\right\}$ независимы и все $X_{n}$ имеют одинаковое распределение с конечным первым моментом, то $n^{-1} S_{n} \rightarrow \mathbb {E}\left[X_{1}\right]$ с вероятностью 1 (Теорема 22.1), так что $n^{-1} S_{n} \Rightarrow \mathbb {E}\left[X_{1}\right]$. Докажите последний факт с помощью характеристических функций. Указание: используйте (27.5).

Для пуассоновской величины $Y_{\lambda }$ со средним $\lambda$ покажите, что $\left(Y_{\lambda }-\lambda \right) / \sqrt{\lambda } \Rightarrow N$ при $\lambda \rightarrow \infty$. Покажите, что (22.3) не выполняется при $t=1$.

Предположим, что $\left|X_{n k}\right| \leq M_{n}$ с вероятностью 1 и $M_{n} / s_{n} \rightarrow 0$. Проверьте условие Ляпунова, а затем условие Линдеберга.

Предположим, что случайные величины в любой отдельной строке треугольного массива одинаково распределены. К чему сводятся условия Линдеберга и Ляпунова?

Предположим, что $Z_{1}, Z_{2}, \ldots$ независимы и одинаково распределены со средним 0 и дисперсией 1, и пусть $X_{n k}=\sigma_{n k} Z_{k}$. Запишите условие Линдеберга и покажите, что оно выполняется, если $\max_{k \leq r_{n}} \sigma_{n k}^{2}=o\left(\sum_{k=1}^{r_{n k}} \sigma_{n k}^{2}\right)$.

Постройте пример, в котором условие Линдеберга выполняется, а условие Ляпунова — нет.

$22.9 \uparrow$ Докажите центральную предельную теорему для числа рекордов $R_{n}$ до момента $n$.

$6.3 \uparrow$ Пусть $S_{n}$ — число инверсий в случайной перестановке $n$ элементов. Докажите центральную предельную теорему для $S_{n}$.

$\delta$-метод. Предположим, что Теорема 27.1 применима к $\left\{ X_{n}\right\}$, так что $\sqrt{n} \sigma^{-1}\left(\bar{X}_{n}-c\right) \Rightarrow N$, где $\bar{X}_{n}=n^{-1} \sum_{k=1}^{n} X_{k}$. Используя Теорему 25.6, как в Примере 27.2, покажите, что если $f(x)$ имеет ненулевую производную в точке $c$, то $\sqrt{n}\left(f\left(\bar{X}_{n}\right)-f(c)\right) / \sigma \left|f^{\prime }(c)\right| \Rightarrow N$: величина $\bar{X}_{n}$ приближённо нормальна со средним $c$ и стандартным отклонением $\sigma / \sqrt{n}$, а $f\left(\bar{X}_{n}\right)$ приближённо нормальна со средним $f(c)$ и стандартным отклонением $\left|f^{\prime }(c)\right| \sigma / \sqrt{n}$. Пример 27.2 — это случай $f(x)=1 / x$.

Предположим, что независимые $X_{n}$ имеют плотность $|x|^{-3}$ вне $(-1,+1)$. Покажите, что $(n \log n)^{-1 / 2} S_{n} \Rightarrow N$.

Асимптотическая нормальность может иметь место, даже если моментов вообще не существует. Постройте простой пример.

Пусть $d_{n}(\omega )$ — двоичные цифры точки $\omega$, выбранной случайно из единичного интервала. Для набора $(u_{1}, \ldots , u_{k})$ из 0 и 1 пусть $N_{n}\left(u_{1}, \ldots , u_{k} ; \omega \right)$ — число $m \leq n$, для которых $\left(d_{m}(\omega ), \ldots , d_{m+k-1}(\omega )\right)=\left(u_{1}, \ldots , u_{k}\right)$. Докажите центральную предельную теорему для $N_{n}\left(u_{1}, \ldots , u_{k} ; \omega \right)$. (См. Задачу 6.12.)

Центральная предельная теорема для случайного числа слагаемых. Пусть $X_{1}, X_{2}, \ldots$ — независимые, одинаково распределённые случайные величины со средним 0 и дисперсией $\sigma^{2}$, и пусть $S_{n}=X_{1}+\cdots +X_{n}$. Для каждого положительного $t$ пусть $\nu_{t}$ — случайная величина, принимающая положительные целые значения; она не обязана быть независимой от $X_{n}$. Предположим, что существуют положительные константы $a_{t}$ и $\theta$, такие что

при $t \rightarrow \infty$. Следующими шагами покажите, что

$21.21 \quad 23.10 \quad 23.14 \uparrow$ Центральная предельная теорема в теории восстановления. Пусть $X_{1}, X_{2}, \ldots$ — независимые, одинаково распределённые положительные случайные величины со средним $m$ и дисперсией $\sigma^{2}$, и, как в Задаче 23.10, пусть $N_{t}$ — наибольшее $n$, при котором $S_{n} \leq t$. Следующими шагами докажите, что

Покажите с помощью интегрирования по частям, что

при $x \rightarrow \infty$.

$\uparrow$ Предположим, что $X_{1}, X_{2}, \ldots$ независимы и одинаково распределены со средним 0 и дисперсией 1, и предположим, что $a_{n} \rightarrow \infty$. Формально объединив центральную предельную теорему и (27.28), получите

где $\zeta_{n} \rightarrow 0$, если $a_{n} \rightarrow \infty$. Случай, когда это действительно так, см. Теорему 9.4.