Введение и обзор теории вероятностей

Для двух произвольных событий $A_{1}$ и $A_{2}$ покажите, что

Покажите, что $A_{1}$ и $A_{2}-A_{1}$ не пересекаются.

Для произвольной последовательности событий $\left\{ A_{n}; n \geq 1\right\}$ пусть $B_{1} = A_{1}$, а для каждого $n \geq 2$ определим $B_{n} = A_{n}-\bigcup_{m=1}^{n-1}A_{m}$. Покажите, что $B_{1}, B_{2}, \ldots$ — непересекающиеся события, и покажите, что для каждого $n \geq 2$ выполняется $\bigcup_{m=1}^{n}A_{m} = \bigcup_{m=1}^{n}B_{m}$.

Покажите, что

Покажите, что для каждого $n$ выполняется $\mathbb {P}\left(B_{n}\right) \leq \mathbb {P}\left(A_{n}\right)$. Используйте это, чтобы показать, что

Покажите, что $\mathbb {P}\left(\bigcup_{n=1}^{\infty }A_{n}\right) = \lim_{m \rightarrow \infty }\mathbb {P}\left(\bigcup_{n=1}^{m}A_{n}\right)$. Заметьте, что это утверждение означает, что вероятность предела объединений равна пределу вероятностей. Это может показаться очевидным и без доказательства, но далее вы встретите ситуации, где подобные, на первый взгляд аналогичные, перестановки предела и вероятности недопустимы.

Покажите, что $\mathbb {P}\left(\bigcap_{n=1}^{\infty }A_{n}\right) = \lim_{n \rightarrow \infty }\mathbb {P}\left(\bigcap_{i=1}^{n}A_{i}\right)$.

Постройте пример, в котором $\mathbb {P}\left(A_{1}A_{2}\right) = \mathbb {P}\left(A_{1}A_{3}\right) = \frac{1}{4}$, но $\mathbb {P}\left(A_{2}A_{3}\right) = \frac{1}{8}$.

Покажите, что в вашем примере $A_{2}$ и $A_{3}$ не являются независимыми. Заметьте, что определение статистической независимости выглядело бы весьма странно, если бы оно допускало независимость $A_{1}, A_{2}, A_{3}$ при зависимости $A_{2}$ и $A_{3}$. Это иллюстрирует, почему определение независимости требует совместной факторизации для всех подмножеств событий, а не только попарной факторизации для каждой пары событий.

Для произвольной случайной величины $X$, произвольного действительного числа $x$ и каждого целого $n \geq 1$ пусть $A_{n} = \left\{ \omega : X > x+1/n\right\}$, и покажите, что $A_{1} \subseteq A_{2} \subseteq \cdots$. Используя это и следствия из аксиом вероятности, покажите, что $\mathbb {P}\left(\bigcup_{n \geq 1}A_{n}\right) = \lim_{n \rightarrow \infty }\mathbb {P}\left(A_{n}\right)$.

Покажите, что $\mathbb {P}\left(\bigcup_{n \geq 1}A_{n}\right) = \mathbb {P}\left(X>x\right)$ и что $\mathbb {P}\left(X>x\right) = \lim_{n \rightarrow \infty }\mathbb {P}\left(X>x+1/n\right)$.

Покажите, что при $\epsilon >0$ выполняется $\lim_{\epsilon \rightarrow 0}\mathbb {P}\left(X \leq x+\epsilon \right) = \mathbb {P}\left(X \leq x\right)$.

Определим $\widetilde{F}_{X}(x) = \mathbb {P}\left(X<x\right)$. Покажите, что $\widetilde{F}_{X}(x)$ непрерывна слева. Другими словами, непрерывность справа для функции распределения возникает из почти произвольного (но общепринятого) выбора определения функции распределения как $\mathbb {P}\left(X \leq x\right)$, а не как $\mathbb {P}\left(X<x\right)$.

Покажите, что $\sum_{m \geq 0}m\mathsf{p}_{M}(m) = \infty$ и $\sum_{m<0}m\mathsf{p}_{M}(m) = -\infty$. (Тем самым покажите, что математическое ожидание $M$ не только не существует, но и не определено даже как расширенное вещественное число.)

Предположим, что члены суммы $\sum_{m=-\infty }^{\infty }m\mathsf{p}_{M}(m)$ суммируются в порядке два положительных члена на один отрицательный (т.е. в порядке $1, 2, -1, 3, 4, -2, 5, \cdots$). Найдите предельное значение частичных сумм этого ряда.

Повторите (б), где для произвольного заданного целого $k>0$ порядок суммирования — $k$ положительных членов на один отрицательный.

Покажите, исходя из приведённых выше границ Стирлинга и из свойства монотонности, что

Используя результат (а), оцените сверху $\mathsf{p}_{S_{n}}(k)$ выражением

Покажите, что это эквивалентно верхней границе в Теореме 1.4.1.

Покажите, что

Выведите нижнюю границу в Теореме 1.4.1.

Покажите, что $D(\widetilde{p}\| p) = \widetilde{p}\ln (\widetilde{p}/p)+(1-\widetilde{p})\ln [(1-\widetilde{p})/(1-p)]$ равно 0 при $\widetilde{p} = p$ и неотрицательно всюду.

$p_{0} = 0.2$, $p_{1} = 0.4$, $p_{2} = 0.4$.

$p_{0} = 0.2$, $p_{1} = 0.2$, $p_{2} = 0.6$.

$p_{0} = 0.2$, $p_{1} = 0.3$, $p_{2} = 0.5$.

Теперь предположим, что $X$ неотрицательна и непрерывна с плотностью $\mathsf{f}_{X}(x) = 1$ при $0 \leq x \leq 0.5$ и $\mathsf{f}_{X}(x) = 0$ при $0.5<x \leq 1$. Нам известно, что $\mathsf{f}_{X}(x)$ положительна при всех $x>1$, но в остальном неизвестна. Найдите медиану или интервал медиан.

Для произвольной заданной случайной величины $Y$ выразите $\mathbb {E}\left[\left|Y\right|\right]$ через $\int_{y<0}F_{Y}(y) \, dy$ и $\int_{y \geq 0}F_{Y}^{c}(y) \, dy$.

Для некоторой заданной случайной величины $X$ с $\mathbb {E}\left[\left|X\right|\right]<\infty$ пусть $Y = X-\alpha$. Используя (а), покажите, что

Покажите, что $\mathbb {E}\left[\left|X-\alpha \right|\right]$ минимизируется по $\alpha$ при выборе $\alpha$ равным медиане $X$. Будьте внимательны и покажите, что когда медиана является интервалом, все точки этого интервала достигают минимума.

Максимума $n$ н.о.р. случайных величин, каждая с функцией распределения $F_{X}(x)$.

Минимума $n$ н.о.р. случайных величин, каждая с функцией распределения $F_{X}(x)$.

Разности случайных величин, определённых в (а) и (б); предположите, что $X$ имеет плотность $\mathsf{f}_{X}(x)$.

Покажите, что множество тех $\omega$, для которых $Z(\omega ) = \pm \infty$, имеет вероятность 0.

Чтобы показать, что $Z = X+Y$ является случайной величиной, нужно показать, что для каждого вещественного числа $\alpha$ множество $\left\{ \omega \in \Omega : X(\omega )+Y(\omega ) \leq \alpha \right\}$ является событием. Действуем косвенно. Для произвольного положительного целого $n$ и произвольного целого $k>0$ положим $B(n, k) = \left\{ \omega : X(\omega ) \leq k/n\right\} \cap \left\{ \omega : Y(\omega ) \leq \alpha +(1-k)/n\right\}$. Пусть $D(n) = \bigcup_{k}B(n, k)$; покажите, что $D(n)$ является событием.

На двумерном чертеже для заданного $\alpha$ покажите значения $X(\omega )$ и $Y(\omega )$, для которых $\omega \in D(n)$.

Покажите, что

Объясните, почему это показывает, что $Z = X+Y$ является случайной величиной.

Объясните, почему из (г) следует, что если $Y = X_{1}+X_{2}+\cdots +X_{n}$ и $X_{1}, X_{2}, \ldots , X_{n}$ — случайные величины, то $Y$ — тоже случайная величина.

Пусть $X_{1}, X_{2}, \ldots , X_{n}$ — случайные величины с математическими ожиданиями $\overline{X}_{1}, \ldots , \overline{X}_{n}$. Покажите, что $\mathbb {E}\left[X_{1}+\cdots +X_{n}\right] = \overline{X}_{1}+\cdots +\overline{X}_{n}$. Можете предполагать, что случайные величины имеют совместную плотность, но не предполагайте, что они независимы.

Теперь предположите, что $X_{1}, \ldots , X_{n}$ статистически независимы, и покажите, что математическое ожидание произведения равно произведению математических ожиданий.

Снова предполагая, что $X_{1}, \ldots , X_{n}$ статистически независимы, покажите, что дисперсия суммы равна сумме дисперсий.

Пусть $h(x) = u(x)$ и $F_{X}(x) = u(x)$, где $u(x)$ — единичный скачок, т.е. $u(x) = 0$ при $-\infty <x<0$ и $u(x) = 1$ при $x \geq 0$. Используя определение интеграла Стилтьеса как предела римановых сумм $\sum_{n}h(x_{n})[F(y_{n})-F(y_{n-1})]$ по разбиениям $\left\{ y_{n}; n \geq 1\right\}$ с $y_{n-1}<x_{n} \leq y_{n}$, измельчаемым по мере того, как диаметр разбиения $\delta \rightarrow 0$, покажите, что $\int_{-1}^{1}h(x) \, dF_{X}(x)$ не существует.

Пусть $h(x) = u(x-a)$ и $F_{X}(x) = u(x-b)$, где $a$ и $b$ принадлежат $(-1, +1)$. Покажите, что $\int_{-1}^{1}h(x) \, dF_{X}(x)$ существует тогда и только тогда, когда $a \neq b$. Покажите, что интеграл равен 1 при $a<b$ и равен 0 при $a>b$. Обоснуйте, что этот результат остаётся верным и в пределе интегрирования по $(-\infty , \infty )$.

Пусть $X$ и $Y$ — независимые дискретные случайные величины, каждая с конечным множеством возможных значений. Покажите, что $\int_{-\infty }^{\infty }F_{X}(z-y) \, dF_{Y}(y)$, определённый как интеграл Стилтьеса, равен функции распределения $Z = X+Y$ в каждой точке $z$, отличной от возможных значений выборки $Z$, и не определён в каждом значении выборки $Z$.

Найдите вероятность того, что $X_{2}$ является рекордом на текущий момент. Используйте симметрию, чтобы получить числовой ответ без вычислений. Одной-двух строк объяснения должно быть достаточно.

Найдите вероятность того, что $X_{n}$ является рекордом на текущий момент, как функцию от $n \geq 1$. Снова используйте симметрию.

Найдите простое выражение для ожидаемого числа рекордов на текущий момент, встречающихся за первые $m$ испытаний, при любом заданном целом $m$. Покажите, что это ожидаемое число бесконечно в пределе $m \rightarrow \infty$.

Пусть $N_{1}$ — индекс первого рекорда на текущий момент в последовательности. Найдите $\mathbb {P}\left(N_{1}>n\right)$ для каждого $n \geq 2$.

Покажите, что $N_{1}$ является случайной величиной.

Покажите, что $\mathbb {E}\left[N_{1}\right] = \infty$.

Пусть $N_{2}$ — индекс второго рекорда на текущий момент в последовательности. Покажите, что $N_{2}$ является случайной величиной. Находить функцию распределения $N_{2}$ здесь не требуется.

Сопоставьте ваш результат в (в) с результатом упражнения 1.16(в), утверждающим, что ожидаемое число рекордов на текущий момент бесконечно на бесконечном числе испытаний. Примечание: это может показаться шокирующим для вашей интуиции — бесконечное ожидаемое время ожидания первого события из бесконечной последовательности событий, каждое из которых рано или поздно должно произойти.

Для любого заданного $n \geq 2$ найдите вероятность того, что $X_{n}$ и $X_{n+1}$ обе являются рекордами на текущий момент.

Является ли событие, что $X_{n}$ — рекорд на текущий момент, статистически независимым от события, что $X_{n+1}$ — рекорд на текущий момент?

Найдите ожидаемое число соседних пар рекордов на текущий момент по последовательности $X_{1}, X_{2}, \ldots$.

Предположим, что $X$ — неотрицательная дискретная св, принимающая значения $a_{1}, a_{2}, \ldots$, и пусть $Y = h(X)$ для некоторой неотрицательной функции $h$. Пусть $b_{i} = h(a_{i})$, $i \geq 1$, — $i$-е значение, принимаемое $Y$. Покажите, что $\mathbb {E}\left[Y\right] = \sum_{i}b_{i}\mathsf{p}_{Y}(b_{i}) = \sum_{i}h(a_{i})\mathsf{p}_{X}(a_{i})$. Найдите пример, где $\mathbb {E}\left[X\right]$ существует, но $\mathbb {E}\left[Y\right] = \infty$.

Пусть $X$ — неотрицательная непрерывная св с плотностью $\mathsf{f}_{X}(x)$, и пусть $h(x)$ дифференцируема, неотрицательна и строго возрастает по $x$. Пусть $A(\delta ) = \sum_{n \geq 1}h(n\delta )[F(n\delta )-F(n\delta -\delta )]$, т.е. $A(\delta )$ — приближение порядка $\delta$ к интегралу Стилтьеса $\int h(x) \, dF(x)$. Покажите, что если $A(1)<\infty$, то $A(2^{-k}) \leq A(2^{-(k-1)})<\infty$. Покажите из этого, что $\int h(x) \, dF(x)$ сходится к конечному значению. Замечание: это очень частный случай, но его можно распространить на многие представляющие интерес случаи. Представляется более разумным рассматривать эти вопросы сходимости по мере необходимости, а не в общем виде.

Рассмотрим положительную целочисленную св, чья ФР задана в целых точках формулой

Используя $\mathbb {E}\left[Y\right] = \int_{0}^{\infty }F_{Y}^{c}(y) \, dy$ (уравнение (1.30)), покажите, что $\mathbb {E}\left[Y\right] = 2$.

Найдите ЗРВ величины $Y$ и используйте её для проверки значения $\mathbb {E}\left[Y\right]$.

Пусть $X$ — другая положительная целочисленная св. Предположим, что её условная ЗРВ задана формулой

Найдите $\mathbb {E}\left[X \mid Y=y\right]$ и покажите, что $\mathbb {E}\left[X\right] = 3/2$. Попробуйте найти $\mathsf{p}_{X}(x)$, пока не убедитесь, что использование условного математического ожидания для вычисления $\mathbb {E}\left[X\right]$ значительно проще, чем использование $\mathsf{p}_{X}(x)$.

Пусть $Z$ — другая целочисленная св с условной ЗРВ

Найдите $\mathbb {E}\left[Z \mid Y=y\right]$ для каждого целого $y \geq 1$ и найдите $\mathbb {E}\left[Z\right]$.

Покажите, что для некоррелированных св математическое ожидание произведения равно произведению математических ожиданий (по определению, $X$ и $Y$ некоррелированы, если $\mathbb {E}\left[(X-\overline{X})(Y-\overline{Y})\right] = 0$).

Покажите, что если $X$ и $Y$ некоррелированы, то дисперсия $X+Y$ равна дисперсии $X$ плюс дисперсия $Y$.

Покажите, что если $X_{1}, \ldots , X_{n}$ некоррелированы, то дисперсия суммы равна сумме дисперсий.

Покажите, что независимые св некоррелированы.

Пусть $X, Y$ — одинаково распределённые троичные св с ЗРВ $\mathsf{p}_{X}(-1) = \mathsf{p}_{X}(1) = 1/4$; $\mathsf{p}_{X}(0) = 1/2$. Найдите простое совместное распределение вероятностей такое, что $X$ и $Y$ некоррелированы, но зависимы.

Вы видели, что МПФ суммы независимых св равна произведению индивидуальных МПФ. Приведите пример, где это неверно, если переменные некоррелированы, но зависимы.

Предположим, что $X, Y$ и $Z$ — бинарные случайные величины, каждая из которых принимает значение 0 с вероятностью $1/2$ и значение 1 с вероятностью $1/2$. Найдите простой пример, в котором $X, Y, Z$ статистически зависимы, но попарно статистически независимы (т.е. $X, Y$ статистически независимы, $X, Z$ статистически независимы и $Y, Z$ статистически независимы). Приведите $\mathsf{p}_{XYZ}(x, y, z)$ для вашего примера.

Достаточно ли попарной статистической независимости для того, чтобы

для набора случайных величин $X_{1}, \ldots , X_{n}$?

Пусть $\lambda , \theta$ — положительные числа, и пусть $X$ имеет плотность

Пусть $Y$ — гауссовская случайная величина со средним $m$ и дисперсией $\sigma^{2}$.

Пусть $Z$ — неотрицательная случайная величина с плотностью

где $\lambda >0$ и $k = \left[\int_{z \geq 0}(1+z)^{-2}\exp (-\lambda z) \, dz\right]^{-1}$.

Для $Z$ из пункта (в) найдите предел $\gamma '(r)$ при $r$, стремящемся к $\lambda$ снизу. Затем замените $(1+z)^{2}$ на $\left|1+z\right|^{3}$ в определении $\mathsf{f}_{Z}(z)$ и $k$ и покажите, будет ли указанный предел при этом конечным или нет.

Предположим, что производящая функция моментов случайной величины $X$ существует (т.е. конечна) на интервале $(r_{-}, r_{+})$, $r_{-}<0<r_{+}$, и предположим, что $r_{-}<r<r_{+}$ везде далее. Для любой конечной константы $c$ выразите производящую функцию моментов $X-c$, т.е. $\mathsf{g}_{(X-c)}(r)$, через производящую функцию моментов $X$ и покажите, что $\mathsf{g}_{(X-c)}''(r) \geq 0$. Объясните, почему $\mathsf{g}_{(X-c)}''(r) \geq 0$.

Покажите, что $\mathsf{g}_{(X-c)}''(r) = [\mathsf{g}_{X}''(r)-2c\mathsf{g}_{X}'(r)+c^{2}\mathsf{g}_{X}(r)]e^{-rc}$.

Используя (а) и (б), покажите, что $\mathsf{g}_{X}''(r)\mathsf{g}_{X}(r)-[\mathsf{g}_{X}'(r)]^{2} \geq 0$. Пусть $\gamma_{X}(r) = \ln \mathsf{g}_{X}(r)$; покажите, что $\gamma_{X}''(r) \geq 0$.

Предположим, что $X$ недетерминирована, т.е. не существует такого значения $\alpha$, что $\mathbb {P}\left(X=\alpha \right) = 1$. Покажите, что знак неравенства «$\geq$» может быть заменён на «$>$» всюду в (а), (б) и (в).

Какова вероятность того, что конкретный пользователь, скажем пользователь 1, сможет продолжить пользоваться системой?

Каково ожидаемое число пользователей, способных продолжить пользоваться системой?

Пусть $Y$ — неотрицательная св и $y>0$ — некоторое фиксированное число. Пусть $A$ — событие $Y \geq y$. Покажите, что $y\mathbb {I}_{A} \leq Y$ (т.е. что это неравенство выполнено для любого $\omega \in \Omega$).

Используя результат (а), докажите неравенство Маркова.

Минимизируйте $\mathbb {E}\left[Y\right]$ по всем неотрицательным св, для которых $\mathbb {P}\left(Y \geq b\right) = \beta$ при некоторых заданных $b>0$ и $0<\beta <1$. Какая св достигает минимума?

Используя (а), докажите неравенство Маркова, а также укажите распределение, для которого неравенство обращается в равенство.

Покажите, что второй интеграл выше удовлетворяет $\int_{b}^{\infty }x^{2}\mathsf{f}_{X}(x) \, dx \geq b^{2}\beta$.

Покажите, что первый интеграл выше ограничен условиями

Минимизируйте первый интеграл при ограничениях из (б).

Объедините результаты (а) и (в), чтобы показать, что $\sigma^{2} \geq b^{2}\beta /(1-\beta )$. Найдите минимизирующее распределение.

Используя (г), установите приведённое выше одностороннее неравенство Чебышёва. Также покажите (тривиально), что если $Y$ имеет среднее $\overline{Y}$ и дисперсию $\sigma^{2}$, то $\mathbb {P}\left(Y-\overline{Y} \geq b\right) \leq \sigma^{2}/(\sigma^{2}+b^{2})$.

Сначала покажите, что $\left|\alpha \right| \leq \sigma$ для особого случая, когда $X$ бинарна с равновероятными значениями $\pm \sigma$.

Для всех св $X$ с нулевым средним и дисперсией $\sigma^{2}$, отличных от особого случая в (а), покажите, что

Покажите, что $\mathbb {P}\left(X \geq \alpha \right) \geq 0.5$. Помимо особого случая из (а), покажите, что отсюда следует $\alpha <\sigma$.

Помимо особого случая из (а), покажите, что $\left|\alpha \right|<\sigma$. Тем самым вы показали, что $\left|\alpha \right| \leq \sigma$ с равенством только в бинарном случае со значениями $\pm \sigma$. Для св $Y$ с ненулевым средним отсюда следует, что $\left|\alpha -\overline{Y}\right| \leq \sigma$.

Для заданного $x$ пусть $\mathbb {I}_{j}(x)$ — индикаторная функция события $\left\{ X_{j} \leq x\right\}$, где $X_{1}, X_{2}, \ldots , X_{j}, \ldots$ — независимые одинаково распределённые св с ФР $F_{X}(x)$. Сформулируйте ЗБЧ для независимых одинаково распределённых св $\left\{ \mathbb {I}_{1}(x), \mathbb {I}_{2}(x), \ldots \right\}$.

Требует ли ответ в пункте (а) наличия у $X$ среднего значения или дисперсии?

Предложите процедуру для оценки медианы $X$ по выборочным значениям $X_{1}, X_{2}, \ldots$. Предположите, что $X$ — непрерывная св и что её ПРВ положительна в некоторой открытой окрестности медианы. Точность не требуется, но постарайтесь тщательно продумать этот вопрос.