Производящие функции и их приложения

Найдите производящие функции следующих функций вероятности и укажите, где они сходятся. Затем вычислите их средние значения и дисперсии.

Пусть $X( \geq 0)$ имеет производящую функцию вероятностей $G$, и обозначим $t(n) = \mathbb {P}\left(X > n\right)$ «хвостовые» вероятности $X$. Покажите, что производящая функция последовательности $\left\{ t(n): n \geq 0\right\}$ равна $T(s) = (1-G(s)) /(1-s)$. Покажите, что $\mathbb {E}\left[X\right] = T(1)$ и $\operatorname {Var}\left[X\right] = 2 T^{\prime }(1)+T(1)-T(1)^{2}$.

Пусть $G_{X, Y}(s, t)$ — совместная производящая функция вероятностей $X$ и $Y$. Покажите, что $G_{X}(s) = G_{X, Y}(s, 1)$ и $G_{Y}(t) = G_{X, Y}(1, t)$. Покажите, что

Найдите совместные производящие функции следующих совместных функций вероятности и укажите, при каких значениях переменных ряды сходятся.

Монету подбрасывают $n$ раз, и орёл выпадает с вероятностью $p$ при каждом подбрасывании. Считая обычную независимость, покажите, что совместная производящая функция вероятностей чисел $H$ и $T$ орлов и решек равна $G_{H, T}(x, y) = \left\{ p x+(1-p) y\right\}^{n}$. Обобщите этот вывод, чтобы найти совместную производящую функцию вероятностей мультиномиального распределения из упражнения (3.5.1).

Пусть $X$ имеет биномиальное распределение $\operatorname {bin}(n, U)$, где $U$ равномерно распределена на $(0,1)$. Покажите, что $X$ равномерно распределена на $\left\{ 0,1,2, \ldots , n\right\}$.

Покажите, что

— это совместная производящая функция четырёх переменных, независимых попарно и потройно, но тем не менее не являющихся независимыми в совокупности.

Пусть $p_{r} > 0$ и $a_{r} \in \mathbb {R}$ при $1 \leq r \leq n$. Какая из следующих функций является производящей функцией моментов, и для какой случайной величины?

Пусть $G_{1}$ и $G_{2}$ — производящие функции вероятностей, и пусть $0 \leq \alpha \leq 1$. Покажите, что $G_{1} G_{2}$ и $\alpha G_{1}+(1-\alpha ) G_{2}$ являются производящими функциями вероятностей. Обязательно ли $G(\alpha s) / G(\alpha )$ является производящей функцией вероятностей?

Пусть $X_{1}, X_{2}, \ldots$ — независимые непрерывные случайные величины с общей функцией распределения $F$, не зависящие от принимающей положительные целые значения случайной величины $Z$. Определим максимум $M = \max \left\{ X_{1}, X_{2}, \ldots , X_{Z}\right\}$. Покажите, что

где $G$ — производящая функция вероятностей $Z$.

Пусть $0 < p = 1-q < 1$, и пусть $X$ имеет геометрическую функцию вероятности $f(x) = q^{x-1} p$ при $x = 1,2, \ldots$. Найдите производящую функцию вероятностей $Y = \min \left\{ n, X\right\}$ при фиксированном $n \geq 1$, и покажите, что $\mathbb {E}\left[Y\right] = \left(1-q^{n}\right) / p$.

Пусть $X_{i}$ — число шаров в $i$-й из последовательности урн, и предположим, что $X_{i}$ независимы с общей производящей функцией вероятностей $G_{X}$. Имеется $N$ таких урн, где $N$ не зависит от $X_{i}$ и имеет производящую функцию вероятностей $G_{N}$. Каждый шар «немечен» с вероятностью $u$ и помечен в противном случае, причём метки появляются независимо.

Пусть $X$ — число событий из последовательности $A_{1}, A_{2}, \ldots , A_{n}$, которые происходят. Пусть $S_{m} = \mathbb {E}\left[\binom {X}{m}\right]$ — среднее значение случайного биномиального коэффициента $\binom {X}{m}$, и покажите, что

Каждый человек в группе из $n$ человек выбирает другого наугад. Найдите вероятность:

Пусть $X$ имеет биномиальное распределение с параметрами $n$ и $p$, и покажите, что

Найдите предел этого выражения при $n \rightarrow \infty$ и $p \rightarrow 0$, где предел берётся так, что $n p \rightarrow \lambda$, где $0 < \lambda < \infty$. Прокомментируйте.

Монету подбрасывают многократно, и орёл выпадает с вероятностью $p$ при каждом подбрасывании. Пусть $h_{n}$ — вероятность чётного числа орлов в первых $n$ подбрасываниях, причём по соглашению 0 считается чётным числом. Найдите разностное уравнение для $h_{n}$ и выведите, что их производящая функция равна $\frac{1}{2}\left\{ (1+2 p s-s)^{-1}+(1-s)^{-1}\right\}$.

Несимметричную монету подбрасывают многократно, причём $\mathbb {P}\left(\mathrm{H}\right) = p = 1-q$. Пусть $X$ — число подбрасываний до первого появления ОРО (HTH), а $Y$ — число подбрасываний до первого появления ОРО или РОР (THT). Покажите, что $\mathbb {E}\left[s^{X}\right] = \left(p^{2} q s^{3}\right) /\left(1-s+p q s^{2}-p q^{2} s^{3}\right)$, и найдите $\mathbb {E}\left[s^{Y}\right]$.

Стопка (уже изрядно потрёпанных) писем снова роняется и раскладывается по конвертам наугад, давая $X_{n}$ совпадений. Покажите, что $\mathbb {P}\left(X_{n} = j\right) = (j+1) \mathbb {P}\left(X_{n+1} = j+1\right)$. Выведите, что производные $G_{n}(s) = \mathbb {E}\left[s^{X_{n}}\right]$ удовлетворяют равенству $G_{n+1}^{\prime } = G_{n}$, и тем самым выведите заключение примера (3.4.3), а именно:

Пусть $X$ имеет распределение Пуассона с параметром $\Lambda$, где $\Lambda$ имеет показательное распределение с параметром $\mu$. Покажите, что $X$ имеет геометрическое распределение.

Напомним из упражнения (3.3.2), что каждая пачка переоценённого товара содержит бесполезную пластиковую фигурку. Существует четыре типа фигурок, и каждая пачка с равной вероятностью содержит любую из четырёх. Пусть $T$ — число пачек, которые вы вскрываете, прежде чем впервые соберёте полный набор. Найдите $\mathbb {E}\left[s^{T}\right]$ и $\mathbb {P}\left(T = k\right)$.

Библиотека разрешает читателю держать на руках не более $m$ книг одновременно. Перед посещением у вас на руках $B$ книг, имеющих биномиальное распределение $\operatorname {bin}(m, p)$. При каждом посещении удерживаемая книга остаётся у вас с вероятностью $r$ и возвращается в противном случае; при заданном числе $R$ оставленных книг вы берёте ещё $N$ книг с распределением $\operatorname {bin}(m-R, \alpha )$. Считая обычную независимость, найдите распределение числа $A = R+N$ книг, находящихся на руках после посещения. Покажите, что после большого числа посещений число книг на руках имеет приближённо распределение $\operatorname {bin}(m, s)$, где $s = \alpha /[1-r(1-\alpha )]$. Можете считать, что $0 < \alpha , p, r < 1$.

Совпадения ещё раз, продолжение упражнения (5.2.7). Каждый конверт адресован верно с вероятностью $t$ и неверно в противном случае (считайте обычную независимость). Условлено, что неверно адресованный конверт не может считаться совпадением, даже если он содержит правильное письмо. Покажите, что число $Y_{n}$ верно адресованных совпадений удовлетворяет равенству

Обратите внимание на предельное распределение Пуассона.

Случайная величина называется простой, если она может принимать лишь конечное число значений. Покажите, что простую случайную величину $X$ можно смоделировать с помощью конечной последовательности бернуллиевских случайных величин, в том смысле, что существуют независимые бернуллиевские случайные величины $\left\{ B_{j}: j = 1,2, \ldots , m\right\}$ с соответствующими параметрами $b_{j}$ и вещественные числа $\left\{ r_{j}\right\}$, такие что $Y = \sum_{j} r_{j} B_{j}$ имеет то же распределение, что и $X$.

Для простого случайного блуждания $S$ с $S_{0} = 0$ и $p = 1-q < \frac{1}{2}$ покажите, что максимум $M = \max \left\{ S_{n}: n \geq 0\right\}$ удовлетворяет равенству $\mathbb {P}\left(M \geq r\right) = (p / q)^{r}$ при $r \geq 0$.

Используя производящие функции, покажите, что для симметричного случайного блуждания

Частица совершает случайное блуждание по вершинам квадрата $A B C D$. На каждом шаге вероятность перехода из вершины $c$ в вершину $d$ равна $\rho_{c d}$, где

и $\alpha , \beta > 0, \alpha +\beta = 1$. Пусть $G_{\mathrm{A}}(s)$ — производящая функция последовательности $\left(p_{\mathrm{AA}}(n): n \geq 0\right)$, где $p_{\mathrm{AA}}(n)$ — вероятность того, что частица находится в A после $n$ шагов, начав движение из A. Покажите, что

Отсюда найдите производящую функцию вероятностей времени первого возвращения в A.

Частица совершает симметричное случайное блуждание в двух измерениях, начиная с начала координат: каждый шаг имеет единичную длину и с равной вероятностью $\frac{1}{4}$ направлен на север, юг, восток или запад. Частица впервые достигает прямой $x+y = m$ в точке $(X, Y)$ и в момент времени $T$. Найдите производящие функции вероятностей $T$ и $X-Y$, и укажите, где они сходятся.

Выведите закон арксинуса для времён пребывания, теорема (3.10.21), используя производящие функции. А именно, пусть $L_{2 n}$ — время (до момента $2 n$), проведённое простым симметричным случайным блужданием справа от начальной точки. Покажите, что

Пусть $\left\{ S_{n}: n \geq 0\right\}$ — простое симметричное случайное блуждание с $S_{0} = 0$, и пусть $T = \min \left\{ n > 0 : S_{n} = 0\right\}$. Покажите, что

Пусть $S_{n} = \sum_{r = 0}^{n} X_{r}$ — лево-непрерывное случайное блуждание по целым числам с удерживающим барьером в нуле. Точнее, предположим, что $X_{r}$ — одинаково распределённые целочисленные случайные величины с $X_{1} \geq -1, \mathbb {P}\left(X_{1} = 0\right) \neq 0$, и

Покажите, что распределение $S_{0}$ можно выбрать так, что $\mathbb {E}\left[z^{S_{n}}\right] = \mathbb {E}\left[z^{S_{0}}\right]$ для всех $n$, тогда и только тогда, когда $\mathbb {E}\left[X_{1}\right] < 0$, и в этом случае

Рассмотрим простое случайное блуждание, начинающееся с 0, в котором каждый шаг направлен вправо с вероятностью $p( = 1-q)$. Пусть $T_{b}$ — число шагов до первого достижения блужданием точки $b$, где $b > 0$. Покажите, что $\mathbb {E}\left[T_{b} \mid T_{b} < \infty \right] = b /\left|p-q\right|$.

Пусть $S = \left\{ S_{k}: k = 0,1,2, \ldots \right\}$ — простое случайное блуждание по неотрицательным целым числам, с $S_{0} = i$ и поглощающим барьером в 0. Типичный скачок $X$ имеет функцию вероятности $\mathbb {P}\left(X = 1\right) = p$ и $\mathbb {P}\left(X = -1\right) = q = 1-p$, где $p \in \left(\frac{1}{2}, 1\right)$. Пусть $H$ — событие, состоящее в том, что блуждание в конце концов поглощается в 0. Покажите, что при условии $H$ блуждание имеет то же распределение, что и простое случайное блуждание $W = \left\{ W_{k}: k = 0,1,2, \ldots \right\}$, для которого типичный скачок $Y$ удовлетворяет $\mathbb {P}\left(Y = 1\right) = q$, $\mathbb {P}\left(Y = -1\right) = p$.

Пусть $Z_{n}$ — размер $n$-го поколения в обычном ветвящемся процессе с $Z_{0} = 1, \mathbb {E}\left[Z_{1}\right] = \mu$ и $\operatorname {Var}\left[Z_{1}\right] > 0$. Покажите, что $\mathbb {E}\left[Z_{n} Z_{m}\right] = \mu^{n-m} \mathbb {E}\left[Z_{m}^{2}\right]$ при $m \leq n$. Отсюда найдите коэффициент корреляции $\rho \left(Z_{m}, Z_{n}\right)$ через $\mu$.

Рассмотрим ветвящийся процесс с размерами поколений $Z_{n}$, удовлетворяющими $Z_{0} = 1$ и $\mathbb {P}\left(Z_{1} = 0\right) = 0$. Выберем наугад (с возвращением) двух особей из $n$-го поколения и пусть $L$ — номер поколения, содержащего их ближайшего общего предка. Покажите, что $\mathbb {P}\left(L \geq r\right) \geq \mathbb {E}\left[Z_{r}^{-1}\right]$ при $0 \leq r < n$. Покажите, что при $r \neq 0$ равенство достигается тогда и только тогда, когда $Z_{1}$ п.н. постоянна. Что можно сказать, если $\mathbb {P}\left(Z_{1} = 0\right) > 0$?

Рассмотрим ветвящийся процесс, размеры семей которого имеют геометрическую функцию вероятности $f(k) = q p^{k}$, $k \geq 0$, где $p+q = 1$, и пусть $Z_{n}$ — размер $n$-го поколения. Пусть $T = \min \left\{ n: Z_{n} = 0\right\}$ — момент вырождения, и предположим, что $Z_{0} = 1$. Найдите $\mathbb {P}\left(T = n\right)$. При каких значениях $p$ выполняется $\mathbb {E}\left[T\right] < \infty$?

Пусть $Z_{n}$ — размер $n$-го поколения ветвящегося процесса, и предположим $Z_{0} = 1$. Найдите выражение для производящей функции $G_{n}$ величины $Z_{n}$ в случаях, когда $Z_{1}$ имеет производящую функцию:

Каждое поколение ветвящегося процесса (с единственным родоначальником) пополняется случайным числом иммигрантов, неотличимых от остальных членов популяции. Предположим, что числа иммигрантов в разных поколениях независимы друг от друга и от прошлой истории ветвящегося процесса, причём каждое такое число имеет производящую функцию вероятностей $H(s)$. Покажите, что производящая функция вероятностей $G_{n}$ размера $n$-го поколения удовлетворяет $G_{n+1}(s) = G_{n}(G(s)) H(s)$, где $G$ — производящая функция вероятностей типичной семьи потомков.

Пусть $Z_{n}$ — размер $n$-го поколения в ветвящемся процессе с $\mathbb {E}\left[s^{Z_{1}}\right] = (2-s)^{-1}$ и $Z_{0} = 1$. Пусть $V_{r}$ — общее число поколений размера $r$. Покажите, что $\mathbb {E}\left[V_{1}\right] = \frac{1}{6} \pi^{2}$ и $\mathbb {E}\left[2 V_{2}-V_{3}\right] = \frac{1}{6} \pi^{2}-\frac{1}{90} \pi^{4}$.

Пусть $T$ — общее число особей в ветвящемся процессе с распределением размера семьи $\operatorname {bin}(2, p)$, где $p \neq \frac{1}{2}$. Покажите, что

Каково распределение размера семьи при условии $T < \infty$?

Пусть $Z$ — ветвящийся процесс с $Z_{0} = 1, \mathbb {E}\left[Z_{1}\right] = \mu > 1$ и $\operatorname {Var}\left[Z_{1}\right] = \sigma^{2}$. Используя неравенство Пэли–Зигмунда, покажите, что вероятность вырождения $\eta_{n} = \mathbb {P}\left(Z_{n} = 0\right)$ удовлетворяет

Пусть $Z(t)$ — размер популяции в момент времени $t$ в возрастно-зависимом ветвящемся процессе, распределение времени жизни которого показательное с параметром $\lambda$. Если $Z(0) = 1$, покажите, что производящая функция вероятностей $G_{t}(s)$ величины $Z(t)$ удовлетворяет

где $G$ — производящая функция вероятностей типичного размера семьи. Покажите в случае «показательного бинарного деления», когда $G(s) = s^{2}$, что

и отсюда выведите функцию вероятности размера популяции $Z(t)$ в момент времени $t$.

Решите дифференциальное уравнение из упражнения (5.5.1) при $\lambda = 1$ и $G(s) = \frac{1}{2}\left(1+s^{2}\right)$, чтобы получить

Отсюда найдите $\mathbb {P}\left(Z(t\right) \geq k)$, и выведите, что

Пусть $X_{1}, X_{2}, \ldots$ — случайные величины, удовлетворяющие $\mathbb {E}\left[\sum_{i = 1}^{\infty }\left|X_{i}\right|\right] < \infty$. Покажите, что

Пусть $\left\{ X_{n}\right\}$ — последовательность случайных величин, удовлетворяющая $X_{n} \leq Y$ п.н. для некоторого $Y$ с $\mathbb {E}\left[\left|Y\right|\right] < \infty$. Покажите, что

Предположим, что $\mathbb {E}\left[\left|X^{r}\right|\right] < \infty$, где $r > 0$. Выведите, что $x^{r} \mathbb {P}\left(\left|X\right| \geq x\right) \rightarrow 0$ при $x \rightarrow \infty$. Обратно, предположим, что $x^{r} \mathbb {P}\left(\left|X\right| \geq x\right) \rightarrow 0$ при $x \rightarrow \infty$, где $r \geq 0$, и покажите, что $\mathbb {E}\left[\left|X^{s}\right|\right] < \infty$ при $0 \leq s < r$.

Покажите, что $\mathbb {E}\left[\left|X\right|\right] < \infty$ тогда и только тогда, когда выполняется следующее: для всех $\epsilon > 0$ существует $\delta > 0$ такое, что $\mathbb {E}\left[\left|X\right| I_{A}\right] < \epsilon$ для всех $A$, таких что $\mathbb {P}\left(A\right) < \delta$.

Пусть $M = \max \left\{ X, Y\right\}$, где $X, Y$ имеют некоторое совместное распределение. Покажите, что $\operatorname {Var}\left[M\right] \leq \operatorname {Var}\left[X\right]+ \operatorname {Var}\left[Y\right]$.

Пусть $A_{1}, A_{2}, \ldots , A_{n}$ — события, и пусть $S$ — число тех из них, которые происходят. Покажите, что

где $I_{r}$ — индикаторная функция события $A_{r}$.

Найдите две зависимые случайные величины $X$ и $Y$ такие, что $\phi_{X+Y}(t) = \phi_{X}(t) \phi_{Y}(t)$ для всех $t$.

Если $\phi$ — характеристическая функция, покажите, что $\operatorname {Re}\left\{ 1-\phi (t)\right\} \geq \frac{1}{4} \operatorname {Re}\left\{ 1-\phi (2 t)\right\}$, и выведите, что $1-\left|\phi (2 t)\right| \leq 8\left\{ 1-\left|\phi (t)\right|\right\}$.

Кумулянтная производящая функция $K_{X}(\theta )$ случайной величины $X$ определяется как $K_{X}(\theta ) = \log \mathbb {E}\left[e^{\theta X}\right]$ — логарифм производящей функции моментов $X$. Если последняя конечна в окрестности начала координат, то $K_{X}$ имеет сходящееся разложение Тейлора:

и $k_{n}(X)$ называется $n$-м кумулянтом (или семиинвариантом) $X$.

Пусть $X$ имеет распределение $N(0,1)$, и покажите, что кумулянты $X$ равны $k_{2}(X) = 1, k_{m}(X) = 0$ при $m \neq 2$.

Говорят, что случайная величина $X$ имеет решётчатое распределение, если существуют такие $a$ и $b$, что $X$ принимает значения в множестве $L(a, b) = \left\{ a+b m: m = 0, \pm 1, \ldots \right\}$. Шагом такой величины $X$ называется максимальное значение $b$, для которого существует $a$ такое, что $X$ принимает значения в $L(a, b)$.

Пусть $X$ — случайная величина с плотностью $f$. Покажите, что $\left|\phi_{X}(t)\right| \rightarrow 0$ при $t \rightarrow \pm \infty$.

Пусть $X_{1}, X_{2}, \ldots , X_{n}$ — независимые величины, причём $X_{i}$ имеет распределение $N\left(\mu_{i}, 1\right)$, и пусть $Y = X_{1}^{2}+X_{2}^{2}+\cdots +X_{n}^{2}$. Покажите, что характеристическая функция $Y$ равна

где $\theta = \mu_{1}^{2}+\mu_{2}^{2}+\cdots +\mu_{n}^{2}$. Говорят, что случайная величина $Y$ имеет нецентральное хи-квадрат распределение с $n$ степенями свободы и параметром нецентральности $\theta$, обозначаемое $\chi^{2}(n ; \theta )$.

Пусть $X$ имеет распределение $N(\mu , 1)$, а $Y$ — распределение $\chi^{2}(n)$, и предположим, что $X$ и $Y$ независимы. Говорят, что случайная величина $T = X / \sqrt{Y / n}$ имеет нецентральное $t$-распределение с $n$ степенями свободы и параметром нецентральности $\mu$. Если $U$ и $V$ независимы, причём $U$ имеет распределение $\chi^{2}(m ; \theta )$, а $V$ — распределение $\chi^{2}(n)$, то говорят, что $F = (U / m) /(V / n)$ имеет нецентральное $F$-распределение с $m$ и $n$ степенями свободы и параметром нецентральности $\theta$, обозначаемое $F(m, n ; \theta )$.