Глава 1

Вероятность

[166/38%]
Показать
LaTeX
§
1 · Теорема Бореля о нормальных числах[11/64%]
Задача 1.1
?
(a)

Покажите, что дискретное вероятностное пространство (формальное определение см. в Примере 2.8) не может содержать бесконечную последовательность A1,A2,…A_{1}, A_{2}, \ldots независимых событий, каждое из которых имеет вероятность 12\frac{1}{2}. Поскольку AnA_{n} можно было бы отождествить с выпадением орла при nn-м подбрасывании монеты, существование такой последовательности сделало бы этот раздел излишним.

(b)

Предположим, что 0≤pn≤10 \leq p_{n} \leq 1, и положим αn=min⁡{pn,1−pn}\alpha_{n}=\min \left\{ p_{n}, 1-p_{n}\right\}. Покажите, что если Σnαn\Sigma_{n} \alpha_{n} расходится, то никакое дискретное вероятностное пространство не может содержать независимые события A1,A2,…A_{1}, A_{2}, \ldots такие, что AnA_{n} имеет вероятность pnp_{n}.

Задача 1.2

Покажите, что NN и NcN^{c} плотны [A15] в (0,1](0,1].

?
Задача 1.3

↾\upharpoonright Назовём множество AA пустячным†{ }^{\dagger }, если для каждого ϵ\epsilon существует конечная последовательность интервалов IkI_{k}, удовлетворяющая (1.22) и (1.23). Это определение, как и определение пренебрежимости, применимо в неизменном виде ко всем множествам на вещественной прямой, а не только к подмножествам (0,1](0,1].

?
(a)

Покажите, что пустячное множество является пренебрежимым.

(b)

Покажите, что замыкание пустячного множества также является пустячным.

(c)

Найдите ограниченное пренебрежимое множество, не являющееся пустячным.

(d)

Покажите, что замыкание пренебрежимого множества может не быть пренебрежимым,

(e)

Покажите, что конечные объединения пустячных множеств пустячны, но что это может нарушаться для счётных объединений.

Задача 1.4

↑\uparrow Для i=0,…,r−1i=0, \ldots , r-1 пусть Ar(i)A_{r}(i) — множество чисел из ( 0,1]], чьи непрерывающиеся разложения по основанию rr не содержат цифру ii.

?
(a)

Покажите, что Ar(i)A_{r}(i) пустячно.

(b)

Найдите такое пустячное множество AA, что каждую точку единичного интервала можно представить в виде x+yx+y, где xx и yy принадлежат AA. †{ }^{\dagger } Как и «пренебрежимое», слово «пустячное» — окказионализм, используемый только здесь. Пустячные множества — это в точности множества содержания 0: см. Задачу 3.15

(c)

Пусть Ar(i1,…,ik)A_{r}\left(i_{1}, \ldots , i_{k}\right) состоит из чисел единичного интервала, в разложении которых по основанию rr цифры i1,…,iki_{1}, \ldots , i_{k} нигде не встречаются подряд именно в этом порядке. Покажите, что это множество пустячно. Что это означает для обезьяны, печатающей наугад?

Задача 1.5

↑\uparrow Канторово множество CC можно определить как замыкание A3(1)A_{3}(1)

?
(a)

Покажите, что CC несчётно, но пустячно.

(b)

Удалите из [0,1][0,1] открытую среднюю треть (13,23)\left(\frac{1}{3}, \frac{2}{3}\right); из оставшегося множества, представляющего собой объединение двух замкнутых интервалов, удалите две открытые средние трети (19,29)(\frac{1}{9}, \frac{2}{9}) и (79,89)\left(\frac{7}{9}, \frac{8}{9}\right). Покажите, что CC — это то, что остаётся, если продолжать данный процесс до бесконечности.

(c)

Покажите, что CC совершенно [A15]

Задача 1.6

Положите M(t)=∫01e1sp(ω)dωM(t)=\int_{0}^{1} e^{1 s_{p}(\omega )} d \omega и, дифференцируя последовательно под знаком интеграла, покажите, что

M(k)(0)=∫01snk(ω)dω(1.38) M^{(k)}(0)=\int _{0}^{1} s_{n}^{k}(\omega ) d \omega \tag {1.38}

На каждом двоичном интервале ранга nn функция sn(ω)s_{n}(\omega ) принимает постоянное значение вида ±1±1±⋯±1\pm 1 \pm 1 \pm \cdots \pm 1, и поэтому M(t)=2−n∑exp⁡t(±1±1±⋯±1)M(t)=2^{-n} \sum \exp t( \pm 1 \pm 1 \pm \cdots \pm 1), где сумма берётся по всем 2n2^{n} последовательностям длины nn, состоящим из +1 и -1. Таким образом,

M(t)=(et+e−t2)n=(cosh⁡t)n(1.39) M(t)=\left(\frac{e^{t}+e^{-t}}{2}\right)^{n}=(\cosh t)^{n} \tag {1.39}

Используя это и (1.38), дайте новые доказательства (1.16), (1.18) и (1.28). (Этот метод — метод производящих функций моментов — будет систематически изучаться в Разделе 9.)

?
Задача 1.7

↑ Рассуждением, аналогичным тому, что приводит к (1.39), покажите, что функции Радемахера удовлетворяют соотношению

∫01exp⁡[i∑k=1nakrk(ω)]dω=∏k=1neiak+e−iak2=∏k=1ncos⁡ak \begin{aligned} \int _{0}^{1} \exp \left[i \sum _{k=1}^{n} a_{k} r_{k}(\omega )\right] d \omega & =\prod _{k=1}^{n} \frac{e^{i a_{k}}+e^{-i a_{k}}}{2} \\ & =\prod _{k=1}^{n} \cos a_{k} \end{aligned}

Положите ak=t2−ka_{k}=t 2^{-k} и из ∑k=1∞rk(ω)2−k=2ω−1\sum_{k=1}^{\infty } r_{k}(\omega ) 2^{-k}=2 \omega -1 выведите

sin⁡tt=∏k=1∞cos⁡t2k(1.40) \frac{\sin t}{t}=\prod _{k=1}^{\infty } \cos \frac{t}{2^{k}} \tag {1.40}

переходя к пределу n→∞n \rightarrow \infty под знаком интеграла выше. Выведите формулу Виета

2π=222+222+2+22⋯ \frac{2}{\pi }=\frac{\sqrt{2}}{2} \frac{\sqrt{2+\sqrt{2}}}{2} \frac{\sqrt{2+\sqrt{2+\sqrt{2}}}}{2} \cdots
?
Задача 1.8

Число ω\omega нормально по основанию 2 тогда и только тогда, когда для каждого положительного ϵ\epsilon существует n0(ϵ,ω)n_{0}(\epsilon , \omega ) такое, что ∣n−1∑i=1ndi(ω)−12∣<ϵ\left|n^{-1} \sum_{i=1}^{n} d_{i}(\omega )-\frac{1}{2}\right|<\epsilon для всех nn, превосходящих n0(ϵ,ω)n_{0}(\epsilon , \omega ).

Теорема 1.2 касается всего двоичного разложения целиком, тогда как Теорема 1.1 касается лишь его начального отрезка. Подчеркните это различие, показав, что при ϵ<12\epsilon <\frac{1}{2} величина n0(ϵ,ω)n_{0}(\epsilon , \omega ) выше не может быть одной и той же для всех ω\omega из NN — иными словами, n−1∑i=1ndi(ω)n^{-1} \sum_{i=1}^{n} d_{i}(\omega ) сходится к 12\frac{1}{2} для всех ω\omega из NN, но не равномерно. Но см. Задачу 13.9.

?
Задача 1.9
?
(a)

1.3↑1.3 \uparrow Используя конечную форму Теоремы 1.3(ii) вместе с Задачей 1.3(b), покажите, что пустячное множество нигде не плотно [A15].

(b)

Положите B=⋃n(rn−2−n−2,rn+2−n−2]B=\bigcup_{n}\left(r_{n}-2^{-n-2}, r_{n}+2^{-n-2}\right], где r1,r2,…r_{1}, r_{2}, \ldots — перечисление рациональных чисел в (0,1](0,1]. Покажите, что (0,1]−B(0,1]-B нигде не плотно, но не является ни пустячным, ни даже пренебрежимым.

(c)

Покажите, что компактное пренебрежимое множество является пустячным

Задача 1.10

↑ Множество первой категории [A15] можно представить как счётное объединение нигде не плотных множеств; это топологическое понятие малости, подобно тому как пренебрежимость — метрическое понятие малости. Ни одно из этих условий не влечёт другое:

?
(a)

Покажите, что непренебрежимое множество NN нормальных чисел имеет первую категорию, доказав, что Am=⋂n=m∞[ω⋅∣n−1sn(ω)∣<12]A_{m}=\bigcap_{n=m}^{\infty }\left[\omega^{\cdot }\left|n^{-1} s_{n}(\omega )\right|<\frac{1}{2}\right] нигде не плотно и N⊂⋃mAmN \subset \bigcup_{m} A_{m}.

(b)

Согласно известной теореме Бэра, непустой интервал не имеет первой категории. Используя этот факт, докажите, что пренебрежимое множество Nc=(0,1]−NN^{c}=(0,1]-N не имеет первой категории.

Задача 1.11

Докажите:

?
(a)

Если xx рационально, то (1.33) имеет лишь конечное число несократимых решений

(b)

Предположим, что φ(q)≥1\varphi (q) \geq 1 и (1.35) выполняется для бесконечно многих пар p,qp, q, но лишь для конечного числа взаимно простых пар. Тогда xx рационально.

(c)

Если φ\varphi стремится к бесконечности слишком быстро, то AφA_{\varphi } пренебрежимо (Теорема 1.6). Но как бы быстро φ\varphi ни стремилось к бесконечности, AφA_{\varphi } непусто и даже несчётно. Указание. Рассмотрите x=∑k=1∞1/2α(k)x=\sum_{k=1}^{\infty } 1 / 2^{\alpha (k)} для целочисленных α(k)\alpha (k), очень быстро возрастающих до бесконечности.

§
2 · Вероятностные меры[23/57%]
Задача 2.1

Определим x∨y=max⁡{x,y}x \vee y=\max \left\{ x, y\right\}, а для семейства (xα)\left(x_{\alpha }\right) определим ∨αxα=sup⁡αxα\vee_{\alpha } x_{\alpha }=\sup_{\alpha } x_{\alpha }; определим x∧y=min⁡{x,y}x \wedge y=\min \left\{ x, y\right\} и ∧αxα=inf⁡αxα\wedge_{\alpha } x_{\alpha }=\inf_{\alpha } x_{\alpha }. Докажите, что IA∪B=IA∨IB,IA∩B=IA∧IB,IAc=1−IAI_{A \cup B}=I_{A} \vee I_{B}, I_{A \cap B} =I_{A} \wedge I_{B}, I_{A^{c}}=1-I_{A} и IAΔB=∣IA−IB∣I_{A \Delta B}=\left|I_{A}-I_{B}\right| в том смысле, что равенство имеет место в каждой точке Ω\Omega. Покажите, что A⊂BA \subset B тогда и только тогда, когда IA≤IBI_{A} \leq I_{B} поточечно. Проверьте равенство x∧(y∨z)=(x∧y)∨(x∧z)x \wedge (y \vee z)=(x \wedge y) \vee (x \wedge z) и выведите отсюда дистрибутивный закон t{ }^{\mathrm{t}} См. Задачу 2.22. A∩(B∪C)=(A∩B)∪(A∩C)A \cap (B \cup C)=(A \cap B) \cup (A \cap C). Аналогичными рассуждениями докажите, что

A∪(B∩C)=(A∪B)∩(A∪C)AΔC⊂(AΔB)∪(BΔC)(⋃nAn)c=⋂nAnc(⋂nAn)c=⋃nAnc \begin{aligned} A \cup (B \cap C) & =(A \cup B) \cap (A \cup C) \\ A \Delta C & \subset (A \Delta B) \cup (B \Delta C) \\ \left(\bigcup _{n} A_{n}\right)^{c} & =\bigcap _{n} A_{n}^{c} \\ \left(\bigcap _{n} A_{n}\right)^{c} & =\bigcup _{n} A_{n}^{c} \end{aligned}
?
Задача 2.2

Пусть A1,…,AnA_{1}, \ldots , A_{n} — произвольные события, и положим Uk=∪(Ai1∩⋯∩Aik)U_{k}=\cup \left(A_{i_{1}} \cap \cdots \cap A_{i_{k}}\right) и Ik=⋂(Ai1∪⋯∪Aik)I_{k}=\bigcap \left(A_{i_{1}} \cup \cdots \cup A_{i_{k}}\right), где объединение и пересечение берутся по всем наборам индексов, удовлетворяющим 1≤i1<⋯<ik≤n1 \leq i_{1}<\cdots <i_{k} \leq n. Покажите, что Uk=In−k+1U_{k}=I_{n-k+1}.

?
Задача 2.3
?
(a)

Предположим, что Ω⊆F\Omega \subseteq \mathscr {F} и что из A,B∈FA, B \in \mathscr {F} следует A−B=A∩Bc∈FA-B=A \cap B^{c} \in \mathscr {F}. Покажите, что F\mathscr {F} является алгеброй.

(b)

Предположим, что Ω∈F\Omega \in \mathscr {F} и что F\mathscr {F} замкнуто относительно образования дополнений и конечных дизъюнктных объединений. Покажите, что F\mathscr {F} не обязано быть алгеброй.

Задача 2.4

Пусть F1,F2,…\mathscr {F}_{1}, \mathscr {F}_{2}, \ldots — классы множеств в общем пространстве Ω\Omega.

?
(a)

Предположим, что Fn\mathscr {F}_{n} — алгебры, удовлетворяющие Fn⊂Fn+1\mathscr {F}_{n} \subset \mathscr {F}_{n+1}. Покажите, что ⋃n=1∞Fn\bigcup_{n=1}^{\infty } \mathscr {F}_{n} является алгеброй.

(b)

Предположим, что Fn\mathscr {F}_{n} — σ\sigma-алгебры, удовлетворяющие Fn⊂Fn+1\mathscr {F}_{n} \subset \mathscr {F}_{n+1}. Покажите на примере, что ⋃n=1∞Fn\bigcup_{n=1}^{\infty } \mathscr {F}_{n} не обязана быть σ\sigma-алгеброй.

Задача 2.5

Алгебра f(A)f(\mathscr {A}), порождённая классом A\mathscr {A} в Ω\Omega, определяется как пересечение всех алгебр в Ω\Omega, содержащих A\mathscr {A}.

?
(a)

Покажите, что f(A)f(\mathscr {A}) действительно является алгеброй, что A⊂f(A)\mathscr {A} \subset f(\mathscr {A}), и что f(A)f(\mathscr {A}) минимальна в том смысле, что если G\mathscr {G} — алгебра и A⊂G\mathscr {A} \subset \mathscr {G}, то f(A)⊂Gf(\mathscr {A}) \subset \mathscr {G}.

(b)

Покажите, что для непустого A\mathscr {A} класс f(A)f(\mathscr {A}) состоит из множеств вида ⋃i=1m⋂j=1niAij\bigcup_{i=1}^{m} \bigcap_{j=1}^{n_{i}} A_{i j}, где для каждых ii и jj либо Aij∈AA_{i j} \in \mathscr {A}, либо Aijc∈AA_{i j}^{c} \in \mathscr {A}, и где mm множеств ⋂j=1niAij,1≤i≤m\bigcap_{j=1}^{n_{i}} A_{i j}, 1 \leq i \leq m, попарно не пересекаются. Таким образом, множества из f(A)f(\mathscr {A}) допускают явное представление, что, вообще говоря, неверно для множеств из σ(A)\sigma (\mathscr {A}).

Задача 2.6
?
(a)

Покажите, что если A\mathscr {A} состоит из одноточечных множеств, то f(A)f(\mathscr {A}) — это алгебра из Примера 2.3.

(b)

Покажите, что f(A)⊂σ(A)f(\mathscr {A}) \subset \sigma (\mathscr {A}), что f(A)=σ(A)f(\mathscr {A})=\sigma (\mathscr {A}), если A\mathscr {A} конечно, и что σ(f(A))=σ(A)\sigma (f(\mathscr {A}))=\sigma (\mathscr {A}).

(c)

Покажите, что если A\mathscr {A} счётно, то f(A)f(\mathscr {A}) счётно.

(d)

Покажите для алгебр F1\mathscr {F}_{1} и F2\mathscr {F}_{2}, что f(F1∪F2)f\left(\mathscr {F}_{1} \cup \mathscr {F}_{2}\right) состоит из конечных дизъюнктных объединений множеств A1∩A2A_{1} \cap A_{2} с Ai∈FiA_{i} \in \mathscr {F}_{i}. Обобщите.

Задача 2.7

2.5↑2.5 \uparrow Пусть HH — множество, не принадлежащее F\mathscr {F}, где F\mathscr {F} — алгебра [или σ\sigma-алгебра]. Покажите, что алгебра [или σ\sigma-алгебра], порождённая F∪{H}\mathscr {F} \cup \left\{ H\right\}, состоит из множеств вида

(H∩A)∪(Hc∩B),A,B∈F.(2.33) (H \cap A) \cup \left(H^{c} \cap B\right), \quad A, B \in \mathscr {F}. \tag {2.33}
?
Задача 2.8

Предположим, что для каждого AA из A\mathscr {A} множество AcA^{c} является счётным объединением элементов A\mathscr {A}. Класс интервалов в (0,1](0,1] обладает этим свойством. Покажите, что σ(A)\sigma (\mathscr {A}) совпадает с наименьшим классом над A\mathscr {A}, замкнутым относительно образования счётных объединений и пересечений.

?
Задача 2.9

Покажите, что если B∈σ(A)B \in \sigma (\mathscr {A}), то существует счётный подкласс AB\mathscr {A}_{B} класса A\mathscr {A} такой, что B∈σ(AB)B \in \sigma \left(\mathscr {A}_{B}\right).

?
Задача 2.10
?
(a)

Покажите, что если σ(A)\sigma (\mathscr {A}) содержит каждое подмножество Ω\Omega, то для каждой пары различных точек ω\omega и ω′\omega^{\prime } пространства Ω\Omega найдётся такое AA из A\mathscr {A}, что IA(ω)≠IA(ω′)I_{A}(\omega ) \neq I_{A}\left(\omega^{\prime }\right)

(b)

Покажите, что обратная импликация верна, если Ω\Omega счётно.

(c)

Покажите на примере, что обратная импликация не обязана выполняться для несчётного Ω\Omega

Задача 2.11

σ\sigma-алгебра называется счётно-порождённой, или сепарабельной, если она порождена некоторым счётным классом множеств.

?
(a)

Покажите, что σ\sigma-алгебра B\mathscr {B} борелевских множеств счётно-порождена.

(b)

Покажите, что σ\sigma-алгебра из Примера 2.4 счётно-порождена тогда и только тогда, когда Ω\Omega счётно.

(c)

Предположим, что F1\mathscr {F}_{1} и F2\mathscr {F}_{2} — σ\sigma-алгебры, F1⊂F2\mathscr {F}_{1} \subset \mathscr {F}_{2}, и F2\mathscr {F}_{2} счётно-порождена. Покажите на примере, что F1\mathscr {F}_{1} может не быть счётно-порождённой.

Задача 2.12

Покажите, что σ\sigma-алгебра не может быть счётно-бесконечной — её мощность должна быть либо конечной, либо не меньшей мощности континуума. Покажите на примере, что алгебра может быть счётно-бесконечной.

?
Задача 2.13
?
(a)

Пусть F\mathscr {F} — алгебра, состоящая из конечных и коконечных множеств в бесконечном Ω\Omega, и определим PP на F\mathscr {F}, полагая P(A)\mathbb {P}\left(A\right) равным 0 или 1 в зависимости от того, конечно ли AA или коконечно. (Заметим, что PP не определено корректно, если Ω\Omega конечно.) Покажите, что PP конечно-аддитивна.

(b)

Покажите, что эта PP не является счётно-аддитивной, если Ω\Omega счётно-бесконечно.

(c)

Покажите, что эта PP счётно-аддитивна, если Ω\Omega несчётно.

(d)

Теперь пусть F\mathscr {F} — σ\sigma-алгебра, состоящая из счётных и косчётных множеств в несчётном Ω\Omega, и определим PP на F\mathscr {F}, полагая P(A)\mathbb {P}\left(A\right) равным 0 или 1 в зависимости от того, счётно ли AA или косчётно. (Заметим, что PP не определено корректно, если Ω\Omega счётно.) Покажите, что PP счётно-аддитивна.

Задача 2.14

В (0,1](0,1] пусть F\mathscr {F} — класс множеств, которые либо (i) имеют первую категорию [A15], либо (ii) имеют дополнение первой категории. Покажите, что F−\mathscr {F}^{-}является σ\sigma-алгеброй. Для AA из F\mathscr {F} положите P(A)\mathbb {P}\left(A\right) равным 0 в случае (i) и 1 в случае (ii). Покажите, что PP счётно-аддитивна.

?
Задача 2.15

На алгебре B0\mathscr {B}_{0} в (0,1](0,1] определим P(A)\mathbb {P}\left(A\right) равным 1 или 0 в зависимости от того, существует ли некоторое положительное ϵA\epsilon_{A} (зависящее от AA), такое что AA содержит интервал (12,12+ϵA]\left(\frac{1}{2}, \frac{1}{2}+\epsilon_{A}\right], или нет. Покажите, что PP конечно-аддитивна, но не счётно-аддитивна. Для алгебры C0\mathscr {C}_{0} в S∞S^{\infty } такой пример невозможен (Теорема 2.3).

?
Задача 2.16
?
(a)

Предположим, что PP — вероятностная мера на алгебре F\mathscr {F}. Предположим, что At∈FA_{t} \in \mathscr {F} при t>0t>0, что As⊂AtA_{s} \subset A_{t} при s<ts<t, и что A=∪t>0At∈FA=\cup_{t>0} A_{t} \in \mathscr {F}. Обобщите Теорему 2.1(i), показав, что P(At)↑P(A)\mathbb {P}\left(A_{t}\right) \uparrow \mathbb {P}\left(A\right) при t→∞t \rightarrow \infty. Покажите, что AA обязательно лежит в F\mathscr {F}, если F\mathscr {F} является σ\sigma-алгеброй.

(b)

Аналогичным образом обобщите Теорему 2.1(ii).

Задача 2.17

Предположим, что PP — вероятностная мера на алгебре F\mathscr {F}, что A1,A2,…A_{1}, A_{2}, \ldots и A=∪nAnA=\cup_{n} A_{n} лежат в F\mathscr {F}, и что множества AnA_{n} почти не пересекаются в том смысле, что P(Am∩An)=0\mathbb {P}\left(A_{m} \cap A_{n}\right)=0 при m≠nm \neq n. Покажите, что P(A)=∑nP(An)\mathbb {P}\left(A\right)=\sum_{n} \mathbb {P}\left(A_{n}\right).

?
Задача 2.18

Стохастическая арифметика. Определим функцию множества PnP_{n} на классе всех подмножеств Ω={1,2,…}\Omega =\left\{ 1,2, \ldots \right\} формулой

Pn(A)=1n#[m:1≤m≤n,m∈A];(2.34) \mathbb {P}_{n}\left(A\right)=\frac{1}{n} \# [m: 1 \leq m \leq n, m \in A] ; \tag {2.34}

среди первых nn целых чисел доля тех, что лежат в AA, — это как раз Pn(A)\mathbb {P}_{n}\left(A\right). Тогда PnP_{n} является дискретной вероятностной мерой. Говорят, что множество AA имеет плотность

D(A)=lim⁡nPn(A),(2.35) D(A)=\lim _{n} \mathbb {P}_{n}\left(A\right), \tag {2.35}

если этот предел существует. Пусть D\mathscr {D} — класс множеств, обладающих плотностью.

?
(a)

Покажите, что DD конечно-аддитивна, но не счётно-аддитивна на D\mathscr {D}.

(b)

Покажите, что D\mathscr {D} содержит пустое множество и Ω\Omega и замкнут относительно образования дополнений, собственных разностей и конечных дизъюнктных объединений, но не замкнут относительно образования счётных дизъюнктных объединений или конечных объединений, не являющихся дизъюнктными.

(c)

Пусть M\mathscr {M} состоит из периодических множеств Ma=[ka:k=1,2,…]M_{a}=[k a: k=1,2, \ldots ]. Заметим, что

Pn(Ma)=1n∣na∣→1a=D(Ma).(2.36) \mathbb {P}_{n}\left(M_{a}\right)=\frac{1}{n}\left|\frac{n}{a}\right| \rightarrow \frac{1}{a}=D\left(M_{a}\right). \tag {2.36}

Покажите, что алгебра f(M)f(\mathscr {M}), порождённая M\mathscr {M} (см. Задачу 2.5), содержится в D\mathscr {D}. Покажите, что DD полностью определяется на f(M)f(\mathscr {M}) значениями, которые она придаёт для каждого aa событию, что mm делится на aa.

(d)

Предположим, что ∑p−1\sum p^{-1} расходится (сумма по всем простым числам; см. Задачу 5.20(e)), и докажите, что DD, хотя и конечно-аддитивна, не является счётно-аддитивной на алгебре f(M)f(M).

(e)

Функция Эйлера φ(n)\varphi (n) — это число положительных целых чисел, меньших nn и взаимно простых с ним. Пусть p1,…,prp_{1}, \ldots , p_{r} — различные простые делители nn; из формулы включений-исключений для событий [ m:pi∣mm: p_{i} \mid m ], (2.36) и того факта, что pip_{i} делят nn, выведите

φ(n)n=∏p∣n(1−1p).(2.37) \frac{\varphi (n)}{n}=\prod _{p \mid n}\left(1-\frac{1}{p}\right). \tag {2.37}
(f)

Покажите, что при 0≤x≤10 \leq x \leq 1 найдётся такое AA, что D(A)=xD(A)=x.

(g)

Покажите, что DD инвариантна относительно сдвига: если B=[m+1:m∈A]B=[m+1: m \in A], то BB обладает плотностью тогда и только тогда, когда ею обладает AA, и в этом случае D(A)=D(B)D(A)=D(B).

Задача 2.19

Вероятностное пространство (Ω,F,P)(\Omega , \mathscr {F}, P) называется неатомическим, если из P(A)>0\mathbb {P}\left(A\right)>0 следует, что существует такое BB, что B⊂AB \subset A и 0<P(B)<P(A)0<\mathbb {P}\left(B\right)<\mathbb {P}\left(A\right) ( AA и BB, разумеется, из F\mathscr {F}).

?
(a)

Предполагая существование меры Лебега λ\lambda на B\mathscr {B}, докажите, что она неатомическая.

(b)

Покажите, что в неатомическом случае из P(A)>0\mathbb {P}\left(A\right)>0 и ϵ>0\epsilon >0 следует, что существует такое BB, что B⊂AB \subset A и 0<P(B)<ϵ0<\mathbb {P}\left(B\right)<\epsilon.

(c)

Покажите, что в неатомическом случае из 0≤x≤P(A)0 \leq x \leq \mathbb {P}\left(A\right) следует, что существует такое BB, что B⊂AB \subset A и P(B)=x\mathbb {P}\left(B\right)=x. Указание: индуктивно определите классы Zn\mathscr {Z}_{n}, числа hnh_{n} и множества HnH_{n} формулами H0={∅}={H0},Hn=[H:H⊂A−⋃k<nHk\mathscr {H}_{0}=\left\{ \varnothing \right\} =\left\{ H_{0}\right\} , \quad \mathscr {H}_{n}=\left[H: H \subset A-\bigcup_{k<n} H_{k}\right., P(∪k<nHk)+P(H)≤x],hn=sup⁡[P(H)⋅H∈Un]\left.\mathbb {P}\left(\cup_{k<n} H_{k}\right)+\mathbb {P}\left(H\right) \leq x\right], h_{n}=\sup \left[\mathbb {P}\left(H\right) \cdot H \in \mathscr {U}_{n}\right], причём P(Hn)>hn−n−1\mathbb {P}\left(H_{n}\right)>h_{n}-n^{-1}. Рассмотрите ⋃kHk\bigcup_{k} H_{k}.

(d)

Покажите, что в неатомическом случае, если p1,p2,…p_{1}, p_{2}, \ldots неотрицательны и в сумме дают 1, то AA можно разложить на множества B1,B2,…B_{1}, B_{2}, \ldots такие, что P(Bn)=pnP(A)\mathbb {P}\left(B_{n}\right)=p_{n} \mathbb {P}\left(A\right).

Задача 2.20

Обобщите построение произведения мер: для n=1,2,…n=1,2, \ldots пусть SnS_{n} — конечное пространство с заданными вероятностями pnu,u∈Snp_{n u}, u \in S_{n}. Пусть S1×S2×S_{1} \times S_{2} \times — пространство последовательностей (2.15), где теперь zk(ω)∈Skz_{k}(\omega ) \in S_{k}. Определите PP на классе цилиндров, соответствующим образом определённом, используя произведение p1u1⋅pnunp_{1 u_{1}} \cdot p_{n u_{n}} в правой части (2.21). Докажите, что PP счётно-аддитивна на C0\mathscr {C}_{0}, и обобщите Теорему 2.3 и её лемму на этот более общий случай. Покажите, что лемма перестаёт быть верной, если какое-либо из SnS_{n} бесконечно

?
Задача 2.21
?
(a)

Предположим, что A={A1,A2,…}\mathscr {A}=\left\{ A_{1}, A_{2}, \ldots \right\} — счётное разбиение Ω\Omega. Покажите (см. (2.27)), что A1=A0∗=A∗\mathscr {A}_{1}=\mathscr {A}_{0}^{*}=\mathscr {A}^{*} совпадает с σ(A)\sigma (\mathscr {A}). Это случай, когда σ(A)\sigma (\mathscr {A}) можно построить «изнутри».

(b)

Покажите, что множество нормальных чисел лежит в I6\mathscr {I}_{6}.

(c)

Покажите, что H∗=H\mathscr {H}^{*}=\mathscr {H} тогда и только тогда, когда H\mathscr {\mathscr { H }} является σ\sigma-алгеброй. Покажите, что In−1\mathscr {I}_{n-1} строго меньше An\mathscr {A}_{n} для всех nn.

Задача 2.22

Обобщите (2.27) на бесконечные ординалы α\alpha, определив Aα=(⋃β<αAβ)∗\mathscr {A}_{\alpha }=\left(\bigcup_{\beta <\alpha } \mathscr {A}_{\beta }\right)^{*}. Покажите, что если Ω\Omega — первый несчётный ординал, то Uα<ΩAα=σ(A)\mathrm{U}_{\alpha <\Omega } \mathscr {A}_{\alpha }=\sigma (\mathscr {A}). Покажите, что если мощность A\mathscr {A} не превосходит мощности континуума, то это же верно и для σ(A)\sigma (\mathscr {A}). Таким образом, B\mathscr {B} имеет мощность континуума.

?
Задача 2.23

↑\uparrow Обобщите (2.29) на ординалы α<Ω\alpha <\Omega следующим образом. Замените правую часть (2.28) на ⋃n=1∞(A2n−1∪A2nc)\bigcup_{n=1}^{\infty }\left(A_{2 n-1} \cup A_{2 n}^{c}\right). Предположим, что Φβ\Phi_{\beta } определена для β<α\beta <\alpha. Пусть βα(1),βα(2),…\beta_{\alpha }(1), \beta_{\alpha }(2), \ldots — последовательность ординалов такая, что βα(n)<α\beta_{\alpha }(n)<\alpha и такая, что если β<α\beta <\alpha, то β=βα(n)\beta =\beta_{\alpha }(n) для бесконечно многих чётных nn и для бесконечно многих нечётных nn; определим

Φα(A1,A2,…)=Ψ(Φβα(1)(Am11,Am12,…),Φβa(2)(Am21,Am22,…),…) \begin{align} & \Phi _{\alpha }\left(A_{1}, A_{2}, \ldots \right) \tag {2.38}\\ & \quad =\Psi \left(\Phi _{\beta _{\alpha }(1)}\left(A_{m_{11}}, A_{m_{12}}, \ldots \right), \Phi _{\beta _{a}(2)}\left(A_{m_{21}}, A_{m_{22}}, \ldots \right), \ldots \right) \end{align}

Докажите трансфинитной индукцией, что (2.38) лежит в B\mathscr {B}, если это верно для AnA_{n}, что каждый элемент Jα\mathscr {J}_{\alpha } имеет вид (2.38) для некоторых множеств AnA_{n} из J0\mathscr {J}_{0}, и что (2.31) выполняется с α\alpha вместо nn. Определим φα(ω)=Φα(Iω1,Iω2,…)\varphi_{\alpha }(\omega )=\Phi_{\alpha }\left(I_{\omega_{1}}, I_{\omega_{2}}, \ldots \right) и покажите, что Bα=[ωB_{\alpha }=[\omega : ω∉φα(ω)]\left.\omega \notin \varphi_{\alpha }(\omega )\right] лежит в B−Iα\mathscr {B}-\mathscr {I}_{\alpha } при α<Ω\alpha <\Omega. Покажите, что Iα\mathscr {I}_{\alpha } строго меньше Gβ\mathscr {G}_{\beta } при α<β≤Ω\alpha <\beta \leq \Omega.

?
§
3 · Существование и продолжение[21/48%]
Задача 3.1
?
(a)

В доказательстве Теоремы 3.1 предполагаемая конечная аддитивность PP используется дважды, а предполагаемая счётная аддитивность PP используется один раз. Где именно?

(b)

Покажите на примере, что конечно-аддитивная вероятностная мера на алгебре может не быть счётно-полуаддитивной. Более того, покажите, что если конечно-аддитивная вероятностная мера счётно-полуаддитивна, то она обязательно является и счётно-аддитивной. †{ }^{\dagger } Разумеется, речь идёт о счётно-аддитивном продолжении. Если довольствоваться конечной аддитивностью, то существует продолжение на 2(0)I 2^{(0)}{ }^{\text{I }}; см. Задачу 3.8.

(c)

Предположим, что Теорема 2.1 была бы ослаблена усилением её предположения до допущения, что F\mathscr {F} является σ\sigma-алгеброй. Почему этого ослабленного результата не хватило бы для доказательства Теоремы 3.1?

Задача 3.2

Пусть PP — вероятностная мера на алгебре F0\mathscr {F}_{0}, и для каждого подмножества AA пространства Ω\Omega определим P∗(A)P^{*}(A) по формуле (3.1). Обозначим также через PP продолжение (Теорема 3.1) меры PP на F=σ(F0)\mathscr {F}=\sigma \left(\mathscr {F}_{0}\right).

?
(a)

Покажите, что

P∗(A)=inf⁡[P(B):A⊂B,B∈F](3.9) P^{*}(A)=\inf [\mathbb {P}\left(B\right): A \subset B, B \in \mathscr {F}] \tag {3.9}

и (см. (3.2))

P∗(A)=sup⁡[P(C):C⊂A,C∈F](3.10) \mathbb {P}_{*}\left(A\right)=\sup [\mathbb {P}\left(C\right): C \subset A, C \in \mathscr {F}] \tag {3.10}

и покажите, что инфимум и супремум всегда достигаются.

(b)

Покажите, что AA является P∗P^{*}-измеримым тогда и только тогда, когда P∗(A)=P∗(A)\mathbb {P}_{*}\left(A\right)=P^{*}(A).

(c)

Внешняя и внутренняя меры, связанные с вероятностной мерой PP на σ\sigma-алгебре F\mathscr {F}, обычно определяются формулами (3.9) и (3.10). Покажите, что (3.9) и (3.10) совпадают с (3.1) и (3.2), где роль F0\mathscr {F}_{0} играет F\mathscr {F}.

Задача 3.3

2.132.153.2↑2.132 .153 .2 \uparrow Для следующих примеров опишите P∗P^{*}, определённую (3.1), и M=M(P∗)\mathscr {M}=\mathscr {M}\left(P^{*}\right), определённую требованием (3.4). Разберитесь, в каких случаях P∗P^{*} не совпадает с PP на F0\mathscr {F}_{0}, и объясните почему.

?
(a)

Пусть F0\mathscr {F}_{0} состоит из множеств ∅,{1},{2,3}\varnothing ,\left\{ 1\right\} ,\left\{ 2,3\right\} и Ω={1,2,3}\Omega =\left\{ 1,2,3\right\}, и определим вероятностные меры P1P_{1} и P2P_{2} на F0\mathscr {F}_{0} равенствами P1{1}=0P_{1}\left\{ 1\right\} =0 и P2{2,3}=0P_{2}\left\{ 2,3\right\} =0. Заметим, что M(P1∗)\mathscr {M}\left(P_{1}^{*}\right) и M(P2∗)\mathscr {M}\left(P_{2}^{*}\right) различаются.

(b)

Предположим, что Ω\Omega счётно-бесконечно, пусть F0\mathscr {F}_{0} — алгебра конечных и коконечных множеств, и положим P(A)\mathbb {P}\left(A\right) равным 0 или 1 в зависимости от того, конечно ли AA или коконечно.

(c)

То же самое, но предположим, что Ω\Omega несчётно.

(d)

Предположим, что Ω\Omega несчётно, пусть F0\mathscr {F}_{0} состоит из счётных и косчётных множеств, и положим P(A)\mathbb {P}\left(A\right) равным 0 или 1 в зависимости от того, счётно ли AA или косчётно.

(e)

Вероятность из Задачи 2.15.

(f)

Пусть P(A)=IA(ω0)\mathbb {P}\left(A\right)=I_{A}\left(\omega_{0}\right) для A∈F0A \in \mathscr {F}_{0}, и предположим, что (ω0)∈σ(F0)\left(\omega_{0}\right) \in \sigma \left(\mathscr {F}_{0}\right).

Задача 3.4

Пусть ff — строго возрастающая, строго вогнутая функция на [0,∞)[0, \infty ), удовлетворяющая f(0)=0f(0)=0. Для A⊂(0,1]A \subset (0,1] определим P∗(A)=f(λ∗(A))P^{*}(A)=f\left(\lambda^{*}(A)\right). Покажите, что P∗P^{*} является внешней мерой в том смысле, что она удовлетворяет P∗(∅)=0P^{*}(\varnothing )=0 и является неотрицательной, монотонной и счётно-полуаддитивной. Покажите, что AA лежит в M\mathscr {M} (определённом требованием (3.4)) тогда и только тогда, когда λ∗(A)\lambda^{*}(A) или λ∗(Ac)\lambda^{*}\left(A^{c}\right) равно 0. Покажите, что P∗P^{*} не может быть получена по формуле (3.1) ни для какой вероятностной меры PP ни на какой алгебре F0\mathscr {F}_{0}.

?
Задача 3.5

Пусть Ω\Omega — единичный квадрат [ (x,y)(x, y) : 0<x,y≤1]0<x, y \leq 1], пусть F\mathscr {F} — класс множеств вида [(x,y):x∈A,0<y≤1][(x, y): x \in A, 0<y \leq 1], где A∈BA \in \mathscr {B}, и пусть PP принимает на этом множестве значение λ(A)\lambda (A). Покажите, что (Ω,F,P)(\Omega , \mathscr {F}, P) является вероятностным пространством. Покажите, что для A=[(x,y)A=[(x, y) : 0<x≤1,y=12]\left.0<x \leq 1, y=\frac{1}{2}\right] выполняется P∗(A)=0\mathbb {P}_{*}\left(A\right)=0 и P∗(A)=1P^{*}(A)=1.

?
Задача 3.6

Пусть PP — конечно-аддитивная вероятностная мера на алгебре F0\mathscr {F}_{0}. Для A⊂ΩA \subset \Omega, по аналогии с (3.1), определим

P∘(A)=inf⁡∑nP(An),(3.11) P^{\circ }(A)=\inf \sum _{n} \mathbb {P}\left(A_{n}\right), \tag {3.11}

где теперь инфимум берётся по всем конечным последовательностям F0\mathscr {F}_{0}-множеств AnA_{n}, удовлетворяющих A⊂∪nAnA \subset \cup_{n} A_{n}. (Если допустить счётные покрытия, всё меняется. Может оказаться, что P∘(Ω)=0P^{\circ }(\Omega )=0; см. Задачу 3.3(e).) Пусть M∘\mathscr {M}^{\circ } — класс множеств AA, для которых P∘(E)=P∘(A∩E)+P∘(Ac∩E)P^{\circ }(E)=P^{\circ }(A \cap E)+P^{\circ }\left(A^{c} \cap E\right) для всех E⊂ΩE \subset \Omega.

?
(a)

Покажите, что P∘(∅)=0P^{\circ }(\varnothing )=0 и что P∘P^{\circ } неотрицательна, монотонна и конечно-полуаддитивна. Используя эти четыре свойства P∘P^{\circ }, докажите: Лемма 1∘1^{\circ }: M∘\mathscr {M}^{\circ } является алгеброй. Лемма 2∘2^{\circ }: если A1,A2,A_{1}, A_{2}, \quad — конечная последовательность дизъюнктных M∘\mathscr {M}^{\circ }-множеств, то для каждого E⊂ΩE \subset \Omega,

P∘(E∩(⋃kAk))=∑kPc(E∩Ak).(3.12) P^{\circ }\left(E \cap \left(\bigcup _{k} A_{k}\right)\right)=\sum _{k} P^{c}\left(E \cap A_{k}\right). \tag {3.12}

Лемма 3∘3^{\circ }: P∘P^{\circ }, ограниченная на алгебру M∘\mathscr {M}^{\circ }, конечно-аддитивна.

(b)

Покажите, что если P∘P^{\circ } определена по (3.11) (конечные покрытия), то: Лемма 4∘4^{\circ }: F0⊂M∘\mathscr {F}_{0} \subset \mathscr {M}^{\circ }. Лемма 5∘5^{\circ }: P∘(A)=P(A)P^{\circ }(A)=\mathbb {P}\left(A\right) для A∈F0A \in \mathscr {F}_{0}.

(c)

Определим Po(A)=1−P∘(Ac)\mathbb {P}_{o}\left(A\right)=1-P^{\circ }\left(A^{c}\right). Докажите, что если E⊂A∈F0E \subset A \in \mathscr {F}_{0}, то

Po(E)=P(A)−P∘(A−E).(3.13) \mathbb {P}_{o}\left(E\right)=\mathbb {P}\left(A\right)-P^{\circ }(A-E). \tag {3.13}
Задача 3.7

2.73.6†2.7 \quad 3.6 \dagger Предположим, что HH не принадлежит алгебре F0\mathscr {F}_{0}, и пусть F1\mathscr {F}_{1} — алгебра, порождённая F0∪(H)\mathscr {F}_{0} \cup (H), так что F1\mathscr {F}_{1} состоит из множеств (H∩A)∪(Hc∩B)(H \cap A) \cup \left(H^{c} \cap B\right) с A,B∈F0A, B \in \mathscr {F}_{0}. Требуется показать, что конечно-аддитивная вероятностная мера PP на F0\mathscr {F}_{0} имеет конечно-аддитивное продолжение на F1\mathscr {F}_{1}. Определим QQ на F1\mathscr {F}_{1} формулой

Q((H∩A)∪(Hc∩B))=P∘(H∩A)+P∘(Hc∩B)(3.14) Q\left((H \cap A) \cup \left(H^{c} \cap B\right)\right)=P^{\circ }(H \cap A)+\mathbb {P}_{\circ }\left(H^{c} \cap B\right) \tag {3.14}

для A,B∈F0A, B \in \mathscr {F}_{0}.

?
(a)

Покажите, что это определение корректно (непротиворечиво).

(b)

Покажите, что QQ совпадает с PP на F0\mathscr {F}_{0}.

(c)

Покажите, что QQ конечно-аддитивна на F1\mathscr {F}_{1}. Покажите, что Q(H)=P∘(H)Q(H)=P^{\circ }(H).

(d)

Определим Q′Q^{\prime }, поменяв местами роли P∘P^{\circ } и P∘P_{\circ } в правой части (314).

Покажите, что Q′Q^{\prime } — ещё одно конечно-аддитивное продолжение PP на F1\mathscr {F}_{1}. То же верно для любой выпуклой комбинации Q′′Q^{\prime \prime } мер QQ и Q′Q^{\prime }. Покажите, что Q′′(H)Q^{\prime \prime }(H) может принимать любое значение между P0(H)\mathbb {P}_{0}\left(H\right) и P∘(H)P^{\circ }(H).

Задача 3.8

↑ Используя лемму Цорна, докажите теорему Тарского: конечно-аддитивная вероятностная мера на алгебре имеет конечно-аддитивное продолжение на алгебру всех подмножеств пространства.

?
Задача 3.9
?
(a)

↑\uparrow Пусть PP — (счётно-аддитивная) вероятностная мера на σ\sigma-алгебре F\mathscr {F}. Предположим, что H∉FH \notin \mathscr {F}, и пусть F1=σ(F∪{H})\mathscr {F}_{1}=\sigma (\mathscr {F} \cup \left\{ H\right\} ). Адаптируя идеи Задачи 3.7, покажите, что PP имеет счётно-аддитивное продолжение с F\mathscr {F} на F1\mathscr {F}_{1}.

(b)

Возникает соблазн пойти дальше и с помощью леммы Цорна продолжить PP до вполне аддитивной вероятностной меры на σ\sigma-алгебре всех подмножеств Ω\Omega. В каком месте очевидное доказательство даёт сбой?

Задача 3.10

2.173 .2 ↑ Как показано в тексте, вероятностное пространство (Ω,F,P)(\Omega , \mathscr {F}, P) имеет полное продолжение — то есть существует полное вероятностное пространство (Ω,F1,P1)(\Omega , \mathscr {F}_{1}, P_{1}) такое, что F⊂F1\mathscr {F} \subset \mathscr {F}_{1} и P1P_{1} совпадает с PP на F\mathscr {F}.

?
(a)

Предположим, что (Ω,F2,P2)(\Omega , \mathscr {F}_{2}, P_{2}) — второе полное продолжение. Покажите на примере в пространстве из двух точек, что P1P_{1} и P2P_{2} не обязаны совпадать на σ\sigma-алгебре F1∩F2\mathscr {F}_{1} \cap \mathscr {F}_{2}.

(b)

Однако существует единственное минимальное полное продолжение: пусть F+\mathscr {F}^{+}состоит из множеств AA, для которых найдутся F-множества B\mathscr {F}_{\text{-множества }} B и CC такие, что AΔB⊂CA \Delta B \subset C и P(C)=0\mathbb {P}\left(C\right)=0. Покажите, что F+\mathscr {F}^{+}является σ\sigma-алгеброй. Для такого множества AA определим P+(A)=P(B)P^{+}(A)=\mathbb {P}\left(B\right). Покажите, что это определение корректно, что P+P^{+}является вероятностной мерой на F+\mathscr {F}^{+}, и что (Ω,F+,P+)(\Omega , \mathscr {F}^{+}, P^{+}) полно. Покажите, что если (Ω,F1,P1)(\Omega , \mathscr {F}_{1}, P_{1}) — произвольное полное продолжение (Ω,F,P)(\Omega , \mathscr {F}^{,} P), то F+⊂F1\mathscr {F}^{+} \subset \mathscr {F}_{1} и P1P_{1} совпадает с P+P^{+}на F+\mathscr {F}^{+}; (Ω,F+,P+)(\Omega , \mathscr {F}^{+}, P^{+}) является пополнением (Ω,F,P)(\Omega , \mathscr {F}, P).

(c)

Покажите, что A∈F+A \in \mathscr {F}^{+}тогда и только тогда, когда P∗(A)=P∗(A)\mathbb {P}_{*}\left(A\right)=P^{*}(A), где P∗P_{*} и P∗P^{*} определены по (3.9) и (3.10), и что в этом случае P+(A)=P∗(A)=P∗(A)P^{+}(A)=\mathbb {P}_{*}\left(A\right)=P^{*}(A). Таким образом, полное продолжение, построенное в тексте, — это в точности пополнение.

Задача 3.11
?
(a)

Покажите, что λ\lambda-система удовлетворяет условиям (λ4)(\lambda_{4}) A,B∈LA, B \in \mathscr {L} и A∩B=∅A \cap B=\varnothing влекут A∪B∈LA \cup B \in \mathscr {L}, (λ5)(\lambda_{5}) A1,A2,…∈LA_{1}, A_{2}, \ldots \in \mathscr {L} и An↑AA_{n} \uparrow A влекут A∈LA \in \mathscr {L}, (λ6)(\lambda_{6}) A1,A2,…∈LA_{1}, A_{2}, \ldots \in \mathscr {L} и An↓AA_{n} \downarrow A влекут A∈LA \in \mathscr {L}.

(b)

Покажите, что L\mathscr {L} является λ\lambda-системой тогда и только тогда, когда она удовлетворяет (λ1),(λ2′)\left(\lambda_{1}\right),\left(\lambda_{2}^{\prime }\right) и (λ5)\left(\lambda_{5}\right). (Иногда эти условия вместе с избыточным условием (λ4)(\lambda_{4}) принимают за определение.)

Задача 3.12
?
(a)

2.53.11↑2.53 .11 \uparrow Покажите, что если P\mathscr {P} — π\pi-система, то минимальная λ\lambda-система над P\mathscr {P} совпадает с σ(P)\sigma (\mathscr {P}).

(b)

Пусть P\mathscr {P} — π\pi-система, а M\mathscr {M} — монотонный класс. Покажите, что P⊂M\mathscr {P} \subset \mathscr {M} не влечёт σ(P)⊂M\sigma (\mathscr {P}) \subset \mathscr {M}.

(c)

Выведите π\pi-λ\lambda-теорему из теоремы о монотонных классах, показав напрямую, что если λ\lambda-система L\mathscr {L} содержит π\pi-систему P\mathscr {P}, то L\mathscr {L} содержит также алгебру, порождённую P\mathscr {P}.

Задача 3.13

2.5↑2.5 \uparrow

?
(a)

Предположим, что F0\mathscr {F}_{0} — алгебра, а P1P_{1} и P2P_{2} — вероятностные меры на σ(F0)\sigma \left(\mathscr {F}_{0}\right). С помощью теоремы о монотонных классах покажите, что если P1P_{1} и P2P_{2} совпадают на F0\mathscr {F}_{0}, то они совпадают на σ(F0)\sigma \left(\mathscr {F}_{0}\right).

(b)

Пусть F0\mathscr {F}_{0} — наименьшая алгебра над π\pi-системой P\mathscr {P}. С помощью формулы включений-исключений покажите, что вероятностные меры, совпадающие на P\mathscr {P}, должны совпадать также на F0\mathscr {F}_{0}. Теперь выведите Теорему 3.3 из пункта (a).

Задача 3.14

1.52 .22 ↑ Докажите существование лебеговского множества лебеговой меры 0, не являющегося борелевским множеством.

?
Задача 3.15

1.3 3.6 3.14 ↑\uparrow Внешним содержанием множества AA в (0,1](0,1] называется c∗(A)=inf⁡∑n∣In∣c^{*}(A)=\inf \sum_{n}\left|I_{n}\right|, где инфимум берётся по всем конечным покрытиям AA интервалами InI_{n}. Таким образом, AA пустячно в смысле Задачи 1.3 тогда и только тогда, когда c∗(A)=0c^{*}(A)=0. Определим внутреннее содержание формулой c∗(A)=1−c∗(Ac)c_{*}(A)=1-c^{*}\left(A^{c}\right). Покажите, что c∗(A)=sup⁡∑n∣In∣c_{*}(A)=\sup \sum_{n}\left|I_{n}\right|, где супремум берётся по всем конечным дизъюнктным объединениям интервалов InI_{n}, содержащихся в AA (разумеется, аналог этого для λ∗\lambda_{*} неверен). Покажите, что c∗(A)≤c∗(A)c_{*}(A) \leq c^{*}(A); если эти величины равны, их общее значение принимается за содержание c(A)c(A) множества AA, которое тогда измеримо по Жордану. Свяжите всё это с Задачей 3.6.

Покажите, что c∗(A)=c∗(A−)c^{*}(A)=c^{*}\left(A^{-}\right), где A−A^{-}— замыкание AA (аналог этого для λ∗\lambda^{*} неверен).

Пустячное множество измеримо по Жордану. Найдите (Задача 3.14) множество, измеримое по Жордану, но не являющееся борелевским.

Покажите, что c∗(A)≤λ∗(A)≤λ∗(A)≤c∗(A)c_{*}(A) \leq \lambda_{*}(A) \leq \lambda^{*}(A) \leq c^{*}(A). Что происходит в этой цепочке неравенств, если AA состоит из рациональных чисел в ( 0,120, \frac{1}{2} ] вместе с иррациональными числами в ( 12,1\frac{1}{2}, 1 ]?

?
Задача 3.16

15↑15 \uparrow Выведите непосредственно из счётной аддитивности, что канторово множество имеет лебегову меру 0.

?
Задача 3.17

Из того факта, что λ(x⊕A)=λ(A)\lambda (x \oplus A)=\lambda (A), выведите, что суммы и разности нормальных чисел могут быть ненормальными.

?
Задача 3.18

Пусть HH — неизмеримое множество, построенное в конце раздела.

?
(a)

Покажите, что если AA — борелевское множество и A⊂HA \subset H, то λ(A)=0\lambda (A)=0, то есть λ∗(H)=\lambda_{*}(H)= 0.

(b)

Покажите, что если λ∗(E)>0\lambda^{*}(E)>0, то EE содержит неизмеримое подмножество.

Задача 3.19

Цель этой задачи — построить борелевское множество AA в ( 0,1 ) такое, что 0<λ(A∩G)<λ(G)0<\lambda (A \cap G)<\lambda (G) для каждого непустого открытого множества GG в (0,1)(0,1).

?
(a)

В Примере 3.1 показано, как построить нигде не плотное борелевское множество положительной лебеговой меры. Покажите, что каждый интервал содержит такое множество.

(b)

Пусть {In}\left\{ I_{n}\right\} — перечисление открытых интервалов в (0,1)(0,1) с рациональными концами. Постройте дизъюнктные, нигде не плотные борелевские множества A1,B1,A2,B2,…A_{1}, B_{1}, A_{2}, B_{2}, \ldots положительной лебеговой меры такие, что An∪Bn⊂InA_{n} \cup B_{n} \subset I_{n}.

(c)

Пусть A=⋃kAkA=\bigcup_{k} A_{k}. Непустое открытое GG в (0,1)(0,1) содержит некоторый InI_{n}. Покажите, что 0<λ(An)≤λ(A∩G)<λ(A∩G)+λ(Bn)≤λ(G)0<\lambda \left(A_{n}\right) \leq \lambda (A \cap G)<\lambda (A \cap G)+\lambda \left(B_{n}\right) \leq \lambda (G).

Задача 3.20

↑\uparrow Не существует борелевского множества AA в (0,1)(0,1) такого, что aλ(I)≤λ(A∩I)≤bλ(I)a \lambda (I) \leq \lambda (A \cap I) \leq b \lambda (I) для каждого открытого интервала ll в (0,1)(0,1), где 0<a≤b<10<a \leq b<1. А именно, докажите:

?
(a)

Если λ(A∩I)≤bλ(I)\lambda (A \cap I) \leq b \lambda (I) для всех II и b<1b<1, то λ(A)=0\lambda (A)=0. Указание. Выберите открытое GG такое, что A⊂G⊂(0,1)A \subset G \subset (0,1) и λ(G)<b−1λ(A)\lambda (G)<b^{-1} \lambda (A); представьте GG как дизъюнктное объединение интервалов и получите противоречие.

(b)

Если aλ(I)≤λ(A∩I)a \lambda (I) \leq \lambda (A \cap I) для всех II и a>0a>0, то λ(A)=1\lambda (A)=1.

Задача 3.21

Покажите, что не каждое подмножество единичного интервала является лебеговским множеством. Указание: покажите, что λ∗\lambda^{*} инвариантна относительно сдвига на 2(0,1)2^{(0,1)}; затем используйте первую теорему невозможности (стр. 45). Или используйте вторую теорему невозможности.

?
§
4 · Счётные вероятностные пространства[16/25%]
Задача 4.1

2.1↑2.1 \uparrow Верхний и нижний пределы числовой последовательности {xn}\left\{ x_{n}\right\} можно определить как супремум и инфимум множества предельных точек — то есть множества пределов сходящихся подпоследовательностей. Это то же самое, что определить

lim⁡sup⁡nxn=⋀n=1∞⋁k=n∞xk(4.30) \lim \sup _{n} x_{n}=\bigwedge _{n=1}^{\infty } \bigvee _{k=n}^{\infty } x_{k} \tag {4.30}

и

lim⁡inf⁡nxn=⋁n=1∞⋀k=n∞xk.(4.31) \lim \inf _{n} x_{n}=\bigvee _{n=1}^{\infty } \bigwedge _{k=n}^{\infty } x_{k}. \tag {4.31}

Сравните эти соотношения с (4.4) и (4.5) и докажите, что

Ilim sup⁡nAn=lim⁡sup⁡nIAn,Ilim inf⁡nAn=lim⁡inf⁡nIAn. I_{\limsup _{n} A_{n}}=\lim \sup _{n} I_{A_{n}}, \quad I_{\liminf _{n} A_{n}}=\lim \inf _{n} I_{A_{n}}.

Докажите, что lim⁡nAn\lim_{n} A_{n} существует в смысле (4.6) тогда и только тогда, когда lim⁡nIAn(ω)\lim_{n} I_{A_{n}}(\omega ) существует для каждого ω\omega.

?
Задача 4.2
?
(a)

Докажите, что

(lim⁡sup⁡nAn)∩(lim⁡sup⁡nBn)⊃lim⁡sup⁡n(An∩Bn),(lim⁡sup⁡nAn)∪(lim⁡sup⁡nBn)=lim⁡sup⁡n(An∪Bn),(lim⁡inf⁡nAn)∩(lim⁡inf⁡nBn)=lim⁡inf⁡n(An∩Bn),(lim⁡inf⁡nAn)∪(lim⁡inf⁡nBn)⊂lim⁡inf⁡n(An∪Bn). \begin{aligned} \left(\lim \sup _{n} A_{n}\right) \cap \left(\lim \sup _{n} B_{n}\right) & \supset \lim \sup _{n}\left(A_{n} \cap B_{n}\right), \\ \left(\lim \sup _{n} A_{n}\right) \cup \left(\lim \sup _{n} B_{n}\right) & =\lim \sup _{n}\left(A_{n} \cup B_{n}\right), \\ \left(\lim \inf _{n} A_{n}\right) \cap \left(\lim \inf _{n} B_{n}\right) & =\lim \inf _{n}\left(A_{n} \cap B_{n}\right), \\ \left(\lim \inf _{n} A_{n}\right) \cup \left(\lim \inf _{n} B_{n}\right) & \subset \lim \inf _{n}\left(A_{n} \cup B_{n}\right). \end{aligned}

Покажите на примере, что оба включения могут быть строгими.

(b)

Числовой аналог первого из соотношений пункта (a) —

(lim⁡sup⁡nxn)∧(lim⁡sup⁡nyn)≥lim⁡sup⁡n(xn∧yn) \left(\lim \sup _{n} x_{n}\right) \wedge \left(\lim \sup _{n} y_{n}\right) \geq \lim \sup _{n}\left(x_{n} \wedge y_{n}\right)

Выпишите и проверьте числовые аналоги остальных соотношений.

(c)

Покажите, что

lim⁡sup⁡nAnc=(lim⁡inf⁡nAn)clim⁡inf⁡nAnc=(lim⁡sup⁡nAn)clim⁡sup⁡nAn−lim⁡inf⁡nAn=lim⁡sup⁡n(An∩An+1c)=lim⁡sup⁡n(Anc∩An+1) \begin{aligned} \lim \sup _{n} A_{n}^{c} & =\left(\lim \inf _{n} A_{n}\right)^{c} \\ \lim \inf _{n} A_{n}^{c} & =\left(\lim \sup _{n} A_{n}\right)^{c} \\ \lim \sup _{n} A_{n}-\lim \inf _{n} A_{n} & =\lim \sup _{n}\left(A_{n} \cap A_{n+1}^{c}\right) \\ & =\lim \sup _{n}\left(A_{n}^{c} \cap A_{n+1}\right) \end{aligned}
(d)

Покажите, что An→AA_{n} \rightarrow A и Bn→BB_{n} \rightarrow B вместе влекут An∪Bn→A∪BA_{n} \cup B_{n} \rightarrow A \cup B и An∩Bn→A∩BA_{n} \cap B_{n} \rightarrow A \cap B.

Задача 4.3

Пусть AnA_{n} — квадрат [(x,y):∣x∣≤1,∣y∣≤1][(x, y):\left|x\right| \leq 1,\left|y\right| \leq 1], повёрнутый на угол 2πnθ2 \pi n \theta. Дайте геометрическое описание lim sup⁡sup⁡n\limsup \sup_{n} и lim inf⁡An\liminf A_{n} в случае

?
(a)

θ=18\theta =\frac{1}{8};

(b)

θ\theta рационально;

(c)

θ\theta иррационально. Указание: числа 2πnθ2 \pi n \theta, приведённые по модулю 2π2 \pi, плотны в [0,2π][0,2 \pi ], если θ\theta иррационально.

(d)

Когда имеет место сходимость в смысле (4.6)?

Задача 4.4

Найдите последовательность, для которой все три неравенства в (4.9) строгие.

?
Задача 4.5
?
(a)

Покажите, что lim⁡nP(lim⁡inf⁡kAn∩Akc)=0\lim_{n} \mathbb {P}\left(\lim \inf_{k} A_{n} \cap A_{k}^{c}\right)=0. Указание: покажите, что lim sup⁡nlim inf⁡kAn∩Akc\limsup { }_{n} \liminf_{k} A_{n} \cap A_{k}^{c} пусто.

Положим A∗=lim sup⁡AnA^{*}=\limsup A_{n} и A∗=lim inf⁡nAnA_{*}=\liminf_{n} A_{n}.

(b)

Покажите, что P(An−A∗)→0\mathbb {P}\left(A_{n}-A^{*}\right) \rightarrow 0 и P(A∗−An)→0\mathbb {P}\left(A_{*}-A_{n}\right) \rightarrow 0.

(c)

Покажите, что An→AA_{n} \rightarrow A (в том смысле, что A=A∗=A∗A=A^{*}=A_{*}) влечёт P(AΔAn)→0\mathbb {P}\left(A \Delta A_{n}\right) \rightarrow 0.

(d)

Предположим, что AnA_{n} сходится к AA в более слабом смысле, что P(AΔA∗)=P(AΔA∗)=0\mathbb {P}\left(A \Delta A^{*}\right)= \mathbb {P}\left(A \Delta A_{*}\right)=0 (это влечёт P(A∗−A∗)=0\mathbb {P}\left(A^{*}-A_{*}\right)=0). Покажите, что P(AΔAn)→0\mathbb {P}\left(A \Delta A_{n}\right) \rightarrow 0 (это влечёт P(An)→P(A)\mathbb {P}\left(A_{n}\right) \rightarrow \mathbb {P}\left(A\right)).

Задача 4.6

В пространстве из шести равновероятных исходов (бросают игральную кость) найдите три события, которые не являются независимыми, хотя каждое из них независимо от пересечения двух других.

?
Задача 4.7

Для событий A1,…,AnA_{1}, \ldots , A_{n} рассмотрите 2n2^{n} равенств P(B1∩⋯∩Bn)=P(B1)⋯P(Bn)\mathbb {P}\left(B_{1} \cap \cdots \cap B_{n}\right)= \mathbb {P}\left(B_{1}\right) \cdots \mathbb {P}\left(B_{n}\right), где Bi=AiB_{i}=A_{i} или Bi=AicB_{i}=A_{i}^{c} для каждого ii. Покажите, что если все эти равенства выполняются, то A1,…,AnA_{1}, \ldots , A_{n} независимы.

?
Задача 4.8

Для каждого из следующих классов A\mathscr {A} опишите A\mathscr {A}-разбиение, определённое (4.16).

?
(a)

Класс конечных и коконечных множеств.

(b)

Класс счётных и косчётных множеств.

(c)

Разбиение Ω\Omega (произвольной мощности).

(d)

Множества уровня функции sin⁡x\sin x (Ω=R1)(\Omega =R^{1}).

(e)

σ\sigma-алгебра из Задачи 3.5.

Задача 4.9

2.92.10↑2.92 .10 \uparrow В связи с Примером 4.8 и Задачей 210 докажите следующие факты:

?
(a)

Каждое множество из σ(A)\sigma (\mathscr {A}) является объединением классов A\mathscr {A}-эквивалентности.

(b)

Если A=[Aθ:θ∈Θ]\mathscr {A}=\left[A_{\theta }: \theta \in \Theta \right], то классы L\mathscr {L}-эквивалентности имеют вид ∩θBθ\cap_{\theta } B_{\theta }, где для каждого θ\theta множество BθB_{\theta } есть AθA_{\theta } или AθcA_{\theta }^{c}.

(c)

Каждая конечная σ\sigma-алгебра порождена конечным разбиением Ω\Omega.

(d)

Если F0\mathscr {F}_{0} — алгебра, то каждое одноточечное множество и даже каждое конечное множество в σ(F0)\sigma \left(\mathscr {F}_{0}\right) является счётным пересечением F0\mathscr {F}_{0}-множеств.

Задача 4.10

3.2↑3.2 \uparrow В единичном интервале существует множество HH, неизмеримое в том крайнем смысле, что его внутренняя и внешняя лебеговы меры равны 0 и 1 (см. (3.9) и (3.10)): λ∗(H)=0\lambda_{*}(H)=0 и λ∗(H)=1\lambda^{*}(H)=1. Построение см. в Задаче 12.4

Пусть Ω=(0,1]\Omega =(0,1], пусть G\mathscr {G} состоит из борелевских множеств в Ω\Omega, и пусть HH — только что описанное множество. Покажите, что класс F\mathscr {F} множеств вида (H∩G1)∪(Hc∩G2)\left(H \cap G_{1}\right) \cup \left(H^{c} \cap G_{2}\right) для G1G_{1} и G2G_{2} из E\mathscr {E} является σ\sigma-алгеброй и что P((H∩G1)∪(Hc∩G2))=12λ(G1)+12λ(G2)\mathbb {P}\left(\left(H \cap G_{1}\right) \cup \left(H^{c} \cap G_{2}\right)\right)=\frac{1}{2} \lambda \left(G_{1}\right)+ \frac{1}{2} \lambda \left(G_{2}\right) корректно определяет вероятностную меру на F\mathscr {F}. Покажите, что P(H)=12\mathbb {P}\left(H\right)=\frac{1}{2} и что P(G)=λ(G)\mathbb {P}\left(G\right)=\lambda (G) для G∈GG \in \mathscr {G}. Покажите, что G\mathscr {G} порождена счётным подклассом (см. Задачу 2.11). Покажите, что I\mathscr {I} содержит все одноточечные множества и что HH и G\mathscr {G} независимы.

Это построение доказывает следующее: существуют вероятностное пространство (Ω,F,P)(\Omega , \mathscr {F}, P), σ\sigma-алгебра G\mathscr {G} в F\mathscr {F} и множество HH в F\mathscr {F} такие, что P(H)=12\mathbb {P}\left(H\right)=\frac{1}{2}, HH и G\mathscr {G} независимы, а I\mathscr {I} порождена счётным подклассом и содержит все одноточечные множества.

Пример 4.10 в чём-то похож, но там σ\sigma-алгебра G\mathscr {G} не является счётно-порождённой, и каждое множество в ней имеет вероятность 0 либо 1. В настоящем же примере G\mathscr {G} счётно-порождена, и P(G)\mathbb {P}\left(G\right) принимает все значения между 0 и 1, когда GG пробегает G\mathscr {G}. Пример 4.10 в некоторой степени неестествен, поскольку G\mathscr {G} там не является счётно-порождённой. Настоящий же пример, напротив, задействует патологическое множество HH. Этот пример используется в Разделе 33 в связи с условной вероятностью; см. Задачу 33.11.

?
Задача 4.11
?
(a)

Если A1,A2,…A_{1}, A_{2}, \ldots — независимые события, то P(∩n=1∞An)=∏n=1∞P(An)\mathbb {P}\left(\cap_{n=1}^{\infty } A_{n}\right)=\prod_{n=1}^{\infty } \mathbb {P}\left(A_{n}\right) и P(∪n=1∞An)=1−∏n=1∞(1−P(An))\mathbb {P}\left(\cup_{n=1}^{\infty } A_{n}\right)=1-\prod_{n=1}^{\infty }\left(1-\mathbb {P}\left(A_{n}\right)\right). Докажите эти факты и выведите из них вторую лемму Бореля—Кантелли, используя хорошо известную связь между бесконечными рядами и произведениями.

(b)

Покажите, что P(lim⁡sup⁡nAn)=1\mathbb {P}\left(\lim \sup_{n} A_{n}\right)=1, если для каждого kk ряд ∑n>kP(An∣Akc∩⋯∩An−1c)\sum_{n>k} \mathbb {P}\left(A_{n} \mid A_{k}^{c} \cap \cdots \cap A_{n-1}^{c}\right) расходится. Выведите отсюда вторую лемму Бореля—Кантелли ещё раз.

(c)

Покажите на примере, что P(lim sup⁡nAn)=1\mathbb {P}\left(\limsup_{n} A_{n}\right)=1 не следует из одной лишь расходимости ∑nP(An∣A1c∩⋯∩An−1c)\sum_{n} \mathbb {P}\left(A_{n} \mid A_{1}^{c} \cap \cdots \cap A_{n-1}^{c}\right).

(d)

Покажите, что P(lim⁡sup⁡nAn)=1\mathbb {P}\left(\lim \sup_{n} A_{n}\right)=1 тогда и только тогда, когда ∑nP(A∩An)\sum_{n} \mathbb {P}\left(A \cap A_{n}\right) расходится для каждого AA положительной вероятности.

(e)

Если множества AnA_{n} независимы и P(An)<1\mathbb {P}\left(A_{n}\right)<1 для всех nn, то P[AnP\left[A_{n}\right. б.ч. ]=1]=1 тогда и только тогда, когда P(∪nAn)=1\mathbb {P}\left(\cup_{n} A_{n}\right)=1.

Задача 4.12
?
(a)

Покажите (см. Пример 4.21), что log⁡2n+log⁡2log⁡2n+θlog⁡2log⁡2log⁡2n\log_{2} n+\log_{2} \log_{2} n+\theta \log_{2} \log_{2} \log_{2} n является внешней границей при θ>1\theta >1. Обобщите.

(b)

Покажите, что log⁡2n+log⁡2log⁡2log⁡2n\log_{2} n+\log_{2} \log_{2} \log_{2} n является внутренней границей.

Задача 4.13

Пусть φ\varphi — положительная функция целых чисел, и определим BφB_{\varphi } как множество xx из (0,1)(0,1) таких, что ∣x−p/2i∣<1/2iφ(2j)\left|x-p / 2^{i}\right|<1 / 2^{i} \varphi \left(2^{j}\right) выполняется для бесконечно многих пар p,ip, i. Адаптируя доказательство Теоремы 1.6, покажите непосредственно (не ссылаясь на Пример 4.12), что ∑i1/φ(2i)<∞\sum_{i} 1 / \varphi \left(2^{i}\right)<\infty влечёт λ(Bφ)=0\lambda \left(B_{\varphi }\right)=0.

?
Задача 4.14

2.19↑2.19 \uparrow Предположим, что в (Ω,F,P)(\Omega , \mathscr {F}, P) существуют независимые события A1,A2,…A_{1}, A_{2}, \ldots такие, что, если αn=min⁡(P(An),1−P(An))\alpha_{n}=\min \left(\mathbb {P}\left(A_{n}\right), 1-\mathbb {P}\left(A_{n}\right)\right), то ∑αn=∞\sum \alpha_{n}=\infty. Покажите, что PP неатомическая.

?
Задача 4.15

2.18↑2.18 \uparrow Пусть FF — множество свободных от квадратов целых чисел, то есть целых чисел, не делящихся ни на один полный квадрат. Пусть FlF_{l} — множество mm таких, что p2∣mp^{2} \mid m не выполняется ни для какого p≤lp \leq l, и покажите, что D(Fl)=Πp≤l(1−p−2)D\left(F_{l}\right)=\Pi_{p \leq l}\left(1-p^{-2}\right). Покажите, что Pn(Fl−F)≤∑p>lp−2\mathbb {P}_{n}\left(F_{l}-F\right) \leq \sum_{p>l} p^{-2}, и заключите, что свободные от квадратов целые числа имеют плотность Πp(1−p−2)=6/π2\Pi_{p}\left(1-p^{-2}\right)=6 / \pi^{2}.

?
Задача 4.16

2.18↑2.18 \uparrow Вернитесь к Задаче 2.18(d). Если бы DD была счётно-аддитивна на f(M)f(\mathscr {M}), она продолжалась бы на σ(M)\sigma (\mathscr {M}). Используйте вторую лемму Бореля—Кантелли.

?
§
5 · Простые случайные величины[20/30%]
Задача 5.1
?
(a)

Покажите, что XX измерима относительно σ\sigma-алгебры A\mathscr {A} тогда и только тогда, когда σ(X)⊂G\sigma (X) \subset \mathscr {G}. Покажите, что XX измерима относительно σ(Y)\sigma (Y) тогда и только тогда, когда σ(X)⊂σ(Y)\sigma (X) \subset \sigma (Y).

(b)

Покажите, что если G={∅,Ω}\mathscr {G}=\left\{ \varnothing , \Omega \right\}, то XX измерима относительно G\mathscr {G} тогда и только тогда, когда XX постоянна.

(c)

Предположим, что P(A)\mathbb {P}\left(A\right) равно 0 или 1 для каждого AA из G\mathscr {G}. Это выполнено, например, если G\mathscr {G} — хвостовая σ\sigma-алгебра независимой последовательности (Теорема 4.5), или если E\mathscr {E} состоит из счётных множеств и множеств со счётным дополнением на единичном интервале с мерой Лебега. Покажите, что если XX измерима относительно G\mathscr {G}, то P(X=c)=1\mathbb {P}\left(X=c\right)=1 для некоторой константы cc.

Задача 5.2

2.19↑2.19 \uparrow Покажите, что единичный интервал можно заменить произвольным неатомическим вероятностным пространством в доказательстве Теоремы 5.3.

?
Задача 5.3

Покажите, что m=E[X]m=\mathbb {E}\left[X\right] минимизирует E[(X−m)2]\mathbb {E}\left[(X-m)^{2}\right].

?
Задача 5.4

Предположим, что XX принимает значения m−α,m,m+αm-\alpha , m, m+\alpha с вероятностями p,1−2p,pp, 1- 2 p, p, и покажите, что в (5.32) достигается равенство. Таким образом, неравенство Чебышева нельзя улучшить без дополнительных предположений о XX.

?
Задача 5.5

Предположим, что XX имеет математическое ожидание mm и дисперсию σ2\sigma^{2}.

?
(a)

Докажите неравенство Кантелли

P(X−m≥α)≤σ2σ2+α2,α≥0. \mathbb {P}\left(X-m \geq \alpha \right) \leq \frac{\sigma ^{2}}{\sigma ^{2}+\alpha ^{2}}, \quad \alpha \geq 0.
(b)

Покажите, что P(∣X−m∣≥α)≤2σ2/(σ2+α2)\mathbb {P}\left(\left|X-m\right| \geq \alpha \right) \leq 2 \sigma^{2} /\left(\sigma^{2}+\alpha^{2}\right). Когда это неравенство лучше неравенства Чебышева?

(c)

Рассмотрев случайную величину, принимающую два значения, покажите, что неравенство Кантелли точное.

Задача 5.6

Многочлен E[(t∣X∣+∣Y∣)2]\mathbb {E}\left[(t\left|X\right|+\left|Y\right|)^{2}\right] от tt имеет не более одного вещественного нуля. Выведите отсюда ещё раз неравенство Шварца.

?
Задача 5.7
?
(a)

Запишите (5.37) в виде Eβ/α[∣X∣α]≤E[∣X∣α)β/α]\left.E^{\beta / \alpha }\left[|X|^{\alpha }\right] \leq E\left[|X|^{\alpha }\right)^{\beta / \alpha }\right] и выведите это неравенство непосредственно из неравенства Йенсена.

(b)

Докажите, что E[1/Xp]≥1/Ep[X]\mathbb {E}\left[1 / X^{p}\right] \geq 1 / E^{p}[X] для p>0p>0 и положительной случайной величины XX.

Задача 5.8
?
(a)

Пусть ff — выпуклая вещественная функция на выпуклом множестве CC на плоскости. Предположим, что (X(ω),Y(ω))∈C(X(\omega ), Y(\omega )) \in C для всех ω\omega, и докажите двумерный вариант неравенства Йенсена:

f(E[X],E[Y])≤E[f(X,Y)].(5.38) f(\mathbb {E}\left[X\right], \mathbb {E}\left[Y\right]) \leq \mathbb {E}\left[f(X, Y)\right]. \tag {5.38}
(b)

Покажите, что ff выпукла, если она имеет непрерывные вторые производные, удовлетворяющие условиям

f11≥0,f22≥0,f11f22≥f122.(5.39) f_{11} \geq 0, \quad f_{22} \geq 0, \quad f_{11} f_{22} \geq f_{12}^{2}. \tag {5.39}
Задача 5.9

↑\uparrow Неравенство Гёльдера равносильно неравенству E[X1/pY1/q]≤E1/p[X]⋅E1/q[Y](p−1+q−1=1)\mathbb {E}\left[X^{1 / p} Y^{1 / q}\right] \leq E^{1 / p}[X] \cdot E^{1 / q}[Y] \left(p^{-1}+q^{-1}=1\right), где XX и YY — неотрицательные случайные величины. Выведите его из (5.38).

?
Задача 5.10

↑ Неравенство Минковского имеет вид

E1/p[∣X+Y∣p]≤E1/p[∣X∣p]+E1/p[∣Y∣p],(5.40) E^{1 / p}\left[|X+Y|^{p}\right] \leq E^{1 / p}\left[|X|^{p}\right]+E^{1 / p}\left[|Y|^{p}\right], \tag {5.40}

и выполняется при p≥1p \geq 1. Достаточно доказать, что E[(X1/p+Y1/p)p]≤(E1/p[X]+E1/p[Y])p\mathbb {E}\left[\left(X^{1 / p}+Y^{1 / p}\right)^{p}\right] \leq \left(E^{1 / p}[X]+\right. \left.E^{1 / p}[Y]\right)^{p} для неотрицательных XX и YY. Используйте (5.38).

?
Задача 5.11

Для событий A1,A2,…A_{1}, A_{2}, \ldots, не обязательно независимых, пусть Nn=∑k=1niAkN_{n}=\sum_{k=1}^{n} i_{A_{k}} — число тех из них, что происходят среди первых nn. Пусть

αn=1n∑k=1nP(Ak),βn=2n(n−1)∑1≤j<k≤nP(Aj∩Ak).(5.41) \alpha _{n}=\frac{1}{n} \sum _{k=1}^{n} \mathbb {P}\left(A_{k}\right), \quad \beta _{n}=\frac{2}{n(n-1)} \sum _{1 \leq j<k \leq n} \mathbb {P}\left(A_{j} \cap A_{k}\right). \tag {5.41}

Покажите, что

E[n−1Nn]=αn,Var⁡[n−1Nn]=βn−αn2+αn−βnn.(5.42) \mathbb {E}\left[n^{-1} N_{n}\right]=\alpha _{n}, \quad \operatorname {Var}\left[n^{-1} N_{n}\right]=\beta _{n}-\alpha _{n}^{2}+\frac{\alpha _{n}-\beta _{n}}{n}. \tag {5.42}

Таким образом, Var⁡[n−1Nn]→0\operatorname {Var}\left[n^{-1} N_{n}\right] \rightarrow 0 тогда и только тогда, когда βn−αn2→0\beta_{n}-\alpha_{n}^{2} \rightarrow 0, что выполнено, если события AnA_{n} независимы и P(An)=p\mathbb {P}\left(A_{n}\right)=p (испытания Бернулли), поскольку в этом случае αn=p\alpha_{n}=p и βn=p2=αn2\beta_{n}= p^{2}=\alpha_{n}^{2}.

?
Задача 5.12

Покажите, что если XX принимает значения из неотрицательных целых чисел, то E[X]=∑n=1∞P(X≥n)\mathbb {E}\left[X\right]=\sum_{n=1}^{\infty } \mathbb {P}\left(X \geq n\right).

?
Задача 5.13

Пусть Ii=IAiI_{i}=I_{A_{i}} — индикаторы nn событий, объединение которых равно AA. Пусть Sk=∑Ii1⋯IikS_{k}=\sum I_{i_{1}} \cdots I_{i_{k}}, где суммирование ведётся по всем kk-наборам, удовлетворяющим 1≤i1<⋯<ik≤n1 \leq i_{1}<\cdots <i_{k} \leq n. Тогда sk=E[Sk]s_{k}=\mathbb {E}\left[S_{k}\right] — это члены формулы включения-исключения P(A)=s1−s2+⋯±sn\mathbb {P}\left(A\right)=s_{1}- s_{2}+\cdots \pm s_{n}. Выведите формулу включения-исключения из IA=S1−S2+⋯±SnI_{A}=S_{1}-S_{2}+ \cdots \pm S_{n}. Докажите последнюю формулу, раскрыв произведение ∏i=1n(1−Ii)\prod_{i=1}^{n}\left(1-I_{i}\right)

?
Задача 5.14

Пусть fn(x)f_{n}(x) равно n2xn^{2} x, 2n−n2x2 n-n^{2} x или 0 в зависимости от того, выполнено ли 0≤x≤n−10 \leq x \leq n^{-1}, n−1≤x≤2n−1n^{-1} \leq x \leq 2 n^{-1} или 2n−1≤x≤12 n^{-1} \leq x \leq 1. Это стандартный пример последовательности непрерывных функций, сходящейся к 0, но не равномерно. Заметим, что ∫01fn(x)dx\int_{0}^{1} f_{n}(x) d x не сходится к 0; сопоставьте с Примером 5.7.

?
Задача 5.15

По Теореме 5.3, для любой заданной последовательности вероятностей pnp_{n} существует (на некотором пространстве) независимая последовательность событий AnA_{n}, удовлетворяющая P(An)=pn\mathbb {P}\left(A_{n}\right)=p_{n}. Покажите, что если pn→0p_{n} \rightarrow 0, но ∑pn=∞\sum p_{n}=\infty, то это даёт контрпример (подобный Примеру 5.4) к обращению Теоремы 5.2(ii).

?
Задача 5.16

↑\uparrow Предположим, что 0≤pn≤10 \leq p_{n} \leq 1, и положим αn=min⁡{pn,1−pn}\alpha_{n}=\min \left\{ p_{n}, 1-p_{n}\right\}. Покажите, что если ∑αn\sum \alpha_{n} сходится, то на некотором дискретном вероятностном пространстве существуют независимые события AnA_{n}, удовлетворяющие P(An)=pn\mathbb {P}\left(A_{n}\right)=p_{n}. Сравните с Задачей 1.1(b).

?
Задача 5.17
?
(a)

Предположим, что Xn→PXX_{n} \rightarrow_{P} X и ff непрерывна. Покажите, что f(Xn)→Pf(X)f\left(X_{n}\right) \rightarrow_{P} f(X).

(b)

Покажите, что из E[∣X−Xn∣]→0\mathbb {E}\left[\left|X-X_{n}\right|\right] \rightarrow 0 следует Xn→pXX_{n} \rightarrow_{p} X. Покажите, что обратное неверно.

Задача 5.18

2.20↑2.20 \uparrow Доказательство, приведённое для Теоремы 5.3 в частном случае, когда все μn\mu_{n} совпадают, можно распространить на общий случай: используйте Задачу 2.20.

?
Задача 5.19

2.18↑2.18 \uparrow Для целых чисел mm и простых pp пусть αp(m)\alpha_{p}(m) — точная степень pp в разложении на простые множители числа m:m=Πppαp(m)m: m=\Pi_{p} p^{\alpha_{p}(m)}. Пусть δp(m)\delta_{p}(m) равно 1 или 0 в зависимости от того, делит ли pp число mm или нет. При каждой PnP_{n} (см. (2.34)) αp\alpha_{p} и δp\delta_{p} являются случайными величинами. Покажите, что для различных простых p1,…,pup_{1}, \ldots , p_{u}

Pn(αpi≥ki,i≤u)=1n⌊np1k1⋯pukn⌋→1p1k1⋯pukn(5.43) \mathbb {P}_{n}\left(\alpha _{p_{i}} \geq k_{i}, i \leq u\right)=\frac{1}{n}\left\lfloor \frac{n}{p_{1}^{k_{1}} \cdots p_{u}^{k_{n}}}\right\rfloor \rightarrow \frac{1}{p_{1}^{k_{1}} \cdots p_{u}^{k_{n}}} \tag {5.43}

и

Pn(αpi=ki,i≤u)→∏i=1u(1piki−1piki+1).(5.44) \mathbb {P}_{n}\left(\alpha _{p_{i}}=k_{i}, i \leq u\right) \rightarrow \prod _{i=1}^{u}\left(\frac{1}{p_{i}^{k_{i}}}-\frac{1}{p_{i}^{k_{i}+1}}\right). \tag {5.44}

Аналогично,

Pn(δp1=1,i≤u)=1n∣np1⋯pu∣→1p1⋯pu(5.45) \mathbb {P}_{n}\left(\delta _{p_{1}}=1, i \leq u\right)=\frac{1}{n}\left|\frac{n}{p_{1} \cdots p_{u}}\right| \rightarrow \frac{1}{p_{1} \cdots p_{u}} \tag {5.45}

Согласно (5.44), при больших nn величины αp\alpha_{p} приближённо независимы относительно PnP_{n}, а согласно (5.45), то же верно и для δp\delta_{p}.

Для функции ff на положительных целых числах пусть

En[f]=1n∑m=1nf(m)(5.46) E_{n}[f]=\frac{1}{n} \sum _{m=1}^{n} f(m) \tag {5.46}

— её математическое ожидание относительно вероятностной меры PnP_{n}. Покажите, что

En[αp]=∑k=1∞1n∣npk∣→1p−1;(5.47) E_{n}\left[\alpha _{p}\right]=\sum _{k=1}^{\infty } \frac{1}{n}\left|\frac{n}{p^{k}}\right| \rightarrow \frac{1}{p-1} ; \tag {5.47}

это означает, грубо говоря, что (p−1)−1(p-1)^{-1} — средняя степень pp в разложении больших целых чисел.

?
Задача 5.20
?
(a)

Из формулы Стирлинга выведите

En[log⁡]=log⁡n+O(1).(5.48) E_{n}[\log ]=\log n+O(1). \tag {5.48}

Из этого, неравенства En[αp]≤2/pE_{n}\left[\alpha_{p}\right] \leq 2 / p и соотношения log⁡m=∑pαp(m)log⁡p\log m=\sum_{p} \alpha_{p}(m) \log p заключите, что Σpp−1log⁡p\Sigma_{p} p^{-1} \log p расходится и что простых чисел бесконечно много.

(b)

Пусть log⁡∗m=∑pδp(m)log⁡p\log^{*} m=\sum_{p} \delta_{p}(m) \log p. Покажите, что

En[log⁡∗]=∑p1n⌊np⌋log⁡p=log⁡n+O(1).(5.49) E_{n}\left[\log ^{*}\right]=\sum _{p} \frac{1}{n}\left\lfloor \frac{n}{p}\right\rfloor \log p=\log n+O(1). \tag {5.49}
(c)

Покажите, что ⌊2n/p⌋−2⌊n/p⌋\lfloor 2 n / p\rfloor -2\lfloor n / p\rfloor всегда неотрицательно и равно 1 в диапазоне n<p≤2nn<p \leq 2 n. Выведите E2n[log⁡∗]−En[log⁡∗]=O(1)E_{2 n}\left[\log^{*}\right]-E_{n}\left[\log^{*}\right]=O(1) и заключите, что

∑p≤xlog⁡p=O(x).(5.50) \sum _{p \leq x} \log p=O(x). \tag {5.50}

Используйте это, чтобы оценить погрешность, вносимую в (5.49) отбрасыванием скобок целой части, и покажите, что

∑p≤xp−1log⁡p=log⁡x+O(1).(5.51) \sum _{p \leq x} p^{-1} \log p=\log x+O(1). \tag {5.51}
(d)

Ограничьте область суммирования в (5.51) значениями θx<p≤x\theta x<p \leq x при подходящем θ\theta и заключите, что

∑p≤xlog⁡p≈x,(5.52) \sum _{p \leq x} \log p \approx x, \tag {5.52}

в том смысле, что отношение двух частей отделено от 0 и от ∞\infty.

(e)

Используя (5.52) и рассуждения с усечением, докажите для числа π(x)\pi (x) простых чисел, не превосходящих xx, что

π(x)≍xlog⁡x.(5.53) \pi (x) \asymp \frac{x}{\log x}. \tag {5.53}

(По теореме о распределении простых чисел отношение двух частей на самом деле стремится к 1.) Заключите, что rr-е простое число prp_{r} удовлетворяет pr≍rlog⁡rp_{r} \asymp r \log r и что

∑p1p=∞.(5.54) \sum _{p} \frac{1}{p}=\infty . \tag {5.54}
§
6 · Закон больших чисел[17/18%]
Задача 6.1

Покажите, что Zn→ZZ_{n} \rightarrow Z с вероятностью 1 тогда и только тогда, когда для каждого положительного ϵ\epsilon существует такое nn, что P(∣Zk−Z∣<ϵ,n≤k≤m)>1−ϵ\mathbb {P}\left(\left|Z_{k}-Z\right|<\epsilon , n \leq k \leq m\right)>1-\epsilon для всех mm, превосходящих nn. Это описывает сходимость с вероятностью 1 в «конечных» терминах.

?
Задача 6.2

Покажите в условиях Примера 6.3, что P(∣Sn−Ln∣≥Ln1/2+ϵ)→0\mathbb {P}\left(\left|S_{n}-L_{n}\right| \geq L_{n}^{1 / 2+\epsilon }\right) \rightarrow 0.

?
Задача 6.3

Как и в Примерах 5.6 и 6.3, пусть ω\omega — случайная перестановка чисел 1,2,…,n1,2, \ldots , n Каждое k,1≤k≤nk, 1 \leq k \leq n, занимает некоторую позицию в нижней строке перестановки ω\omega; пусть Xnk(ω)X_{n k}(\omega ) — число меньших элементов (от 1 до k−1k-1) лежащих справа от kk в нижней строке. Сумма Sn=Xn1+⋯+XnnS_{n}=X_{n 1}+\cdots +X_{n n} — это общее число инверсий, то есть число пар, встречающихся в нижней строке в обратном по величине порядке. Для перестановки из Примера 5.6 значения X71,…,X77X_{71}, \ldots , X_{77} равны 0,0,0,2,4,2,40,0,0,2,4,2,4, а S7=12S_{7}=12. Покажите, что Xn1,…,XnnX_{n 1}, \ldots , X_{n n} независимы и P(Xnk=i)=k−1\mathbb {P}\left(X_{n k}=i\right)=k^{-1} для 0≤i<k0 \leq i<k. Вычислите E[Sn]\mathbb {E}\left[S_{n}\right] и Var⁡[Sn]\operatorname {Var}\left[S_{n}\right]. Покажите, что SnS_{n}, скорее всего, близко к n2/4n^{2} / 4.

?
Задача 6.4

Для функции ff на [0,1][0,1] обозначим ∥f∥=sup⁡x∣f(x)∣\left\| f\right\| =\sup_{x}\left|f(x)\right|. Покажите, что если ff имеет непрерывную производную f′f^{\prime }, то ∥f−Bn∥≤ϵ∥f′∥+2∥f∥/nϵ2\left\| f-B_{n}\right\| \leq \epsilon \left\| f^{\prime }\right\| +2\left\| f\right\| / n \epsilon^{2}. Заключите, что ∥f−Bn∥=O(n−1/3)\left\| f-B_{n}\right\| =O\left(n^{-1 / 3}\right).

?
Задача 6.5

Докажите теорему Пуассона: если A1,A2,…A_{1}, A_{2}, \ldots — независимые события, pˉn=n−1∑i=1nP(Ai)\bar{p}_{n}= n^{-1} \sum_{i=1}^{n} \mathbb {P}\left(A_{i}\right), и N=∑t=1nIAN=\sum_{t=1}^{n} I_{A}, то n−1Nn−pˉn→P0n^{-1} N_{n}-\bar{p}_{n} \rightarrow_{P} 0.

В последующих задачах Sn=Xi+⋯+XnS_{n}=X_{\mathrm{i}}+\cdots +X_{n}

?
Задача 6.6

Докажите теорему Кантелли. Если X1,X2,…X_{1}, X_{2}, \ldots независимы, E[Xn]=0\mathbb {E}\left[X_{n}\right]=0, и E[Xn4]\mathbb {E}\left[X_{n}^{4}\right] ограничены, то n−1Sn→0n^{-1} S_{n} \rightarrow 0 с вероятностью 1. Величины XnX_{n} не обязаны быть одинаково распределены

?
Задача 6.7
?
(a)

Пусть x1,x2,…x_{1}, x_{2}, \ldots — последовательность вещественных чисел, и пусть sn=x1+⋯+xns_{n}=x_{1}+\cdots +x_{n}. Предположим, что n−2sn2→0n^{-2} s_{n^{2}} \rightarrow 0 и что xnx_{n} ограничены, и покажите, что n−1sn→0n^{-1} s_{n} \rightarrow 0.

(b)

Предположим, что n−2Sn2→0n^{-2} S_{n^{2}} \rightarrow 0 с вероятностью 1 и что XnX_{n} равномерно ограничены (sup⁡n,ω∣Xn(ω)∣<∞)(\sup_{n, \omega }\left|X_{n}(\omega )\right|<\infty ). Покажите, что n−1Sn→0n^{-1} S_{n} \rightarrow 0 с вероятностью 1. Здесь XnX_{n} не обязаны быть одинаково распределены или даже независимы.

Задача 6.8

↑\uparrow Предположим, что X1,X2,…X_{1}, X_{2}, \ldots независимы, равномерно ограничены и E[Xn]=0\mathbb {E}\left[X_{n}\right]=0. Используя только предыдущий результат, первую лемму Бореля—Кантелли и неравенство Чебышева, докажите, что n−1Sn→0n^{-1} S_{n} \rightarrow 0 с вероятностью 1.

?
Задача 6.9

↑ Используя идеи Задачи 6.8, дайте новое доказательство теоремы Бореля о нормальных числах, Теоремы 1.2. Смысл в том, чтобы вернуться к первоначальным принципам и использовать только пренебрежимость и другие идеи Раздела 1, а не аппарат Разделов 2–6; в частности, P(A)\mathbb {P}\left(A\right) следует считать определённой, только если AA — конечное объединение непересекающихся интервалов.

?
Задача 6.10

5.116.7↑5.116 .7 \uparrow Предположим, что (в обозначениях (5.41)) βn−αn2=O(1/n)\beta_{n}-\alpha_{n}^{2}=O(1 / n). Покажите, что n−1Nn−αn→0n^{-1} N_{n}-\alpha_{n} \rightarrow 0 с вероятностью 1. Какое условие на βn−αn2\beta_{n}-\alpha_{n}^{2} обеспечит выполнение слабого закона? Заметим, что независимость здесь не предполагается.

?
Задача 6.11

Предположим, что X1,X2,…X_{1}, X_{2}, \ldots являются mm-зависимыми в том смысле, что случайные величины, отстоящие в последовательности более чем на mm, независимы. Точнее, пусть Ajk=σ(Xj,…,Xk)\mathscr {A}_{j}^{k}=\sigma \left(X_{j}, \ldots , X_{k}\right), и предположим, что Aj1k1,…,Ajlkl\mathscr {A}_{j_{1}}^{k_{1}}, \ldots , \mathscr {A}_{j_{l}}^{k_{l}} независимы, если ki−1+m<jik_{i-1}+ m<j_{i} для i=2,…,li=2, \ldots , l. (Независимые случайные величины являются 0-зависимыми.) Предположим, что XnX_{n} обладают этим свойством, равномерно ограничены и E[Xn]=0\mathbb {E}\left[X_{n}\right]=0. Покажите, что n−1Sn→0n^{-1} S_{n} \rightarrow 0. Указание: рассмотрите подпоследовательности Xi,Xi+m+1,Xi+2(m+1)X_{i}, X_{i+m+1}, X_{i+2(m+1)}, для 1≤i≤m+11 \leq i \leq m+1.

?
Задача 6.12

↑\uparrow Предположим, что XnX_{n} независимы и принимают значения x1,…,xx_{1}, \ldots , x, с вероятностями p(x1),…,p(x1)p\left(x_{1}\right), \ldots , p\left(x_{1}\right). Для kk-набора u1,…,uku_{1}, \ldots , u_{k} значений xix_{i} пусть Nn(u1,…,uk)N_{n}\left(u_{1}, \ldots , u_{k}\right) — частота этого kk-набора среди первых n+k−1n+k-1 испытаний, то есть число таких tt, что 1≤t≤n1 \leq t \leq n и X1=u1,…,X1+k−1=ukX_{1}=u_{1}, \ldots , X_{1+k-1}=u_{k}. Покажите, что с вероятностью 1 все асимптотические относительные частоты таковы, какими должны быть, то есть с вероятностью 1,n−1Nn(u1,…,uk)→p(u1)⋯p(uk)1, n^{-1} N_{n}\left(u_{1}, \ldots , u_{k}\right) \rightarrow p\left(u_{1}\right) \cdots p\left(u_{k}\right) для каждого kk и каждого kk-набора u1,…,uku_{1}, \ldots , u_{k}.

?
Задача 6.13

↑ Число ω\omega из единичного интервала называется вполне нормальным, если для каждого основания bb, каждого kk и каждого kk-набора цифр по основанию bb этот kk-набор встречается в разложении ω\omega по основанию bb с асимптотической относительной частотой b−kb^{-k}. Покажите, что множество вполне нормальных чисел имеет меру Лебега 1.

?
Задача 6.14

Теорема Шеннона. Предположим, что X1,X2,…X_{1}, X_{2}, \ldots — независимые, одинаково распределённые случайные величины, принимающие значения 1,…,r1, \ldots , r с положительными вероятностями p1,…,prp_{1}, \ldots , p_{r} Если pn(i1,…,in)=pi1…pinp_{n}\left(i_{1}, \ldots , i_{n}\right)=p_{i_{1}} \ldots p_{i_{n}} и pn(ω)=pn(X1(ω),…Xn(ω))p_{n}(\omega )=p_{n}\left(X_{1}(\omega ), \ldots X_{n}(\omega )\right), то pn(ω)p_{n}(\omega ) — это вероятность того, что новая серия из nn испытаний даст ту самую последовательность исходов X1(ω),…,Xn(ω)X_{1}(\omega ), \ldots , X_{n}(\omega ), которая фактически была уже получена. Покажите, что

−1nlog⁡pn(ω)→h=−∑i=1rpilog⁡pi -\frac{1}{n} \log p_{n}(\omega ) \rightarrow h=-\sum _{i=1}^{r} p_{i} \log p_{i}

с вероятностью 1. В теории информации 1,…,r1, \ldots , r интерпретируются как буквы алфавита, X1,X2,…X_{1}, X_{2}, \ldots — последовательные буквы, порождаемые источником информации, а hh — энтропия источника. Докажите свойство асимптотической равнораспределённости: при больших nn с вероятностью, превышающей 1−ϵ1-\epsilon, вероятность pn(ω)p_{n}(\omega ) наблюдаемой последовательности длины nn, то есть сообщения, лежит в диапазоне e−n(h±ϵ)e^{-n(h \pm \epsilon )}.

?
Задача 6.15

В терминологии Примера 6.5 покажите, что log⁡2n+log⁡2log⁡2n+θlog⁡2log⁡2log⁡2n\log_{2} n+\log_{2} \log_{2} n+ \theta \log_{2} \log_{2} \log_{2} n является внешней или внутренней границей в зависимости от того, θ>1\theta >1 или θ≤1\theta \leq 1. Обобщите. (Сравните с Задачей 4.12.)

?
Задача 6.16

5.20↑5.20 \uparrow Пусть g(m)=∑pδp(m)g(m)=\sum_{p} \delta_{p}(m) — число различных простых делителей числа mm. Для an=En[g]a_{n}=E_{n}[g] (см. (5.46)) покажите, что an→∞a_{n} \rightarrow \infty. Покажите, что

En[(δp−1n∣np∣)(δq−1n∣nq∣)]≤1np+1nq(6.8) E_{n}\left[\left(\delta _{p}-\frac{1}{n}\left|\frac{n}{p}\right|\right)\left(\delta _{q}-\frac{1}{n}\left|\frac{n}{q}\right|\right)\right] \leq \frac{1}{n p}+\frac{1}{n q} \tag {6.8}

для p≠qp \neq q, и, следовательно, что дисперсия gg относительно PnP_{n} удовлетворяет

Var⁡n[g]≤3∑p≤n1p.(6.9) \operatorname {Var}_{n}[g] \leq 3 \sum _{p \leq n} \frac{1}{p}. \tag {6.9}

Докажите теорему Харди—Рамануджана:

lim⁡nPn(m:∣g(m)an−1∣≥ϵ)=0.(6.10) \lim _{n} \mathbb {P}_{n}\left(m:\left|\frac{g(m)}{a_{n}}-1\right| \geq \epsilon \right)=0. \tag {6.10}

Поскольку an∼log⁡log⁡na_{n} \sim \log \log n (см. Задачу 18.17), у большинства целых чисел, меньших nn, число различных простых делителей — величина порядка log⁡log⁡n\log \log n. Поскольку log⁡log⁡107\log \log 10^{7} немного меньше 3, типичное целое число, меньшее 10710^{7}, имеет около трёх простых делителей — удивительно мало.

?
Задача 6.17

Предположим, что X1,X2,…X_{1}, X_{2}, \ldots независимы и P(Xn=0)=p\mathbb {P}\left(X_{n}=0\right)=p. Пусть LnL_{n} — длина серии нулей, начинающейся в nn-й позиции: Ln=kL_{n}=k, если Xn=⋯=Xn+k−1=0≠Xn+kX_{n}=\cdots =X_{n+k-1} =0 \neq X_{n+k}. Покажите, что P[Ln≥rnP\left[L_{n} \geq r_{n}\right. б.ч. ]] равно 0 или 1 в зависимости от того, сходится или расходится ∑nprn\sum_{n} p^{r_{n}}. Пример 6.5 охватывает случай p=12p=\frac{1}{2}.

?
§
7 · Игровые системы[13/31%]
Задача 7.1

Игрок с начальным капиталом aa играет до тех пор, пока его состояние не увеличится на bb единиц, или пока он не разорится. Предположим, что ρ>1\rho >1. Вероятность успеха умножается на 1+θ1+\theta, если его начальный капитал бесконечен вместо aa. Покажите, что 0<θ<(ρa−1)−1<(a(ρ−1))−10<\theta <\left(\rho^{a}-1\right)^{-1}< (a(\rho -1))^{-1}; сопоставьте с Примером 7.3.

?
Задача 7.2

Как показано на с. 94, с вероятностью 1 игрок либо достигает своей цели cc, либо разоряется. Для p≠qp \neq q выведите это непосредственно из усиленного закона больших чисел. Выведите это (для всех pp) с помощью леммы Бореля—Кантелли, исходя из того, что если игра никогда не заканчивается, то не может произойти cc последовательных +1.

?
Задача 7.3

612↑612 \uparrow Если VnV_{n} — множество последовательностей длины nn, состоящих из ±1\pm 1, то функция bnb_{n} в (7.9) отображает Vn−1V_{n-1} в {0,1}\left\{ 0,1\right\}. Системой отбора называется последовательность таких отображений. Хотя систем отбора существует несчётно много, у скольких из них есть эффективное

*Эту тему можно пропустить t{ }^{\mathrm{t}} Однако для каждого ϵ\epsilon существуют оптимальные стратегии, при которых ставка никогда не превышает ϵ\epsilon; см. Dubins Savage.

описание в смысле алгоритма или конечного набора инструкций, посредством которых представитель (возможно, машина) мог бы управлять системой от имени игрока? Анализ этого вопроса — предмет математической логики, но нетрудно видеть, что алгоритмов или конечных наборов правил, выражаемых в конечных алфавитах, может быть лишь счётное множество.

Пусть Y1(σ),Y2(σ),…Y_{1}^{(\sigma )}, Y_{2}^{(\sigma )}, \ldots — случайные величины из Теоремы 7.1 для конкретной системы σ\sigma, и пусть CσC_{\sigma } — множество тех ω\omega, для которых каждый kk-набор из ±1\pm 1 ( kk произвольно) встречается в Y1(σ)(ω),Y2(σ)(ω),…Y_{1}^{(\sigma )}(\omega ), Y_{2}^{(\sigma )}(\omega ), \ldots с правильной асимптотической относительной частотой (в смысле Задачи 6.12). Пусть CC — пересечение CσC_{\sigma } по всем эффективным системам отбора σ\sigma. Покажите, что CC принадлежит F\mathscr {F} (σ\sigma-алгебре в вероятностном пространстве (Ω,F,P)(\Omega , \mathscr {F}, P), на котором определены XnX_{n}) и что P(C)=1\mathbb {P}\left(C\right)=1. Последовательность (X1(ω),X2(ω),…)\left(X_{1}(\omega ), X_{2}(\omega ), \ldots \right) для ω\omega из CC называется коллективом: подпоследовательность, выбранная любым из эффективных правил σ\sigma, содержит все kk-наборы в правильных пропорциях

?
Задача 7.4

Пусть DnD_{n} равно 1 или 0 в зависимости от того, X2n−1≠X2nX_{2 n-1} \neq X_{2 n} или нет, и пусть MkM_{k} — момент kk-й единицы, то есть наименьшее nn, для которого ∑i=1nDi=k\sum_{i=1}^{n} D_{i}=k. Пусть Zk=X2MiZ_{k}=X_{2 M_{i}}. Иными словами, рассмотрим последовательные непересекающиеся пары (X2n−1,X2n)(X_{2 n-1}, X_{2 n}), отбросим согласованные (X2n−1=X2n)(X_{2 n-1}=X_{2 n}) пары и оставим второй элемент несогласованных (X2n−1≠X2n)(X_{2 n-1} \neq X_{2 n}) пар. Покажите, что этот процесс имитирует симметричную монету: Z1,Z2,…Z_{1}, Z_{2}, \ldots независимы и одинаково распределены, и P(Zk=+1)=P(Zk=−1)=12\mathbb {P}\left(Z_{k}=+1\right)=\mathbb {P}\left(Z_{k}=-1\right)=\frac{1}{2}, каким бы ни было pp. Следуйте доказательству Теоремы 7.1.

?
Задача 7.5

Предположим, что игрок с начальным состоянием 1 ставит долю θ(0<θ<1)\theta (0<\theta <1) своего текущего состояния: F0=1F_{0}=1 и Wn=θFn−1W_{n}=\theta F_{n-1}. Покажите, что Fn=Πk=1n(1+θXk)F_{n}=\Pi_{k=1}^{n}\left(1+\theta X_{k}\right), и, следовательно,

log⁡Fn=n2[Snnlog⁡1+θ1−θ+log⁡(1−θ2)] \log F_{n}=\frac{n}{2}\left[\frac{S_{n}}{n} \log \frac{1+\theta }{1-\theta }+\log \left(1-\theta ^{2}\right)\right]

Покажите, что Fn→0F_{n} \rightarrow 0 с вероятностью 1 в невыгодном для игрока (субсправедливом) случае.

?
Задача 7.6

В «удвоении» W1=1,Wn=2Wn−1W_{1}=1, W_{n}=2 W_{n-1}, и правило состоит в том, чтобы остановиться после первого выигрыша. При любом положительном pp игра обязательно завершится. Здесь FT=F6+1F_{T}=F_{6}+1, но, разумеется, для этого требуется бесконечный капитал. Если F0=2k−1F_{0}=2^{k}-1 и WnW_{n} не может превышать Fn−1F_{n-1}, то вероятность Fτ=F0+1F_{\tau }=F_{0}+1 в справедливой игре равна 1−2−k1-2^{-k}. Докажите это с помощью Теоремы 7.2, а также напрямую.

?
Задача 7.7

В стратегии «прогрессия и защип» ставка, изначально равная некоторому целому числу, увеличивается на 1 после проигрыша и уменьшается на 1 после выигрыша, а правило остановки — прекратить игру, если следующая ставка равна 0. Покажите, что игра обязательно завершится тогда и только тогда, когда p≥12p \geq \frac{1}{2}. Покажите, что Fτ=F0+12W12+12(τ−1)F_{\tau }=F_{0}+\frac{1}{2} W_{1}^{2}+\frac{1}{2}(\tau -1). Требуется бесконечный капитал.

?
Задача 7.8

Вот распространённый мартингал. Непосредственно перед nn-м вращением колеса у игрока имеется набор x1,…,xkx_{1}, \ldots , x_{k} положительных чисел ( kk меняется вместе с n)n). Он ставит x1+xkx_{1}+x_{k}, или x1x_{1} в случае k=1k=1. Если он проигрывает, то на следующем шаге он использует набор x1,…,xk,x1+xk(x1,x1x_{1}, \ldots , x_{k}, x_{1}+x_{k}\left(x_{1}, x_{1}\right. в случае k=1)\left.k=1\right). Если он выигрывает, то на следующем шаге он использует набор x2,…,xk−1x_{2}, \ldots , x_{k-1}, если только kk не равно 1 или 2, — в этом случае он прекращает игру. Покажите, что игра обязательно завершится, если p>13p>\frac{1}{3}, и что итоговый выигрыш равен сумме чисел в исходном наборе. И здесь снова требуется бесконечный капитал.

?
Задача 7.9

Предположим, что Wk=1W_{k}=1, так что Fk=F0+SkF_{k}=F_{0}+S_{k}. Предположим, что p≥qp \geq q и τ\tau — момент остановки, такой что 1≤τ≤n1 \leq \tau \leq n с вероятностью 1. Покажите, что E[Fτ]≤E[Fn]\mathbb {E}\left[F_{\tau }\right] \leq \mathbb {E}\left[F_{n}\right], причём равенство достигается при p=qp=q. Проинтерпретируйте этот результат в терминах опциона на акцию, который должен быть исполнен не позднее момента nn, где F0+SkF_{0}+S_{k} представляет собой цену акции в момент kk.

?
Задача 7.10

Для заданной стратегии пусть An∗A_{n}^{*} — состояние противника игрока в момент nn. Рассмотрим следующие условия на стратегию. (i) Wn∗≤Fn−1∗W_{n}^{*} \leq F_{n-1}^{*}; (ii) Wn∗≤An−1∗W_{n}^{*} \leq A_{n-1}^{*}; (iii) Fn∗+An∗F_{n}^{*}+A_{n}^{*} постоянно. Проинтерпретируйте каждое условие и покажите, что вместе они влекут ограниченность стратегии в смысле (7.24).

?
Задача 7.11

Покажите, что FτF_{\tau } имеет бесконечную область значений, если F0=1,Wn=2−nF_{0}=1, W_{n}=2^{-n}, и τ\tau — наименьшее nn, для которого Xn=+1X_{n}=+1.

?
Задача 7.12

Пусть uu — вещественная функция на [0,1],u(x)[0,1], u(x) представляет полезность состояния xx. Рассмотрим стратегии, ограниченные 1; см. (7.24). Пусть Qπ(F0)=E[u(Fτ)]Q_{\pi }\left(F_{0}\right)=\mathbb {E}\left[u\left(F_{\tau }\right)\right]; это представляет собой ожидаемую полезность при стратегии π\pi для начального состояния F0F_{0}. Предположим, что для некоторой стратегии π0\pi_{0}

u(x)≤Qπ0(x),0≤x≤1,(7.34) u(x) \leq Q_{\pi _{0}}(x), \quad 0 \leq x \leq 1, \tag {7.34}

и что

Qπ0(x)≥pQπ0(x+t)+qQπ0(x−t),0≤x−t≤x≤x+t≤1. \begin{align} Q_{\pi _{0}}(x) \geq p Q_{\pi _{0}}(x+t)+q Q_{\pi _{0}}(x-t) & , \tag {7.35}\\ & 0 \leq x-t \leq x \leq x+t \leq 1. \end{align}

Покажите, что Qπ(x)≤Qπ0(x)Q_{\pi }(x) \leq Q_{\pi_{0}}(x) для всех xx и всех стратегий π\pi. Такая стратегия π0\pi_{0} называется оптимальной. Теорема 7.3 представляет собой частный случай этого результата при p≤12p \leq \frac{1}{2}, когда роль π0\pi_{0} играет смелая игра, а u(x)=1u(x)=1 или u(x)=0u(x)=0 в зависимости от того, x=1x=1 или x<1x<1.

Условие (7.34) означает, что игра по стратегии π0\pi_{0} не хуже, чем отказ от игры вообще; (7.35) означает, что, хотя перспективы даже при стратегии π0\pi_{0} в среднем становятся менее радужными с течением времени, лучше использовать π0\pi_{0} сейчас, чем на один шаг применить какую-то другую стратегию, а затем перейти к π0\pi_{0}.

?
Задача 7.13

Функционального уравнения (7.30) и предположения об ограниченности QQ достаточно, чтобы полностью определить QQ. Во-первых, Q(0)Q(0) и Q(1)Q(1) должны быть равны 0 и 1 соответственно, и, значит, выполнено (7.31). Пусть T0x=12xT_{0} x=\frac{1}{2} x и T1x=12x+12T_{1} x=\frac{1}{2} x+\frac{1}{2}; пусть f0x=pxf_{0} x=p x и f1x=p+qxf_{1} x=p+q x. Тогда Q(Tu1⋯Tunx)=fu1⋯funQ(x)Q\left(T_{u_{1}} \cdots T_{u_{n}} x\right)=f_{u_{1}} \cdots f_{u_{n}} Q(x). Если двоичные разложения xx и yy оба начинаются с цифр u1,…,unu_{1}, \ldots , u_{n}, то они имеют вид x=Tu1…Tunx′x=T_{u_{1}} \ldots T_{u_{n}} x^{\prime } и y=Tu1⋯Tuny′y=T_{u_{1}} \cdots T_{u_{n}} y^{\prime }. Если KK ограничивает QQ и m=max⁡{p,q}m=\max \left\{ p, q\right\}, то отсюда следует, что ∣Q(x)−Q(y)∣≤Kmn\left|Q(x)-Q(y)\right| \leq K m^{n}. Следовательно, QQ непрерывна и удовлетворяет (7.31) и (7.33).

?
§
8 · Марковские цепи[38/37%]
Задача 8.1

Докажите Теорему 8.1 для случая конечного SS, построив соответствующую вероятностную меру на пространстве последовательностей S∞S^{\infty }: замените слагаемое в правой части (2.21) на αu1pu1u2⋯pun−1un\alpha_{u_{1}} p_{u_{1} u_{2}} \cdots p_{u_{n-1} u_{n}} и распространите рассуждения, предшествующие Теореме 2.3. Если Xn(⋅)=zn(⋅)X_{n}(\cdot )=z_{n}(\cdot ), то X1,X2,…X_{1}, X_{2}, \ldots — соответствующая цепь Маркова (здесь время сдвинуто на 1).

?
Задача 8.2

Пусть Y0,Y1,…Y_{0}, Y_{1}, \ldots независимы и одинаково распределены, причём P(Yn=1)=p\mathbb {P}\left(Y_{n}=1\right)=p, P(Yn=0)=q=1−p,p≠q\mathbb {P}\left(Y_{n}=0\right)=q=1-p, p \neq q. Положим Xn=Yn+Yn+1( mod 2)X_{n}=Y_{n}+Y_{n+1}(\bmod 2). Покажите, что X0,X1,…X_{0}, X_{1}, \ldots не является цепью Маркова, хотя P(Xn+1=j∣Xn−1=i)=P(Xn+1=j)\mathbb {P}\left(X_{n+1}=j \mid X_{n-1}=i\right)=\mathbb {P}\left(X_{n+1}=j\right). Выполняется ли это последнее соотношение для всех цепей Маркова? Почему?

?
Задача 8.3

Покажите на примере, что функция f(X0),f(X1),…f\left(X_{0}\right), f\left(X_{1}\right), \ldots от цепи Маркова не обязана быть цепью Маркова.

?
Задача 8.4

Покажите, что

fij∑k=0∞pjj(k)=∑n=1∞∑m=1nfij(m)pjj(n−m)=∑n=1∞pij(n), f_{i j} \sum _{k=0}^{\infty } p_{j j}^{(k)}=\sum _{n=1}^{\infty } \sum _{m=1}^{n} f_{i j}^{(m)} p_{j j}^{(n-m)}=\sum _{n=1}^{\infty } p_{i j}^{(n)},

и докажите, что если jj невозвратно, то ∑npij(n)<∞\sum_{n} p_{i j}^{(n)}<\infty для каждого ii (сравните с Теоремой 8.3(i)). Если jj невозвратно, то

fij=∑n=1∞pij(n)/(1+∑n=1∞pjj(n)). f_{i j}=\sum _{n=1}^{\infty } p_{i j}^{(n)} /\left(1+\sum _{n=1}^{\infty } p_{j j}^{(n)}\right).

†{ }^{\dagger } Единственное существенное изменение в рассуждении состоит в том, что вместо Теоремы 54 в доказательстве Леммы 5 нужно использовать лемму Фату (Теорема 16.3). ‡{ }^{\ddagger } См. Задачи 836 и 8.37

Специализируйте на случай i=ji=j: помимо того, что это влечёт невозвратность ii (Теорема 8.2(i)), конечное значение ∑n=1∞pii(n)\sum_{n=1}^{\infty } p_{i i}^{(n)} позволяет точно определить fiif_{i i}.

?
Задача 8.5

Назовём (xi)\left(x_{i}\right) субрешением (8.24), если xi≤∑jqijxjx_{i} \leq \sum_{j} q_{i j} x_{j} и 0≤xi≤1,i∈U0 \leq x_{i} \leq 1, i \in U. Обобщив Лемму 1, покажите, что субрешение {xi}\left\{ x_{i}\right\} удовлетворяет xi≤σix_{i} \leq \sigma_{i}: решение {σi}\left\{ \sigma_{i}\right\} уравнения (8.24) мажорирует все субрешения, а также все решения. Покажите, что если xi=∑jqijxx_{i}=\sum_{j} q_{i j} x, и −1≤xi≤1-1 \leq x_{i} \leq 1, то {∣xi∣}\left\{ \left|x_{i}\right|\right\} является субрешением (8.24).

?
Задача 8.6

Решив (8.27), покажите, что неограниченное случайное блуждание на прямой (Пример 8.3) возвратно тогда и только тогда, когда p=12p=\frac{1}{2}

?
Задача 8.7
?
(a)

Обобщите рассуждение из доказательства Теоремы 8.5, чтобы показать, что fik=pik+∑j≠kpijfjkf_{i k}= p_{i k}+\sum_{j \neq k} p_{i j} f_{j k}. Обобщите это далее до

fik=fik(1)+⋯+fik(n)+∑j≠kPi(X1≠k,…,Xn−1≠k,Xn=j)fjk \begin{aligned} f_{i k}= & f_{i k}^{(1)}+\cdots +f_{i k}^{(n)} \\ & +\sum _{j \neq k} \mathbb {P}_{i}\left(X_{1} \neq k, \ldots , X_{n-1} \neq k, X_{n}=j\right) f_{j k} \end{aligned}
(b)

Положите k=ik=i. Покажите, что fi>0f_{i}>0 тогда и только тогда, когда Pi[X1≠i,…,Xn−1≠iP_{i}\left[X_{1} \neq i, \ldots , X_{n-1} \neq i\right., Xn=j]>0\left.X_{n}=j\right]>0 для некоторого nn, и заключите, что ii невозвратно тогда и только тогда, когда fji<1f_{j i}<1 для некоторого j≠ij \neq i такого, что fij>0f_{i j}>0.

(c)

Покажите, что неприводимая цепь невозвратна тогда и только тогда, когда для каждого ii найдётся j≠ij \neq i такое, что fji<1f_{j i}<1.

Задача 8.8

Предположим, что S={0,1,2,…},p00=1S=\left\{ 0,1,2, \ldots \right\} , p_{00}=1, и fi0>0f_{i 0}>0 для всех ii.

?
(a)

Покажите, что Pi(∪j=1∞[Xn=jP_{i}\left(\cup_{j=1}^{\infty }\left[X_{n}=j\right.\right. б.ч. ])=0\left.]\right)=0 для всех ii.

(b)

Рассматривая состояние как размер популяции, проинтерпретируйте условия p00=1p_{00}=1 и fi0>0f_{i 0}>0, а также заключение пункта (a).

Задача 8.9

8.5↑8.5 \uparrow Покажите для неприводимой цепи, что (8.27) имеет нетривиальное решение тогда и только тогда, когда существует нетривиальная ограниченная последовательность {xi}\left\{ x_{i}\right\} (не обязательно неотрицательная), удовлетворяющая xi=∑j≠i0pijxj,i≠i0x_{i}=\sum_{j \neq i_{0}} p_{i j} x_{j}, i \neq i_{0}. (См. замечание после доказательства Теоремы 8.5.)

?
Задача 8.10

↑ Покажите, что неприводимая цепь невозвратна тогда и только тогда, когда (при произвольном i0i_{0}) система yi=∑jpijyj,i≠i0y_{i}=\sum_{j} p_{i j} y_{j}, i \neq i_{0} (суммирование по всем jj) имеет ограниченное непостоянное решение (yi,i∈S)\left(y_{i}, i \in S\right).

?
Задача 8.11

Покажите, что PiP_{i}-вероятности когда-либо покинуть UU для i∈Ui \in U являются минимальным решением системы

{zi=∑j∈Upi,zj+∑1∉Upij,i∈U,0≤zi≤1,i∈U.(8.51) \begin{cases} z_{i}=\sum _{j \in U} p_{i}, z_{j}+\sum _{1 \notin U} p_{i j}, & i \in U, \tag {8.51} \\ 0 \leq z_{i} \leq 1, & i \in U. \end{cases}

Ограничение zi≤1z_{i} \leq 1 можно отбросить: минимальное решение автоматически ему удовлетворяет, поскольку zi≡1z_{i} \equiv 1 является решением.

?
Задача 8.12

Покажите, что в Лемме 2 возможно sup⁡ijn0(i,j)=∞\sup_{i j} n_{0}(i, j)=\infty.

?
Задача 8.13

Предположим, что (πi)(\pi_{i}) — решение (8.30), где предполагается, что ∑i∣πi∣<∞\sum_{i}\left|\pi_{i}\right|<\infty, так что левая часть определена корректно. Покажите, что в неприводимом случае πi\pi_{i} либо все положительны, либо все отрицательны, либо все равны 0. Таким образом, в неприводимом случае стационарные вероятности существуют тогда и только тогда, когда (8.30) имеет нетривиальное решение {πi}(∑iπi\left\{ \pi_{i}\right\} \left(\sum_{i} \pi_{i}\right. абсолютно сходится).

?
Задача 8.14

Покажите на примере, что сцепленная цепь в доказательстве Теоремы 8.6 не обязана быть неприводимой, если исходная цепь не является непериодической.

?
Задача 8.15

Предположим, что SS состоит из всех целых чисел и

p0,−1=p0,0=p0,+1=13,pk,k−1=q,pk,k+1=p,k≤−1,pk,k−1=p,pk,k+1=q,k≥1. \begin{array}{ll} p_{0,-1}=p_{0,0}=p_{0,+1}=\frac{1}{3}, & \\ p_{k, k-1}=q, \quad p_{k, k+1}=p, & k \leq -1, \\ p_{k, k-1}=p, \quad p_{k, k+1}=q, & k \geq 1. \end{array}

Покажите, что цепь неприводима и непериодична. При каких pp цепь возвратна? При каких pp существуют стационарные вероятности?

?
Задача 8.16

Покажите, что период jj равен наибольшему общему делителю множества

[n:n≥1,f1j(n)>0].(8.52) \left[n: n \geq 1, f_{1 j}^{(n)}>0\right]. \tag {8.52}
?
Задача 8.17

↑\uparrow Возвратные события. Пусть f1,f2,…f_{1}, f_{2}, \ldots — неотрицательные числа, для которых f=∑n=1∞fn≤f=\sum_{n=1}^{\infty } f_{n} \leq 1. Определим u1,u2,…u_{1}, u_{2}, \ldots рекурсивно: u1=f1u_{1}=f_{1} и

un=f1un−1+⋯+fn−1u1+fn.(8.53) u_{n}=f_{1} u_{n-1}+\cdots +f_{n-1} u_{1}+f_{n}. \tag {8.53}
?
(a)

Покажите, что f<1f<1 тогда и только тогда, когда ∑nun<∞\sum_{n} u_{n}<\infty.

(b)

Предположим, что f=1f=1, положим μ=∑n=1∞nfn\mu =\sum_{n=1}^{\infty } n f_{n}, и предположим, что

gcd⁡[n:n≥1,fn>0]=1.(8.54) \operatorname {gcd}\left[n: n \geq 1, f_{n}>0\right]=1. \tag {8.54}

Докажите теорему восстановления. При этих предположениях предел u=lim⁡nunu=\lim_{n} u_{n} существует, и u>0u>0 тогда и только тогда, когда μ<∞\mu <\infty; в этом случае u=1/μu=1 / \mu.

Хотя эти определения и факты сформулированы в чисто аналитических терминах, они имеют вероятностную интерпретацию: представим себе событие E\mathscr {E}, которое может происходить в моменты 1,2,…1,2, \ldots. Предположим, что fnf_{n} — вероятность того, что E\mathscr {E} впервые происходит в момент nn. Предположим далее, что при каждом наступлении E\mathscr {E} система начинает заново, так что fnf_{n} — это вероятность того, что E\mathscr {E} произойдёт в следующий раз через nn шагов. Такое E\mathscr {E} называется возвратным событием. Если unu_{n} — вероятность того, что E\mathscr {E} происходит в момент nn, то выполнено (8.53). Возвратное событие E\mathscr {E} называется невозвратным или возвратным в зависимости от того, f<1f<1 или f=1f=1; оно называется непериодическим, если выполнено (8.54), а если f=1,μf=1, \mu интерпретируется как среднее время возврата

Задача 8.18
?
(a)

Пусть τ\tau — наименьшее целое число, для которого Xτ=i0X_{\tau }=i_{0}. Предположим, что пространство состояний конечно и все pijp_{i j} положительны. Найдите ρ\rho такое, что max⁡i(1−pii0)≤ρ<1\max_{i}\left(1-p_{i i_{0}}\right) \leq \rho <1, и, следовательно, Pi(τ>n)≤ρn\mathbb {P}_{i}\left(\tau >n\right) \leq \rho^{n} для всех ii.

(b)

Примените это к сцепленной цепи из доказательства Теоремы 8.6: ∣pik(n)−pjk(n)∣≤ρn\left|p_{i k}^{(n)}-p_{j k}^{(n)}\right| \leq \rho^{n}. Теперь приведите новое доказательство Теоремы 8.9.

Задача 8.19

Мыслитель, владеющий rr зонтами, ходит туда-сюда между домом и офисом, беря с собой зонт (если таковой имеется под рукой) в дождь (вероятность pp), но не в ясную погоду (вероятность qq). Пусть состоянием будет число зонтов под рукой, независимо от того, находится ли мыслитель дома или на работе. Составьте матрицу переходных вероятностей и найдите стационарные вероятности. Найдите стационарную вероятность того, что он промокнет, и покажите, что пять зонтов защитят его на уровне 5%5\% при любом климате (любом pp).

?
Задача 8.20
?
(a)

Матрица переходных вероятностей называется дважды стохастической, если ∑ipi,=1\sum_{i} p_{i},=1 для каждого μ\mu. Покажите, что для конечной неприводимой непериодической цепи с дважды стохастической матрицей переходных вероятностей стационарные вероятности все равны между собой.

(b)

Обобщите Пример 8.15: пусть SS — конечная группа, пусть p(i)p(i) — вероятности, и положим pij=p(J⋅i−1)p_{i j}=p\left(J \cdot i^{-1}\right), где произведение и обратный элемент понимаются в смысле групповой операции. Покажите, что если все p(i)p(i) положительны, то в пределе все состояния равновероятны.

(c)

Пусть SS — симметрическая группа на 52 элементах. Что говорит (b) о тасовании карт?

Задача 8.21

Множество CC в SS называется замкнутым, если Σj∈Cpij=1\Sigma_{j \in C} p_{i j}=1 для i∈Ci \in C: попав в CC, система уже не может его покинуть. Покажите, что цепь неприводима тогда и только тогда, когда SS не имеет собственного замкнутого подмножества.

?
Задача 8.22

↑\uparrow Пусть TT — множество невозвратных состояний, и назовём возвратные состояния ii и jj (если таковые есть) эквивалентными, если fij>0f_{i j}>0. Покажите, что это отношение эквивалентности на S−TS-T, разбивающее его на классы эквивалентности C1,C2,…C_{1}, C_{2}, \ldots, так что S=T∪C1∪C2∪⋯S=T \cup C_{1} \cup C_{2} \cup \cdots Покажите, что каждое CmC_{m} замкнуто и что fij=1f_{i j}=1 для ii и jj из одного и того же CmC_{m}.

?
Задача 8.23

8.118.21 ↑ Пусть TT — множество невозвратных состояний, и пусть CC — произвольное замкнутое множество возвратных состояний. Покажите, что PiP_{i}-вероятности в конечном счёте оказаться поглощёнными в CC для i∈Ti \in T являются минимальным решением системы

{yi=∑j∈Tpijyj+∑j∈Cpij,i∈T,0≤yi≤1,i∈T.(8.55) \begin{cases} y_{i}=\sum _{j \in T} p_{i j} y_{j}+\sum _{j \in C} p_{i j}, & i \in T, \tag {8.55} \\ 0 \leq y_{i} \leq 1, & i \in T. \end{cases}
?
Задача 8.24

Предположим, что неприводимая цепь имеет период t>1t>1. Покажите, что SS разбивается на множества S0,…,St−1S_{0}, \ldots , S_{t-1}, такие что pij>0p_{i j}>0 только если i∈Sνi \in S_{\nu } и j∈Sν+1j \in S_{\nu +1} для некоторого ν\nu (ν+1\nu +1 берётся по модулю tt). Таким образом, система проходит через SνS_{\nu } в циклическом порядке.

?
Задача 8.25

↑\uparrow Предположим, что неприводимая цепь периода t>1t>1 имеет стационарное распределение (πj)(\pi_{j}). Покажите, что если i∈Sνi \in S_{\nu } и j∈Sν+α(ν+αj \in S_{\nu +\alpha }(\nu +\alpha берётся по модулю t)t), то lim⁡npij(nt+α)=πj\lim_{n} p_{i j}^{(n t+\alpha )}=\pi_{j}. Покажите, что lim⁡nn−1∑m=1npij(m)=πj/t\lim_{n} n^{-1} \sum_{m=1}^{n} p_{i j}^{(m)}=\pi_{j} / t для всех ii и jj.

?
Задача 8.26

Собственные значения. Рассмотрим неприводимую непериодическую цепь с пространством состояний {1,…,s}\left\{ 1, \ldots , s\right\}. Пусть r0=(π1,…,πs)r_{0}=\left(\pi_{1}, \ldots , \pi_{s}\right) — (Пример 8.14) вектор-строка стационарных вероятностей, и пусть c0c_{0} — вектор-столбец из единиц; тогда r0r_{0} и c0c_{0} — левый и правый собственные векторы PP, отвечающие собственному значению λ=1\lambda =1.

?
(a)

Предположим, что rr — левый собственный вектор, отвечающий (возможно, комплексному) собственному значению λ\lambda: rP=λrr P=\lambda r. Докажите: если λ=1\lambda =1, то rr — скалярное кратное r0(λ=1r_{0}(\lambda =1 имеет геометрическую кратность 1). Если λ≠1\lambda \neq 1, то ∣λ∣<1\left|\lambda \right|<1 и rc0=0r c_{0}=0 (1×11 \times 1-произведение матриц 1×s1 \times \mathrm{s} и s×1s \times 1).

(b)

Предположим, что cc — правый собственный вектор: Pc=λcP c=\lambda c. Если λ=1\lambda =1, то cc — скалярное кратное c0c_{0} (геометрическая кратность снова равна 1). Если λ≠1\lambda \neq 1, то снова ∣λ∣<1\left|\lambda \right|<1, и r0c=0r_{0} c=0.

Задача 8.27

↑ Предположим, что PP диагонализуема, то есть предположим, что существует невырожденная CC, такая что C−1PC=ΛC^{-1} P C=\Lambda, где Λ\Lambda — диагональная матрица. Пусть λ1,…,λs\lambda_{1}, \ldots , \lambda_{s} — диагональные элементы Λ\Lambda, пусть c1,…,csc_{1}, \ldots , c_{s} — последовательные столбцы CC, пусть R=C−1R=C^{-1}, и пусть r1,…,rsr_{1}, \ldots , r_{s} — последовательные строки RR.

?
(a)

Покажите, что cic_{i} и rir_{i} — правый и левый собственные векторы, отвечающие собственному значению λi\lambda_{i}, i=1,…,si=1, \ldots , s. Покажите, что ricj=δijr_{i} c_{j}=\delta_{i j}. Пусть Ai=ciri(s×s)A_{i}=c_{i} r_{i}(s \times s). Покажите, что Λn\Lambda^{n} — диагональная матрица с диагональными элементами λ1n,…,λsn\lambda_{1}^{n}, \ldots , \lambda_{s}^{n} и что Pn=CΛnR=∑u=1sλunAu,n≥1P^{n}=C \Lambda^{n} R=\sum_{u=1}^{s} \lambda_{u}^{n} A_{u}, n \geq 1.

(b)

Пункт (a) остаётся верным при единственном предположении, что PP — диагонализуемая матрица. Теперь предположим также, что она является неприводимой непериодической стохастической матрицей, и упорядочим обозначения так, чтобы λ1=1\lambda_{1}=1. Покажите, что каждая строка A1A_{1} равна вектору (π1,…,πs)(\pi_{1}, \ldots , \pi_{s}) стационарных вероятностей. Поскольку

Pn=A1+∑u=2sλunAu(8.56) P^{n}=A_{1}+\sum _{u=2}^{s} \lambda _{u}^{n} A_{u} \tag {8.56}

и ∣λu∣<1\left|\lambda_{u}\right|<1 для 2≤u≤s2 \leq u \leq s, это ещё раз доказывает экспоненциальную сходимость.

(c)

Выпишите (8.56) явно для случая s=2s=2.

(d)

Найдите неприводимую непериодическую стохастическую матрицу, которая не диагонализуема.

Задача 8.28
?
(a)

↑\uparrow Покажите, что собственное значение λ=1\lambda =1 имеет геометрическую кратность 1, если существует только одно замкнутое неприводимое множество состояний; при этом могут существовать невозвратные состояния, и тогда сама цепь не является неприводимой.

(b)

Покажите, с другой стороны, что если замкнутых неприводимых множеств состояний больше одного, то геометрическая кратность λ=1\lambda =1 превышает 1.

(c)

Предположим, что существует только одно замкнутое неприводимое множество состояний. Покажите, что цепь имеет период больше 1 тогда и только тогда, когда на единичной окружности есть собственное значение, отличное от 1.

Задача 8.29

Предположим, что {Xn}\left\{ X_{n}\right\} — цепь Маркова с пространством состояний SS, и положим Yn=(Xn,Xn+1)Y_{n}=\left(X_{n}, X_{n+1}\right). Пусть TT — множество пар (i,j)(i, j), таких что pij>0p_{i j}>0, и покажите, что {Yn}\left\{ Y_{n}\right\} — цепь Маркова с пространством состояний TT. Выпишите переходные вероятности. Покажите, что если {Xn}\left\{ X_{n}\right\} неприводима и непериодична, то и {Yn}\left\{ Y_{n}\right\} такова же. Покажите, что если πi\pi_{i} — стационарные вероятности для (Xn)\left(X_{n}\right), то πipij\pi_{i} p_{i j} — стационарные вероятности для {Yn}\left\{ Y_{n}\right\}.

?
Задача 8.30

6.108.29↑6.108 .29 \uparrow Предположим, что цепь конечна, неприводима и непериодична и что начальные вероятности являются стационарными. Зафиксируем состояние ii, пусть An=[Xi=i]A_{n}=\left[X_{i}=\right. i], и пусть NnN_{n} — число прохождений через ii за первые nn шагов. Вычислите αn\alpha_{n} и βn\beta_{n}, определённые в (5.41). Покажите, что βn−αn2=O(1/n)\beta_{n}-\alpha_{n}^{2}=O(1 / n), так что n−1Nn→πin^{-1} N_{n} \rightarrow \pi_{i} с вероятностью 1. Покажите для функции ff на пространстве состояний, что n−1∑k=1nf(Xk)→∑iπif(i)n^{-1} \sum_{k=1}^{n} f\left(X_{k}\right) \rightarrow \sum_{i} \pi_{i} f(i) с вероятностью 1. Покажите, что n−1∑k=1ng(Xk,Xk+1)→∑ijπipijg(i,j)n^{-1} \sum_{k=1}^{n} g\left(X_{k}, X_{k+1}\right) \rightarrow \sum_{i j} \pi_{i} p_{i j} g(i, j) для функций gg на S×SS \times S.

?
Задача 8.31

6.148.30↑6.148 .30 \uparrow Если X0(ω)=i0,…,Xn(ω)=inX_{0}(\omega )=i_{0}, \ldots , X_{n}(\omega )=i_{n} для состояний i0,…,ini_{0}, \ldots , i_{n}, положим pn(ω)=πi0pi0i1⋯pin−1inp_{n}(\omega )= \pi_{i_{0}} p_{i_{0} i_{1}} \cdots p_{i_{n-1} i_{n}}, так что pn(ω)p_{n}(\omega ) — вероятность наблюдаемого исхода. Покажите, что −n−1log⁡pn(ω)→h=−∑ijπipijlog⁡pij-n^{-1} \log p_{n}(\omega ) \rightarrow h=-\sum_{i j} \pi_{i} p_{i j} \log p_{i j} с вероятностью 1, если цепь конечна, неприводима и непериодична. Распространите на этот случай понятия источника, энтропии и асимптотической равнораспределённости.

?
Задача 8.32

Последовательность {Xn}\left\{ X_{n}\right\} называется цепью Маркова второго порядка, если P[Xn+1=j∣X0=i0,…,Xn=in]=P(Xn+1=j∣Xn−1=in−1,Xn=in)=pin−1inP\left[X_{n+1}=j \mid X_{0}=\right. \left.i_{0}, \ldots , X_{n}=i_{n}\right]=\mathbb {P}\left(X_{n+1}=j \mid X_{n-1}=i_{n-1}, X_{n}=i_{n}\right)=p_{i_{n-1} i_{n}}. Покажите, что по сути здесь нет ничего нового, поскольку последовательность пар (Xn,Xn+1)(X_{n}, X_{n+1}) является обычной цепью Маркова (первого порядка). Сравните с Задачей 8.29. Обобщите эту идею на цепи порядка rr.

?
Задача 8.33

Рассмотрим цепь на S={0,1,…,r}S=\left\{ 0,1, \ldots , r\right\}, где 0 и rr — поглощающие состояния и pi,i+1=pi>0,pi,i−1=qi=1−pi>0p_{i, i+1}=p_{i}>0, p_{i, i-1}=q_{i}=1-p_{i}>0 при 0<i<r0<i<r. Отождествим состояние ii с точкой ziz_{i} на прямой, где 0=z0<⋯<zr0=z_{0}<\cdots <z_{r}, а расстояние от ziz_{i} до zi+1z_{i+1} в qi/piq_{i} / p_{i} раз больше расстояния от zi−1z_{i-1} до ziz_{i}. Для функции φ\varphi на SS рассмотрим соответствующую функцию φ^\hat{\varphi } на [ 0,zr0, z_{r} ], определённую в точках ziz_{i} равенством φ^(zi)=φ(i)\hat{\varphi }\left(z_{i}\right)=\varphi (i), а между ними — линейной интерполяцией. Покажите, что φ\varphi эксцессивна тогда и только тогда, когда φ^\hat{\varphi } вогнута. Покажите, что вероятность поглощения в rr при начальном состоянии ii равна ti−1/tr−1t_{i-1} / t_{r-1}, где ti=∑k=0iq1⋅qk/p1⋯pkt_{i}= \sum_{k=0}^{i} q_{1} \cdot q_{k} / p_{1} \cdots p_{k}. Выведите (7.7). Покажите, что в новой шкале ожидаемое смещение на каждом шаге равно 0.

?
Задача 8.34

Предположим, что конечная цепь неприводима и непериодична. Покажите с помощью Теоремы 8.9, что эксцессивная функция обязательно постоянна.

?
Задача 8.35

Закон нуля и единицы. Пусть пространство состояний SS содержит ss точек, и предположим, что ϵn=sup⁡ij∣pij(n)−πj∣→0\epsilon_{n}=\sup_{i j}\left|p_{i j}^{(n)}-\pi_{j}\right| \rightarrow 0, как это имеет место при условиях Теоремы 8.9. Для a≤ba \leq b пусть Gab\mathscr {G}_{a}^{b} — σ\sigma-алгебра, порождённая множествами [Xa=ua,…,Xb=ub]\left[X_{a}=u_{a}, \ldots , X_{b}=u_{b}\right]. Пусть Ta=σ(⋃b=a∞Gab)\mathscr {T}_{a}=\sigma \left(\bigcup_{b=a}^{\infty } \mathscr {G}_{a}^{b}\right) и T=⋂a=1∞Ta\mathscr {T}=\bigcap_{a=1}^{\infty } \mathscr {T}_{a}. Покажите, что ∣P(A∩B)−P(A)P(B)∣≤s(ϵn+ϵb+n)\left|\mathbb {P}\left(A \cap B\right)-\mathbb {P}\left(A\right) \mathbb {P}\left(B\right)\right| \leq s\left(\epsilon_{n}+\epsilon_{b+n}\right) для A∈H0bA \in \mathscr {H}_{0}^{b} и B∈Ab−nb+mB \in \mathscr {A}_{b-n}^{b+m}; слагаемое ϵb+n\epsilon_{b+n} можно отбросить, если начальные вероятности стационарны. Покажите, что это выполняется для A∈G0bA \in \mathscr {G}_{0}^{b} и B∈Tb+nB \in \mathscr {T}_{b+n}. Покажите, что из C∈TC \in \mathscr {T} следует, что P(C)\mathbb {P}\left(C\right) равно 0 или 1.

?
Задача 8.36

†{ }^{\dagger } Измените цепь из Примера 8.13 так, чтобы q0=1−p0=1q_{0}=1-p_{0}=1 (остальные pip_{i} и qiq_{i} по-прежнему положительны). Пусть β=lim⁡np1⋯pn\beta =\lim_{n} p_{1} \cdots p_{n}, и предположим, что β>0\beta >0. Определим функцию выигрыша: f(0)=1f(0)=1 и f(i)=1−fi0f(i)=1-f_{i 0} при i>0i>0. Если X0,…,XnX_{0}, \ldots , X_{n} положительны, положим σn=n\sigma_{n}=n; в противном случае пусть σn\sigma_{n} — наименьшее kk, для которого Xk=0X_{k}=0. Покажите, что Ej[f(Xσn)]→1E_{j}\left[f\left(X_{\sigma_{n}}\right)\right] \rightarrow 1 при n→∞n \rightarrow \infty, так что v(i)≡1v(i) \equiv 1. Таким образом, носитель есть M={0}M=\left\{ 0\right\}, а для начального состояния i>0i>0 вероятность когда-либо попасть в MM равна fi0<1f_{i 0}<1.

Для произвольного конечного момента остановки τ\tau выберем nn так, чтобы Pi(τ<n=σn)>0\mathbb {P}_{i}\left(\tau <n=\sigma_{n}\right)>0. Тогда Ei[f(Xτ)]≤1−fi+n,0Pi(τ<n=σn)<1E_{i}\left[f\left(X_{\tau }\right)\right] \leq 1-f_{i+n, 0} \mathbb {P}_{i}\left(\tau <n=\sigma_{n}\right)<1. Таким образом, ни одна стратегия не достигает значения v(i)v(i) (кроме, разумеется, случая i=0i=0).

?
Задача 8.37

↑ Пусть цепь такая же, как в предыдущей задаче, но предположим, что β=0\beta =0, так что fi0=1f_{i 0}=1 для всех ii. Предположим, что λ1,λ2,…\lambda_{1}, \lambda_{2}, \ldots превосходят 1 и что λ1⋯λn→λ<∞\lambda_{1} \cdots \lambda_{n} \rightarrow \lambda < \infty; положим f(0)=0f(0)=0 и f(i)=λ1⋯λi−1/p1⋯pi−1f(i)=\lambda_{1} \cdots \lambda_{i-1} / p_{1} \cdots p_{i-1}. Для произвольного (конечного) момента остановки τ\tau событие [τ=n][\tau =n] должно иметь вид [(X0,…,Xn)∈In]\left[\left(X_{0}, \ldots , X_{n}\right) \in I_{n}\right] для некоторого множества InI_{n} последовательностей состояний длины (n+1)(n+1). Покажите, что для каждого ii существует не †{ }^{\dagger } Три последние задачи этого раздела касаются математических ожиданий случайных величин с бесконечной областью значений. более одного n≥0n \geq 0, такого что (i,i+1,…,i+n)∈In(i, i+1, \ldots , i+n) \in I_{n}. Если такого nn нет, то Ei[f(Xτ)]=0E_{i}\left[f\left(X_{\tau }\right)\right]=0. Если оно есть, то

Ei[f(Xτ)]=Pi((X0,..,Xn)=(i,…,i+n))f(i+n), E_{i}\left[f\left(X_{\tau }\right)\right]=\mathbb {P}_{i}\left(\left(X_{0}, . ., X_{n}\right)=(i, \ldots , i+n)\right) f(i+n),

и, следовательно, единственно возможные значения Ei[f(Xτ)]E_{\mathrm{i}}\left[f\left(X_{\tau }\right)\right] таковы:

0,f(i),pif(i+1)=f(i)λi,pipi+1f(i+2)=f(i)λiλi+1,…. 0, \quad f(i), \quad p_{i} f(i+1)=f(i) \lambda _{i}, \quad p_{i} p_{i+1} f(i+2)=f(i) \lambda _{i} \lambda _{i+1}, \ldots .

Таким образом, v(i)=f(i)λ/λ1⋯λi−1v(i)=f(i) \lambda / \lambda_{1} \cdots \lambda_{i-1} при i≥1i \geq 1; ни одна стратегия не достигает этого значения. Носитель есть M=(0)M=(0), и момент попадания τ0\tau_{0} в MM конечен, но Ei[f(Xτ0)]=0E_{i}\left[f\left(X_{\tau_{0}}\right)\right]=0.

?
Задача 8.38

5.12i^5.12 \hat{i} Рассмотрим неприводимую непериодическую положительно возвратную цепь. Пусть τj\tau_{j} — наименьшее nn, такое что Xn=jX_{n}=j, и пусть mij=Ei[τj]m_{i j}=E_{i}\left[\tau_{j}\right]. Покажите, что существует такое rr, что p=Pj(X1≠j,…,Xr−1≠j,Xr=i)p=\mathbb {P}_{j}\left(X_{1} \neq j, \ldots , X_{r-1} \neq j, X_{r}=i\right) положительно; из fjj(n+r)≥pfij(n)f_{j j}^{(n+r)} \geq p f_{i j}^{(n)} и mj,<∞m_{j,}<\infty заключите, что mi<∞m_{i}<\infty и nij=∑n=0∞Pi(τj>n)n_{i j}=\sum_{n=0}^{\infty } \mathbb {P}_{i}\left(\tau_{j}>n\right). Исходя из pi,(i)=∑s=1tfij(s)p′′(i−s)p_{i,}^{(i)}= \sum_{s=1}^{t} f_{i j}^{(s)} p_{\prime \prime }^{(i-s)}, покажите, что

∑i=1n(pij(t)−pjj(t))=1−∑m=0npjj(n−m)Pi(τi>m). \sum _{i=1}^{n}\left(p_{i j}^{(t)}-p_{j j}^{(t)}\right)=1-\sum _{m=0}^{n} p_{j j}^{(n-m)} \mathbb {P}_{i}\left(\tau _{i}>m\right).

Используя признак Вейерштрасса, покажите, что

πjmij=1+∑n=1∞(pjj(n)−pij(n)). \pi _{j} m_{i j}=1+\sum _{n=1}^{\infty }\left(p_{j j}^{(n)}-p_{i j}^{(n)}\right).

Если i=Ji=J, это снова даёт mjj=1/πjm_{j j}=1 / \pi_{j}; если i≠ji \neq j, это показывает, как в принципе можно вычислить mijm_{i j} по матрице переходных вероятностей и стационарным вероятностям.

?
§
9 · Большие уклонения и закон повторного логарифма*[7/29%]
Задача 9.1

Докажите (6.2), используя (9.9) и тот факт, что кумулянты складываются при независимости.

?
Задача 9.2

В случае Бернулли (9.21) даёт

P(Sn≥np+xn)=exp⁡[−nK(p+xnn,p)(1+o(1))], \mathbb {P}\left(S_{n} \geq n p+x_{n}\right)=\exp \left[-n K\left(p+\frac{x_{n}}{n}, p\right)(1+o(1))\right],

где p<a<1p<a<1 и xn=n(a−p)x_{n}=n(a-p). Теорема 9.4 даёт

P(Sn≥np+xn)=exp⁡[−xn22npq(1+o(1))], \mathbb {P}\left(S_{n} \geq n p+x_{n}\right)=\exp \left[-\frac{x_{n}^{2}}{2 n p q}(1+o(1))\right],

где xn=annpqx_{n}=a_{n} \sqrt{n p q}. Разрешите это кажущееся противоречие. Используйте (9.25), чтобы сравнить два выражения в случае, когда xn/nx_{n} / n мало. См. Задачу 27.17.

?
Задача 9.3

Переобозначим биномиальный параметр pp через θ=f(p)\theta =f(p), где ff возрастает и непрерывно дифференцируема. Покажите с помощью (9.27), что различимость θ\theta и θ+Δθ\theta +\Delta \theta, измеряемая величиной KK, равна (Δθ)2/8p(1−p)(f′(p))2+O(Δθ)3(\Delta \theta )^{2} / 8 p(1-p)\left(f^{\prime }(p)\right)^{2}+O(\Delta \theta )^{3}. Старший коэффициент не зависит от θ\theta, если f(p)=arcsin⁡pf(p)=\arcsin \sqrt{p}.

?
Задача 9.4

Из (9.35) и того же результата для {−Xn}\left\{ -X_{n}\right\}, вместе с равномерной ограниченностью XnX_{n}, выведите, что с вероятностью 1 множество предельных точек последовательности {Sn(2nlog⁡log⁡n)−1/2}\left\{ S_{n}(2 n \log \log n)^{-1 / 2}\right\} есть замкнутый интервал от -1 до +1.

?
Задача 9.5

↑\uparrow Предположим, что XnX_{n} принимает значения ±1\pm 1 с вероятностью 12\frac{1}{2} каждое, и покажите, что P[Sn=0P\left[S_{n}=0\right. б.ч. ]=1]=1. (Это даёт ещё одно доказательство возвратности симметричного случайного блуждания на прямой (Пример 8.6).) Покажите в более общем виде, что если XnX_{n} ограничены величиной MM, то P[∣Sn∣≤MP\left[\left|S_{n}\right| \leq M\right. б.ч. ]=1]=1.

?
Задача 9.6

Ослабленные варианты (9.36) доказать довольно легко. С помощью аргумента с четвёртым моментом (см. (6.2)) покажите, что P[Sn>n3/4(log⁡n)(1+ϵ)/4P\left[S_{n}>n^{3 / 4}(\log n)^{(1+\epsilon ) / 4}\right. б.ч. ]=0]=0. Используйте (9.29), чтобы дать простое доказательство того, что P[Sn>(3nlog⁡n)1/2P\left[S_{n}>(3 n \log n)^{1 / 2}\right. б.ч. ]=0]=0.

?
Задача 9.7

Покажите, что (9.35) верно, если SnS_{n} заменить на ∣Sn∣\left|S_{n}\right|, max⁡k≤nSk\max_{k \leq n} S_{k} или max⁡k≤n∣Sk∣\max_{k \leq n}\left|S_{k}\right|.

?