Производные и условная вероятность

Обобщите Примеры 31.1 и 31.3: пусть $p_{0}, \ldots , p_{r-1}$ — неотрицательные числа, дающие в сумме 1, где $r \geq 2$; предположим, что нет такого $i$, что $p_{i}=1$. Пусть $X_{1}$, $X_{2}, \ldots$ — независимые, одинаково распределённые случайные величины, такие что $\mathbb {P}\left(X_{n}=i\right)=p_{i}, 0 \leq i<r$, и положим $X=\sum_{n=1}^{\infty } X_{n} r^{-n}$. Пусть $F$ — функция распределения $X$. Покажите, что $F$ непрерывна. Покажите, что $F$ строго возрастает на единичном интервале тогда и только тогда, когда все $p_{i}$ строго положительны. Покажите, что $F(x) \equiv x$ при $0 \leq x \leq 1$, если $p_{i} \equiv r^{-1}$, и что в противном случае $F$ сингулярна; докажите сингулярность, обобщив рассуждения как из Примера 31.1, так и из Примера 31.3. Каков аналог (31.17)?

$\uparrow$ В Задаче 31.1 возьмите $r=3$ и $p_{0}=p_{2}=\frac{1}{2}, p_{1}=0$. Соответствующая $F$ называется функцией Кантора. Дополнение в $[0,1]$ множества Кантора (см. Задачи 1.5 и 3.16) состоит из среднего третьего интервала $\left(\frac{1}{3}, \frac{2}{3}\right)$, средних третей $\left(\frac{1}{9}, \frac{2}{9}\right)$ и $\left(\frac{7}{9}, \frac{8}{9}\right)$, и так далее. Покажите, что $F$ равна $\frac{1}{2}$ на первом из этих интервалов, $\frac{1}{4}$ на втором, $\frac{3}{4}$ на третьем, и так далее. Покажите непосредственным рассуждением, что $F^{\prime }=0$ всюду, кроме множества лебеговой меры 0.

Вещественная функция $f$ вещественной переменной является лебеговой функцией, если $[x: f(x) \leq \alpha ]$ — лебегово множество при каждом $\alpha$.

$\uparrow$ Произвольная функция $f$ на $(0,1]$ может быть представлена как композиция лебеговой функции $f_{1}$ и борелевской функции $f_{2}$. Для $x$ из $(0,1]$ пусть $d_{n}(x)$ — $n$-я цифра в её бесконечном двоичном разложении, и определим $f_{2}(x)= \sum_{n=1}^{\infty } 2 d_{n}(x) / 3^{n}$. Покажите, что $f_{2}$ возрастает и что $f_{2}(0,1]$ содержится в множестве Кантора. Пусть $f_{1}(x)$ равна $f\left(f_{2}^{-1}(x)\right)$, если $x \in f_{2}(0,1]$, и 0, если $x \in (0,1]-f_{2}(0,1]$. Теперь покажите, что $f=f_{1} f_{2}$.

Пусть $r_{1}, r_{2}, \ldots$ — некоторая нумерация рациональных чисел в $(0,1)$, и положим $F(x)= \Sigma_{k r_{k} \leq x} 2^{-k}$. Определите $\varphi$ формулой (14.5) и докажите, что она непрерывна и сингулярна.

Предположим, что $\mu$ и $F$ связаны соотношением (31.18). Если $F$ не абсолютно непрерывна, то $\mu (A)>0$ для некоторого множества $A$ лебеговой меры 0. Интересен, однако, тот факт, что почти все сдвиги $A$ должны иметь $\mu$-меру 0. Используя теорему Фубини и тот факт, что $\lambda$ инвариантна относительно сдвига и отражения через 0, покажите, что если $\lambda (A)=0$ и $\mu$ $\sigma$-конечна, то $\mu (A+x)=0$ для $x$ вне некоторого множества лебеговой меры 0.

$17.431 .6 \uparrow$ Покажите, что $F$ абсолютно непрерывна тогда и только тогда, когда для каждого борелевского множества $A$ функция $\mu (A+x)$ непрерывна по $x$.

Пусть $F_{*}(x)=\lim_{\delta \rightarrow 0} \inf (F(v)-F(u)) /(v-u)$, где инфимум берётся по $u$ и $v$, таким что $u<x<v$ и $v-u<\delta$. Определим $F^{*}(x)$ как этот же предел с инфимумом, заменённым супремумом. Покажите, что в Теореме 31.4 $F^{\prime }$ может быть заменена на $F^{*}$ в пункте (i) и на $F_{*}$ в пункте (ii). Покажите, что в Теореме 31.6 ${ }_{F} D$ может быть заменена на $F_{*}$ (заметьте, что $F_{*}(x) \leq { }_{F} D(x)$ ).

Теорема Лебега о плотности. Точка $x$ называется точкой плотности борелевского множества $A$, если $\lambda ((u, v] \cap A) /(v-u) \rightarrow 1$ при $u \uparrow x$ и $v \downarrow x$. Из Теорем 31.2 и 31.4 выведите, что почти все точки $A$ являются точками плотности. Аналогично, $\lambda ((u, v] \cap A) /(v-u) \rightarrow 0$ почти всюду на $A^{c}$.

Пусть $f:[a, b] \rightarrow R^{k}$ — дуга; $f(t)=\left(f_{1}(t), \ldots , f_{k}(t)\right)$. Покажите, что дуга спрямляема тогда и только тогда, когда каждая $f_{i}$ имеет ограниченную вариацию на $[a, b]$.

$\uparrow$ Предположим, что $F$ непрерывна и не убывает и что $F(0)=0$, $F(1)=1$. Тогда $f(x)=(x, F(x))$ задаёт дугу $f:[0,1] \rightarrow R^{2}$. Легко видеть из монотонности, что дуга спрямляема и что, более того, её длина удовлетворяет $L(f) \leq 2$. Также легко, при заданном $\epsilon$, построить функции $F$, для которых $L(f)>2-\epsilon$. Покажите с помощью рассуждений из доказательства Теоремы 31.4, что $L(f)=2$, если $F$ сингулярна.

Предположим, что характеристическая функция $F$ удовлетворяет $\limsup_{t \rightarrow \infty }\left|\varphi (t)\right|=1$. Покажите, что $F$ сингулярна. Сравните со случаем решётчатого распределения (Задача 26.1). Указание: используйте разложение Лебега и теорему Римана—Лебега.

Предположим, что $X_{1}, X_{2}, \ldots$ независимы и принимают значения $\pm 1$ с вероятностью $\frac{1}{2}$ каждое, и пусть $X=\sum_{n=1}^{\infty } X_{n} / 2^{n}$. Покажите, что $X$ равномерно распределена на $[-1,+1]$. Вычислите характеристические функции $X$ и $X_{n}$ и выведите (1.40). Обратно, установите (1.40) с помощью тригонометрии и заключите, что $X$ равномерно распределена на $[-1,+1]$.

31.2 ↑ Покажите, что функция Кантора является функцией распределения $\sum_{n=1}^{\infty } X_{n} / 3^{n}$, где $X_{n}$ независимы и принимают значения 0 и 2 с вероятностью $\frac{1}{2}$ каждое. Выразите её характеристическую функцию в виде бесконечного произведения.

Покажите для $F$ из Примера 31.1, что ${ }_{F} D(1)=\infty$ и $D^{F}(0)=0$, если $p_{0}<\frac{1}{2}$. Из (31.17) выведите, что ${ }_{F} D(x)=\infty$ и $D^{F}(x)=0$ для всех двоично-рациональных $x$. Проанализируйте случай $p_{0}>\frac{1}{2}$ и нарисуйте график

$6.14 \uparrow$ Пусть $F$ такова, как в Примере 31.1, и пусть $\mu$ — соответствующая вероятностная мера на единичном интервале. Пусть $d_{n}(x)$ — $n$-я цифра в непериодическом двоичном разложении $x$, и пусть $s_{n}(x)=\sum_{k=1}^{n} d_{k}(x)$. Если $I_{n}(x)$ — двоичный интервал порядка $n$, содержащий $x$, то

Непрерывная, нигде не дифференцируемая функция ван дер Вардена — это $f(x)= \sum_{k=0}^{\infty } a_{k}(x)$, где $a_{0}(x)$ — расстояние от $x$ до ближайшего целого числа, а $a_{k}(x)=2^{-k} a_{0}\left(2^{k} x\right)$. Покажите с помощью признака Вейерштрасса, что $f$ непрерывна. Используя (31.8) и идеи Примера 31.1, покажите, что $f$ нигде не дифференцируема. ${ }^{\dagger }$ Условие Липшица порядка $\alpha$ выполняется в точке $x$, если $F(x+h)-F(x)=O\left(|h|^{\alpha }\right)$ при $h \rightarrow 0$; при $\alpha >1$ это влечёт $F^{\prime }(x)=0$, а при $0<\alpha <1$ это условие гладкости сильнее непрерывности, но слабее дифференцируемости.

Покажите (см. (31.31)), что (с точностью до прибавления констант) функция может иметь только одно представление $F_{1}+F_{2}$, где $F_{1}$ абсолютно непрерывна, а $F_{2}$ сингулярна.

Покажите, что $F_{\mathrm{s}}$ в разложении Лебега можно далее разбить на $F_{\mathrm{d}}+F_{\mathrm{cs}}$, где $F_{\mathrm{cs}}$ непрерывна и сингулярна, а $F_{\mathrm{d}}$ возрастает только скачками в том смысле, что соответствующая мера дискретна. Полное разложение тогда имеет вид $F=F_{\mathrm{ac}}+F_{\mathrm{cs}}+F_{\mathrm{d}}$.

$14.4 \uparrow$ Если $f$ неотрицательна и интегрируема по Лебегу, то по Теореме 31.3 и (31.8), за исключением $x$ из множества лебеговой меры 0,

если $u \leq x \leq v$, $u<v$ и $u, v \rightarrow x$. Существует аналог, в котором лебегова мера заменена общей вероятностной мерой $\mu$: если $f$ неотрицательна и интегрируема относительно $\mu$, то при $h \downarrow 0$

на множестве $\mu$-меры 1. Пусть $F$ — функция распределения, соответствующая $\mu$, и положим $\varphi (u)=\inf [x: u \leq F(x)]$ при $0<u<1$ (см. (14.5)). Выведите (31.36) из (31.35) заменой переменной и с помощью Задачи 14.4.

Есть два способа показать, что сходимость в (32.1) должна быть абсолютной: использовать разложение Жордана; использовать тот факт, что ряд сходится абсолютно, если он имеет одну и ту же сумму независимо от порядка суммирования членов.

Если $A^{+} \cup A^{-}$ — разложение Хана для $\varphi$, могут существовать другие разложения $A_{1}^{+} \cup A_{1}^{-}$. Постройте такой пример. Покажите, что единственность имеет место в том смысле, что $\varphi \left(A^{+} \Delta A_{1}^{+}\right)=\varphi \left(A^{-} \Delta A_{1}^{-}\right)=0$.

Покажите, что абсолютная непрерывность не влечёт условие $\epsilon -\delta$ (32.4), если $\nu$ бесконечна. Указание. Пусть $\mathscr {F}$ состоит из всех подмножеств множества целых чисел, пусть $\nu$ — считающая мера, и пусть $\mu$ имеет массу $n^{-2}$ в точке $n$. Заметьте, что $\mu$ конечна, а $\nu$ $\sigma$-конечна.

Покажите, что теорема Радона-Никодима не выполняется, если $\mu$ не $\sigma$-конечна, даже если $\nu$ конечна. Указание: пусть $\mathscr {F}$ состоит из счётных и косчётных множеств в несчётном $\Omega$, пусть $\mu$ — считающая мера, и пусть $\nu (A)$ равно 0 или 1 в зависимости от того, счётно или косчётно $A$.

Пусть $\mu$ — сужение плоской лебеговой меры $\lambda_{2}$ на $\sigma$-алгебру $\mathscr {F}=\left\{ A \times R^{1}: A \in \mathscr {R}^{1}\right\}$ вертикальных полос. Определим $\nu$ на $\mathscr {F}$ формулой $\nu \left(A \times R^{1}\right)=\lambda_{2}(A \times (0,1))$. Покажите, что $\nu$ абсолютно непрерывна относительно $\mu$, но не имеет плотности. Почему это не противоречит теореме Радона-Никодима?

Пусть $\mu , \nu$ и $\rho$ — $\sigma$-конечные меры на $(\Omega , \mathscr {F})$. Предположим, что производные Радона–Никодима здесь всюду неотрицательны и конечны.

Покажите, что разложение Лебега (32.8) существует как в $\sigma$-конечном, так и в конечном случае. Докажите, что оно единственно.

Теорема Радона-Никодима справедлива, если $\mu$ $\sigma$-конечна, даже если $\nu$ не является таковой. Сначала предположим, что $\mu$ конечна (и $\nu \ll \mu$).

Пусть $\mu$ и $\nu$ — конечные меры на $(\Omega , \mathscr {F})$, и пусть $\mathscr {F}^{\circ }$ — $\sigma$-алгебра, содержащаяся в $\mathscr {F}$. Тогда сужения $\mu^{\circ }$ и $\nu^{\circ }$ мер $\mu$ и $\nu$ на $\mathscr {F}^{\circ }$ являются мерами на $(\Omega , \mathscr {F}^{\circ })$. Пусть $\nu_{\mathrm{ac}}, \nu_{\mathrm{s}}, \nu_{\mathrm{ac}}^{\circ }, \nu_{\mathrm{s}}^{\circ }$ — соответственно абсолютно непрерывная и сингулярная части $\nu$ и $\nu^{\circ }$ относительно $\mu$ и $\mu^{\circ }$. Докажите, что $\nu_{\mathrm{ac}}^{\circ }(E) \geq \nu_{\mathrm{ac}}(E)$ и $\nu_{\mathrm{s}}^{\circ }(E) \leq \nu_{\mathrm{s}}(E)$ для $E \in \mathscr {F}^{\circ }$.

Предположим, что $\mu , \nu , \nu_{n}$ — конечные меры на $(\Omega , \mathscr {F})$ и что $\nu (A)=\sum_{n} \nu_{n}(A)$ для всех $A$. Пусть $\nu_{n}(A)=\int_{A} f_{n} d \mu +\nu_{n}^{\prime }(A)$ и $\nu (A)=\int_{A} f d \mu +\nu^{\prime }(A)$ — разложения (32.8); здесь $\nu^{\prime }$ и $\nu_{n}^{\prime }$ сингулярны относительно $\mu$. Докажите, что $f=\sum_{n} f_{n}$ всюду, кроме множества $\mu$-меры 0, и что $\nu^{\prime }(A)=\sum_{n} \nu_{n}^{\prime }(A)$ для всех $A$. Докажите, что $\nu \ll \mu$ тогда и только тогда, когда $\nu_{n} \ll \mu$ для всех $n$.

32.2 ↑ Абсолютная непрерывность функции множества $\varphi$ относительно меры $\mu$ определяется точно так же, как если бы $\varphi$ сама была мерой: $\mu (A)=0$ должно влечь $\varphi (A)=0$. Докажите, что если это выполняется и $\mu$ $\sigma$-конечна, то $\varphi (A)=\int_{A} f d \mu$ для некоторой интегрируемой $f$. Докажите, что $A^{+}=[\omega : f(\omega ) \geq 0]$ и $A^{-}=[\omega : f(\omega )<0]$ дают разложение Хана для $\varphi$. Докажите, что три вариации удовлетворяют $\varphi^{+}(A)= \int_{A} f^{+} d \mu , \varphi^{-}(A)=\int_{A} f^{-} d \mu$ и $\left|\varphi \right|(A)=\int_{A}\left|f\right| d \mu$. Указание: чтобы построить $f$, начните с (32.2).

$\uparrow$ Знакопеременная мера $\varphi$ — это функция множества, которая удовлетворяет (32.1), если $A_{1}, A_{2}, \ldots$ не пересекаются, и может принимать одно из значений $+\infty$ и $-\infty$, но не оба. Распространите разложения Хана и Жордана на знакопеременные меры

$31.22 \uparrow$ Предположим, что $\mu$ и $\nu$ — вероятностная мера и $\sigma$-конечная мера на прямой и что $\nu \ll \mu$. Докажите, что производная Радона-Никодима $f$ удовлетворяет

на множестве $\mu$-меры 1.

Найдите на единичном интервале несчётное множество вероятностных мер $\mu_{p}, 0<p<1$, с носителями $S_{p}$ такими, что $\mu_{p}\left\{ x\right\} =0$ для каждого $x$ и $p$, а $S_{p}$ попарно не пересекаются.

Пусть $\mathscr {F}_{0}$ — алгебра, состоящая из конечных и коконечных множеств в несчётном $\Omega$. Определим $\varphi$ на $\mathscr {F}_{0}$, полагая $\varphi (A)$ равным числу точек в $A$, если $A$ конечно, и минус числу точек в $A^{c}$, если $A$ коконечно. Докажите, что (32.1) выполняется (это неверно, если $\Omega$ счётно). Докажите, что для $\varphi$ не существует отрицательных множеств (кроме пустого), что не существует разложения Хана и что $\varphi$ не имеет ограниченной области значений.

20.27 ↑ Парадокс Бореля. Предположим, что случайная точка на сфере задаётся долготой $\Theta$ и широтой $\Phi$, но $\Theta$ ограничена условием $0 \leq \Theta <\pi$, так что $\Theta$ задаёт весь меридианный круг (а не полукруг), содержащий точку, и в качестве компенсации $\Phi$ пробегает ( $-\pi , \pi$ ].

$20.16 \uparrow$ Пусть $X$ и $Y$ независимы и каждая имеет стандартное нормальное распределение, и пусть $(R, \Theta )$ — полярные координаты для $(X, Y)$.

↑ Парадоксы несколько похожего рода возникают и в очень простых случаях.

$\uparrow$

$\uparrow$ Предположим, что $T=X$ — случайная величина, $\left(\Omega^{\prime }, \mathscr {F}^{\prime }\right)=\left(R^{1}, \mathscr {R}^{1}\right)$, а $x$ — произвольная точка $R^{1}$. В этом случае $p(A \mid x)$ иногда записывают как $\mathbb {P}\left( A \mid X=x \right)$. В чём проблема с этим обозначением?

Для пуассоновского процесса (см. Пример 33.1) покажите, что при $0<s<t$,

Таким образом, условное распределение (в смысле Теоремы 33.3) $N_{s}$ при заданном $N_{t}$ является биномиальным с параметрами $N_{t}$ и $s / t$.

$29.12 \uparrow$ Предположим, что $\left(X_{1}, X_{2}\right)$ имеет центрированное нормальное распределение-имеет на плоскости распределение с плотностью (29.10). Запишите квадратичную форму в экспоненте в виде

проинтегрируйте по $x_{2}$ и покажите, что

где $\tau =\sigma_{22}-\sigma_{12}^{2} \sigma_{11}^{-1}$. Опишите условное распределение $X_{2}$ при заданном $X_{1}$.

↑ Выведите из (33.16), что условное распределение $X$ при заданном $M$ равно

где $\mu$ — распределение, соответствующее $F$ (положительной и непрерывной). Указание: сначала проверьте случай $H=(-\infty , x]$.

$4.1012 .4 \uparrow$ Следующая конструкция показывает, что условные вероятности могут не задавать меры. Восполните детали.

В Задаче 4.10 показано, что существуют вероятностное пространство $(\Omega , \mathscr {F}, P)$, $\sigma$-алгебра $\mathscr {G}$ в $\mathscr {F}$ и множество $H$ в $\mathscr {F}$, такие что $\mathbb {P}\left(H\right)=\frac{1}{2}, H$ и $\mathscr {G}$ независимы, $\mathscr {G}$ содержит все одноточечные множества, и $\mathscr {G}$ порождается счётным подклассом. Счётный подкласс, порождающий $\mathscr {G}$, можно выбрать в виде $\pi$-системы $\mathscr {P}=\left\{ B_{1}, B_{2}, \ldots \right\}$ (перейдя к конечным пересечениям множеств из исходного класса).

Предположим, что можно выбрать версии $P[A \| \mathscr {G}]$ так, чтобы $P[A \| \mathscr {G}]_{\omega }$ при каждом $\omega$ была вероятностной мерой при изменении $A$ по $\mathscr {F}$. Пусть $C_{n}$ — множество $\omega$, для которых $P\left[B_{n} \| \mathscr {G}\right]_{\omega }=I_{B_{n}}(\omega )$; покажите (Пример 33.3), что $C=\bigcap_{n} C_{n}$ имеет вероятность 1. Покажите, что из $\omega \in C$ следует $P[G \| \mathscr {A}]_{\omega }=I_{G}(\omega )$ для всех $G$ из $\mathscr {I}$, и, следовательно, $P[\left\{ \omega \right\} \| \mathscr {G}]_{\omega }=1$.

Теперь из $\omega \in H \cap C$ следует $P[H \| \mathscr {G}]_{\omega } \geq P[\left\{ \omega \right\} \| \mathscr {G}]_{\omega }=1$, а из $\omega \in H^{c} \cap C$ следует $P[H \| \mathscr {G}]_{\omega } \leq P[\Omega -\left\{ \omega \right\} \| \mathscr {G}]_{\omega }=0$. Таким образом, из $\omega \in C$ следует $P[H \| \mathscr {G}]_{\omega }=I_{H}(\omega )$. Но поскольку $H$ и $\mathscr {G}$ независимы, $P[H \| \mathscr {G}]_{\omega }= \mathbb {P}\left(H\right)=\frac{1}{2}$ с вероятностью 1, что противоречиво.

Этот пример связан с Примером 4.10, но касается математического факта, а не эвристической интерпретации.

Пусть $\alpha$ и $\beta$ — $\sigma$-конечные меры на прямой, и пусть $f(x, y)$ — вероятностная плотность относительно $\alpha \times \beta$. Определим