Предварительные сведения

Если $\left(x_{1}, y_{1}\right), \ldots ,\left(x_{n}, y_{n}\right)$ — это $n$ точек на плоскости, найдите наилучшую в смысле метода наименьших квадратов прямую $y= \alpha +\beta x$, то есть найдите значения $\alpha$ и $\beta$, минимизирующие $\Sigma \left[y_{i}-\left(\alpha +\beta x_{i}\right)\right]^{2}$.

Пусть $X_{1}, \ldots , X_{n}$ — некоррелированные случайные величины с общим математическим ожиданием $\theta$ и дисперсией $\sigma^{2}$. Тогда среди всех линейных оценок $\Sigma \alpha_{i} X_{i}$ параметра $\theta$, удовлетворяющих условию $\Sigma \alpha_{i}=1$, среднее $\bar{X}$ имеет наименьшую дисперсию.

В предыдущей задаче минимизируйте дисперсию $\Sigma \alpha_{i} X_{i}\left(\Sigma \alpha_{i}=1\right)$

Пусть $X$ и $Y$ имеют общее математическое ожидание $\theta$, дисперсии $\sigma^{2}$ и $\tau^{2}$ и коэффициент корреляции $\rho$. Определите условия на $\sigma , \tau$ и $\rho$, при которых

Пусть $X_{i}(i=1,2)$ независимо распределены согласно плотностям Коши $C\left(a_{i}, b_{i}\right)$. Тогда $X_{1}+X_{2}$ распределена как $C\left(a_{1}+a_{2}, b_{1}+b_{2}\right)$. [Указание: Перейдите к новым переменным $Y_{1}=X_{1}+X_{2}, Y_{2}=X_{2}$.]

Если $X_{1}, \ldots , X_{n}$ независимые одинаково распределённые как $C(a, b)$, то распределение $\bar{X}$ снова является $C(a, b)$. [Указание: Докажите по индукции, используя Задачу 5.]

Медианой $X$ называется любое значение $m$, такое что $\mathbb {P}\left(X \leq m\right) \geq 1 / 2$ и $\mathbb {P}\left(X \geq m\right) \geq 1 / 2$.

Если $\phi (a)=\mathbb {E}\left[\left|X-a\right|\right]<\infty$ для некоторого $a$, покажите, что $\phi (a)$ минимизируется любой медианой $X$. [Указание: Если $m_{0} \leq m \leq m_{1}$ (в обозначениях Задачи 1.7) и $m_{1}<c$, то

Для любого набора чисел $x_{1}, \cdots , x_{n}$ и монотонной функции $h(\cdot )$ покажите, что значение $a$, минимизирующее $\sum_{i=1}^{n}\left[h\left(x_{i}\right)-h(a)\right]^{2}$, задаётся формулой $a=h^{-1}\left(\sum_{i=1}^{n} h\left(x_{i}\right) / n\right)$. Найдите функции $h$, при которых минимизирующее значение даёт среднее арифметическое, среднее геометрическое и среднее гармоническое.

Если $A_{1}, A_{2}, \ldots$ — элементы $\sigma$-алгебры $\mathcal{A}$ (множества $A$ не обязательно непересекающиеся), то их объединение и пересечение также принадлежат $\mathcal{A}$.

Для любых $a<b$ следующие множества являются борелевскими

В условиях Задачи 2.1 пусть

Тогда $\underline{A}$ и $\bar{A}$ принадлежат $\mathcal{A}$.

Покажите, что

Для любой последовательности действительных чисел $a_{1}, a_{2}, \ldots$ покажите, что множество всех предельных точек подпоследовательностей замкнуто. Наименьшая и наибольшая из таких предельных точек (которые могут быть бесконечными) обозначаются через $\liminf a_{k}$ и $\limsup a_{k}$ соответственно.

В условиях Задач 2.1 и 2.3 покажите, что

где $I_{A}(x)$ обозначает индикатор множества $A$.

Пусть $(\mathcal{X}, \mathcal{A}, \mu )$ — пространство с мерой, и пусть $\mathcal{B}$ — класс всех множеств $A \cup C$, где $A \in \mathcal{A}$, а $C$ — подмножество некоторого множества $A^{\prime } \in \mathcal{A}$ с $\mu \left(A^{\prime }\right)=0$. Покажите, что $\mathcal{B}$ является $\sigma$-алгеброй.

Если $f$ и $g$ — измеримые функции, то измеримыми являются и

1. $f+g$, и

2. $\max (f, g)$.

Если $f$ интегрируема относительно $\mu$, то и $\left|f\right|$ интегрируема, причём $\left|\int f d \mu \right| \leq \int \left|f\right| d \mu$. [Указание: Выразите $\left|f\right|$ через $f^{+}$ и $f^{-}$.]

Пусть $\mathcal{X}=\left\{ x_{1}, x_{2}, \ldots \right\} , \mu =$ считающая мера на $\mathcal{X}$, и $f$ интегрируема. Тогда $\int f d \mu = \Sigma f\left(x_{i}\right)$. [Указание: Предположим сначала, что $f \geq 0$, и пусть $s_{n}(x)$ — простая функция, равная $f(x)$ при $x=x_{1}, \ldots , x_{n}$, и 0 в остальных случаях.]

Пусть $f(x)=1$ или 0 в зависимости от того, рационально $x$ или иррационально. Покажите, что интеграл Римана от $f$ не существует.

Пусть $X$ имеет стандартное нормальное распределение, и пусть $Y=2 X$. Определите, является ли

Покажите, что любая функция $f$, удовлетворяющая (3.7), непрерывна.

Пусть $X$ — измеримое преобразование из $(\mathcal{E}, \mathcal{B})$ в $(\mathcal{X}, \mathcal{A})$ (то есть такое, что для любого $A \in \mathcal{A}$ множество $\left\{ e: X(e) \in A\right\}$ принадлежит $\mathcal{B}$), и пусть $Y$ — измеримое преобразование из $(\mathcal{X}, \mathcal{A})$ в $(\mathcal{Y}, \mathcal{C})$. Тогда $Y[X(e)]$ является измеримым преобразованием из $(\mathcal{E}, \mathcal{B})$ в $(\mathcal{Y}, \mathcal{C})$.

В Примере 3.1 покажите, что носитель $P$ равен $[a, b]$ тогда и только тогда, когда $F$ строго возрастает на $[a, b]$.

Пусть $S$ — носитель распределения на евклидовом пространстве $(\mathcal{X}, \mathcal{A})$. Тогда,

1. $S$ замкнуто;

2. $\mathbb {P}\left(S\right)=1$;

3. $S$ является пересечением всех замкнутых множеств $C$ с $\mathbb {P}\left(C\right)=1$.

Если $P$ и $Q$ — две эквивалентные вероятностные меры на одном и том же евклидовом пространстве, то они имеют один и тот же носитель.

Пусть $P$ и $Q$ задают вероятности

Тогда покажите, что $P$ и $Q$ имеют один и тот же носитель, но не являются эквивалентными.

Пусть $X$ и $Y$ — независимые случайные величины с $X \sim E(\lambda , 1)$ и $Y \sim E(\mu , 1)$. Непосредственные наблюдения $X$ и $Y$ получить невозможно. Вместо этого мы наблюдаем случайные величины $Z$ и $W$, где

Найдите совместное распределение $Z$ и $W$ и покажите, что они независимы. (Переменные $X$ и $Y$ цензурированы — ситуация, часто встречающаяся в медицинских экспериментах. Предположим, что $X$ измеряет время выживания при некотором лечении, а пациент выбывает из исследования по причине, не связанной с этим. Мы не получаем измерения $X$, а только нижнюю границу.)

Если распределения положительной случайной величины $X$ образуют семейство масштаба, покажите, что распределения $\log X$ образуют семейство сдвига.

Если $X$ распределена согласно равномерному распределению $U(0, \theta )$, покажите, что распределение $-\log X$ является показательным.

Пусть $U$ равномерно распределена на $(0,1)$, и рассмотрим переменные $X=U^{\alpha }, 0<\alpha$. Покажите, что это определяет групповое семейство, и найдите плотность $X$.

Покажите, что группа преобразований является группой.

Если $g_{0}$ — произвольный элемент группы $G$, покажите, что когда $g$ пробегает $G$, то и $g g_{0}$ пробегает $G$.

Покажите, что при $p=2$ плотность (4.15) переходит в (4.16).

Покажите, что семейство преобразований (4.12) с невырожденной нижнетреугольной матрицей $B$ образует группу $G$.

Покажите, что совокупность всех невырожденных многомерных нормальных распределений может быть получена с помощью подгруппы $G$ из (4.12), описанной в Задаче 4.7.

В предыдущей задаче покажите, что $G$ можно заменить подгруппой $G_{0}$ нижнетреугольных матриц $B=\left(b_{i j}\right)$, в которых диагональные элементы $b_{11}, \ldots , b_{p p}$ все положительны, но никакая собственная подгруппа $G_{0}$ для этого не подойдёт.

Покажите, что семейство всех непрерывных распределений, носитель которых представляет собой интервал с положительной нижней границей, является групповым семейством. [Указание: Пусть $U$ равномерно распределена на интервале $(2,3)$, и пусть $X=b[g(U)]^{a}$, где $\alpha , b>0$, а $g$ непрерывна и взаимно однозначна из $(2,3)$ в $(2,3)$.]

Найдите модификацию группы преобразований (4.22), порождающую случайную выборку из генеральной совокупности $\left\{ y_{1}, \ldots , y_{N}\right\}$, в которой значения $y$, вместо того чтобы быть произвольными, ограничены условием

Обобщите группу преобразований из Примера 4.10 на случай $s$ генеральных совокупностей $\left\{ y_{i j}, j=1, \ldots , N_{i}\right\} , i=1, \ldots , s$, когда из $i$-й совокупности берётся случайная выборка объёма $n_{i}$.

Пусть $U$ — положительная случайная величина, и пусть

Если $F$ и $F_{0}$ — две непрерывные строго возрастающие функции распределения на вещественной прямой, и если функция распределения $U$ равна $F_{0}$, а $g$ строго возрастает, покажите, что функция распределения $g(U)$ равна $F$ тогда и только тогда, когда $g=F^{-1}\left(F_{0}\right)$.

Следующие два семейства распределений не являются групповыми семействами:

Пусть $X_{1}, \ldots , X_{r}$ имеют многомерное нормальное распределение с $\mathbb {E}\left[X_{i}\right]=\xi_{i}$ и ковариационной матрицей $\Sigma$. Если $X$ — вектор-столбец с элементами $X_{i}$, а $B$ — матрица констант размера $r \times r$, то $B X$ имеет многомерное нормальное распределение со средним $B \xi$ и ковариационной матрицей $B \Sigma B^{\prime }$.

Найдите естественное параметрическое пространство для (5.2), когда $s=1, T_{1}(x)=x, \mu$ — мера Лебега, а $h(x)$ равно

1. $e^{-\left|x\right|}$ и

2. $e^{-\left|x\right|} /\left(1+x^{2}\right)$.

Предположим, что в (5.2) $s=2$ и $T_{2}(x)=T_{1}(x)$. Объясните, почему невозможно оценить $\eta_{1}$. [Указание: Сравните эту модель с моделью, полученной при подстановке $\eta_{1}^{\prime }=\eta_{1}+c, \eta_{2}^{\prime }=\eta_{2}-c$.]

Покажите, что распределение выборки из $p$-мерной нормальной плотности (4.15) образует $s$-мерное экспоненциальное семейство. Найдите $s$ и определите функции $\eta_{i}$, $T_{i}$ и $B$ из (5.1).

Efron (1975) даёт весьма общие определения кривизны, обобщающие (10.1) и (10.2). Для $s$-мерного семейства (5.1) с ковариационной матрицей $\Sigma_{\theta }$, если $\theta$ — скаляр, определим статистическую кривизну как $\gamma_{\theta }=\left(\left|M_{\theta }\right| / m_{11}^{3}\right)^{1 / 2}$, где

причём $\eta (\theta )=\left\{ \eta_{i}(\theta )\right\} , \dot{\eta }(\theta )=\left\{ \eta_{i}^{\prime }(\theta )\right\}$ и $\ddot{\eta }(\theta )=\left\{ \eta_{i}^{\prime \prime }(\theta )\right\}$. Вычислите кривизну семейства (см. Пример 6.19) $C \exp \left[-\sum_{i=1}^{n}\left(x_{i}-\theta \right)^{m}\right]$ для $m=2,3,4$. Упорядочены ли значения $\gamma_{\theta }$ так, как вы ожидали?

Пусть $\left(X_{1}, X_{2}\right)$ имеет двумерное нормальное распределение с вектором средних $\xi =\left(\xi_{1}, \xi_{2}\right)$ и единичной ковариационной матрицей. В каждой из следующих ситуаций проверьте кривизну $\gamma_{\theta }$ семейства.

В плотности (5.1)

Проверьте соотношения

Для биномиального распределения (5.28) проверьте

Для распределения Пуассона (5.32) проверьте моменты (5.35).

В последовательности испытаний Бернулли с вероятностью успеха $p$ пусть $X+m$ — число испытаний, необходимых для достижения $m$ успехов.

В предыдущей задаче пусть $X_{i}+1$ — число испытаний, требуемых после $(i-1)$-го успеха до наступления следующего успеха. Используя тот факт, что $X=\Sigma_{i=1}^{m} X_{i}$, найдите альтернативный вывод среднего и дисперсии из пункта (e).

Дискретная случайная величина с вероятностями

называется распределением степенного ряда. Это экспоненциальное семейство (5.1) с $s=1, \eta =\log \theta$ и $T=X$. Производящая функция моментов равна $M_{X}(u)=C\left(\theta e^{u}\right) / C(\theta )$.

Покажите, что биномиальное, отрицательное биномиальное распределения и распределение Пуассона являются частными случаями распределения степенного ряда из Задачи 5.12, и найдите $\theta$ и $C(\theta )$.

Распределение из Задачи 5.12 с $a(x)=1 / x$ и $C(\theta )=-\log (1-\theta ), x= 1,2, \ldots ; 0<\theta <1$, является логарифмическим распределением. Покажите, что производящая функция моментов равна $\log \left(1-\theta e^{u}\right) / \log (1-\theta )$, и найдите $\mathbb {E}\left[X\right]$ и $\operatorname {var}(X)$.

Для полиномиального распределения (5.4) проверьте формулы моментов (5.16).

В качестве альтернативы использованию (5.14) и (5.15), получите моменты (5.16), представив каждую $X_{i}$ в виде суммы $n$ индикаторов, как это было сделано в (5.5):

Для гамма-распределения (5.41).

Лемма 5.15 (тождество Стейна) утверждает: если $X$ распределена с плотностью (5.2) и $g$ — произвольная дифференцируемая функция, такая что $\mathbb {E}\left[\left|g'(X)\right|\right] < \infty$, то

при условии, что носитель $X$ — это $(-\infty , \infty )$. Если носитель $X$ — ограниченный интервал $(a, b)$, то тождество выполняется, если $\exp \left\{ \sum_{i} \eta_{i} T_{i}(x)\right\} h(x) \rightarrow 0$ при $x \rightarrow a$ или $b$.

Используя Лемму 5.15:

В качестве альтернативы подходу Задачи 5.19(b) для вычисления моментов $X \sim B(a, b)$ можно вывести общую формулу для $\mathbb {E}\left[X^{k}\right]$ (аналогичную уравнению (5.43)). Сделайте это и используйте полученный результат для проверки среднего и дисперсии $X$, найденных в Задаче 5.19. [Указание: Запишите $\mathbb {E}\left[X^{k}\right]$ в виде интеграла от $x^{c-1}(1-x)^{d-1}$ и используйте константу $B(c, d)$ из Таблицы 5.1. Заметьте, что аналогичный подход применим и ко многим другим распределениям, включая распределения $\chi^{2}$, Стьюдента $t$ и $F$.]

Тождество Стейна также может быть применено к дискретным экспоненциальным семействам, как показано у Hudson (1978) и обобщено у Hwang (1982a). Если $X$ принимает значения в $N=\left\{ 0,1, \ldots \right\}$ с функцией вероятности

то для любой $g: N \rightarrow \Re$ с $\mathbb {E}_{\theta }\left[\left|g(X)\right|\right]<\infty$ имеет место тождество

где $t(0)=0$ и $t(x)=h(x-1) / h(x)$ при $x>0$.

Обратное гауссовское распределение $I G(\lambda , \mu )$ имеет функцию плотности

В Примере 5.14 покажите, что

Найдите значения $\alpha$, при которых плотность (5.41) является

Случайная величина $X$ имеет распределение Парето $P(c, k)$, если её функция распределения равна $1-(k / x)^{c}$, $x>k>0, c>0$.

Если $(X, Y)$ распределена согласно двумерному нормальному распределению (4.16) с $\xi =\eta =0$:

Если $X_{i}$ независимо распределены согласно $\Gamma \left(\alpha_{i}, b\right)$, покажите, что $\Sigma X_{i}$ распределена как $\Gamma \left(\Sigma \alpha_{i}, b\right)$. [Указание: Метод 1. Докажите это сначала для суммы двух гамма-величин с помощью перехода к новым переменным $Y_{1}=X_{1}+X_{2}, Y_{2}=X_{1} / X_{2}$, а затем используйте индукцию. Метод 2. Найдите производящую функцию моментов $\Sigma X_{i}$ и используйте тот факт, что распределение однозначно определяется своей производящей функцией моментов, если последняя существует хотя бы для некоторого $u \neq 0$.]