Экспоненциальные семейства

Найдите естественное параметрическое пространство для (5.2), когда $s=1, T_{1}(x)=x, \mu$ — мера Лебега, а $h(x)$ равно

1. $e^{-\left|x\right|}$ и

2. $e^{-\left|x\right|} /\left(1+x^{2}\right)$.

Предположим, что в (5.2) $s=2$ и $T_{2}(x)=T_{1}(x)$. Объясните, почему невозможно оценить $\eta_{1}$. [Указание: Сравните эту модель с моделью, полученной при подстановке $\eta_{1}^{\prime }=\eta_{1}+c, \eta_{2}^{\prime }=\eta_{2}-c$.]

Покажите, что распределение выборки из $p$-мерной нормальной плотности (4.15) образует $s$-мерное экспоненциальное семейство. Найдите $s$ и определите функции $\eta_{i}$, $T_{i}$ и $B$ из (5.1).

Efron (1975) даёт весьма общие определения кривизны, обобщающие (10.1) и (10.2). Для $s$-мерного семейства (5.1) с ковариационной матрицей $\Sigma_{\theta }$, если $\theta$ — скаляр, определим статистическую кривизну как $\gamma_{\theta }=\left(\left|M_{\theta }\right| / m_{11}^{3}\right)^{1 / 2}$, где

причём $\eta (\theta )=\left\{ \eta_{i}(\theta )\right\} , \dot{\eta }(\theta )=\left\{ \eta_{i}^{\prime }(\theta )\right\}$ и $\ddot{\eta }(\theta )=\left\{ \eta_{i}^{\prime \prime }(\theta )\right\}$. Вычислите кривизну семейства (см. Пример 6.19) $C \exp \left[-\sum_{i=1}^{n}\left(x_{i}-\theta \right)^{m}\right]$ для $m=2,3,4$. Упорядочены ли значения $\gamma_{\theta }$ так, как вы ожидали?

Пусть $\left(X_{1}, X_{2}\right)$ имеет двумерное нормальное распределение с вектором средних $\xi =\left(\xi_{1}, \xi_{2}\right)$ и единичной ковариационной матрицей. В каждой из следующих ситуаций проверьте кривизну $\gamma_{\theta }$ семейства.

В плотности (5.1)

Проверьте соотношения

Для биномиального распределения (5.28) проверьте

Для распределения Пуассона (5.32) проверьте моменты (5.35).

В последовательности испытаний Бернулли с вероятностью успеха $p$ пусть $X+m$ — число испытаний, необходимых для достижения $m$ успехов.

В предыдущей задаче пусть $X_{i}+1$ — число испытаний, требуемых после $(i-1)$-го успеха до наступления следующего успеха. Используя тот факт, что $X=\Sigma_{i=1}^{m} X_{i}$, найдите альтернативный вывод среднего и дисперсии из пункта (e).

Дискретная случайная величина с вероятностями

называется распределением степенного ряда. Это экспоненциальное семейство (5.1) с $s=1, \eta =\log \theta$ и $T=X$. Производящая функция моментов равна $M_{X}(u)=C\left(\theta e^{u}\right) / C(\theta )$.

Покажите, что биномиальное, отрицательное биномиальное распределения и распределение Пуассона являются частными случаями распределения степенного ряда из Задачи 5.12, и найдите $\theta$ и $C(\theta )$.

Распределение из Задачи 5.12 с $a(x)=1 / x$ и $C(\theta )=-\log (1-\theta ), x= 1,2, \ldots ; 0<\theta <1$, является логарифмическим распределением. Покажите, что производящая функция моментов равна $\log \left(1-\theta e^{u}\right) / \log (1-\theta )$, и найдите $\mathbb {E}\left[X\right]$ и $\operatorname {var}(X)$.

Для полиномиального распределения (5.4) проверьте формулы моментов (5.16).

В качестве альтернативы использованию (5.14) и (5.15), получите моменты (5.16), представив каждую $X_{i}$ в виде суммы $n$ индикаторов, как это было сделано в (5.5):

Для гамма-распределения (5.41).

Лемма 5.15 (тождество Стейна) утверждает: если $X$ распределена с плотностью (5.2) и $g$ — произвольная дифференцируемая функция, такая что $\mathbb {E}\left[\left|g'(X)\right|\right] < \infty$, то

при условии, что носитель $X$ — это $(-\infty , \infty )$. Если носитель $X$ — ограниченный интервал $(a, b)$, то тождество выполняется, если $\exp \left\{ \sum_{i} \eta_{i} T_{i}(x)\right\} h(x) \rightarrow 0$ при $x \rightarrow a$ или $b$.

Используя Лемму 5.15:

В качестве альтернативы подходу Задачи 5.19(b) для вычисления моментов $X \sim B(a, b)$ можно вывести общую формулу для $\mathbb {E}\left[X^{k}\right]$ (аналогичную уравнению (5.43)). Сделайте это и используйте полученный результат для проверки среднего и дисперсии $X$, найденных в Задаче 5.19. [Указание: Запишите $\mathbb {E}\left[X^{k}\right]$ в виде интеграла от $x^{c-1}(1-x)^{d-1}$ и используйте константу $B(c, d)$ из Таблицы 5.1. Заметьте, что аналогичный подход применим и ко многим другим распределениям, включая распределения $\chi^{2}$, Стьюдента $t$ и $F$.]

Тождество Стейна также может быть применено к дискретным экспоненциальным семействам, как показано у Hudson (1978) и обобщено у Hwang (1982a). Если $X$ принимает значения в $N=\left\{ 0,1, \ldots \right\}$ с функцией вероятности

то для любой $g: N \rightarrow \Re$ с $\mathbb {E}_{\theta }\left[\left|g(X)\right|\right]<\infty$ имеет место тождество

где $t(0)=0$ и $t(x)=h(x-1) / h(x)$ при $x>0$.

Обратное гауссовское распределение $I G(\lambda , \mu )$ имеет функцию плотности

В Примере 5.14 покажите, что

Найдите значения $\alpha$, при которых плотность (5.41) является

Случайная величина $X$ имеет распределение Парето $P(c, k)$, если её функция распределения равна $1-(k / x)^{c}$, $x>k>0, c>0$.

Если $(X, Y)$ распределена согласно двумерному нормальному распределению (4.16) с $\xi =\eta =0$:

Если $X_{i}$ независимо распределены согласно $\Gamma \left(\alpha_{i}, b\right)$, покажите, что $\Sigma X_{i}$ распределена как $\Gamma \left(\Sigma \alpha_{i}, b\right)$. [Указание: Метод 1. Докажите это сначала для суммы двух гамма-величин с помощью перехода к новым переменным $Y_{1}=X_{1}+X_{2}, Y_{2}=X_{1} / X_{2}$, а затем используйте индукцию. Метод 2. Найдите производящую функцию моментов $\Sigma X_{i}$ и используйте тот факт, что распределение однозначно определяется своей производящей функцией моментов, если последняя существует хотя бы для некоторого $u \neq 0$.]

Если $X_{i}$ независимо распределены согласно распределениям Пуассона $P\left(\lambda_{i}\right)$, найдите распределение $\Sigma X_{i}$.

Пусть $X_{1}, \ldots , X_{n}$ независимо распределены как $\Gamma (\alpha , b)$. Покажите, что совместное распределение является двухпараметрическим экспоненциальным семейством, и определите функции $\eta_{i}, T_{i}$ и $B$ из (5.1).

Если $Y$ распределена как $\Gamma (\alpha , b)$, найдите распределение $c \log Y$ и покажите, что при фиксированном $\alpha$ и меняющемся $b$ оно определяет экспоненциальное семейство.

Morris (1982, 1983b) исследовал свойства естественных экспоненциальных семейств с квадратичными функциями дисперсии. Существует лишь шесть таких семейств: нормальное, биномиальное, гамма-распределение, распределение Пуассона, отрицательное биномиальное и менее известное обобщённое распределение гиперболического секанса, являющееся плотностью $X=\frac{1}{\pi } \log \left(\frac{Y}{1-Y}\right)$, где $Y \sim \operatorname {Beta}\left(\frac{1}{2}+\frac{\theta }{\pi }, \frac{1}{2}-\frac{\theta }{\pi }\right),\left|\theta \right|<\frac{\pi }{2}$.