Иерархический байесовский подход

$\mathbb {E}\left[\theta \mid x\right]=E[\mathbb {E}\left[\theta \mid x, \lambda \right]]$;

$\operatorname {var}(\theta \mid x)=E[\operatorname {var}(\theta \mid x, \lambda )]+\operatorname {var}[\mathbb {E}\left[\theta \mid x, \lambda \right]]$;

Маргинальное априорное распределение $\theta$, безусловное относительно $\tau^{2}$, задаётся формулой

которое при $a=v / 2$ и $b=2 / v$ является $t$-распределением Стьюдента с $v$ степенями свободы.

Маргинальное апостериорное распределение $\tau^{2}$ задаётся формулой

Покажите, что

[Заметим, что $\mathbb {E}\left[\eta \mid \mathbf{x}\right]$ и $\operatorname {var}(\eta \mid \mathbf{x})$ не выражаются в простом виде.]

Безусловно по $\eta$, величины $\theta_{i}$ имеют условную ковариацию

Игнорируя априорное распределение $\eta$, покажите, как построить эмпирическую байесовскую оценку $\theta_{i}$. (Опять же, она не выражается в простом виде.)

По аналогии с задачей 1.7.9 докажите, что для любых случайных величин $X, Y$ и $Z$,

Для иерархии

покажите, что $\operatorname {cov}\left(\Theta_{i}, \Theta_{j} \mid \mathbf{x}\right)=\operatorname {cov}\left[\mathbb {E}\left[\Theta_{i} \mid \mathbf{x}, \lambda \right], \mathbb {E}\left[\Theta_{j} \mid \mathbf{x}, \lambda \right]\right]$.

Если $\mathbb {E}\left[\Theta_{i} \mid \mathbf{x}, \lambda \right]=g\left(x_{i}\right)+h(\lambda ), i=1, \ldots , p$, где $g(\cdot )$ и $h(\cdot )$ известны, то

[Пункт (c) указывает на определённое ограничение применимости некоторых иерархических моделей, а именно на то, что они влекут положительную корреляционную структуру в апостериорном распределении.]

Используя априорное распределение для $\gamma (b)$, заданное в (5.6.27), покажите, что мода апостериорного распределения $\pi (b \mid \mathbf{x})$ равна $\hat{b}=(p \bar{x}+\alpha -1) /(p a+\beta -1)$, и, следовательно, эмпирическая байесовская оценка, основанная на этом $\hat{b}$, не совпадает с иерархической байесовской оценкой (5.6.29).

Покажите, что если оценивать $b /(b+1)$ с помощью его апостериорного математического ожидания $E[b /(b+1) \mid \mathbf{x}]$, то получаемая эмпирическая байесовская оценка совпадает с иерархической байесовской оценкой.

Чтобы вычислить $\int h(x) f_{X}(x) d x$, сгенерируйте выборку $X_{1}, \ldots , X_{m}$, независимую одинаково распределённую, из $f_{X}(x)$. Тогда $1 / m \sum_{i=1}^{m} h\left(x_{i}\right) \rightarrow \int h(x) f_{X}(x) d x$ при $m \rightarrow \infty$.

Если трудно сгенерировать случайную величину из $f_{X}(x)$, то сгенерируйте пары случайных величин

Тогда $1 / m \sum_{i=1}^{m} h\left(x_{i}\right) \rightarrow \int h(x) f_{X}(x) d x$ при $m \rightarrow \infty$. [Покажите, что если $X$ генерируется согласно $Y \sim f_{Y}(y)$ и $X \sim f_{X \mid Y}(x \mid Y)$, то $\mathbb {P}\left(X \leq a\right)=\int_{-\infty }^{a} f_{x}(x) d x$.]

Если сгенерировать, как в пункте (b), затруднительно, то сгенерируйте

для $i=1, \ldots , K$ и $m=1, \ldots , M$.

Покажите, что:

1. для каждого $m$ последовательность $\left\{ X_{m_{i}}\right\}$ является цепью Маркова. Если это к тому же эргодическая цепь Маркова, то $X_{m_{i}} \xrightarrow {\mathcal{L}} X$ при $i \rightarrow \infty$, где $X$ имеет стационарное распределение цепи.

2. Если стационарное распределение цепи равно $f_{X}(x)$, то

   $$\frac{1}{M} \sum _{m=1}^{M} h\left(x_{m_{k}}\right) \rightarrow \int h(x) f_{X}(x) d x$$

   при $K, M \rightarrow \infty$.

Покажите, что функция $h^{*}(\cdot )$, решающая уравнение $h^{*}(x)=\int k\left(x, x^{\prime }\right) h^{*}\left(x^{\prime }\right) d x^{\prime }$, есть $h^{*}(x)= f_{X}(x)$ — маргинальное распределение $X$.

Запишите аналогичное интегральное уравнение, которому удовлетворяет $f_{Y}(y)$.

Определите последовательность функций рекуррентно как $h_{i+1}(x)=\int k\left(x, x^{\prime }\right) h_{i}\left(x^{\prime }\right) d x_{I}^{\prime }$, где $h_{0}(x)$ произвольна, но удовлетворяет $\sup_{x}\left|\frac{h_{0}(x)}{h^{*}(x)}\right|<\infty$. Покажите, что

и, следовательно, $h_{i}(x)$ сходится к $h^{*}(x)$.

Чтобы вычислить $h_{i+1}$ методом интегрирования Монте-Карло:

1. Сгенерируйте $X_{j}^{\prime } \sim h_{i}\left(x^{\prime }\right), \quad j=1, \ldots , J$.

2. Для каждого $x_{j}^{\prime }$ сгенерируйте $Y_{j k} \sim f_{Y \mid X}\left(y \mid x_{j}^{\prime }\right), k=1, \ldots , K$.

3. Вычислите $\hat{h}_{i+1}(x)=\frac{1}{J} \sum_{j=1}^{J} \frac{1}{K} \sum_{k=1}^{K} f_{X \mid Y}\left(x \mid y_{j k}\right)$. Тогда $\hat{h}_{i+1}(x) \rightarrow h_{i+1}(x)$ при $J, K \rightarrow \infty$, и, следовательно, алгоритм аугментации данных сходится.

Чтобы реализовать (a)(i), нужно уметь генерировать случайную величину из смеси распределений. Покажите, что если $f_{Y}(y)=\sum_{i=1}^{n} a_{i} g_{i}(y), \Sigma a_{i}=1$, то алгоритм

1. Выбрать $g_{i}$ с вероятностью $a_{i}$

2. Сгенерировать $Y \sim g_{i}$ порождает случайную величину с распределением $f_{Y}$.

Покажите, что $h_{M}(x) \rightarrow f_{X}(x)$ при $M \rightarrow \infty$.

При заданном $x_{m_{k}}$ приближение Монте-Карло к $h_{M}(x)$ имеет вид

где $Y_{k_{j}} \sim f_{Y \mid X}\left(y \mid x_{m_{k}}\right)$ и $\hat{h}_{M}(x) \rightarrow h_{M}(x)$ при $J \rightarrow \infty$.

Следовательно, при $M, J \rightarrow \infty , \hat{h}_{M}(x) \rightarrow f_{X}(x)$.

Обсудите, когда в (b) может достигаться равенство. Можете ли вы привести пример?

Покажите, что $-\log U \sim \exp (1)$.

Покажите, что $-\sum_{i=1}^{n} \log U_{i} \sim \operatorname {Gamma}(n, 1)$, где $U_{1}, \ldots , U_{n}$ — независимые одинаково распределённые как $U(0,1)$.

Пусть $X \sim \operatorname {Exp}(a, b)$. Запишите $X$ как функцию от $U$.

Пусть $X \sim \operatorname {Gamma}(n, \beta )$, $n$ — целое число. Запишите $X$ как функцию от $U_{1}, \ldots , U_{n}$, независимых одинаково распределённых как $U(0,1)$.

Покажите, что этот алгоритм генерирует $X \sim f(x)$.

Начиная с $Y \sim \exp (1)$, покажите, как сгенерировать $X \sim N(0,1)$.

Покажите, как сгенерировать гамма-случайную величину с нецелым параметром формы.

Покажите, что апостериорное распределение $\theta_{i}(1 \leq i \leq k-1)$ равно

где $\tau_{i}^{2}=\left(\Sigma_{1}^{i} \sigma_{j}^{2}\right)\left(\Sigma_{i+1}^{k} \sigma_{j}^{2}\right) / \Sigma_{i}^{k} \sigma_{j}^{2}$ и $\alpha_{i}=\tau_{i}^{2} / \Sigma_{1}^{i} \sigma_{j}^{2}$.

Найдите выражение для информации Кульбака—Лейблера $K\left[\pi \left(\theta_{i} \mid x, \theta_{k}\right), \pi \left(\theta_{i} \mid \theta_{k}\right)\right]$ и покажите, что она является убывающей функцией $i$.

Покажите, что $R_{\alpha }(f, g)$ удовлетворяет $R_{\alpha }(f, g)>0$ и $R_{\alpha }(f, f)=0$.

Покажите, что теорема 5.7 остаётся верной, если вместо $K[f, g]$ использовать $R_{\alpha }(f, g)$.

Покажите, что $\lim_{\alpha \rightarrow 1} R_{\alpha }(f, g)=K[f, g]$, и приведите другое доказательство теоремы 5.7.

Покажите, что априорное распределение Джеффриса равно $\pi_{J}(\tau , \omega )=(1-\tau )^{-1 / 2} \omega^{-1 / 2}(1-\omega )^{-1 / 2}$.

Если $\tau$ рассматривается как мешающий параметр, то референсное априорное распределение равно

Сравните апостериорные средние $\mathbb {E}\left[\omega \mid r, s, m\right]$ при априорном распределении Джеффриса и при референсном априорном распределении. Является ли одно из них более подходящим?

Как разные априорные распределения влияют на апостериорную дисперсию?

Если интегрирование и дифференцирование можно менять местами, покажите, что

где $I(\theta )$ — информация Фишера для $f(x \mid \theta )$.

George and McCulloch (1993) утверждают, что выбор $\pi (\theta )=(\operatorname {det}[\nabla \nabla \psi (\theta , \theta )])^{1 / 2}$ представляет собой привлекательный наименее информативный выбор априорного распределения. Какое обоснование вы можете этому дать?