Банк задач по математике

Задача 4.6.1

Для модели (3.3.1) покажите, что $\left.\delta^{\lambda }(x)\right|_{\lambda =\hat{\lambda }}=\delta^{\hat{\lambda }(x)}$ , где байесовская оценка $\delta^{\lambda }(x)$ минимизирует $\int L[\theta , d(x)] \pi (\theta \mid x, \lambda ) d \theta$ , а эмпирическая байесовская оценка $\delta^{\hat{\lambda }(x)}$ минимизирует $\int L[\theta , d(x)] \pi (\theta \mid x, \hat{\lambda }) d \theta$ .

?

Задача 4.6.2

(a)(b)

В этой задаче исследуются условия, при которых эмпирическая байесовская оценка является байесовской оценкой. Выражение (6.6.3) представляет собой истинные апостериорные ожидаемые потери, если $\pi (\theta \mid \mathbf{x}, \hat{\lambda }(\mathbf{x}))$ является истинным апостериорным распределением.

Исходя из иерархии

\begin{align} & X \mid \theta \sim f(x \mid \theta ), \\ & \Theta \mid \lambda \sim \pi (\theta \mid \lambda ), \end{align}

определим совместное распределение $\mathbf{X}$ и $\Theta$ как $(\mathbf{X}, \theta ) \sim g(\mathbf{x}, \theta )=f(\mathbf{x} \mid \theta ) \pi (\theta \mid \hat{\lambda }(\mathbf{x}))$ , где $\pi (\theta \mid \hat{\lambda }(\mathbf{x}))$ получается подстановкой $\hat{\lambda }(\mathbf{x})$ вместо $\lambda$ в $\pi (\theta \mid \lambda )$ .

?

(a)

Покажите, что для этой совместной плотности формальная байесовская оценка эквивалентна эмпирической байесовской оценке из иерархической модели.

(b)

Если $f(\cdot \mid \theta )$ и $\pi (\cdot \mid \lambda )$ — собственные плотности, то $\int g(\mathbf{x}, \theta ) d \theta <\infty$ . Однако $\iint g(\mathbf{x}, \theta ) d \mathbf{x} d \theta$ не обязано быть конечным.

Задача 4.6.3

Для модели (6.3.1) байесовская оценка $\delta^{\lambda }(x)$ минимизирует $\int L(\theta , d(x)) \times \pi (\theta \mid x, \lambda ) d \theta$ , а эмпирическая байесовская оценка $\delta^{\hat{\lambda }}(x)$ минимизирует $\int L(\theta , d(x)) \pi (\theta \mid x, \hat{\lambda }(x)) d \theta$ . Покажите, что $\left.\delta^{\lambda }(x)\right|_{\lambda =\hat{\lambda }(x)}=\delta^{\hat{\lambda }}(x)$ .

?

Задача 4.6.4

(a)(b)

Для ситуации примера 6.1:

?

(a)

Покажите, что

\int _{-\infty }^{\infty } e^{-n / 2 \sigma ^{2}(\bar{x}-\theta )^{2}} e^{(-1 / 2) \theta ^{2} / \tau ^{2}} d \theta =\sqrt{2 \pi }\left(\frac{\sigma ^{2} \tau ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{1 / 2} e^{(-n / 2) \bar{x}^{2} / \sigma ^{2}+n \tau ^{2}}

и, тем самым, установите (6.6.4).

(b)

Проверьте, что маргинальная MLE-оценка $\sigma^{2}+n \tau^{2}$ равна $n \bar{x}^{2}$ и что эмпирическая байесовская оценка задаётся формулой (6.6.5).

Задача 4.6.5

(a)(b)

Обращаясь к примеру 6.2:

?

(a)

Покажите, что байесовский риск $r\left(\pi , \delta^{\pi }\right)$ байесовской оценки (6.6.7) задаётся формулой

r\left(\pi , \delta ^{\pi }\right)=k \mathbb {E}\left[\operatorname {var}\left(p_{k} \mid x_{k}\right)\right]=\frac{k a b}{(a+b)(a+b+1)(a+b+n)}.

(b)

Покажите, что байесовский риск несмещённой оценки $\mathbf{X} / n=\left(X_{1} / n, \ldots , X_{k} / n\right)$ задаётся формулой

r(\pi , \mathbf{X} / n)=\frac{k a b}{n(a+b+1)(a+b)}.

Задача 4.6.6

Теорема 6.3 утверждает: для ситуации следствия 3.3 (если $X=(X_{1}, \ldots , X_{p})$ имеет плотность $p_{\eta }(x)=e^{\sum_{i} \eta_{i} x_{i}-A(\eta )} h(x)$ , а $\eta$ имеет априорную плотность $\pi (\eta )$ , то байесовская оценка $\eta$ при квадратичной функции потерь равна $\mathbb {E}\left[\eta_{i} \mid x\right]=\frac{\partial }{\partial x_{i}} \log m(x)-\frac{\partial }{\partial x_{i}} \log h(x)$ ), с априорным распределением $\pi (\eta \mid \lambda )$ ; пусть $\hat{\lambda }(x)$ — MLE-оценка $\lambda$ , основанная на $m(x \mid \lambda )$ . Тогда эмпирическая байесовская оценка равна

\mathbb {E}\left[\eta _{i} \mid x, \hat{\lambda }\right]=\frac{\partial }{\partial x_{i}} \log m(x \mid \hat{\lambda }(x))-\frac{\partial }{\partial x_{i}} \log h(x).

Обобщите теорему 6.3 на случай теоремы 3.2; то есть, если $\mathbf{X}$ имеет плотность (3.3.7), а $\boldsymbol {\eta }$ имеет априорную плотность $\pi (\boldsymbol {\eta } \mid \gamma )$ , то эмпирическая байесовская оценка равна

\mathbb {E}\left[\left.\sum \eta _{i} \frac{\partial T_{i}(\mathbf{x})}{\partial x_{j}} \right\rvert \, \mathbf{x}, \hat{\gamma }(\mathbf{x})\right]=\frac{\partial }{\partial x_{j}} \log m(\mathbf{x} \mid \hat{\gamma }(\mathbf{x}))-\frac{\partial }{\partial x_{j}} \log h(\mathbf{x}),

где $m(\mathbf{x} \mid \gamma )$ — маргинальное распределение X, а $\hat{\gamma }(\mathbf{x})$ — маргинальная MLE-оценка $\gamma$ .

?

Задача 4.6.7

(a)(b)

?

(a)

Для $p_{\eta }(\mathbf{x})$ из (1.5.2) покажите, что для любого априорного распределения $\pi (\eta \mid \lambda )$ , зависящего от гиперпараметра $\lambda$ , эмпирическая байесовская оценка задаётся формулой

\mathbb {E}\left[\left.\sum _{i=1}^{s} \eta _{i} \frac{\partial }{\partial x_{j}} T_{i}(\mathbf{x}) \right\rvert \, \mathbf{x}, \hat{\lambda }\right]=\frac{\partial }{\partial x_{j}} \log m_{\pi }(\mathbf{x} \mid \hat{\lambda }(\mathbf{x}))-\frac{\partial }{\partial x_{j}} \log h(\mathbf{x}).

где $m_{\pi }(\mathbf{x})=\int p_{\theta }(\mathbf{x}) \pi (\theta ) d \theta$ .

(b)

Если X имеет распределение $p_{\theta }(\mathbf{x})$ из (1.5.1), покажите, что справедлива аналогичная формула, а именно

\mathbb {E}\left[\mathcal{T} \eta (\theta ) \mid \hat{\lambda }\right]=\nabla \log m_{\pi }(\mathbf{x} \mid \hat{\lambda })-\nabla \log h(\mathbf{x}),

где $\mathcal{T}=\left\{ \partial T_{i} / \partial x_{j}\right\}$ — якобиан $\mathcal{T}$ , а $\nabla a$ — вектор градиента $a$ , то есть $\nabla a=\left\{ \partial a / \partial x_{i}\right\}$ .

Задача 4.6.8

(a)(b)

Для каждой из следующих ситуаций запишите эмпирическую байесовскую оценку естественного параметра (при квадратичной функции потерь) в виде (6.6.12), используя оценку максимального маргинального правдоподобия гиперпараметра $\lambda$ . Вычислите выражения настолько, насколько это возможно.

?

(a)

$X_{i} \sim N\left(0, \sigma_{i}^{2}\right), i=1, \ldots , p$ , независимы; $1 / \sigma_{i}^{2} \sim \operatorname {Exponential}(\lambda )$ .

(b)

$X_{i} \sim N\left(\theta_{i}, 1\right), \quad i=1, \ldots , p$ , независимы, $\theta_{i} \sim D E(0, \lambda )$ .

Задача 4.6.9

(a)(b)

Strawderman (1992) показывает, что оценку Джеймса—Стейна можно рассматривать как эмпирическую байесовскую оценку в произвольном семействе сдвига. Пусть $\mathbf{X}_{p \times 1} \sim f(x-\theta )$ , где $\mathbb {E}\left[\mathbf{X}\right]=\theta$ и var $\mathbf{X}=\sigma^{2} I$ . Пусть априорное распределение есть $\theta \sim f^{* n}$ — $n$ -кратная свёртка $f$ с самой собой. [Свёртка $f$ с самой собой — это $f^{* 2}(x)=\int f(x-y) f(y) d y$ . $n$ -кратная свёртка — это $f^{* n}(x)=\int f *(n-1)(x)(x-y) f(y) d y$ .] Эквивалентно, пусть $U_{i} \sim f, i=0, \cdots , n$ , независимые одинаково распределённые, $\theta =\sum_{1}^{n} U_{i}$ , и $\mathbf{X}=U_{0}+\theta$ .

?

(a)

Покажите, что байесовское правило при квадратичной функции потерь равно $\frac{n}{n+1} \mathbf{x}$ . Заметим, что $n$ является априорным параметром.

(b)

Покажите, что $|\mathbf{X}|^{2} /\left(p \sigma^{2}\right)$ является несмещённой оценкой $n+1$ , и, следовательно, эмпирическая байесовская оценка $\theta$ задаётся формулой $\delta^{E B}=\left[1-\left(p \sigma^{2} /|\mathbf{x}|^{2}\right)\right] \mathbf{x}$ .

Задача 4.6.10

(a)(b)(c)

Покажите для иерархии из примера 3.4, где $\sigma^{2}$ и $\tau^{2}$ известны, а $\mu$ неизвестно, что:

?

(a)

Эмпирическая байесовская оценка $\theta_{i}$ , основанная на маргинальной MLE-оценке $\theta_{i}$ , равна $\frac{\tau^{2}}{\sigma^{2}+\tau^{2}} X_{i}+ \frac{\sigma^{2}}{\sigma^{2}+\tau^{2}} \bar{X}$ .

(b)

Байесовский риск, при функции потерь в виде суммы квадратов ошибок, эмпирической байесовской оценки из пункта (a) равен

p \sigma ^{2}-\frac{2(p-1)^{2} \sigma ^{4}}{p\left(\sigma ^{2}+\tau ^{2}\right)}+(p-1)\left(\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{2} \sum _{i=1}^{p} \mathbb {E}\left[(X_{i}-\bar{X})^{2}\right].

(c)

Минимальный риск эмпирической байесовской оценки достигается, когда все $\theta_{i}$ равны. [Указание: Покажите, что $\sum_{i=1}^{p} \mathbb {E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\sum_{i=1}^{p}\left(\theta_{i}-\bar{\theta }\right)^{2}+(p-1) \sigma^{2}$ .]

Задача 4.6.11

Для $\mathbb {E}\left[\Theta \mid \mathbf{x}\right]$ из (5.5.8) покажите, что при $v \rightarrow \infty , \mathbb {E}\left[\Theta \mid x\right] \rightarrow \left[p /\left(p+\sigma^{2}\right)\right] \bar{x}$ — байесовской оценке при априорном распределении $N(0,1)$ .

?

Задача 4.6.12

(a)(b)(c)

?

(a)

Покажите, что эмпирическая байесовская оценка $\delta^{E B}(\bar{x})=\left(1-\sigma^{2} / \max \left\{ \sigma^{2}, p \bar{x}^{2}\right\} \right) \bar{x}$ из (6.6.5) имеет ограниченную среднеквадратичную ошибку.

(b)

Покажите, что вариант $\delta^{E B}(\bar{x})$ из пункта (a), $\delta^{v}(\bar{x})=\left[1-\sigma^{2} /\left(v+p \bar{x}^{2}\right)\right] \bar{x}$ , также имеет ограниченную среднеквадратичную ошибку.

(c)

При $\sigma^{2}=\tau^{2}=1$ постройте графики функций риска оценок из пунктов (a) и (b).

[Thompson (1968a, 1968b) исследовал свойства среднеквадратичной ошибки оценок, подобных приведённым в пункте (b). Хотя такие оценки имеют меньшую среднеквадратичную ошибку, чем $\bar{x}$ , при малых значениях $\theta$ , они всегда имеют бо́льшую среднеквадратичную ошибку при бо́льших значениях $\theta$ .]

Задача 4.6.13

(a)(b)

?

(a)

Для иерархии (5.5.7), при $\sigma^{2}=1$ и $p=10$ , вычислите байесовский риск $r\left(\pi , \delta^{\pi }\right)$ байесовской оценки (5.5.8) при $v=2,5$ и 10.

(b)

Вычислите байесовский риск оценки $\delta^{v}$ из задачи 6.12(b). Найдите значение $v$ , дающее хорошее приближение к риску иерархической байесовской оценки. Сравните его с байесовским риском эмпирической байесовской оценки из задачи 6.12(a).

Задача 4.6.14

Обращаясь к примеру 6.6, покажите, что эмпирическая байесовская оценка также является иерархической байесовской оценкой при использовании априорного распределения $\gamma (b)=1 / b$ .

?

Задача 4.6.15

(a)(b)(c)

Аппроксимация оценки (5.5.8) рядом Тейлора выполняется в несколько шагов. Покажите, что:

?

(a)

Используя разложение Тейлора первого порядка в окрестности точки $\bar{x}$ , имеем

\begin{align} \frac{1}{\left(1+\theta ^{2} / v\right)^{(v+1) / 2}}= & \frac{1}{\left(1+\bar{x}^{2} / v\right)^{(v+1) / 2}} \\ & -\frac{v+1}{v} \frac{\bar{x}}{\left(1+\bar{x}^{2} / v\right)^{(v+3) / 2}}(\theta -\bar{x})+R(\theta -\bar{x}) \end{align}

где остаточный член $R(\theta -\bar{x})$ удовлетворяет $R(\theta -\bar{x}) /(\theta -\bar{x})^{2} \rightarrow 0$ при $\theta \rightarrow \bar{x}$ .

(b)

Остаточный член из пункта (a) также удовлетворяет

\int _{-\infty }^{\infty } R(\theta -\bar{x}) e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta =O\left(1 / p^{3 / 2}\right)

(c)

Числитель и знаменатель (5.5.8) можно записать как

\int _{-\infty }^{\infty } \frac{1}{\left(1+\theta ^{2} / \nu \right)^{(\nu +1) / 2}} e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta =\frac{\sqrt{2 \pi \sigma ^{2} / p}}{\left(1+\bar{x}^{2} / \nu \right)^{(\nu +1) / 2}}+O\left(\frac{1}{p^{3 / 2}}\right)

и

\begin{align} \int _{-\infty }^{\infty } & \frac{\theta }{\left(1+\theta ^{2} / v\right)^{(v+1) / 2}} e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta \\ & =\frac{\sqrt{2 \pi \sigma ^{2} / p}}{\left(1+\bar{x}^{2} / v\right)^{(v+1) / 2}}\left[1-\frac{(v+1) / v}{\left(1+\bar{x}^{2} / v\right)}\right] \bar{x}+O\left(\frac{1}{p^{3 / 2}}\right) \end{align}

что даёт (5.6.32).

Задача 4.6.16

(a)(b)

Для ситуации примера 6.7:

?

(a)

Вычислите значения приближения (5.6.32) для значений из таблицы 6.2. Существуют ли ситуации, в которых оценка (5.6.32) явно предпочтительнее эмпирической байесовской оценки (5.6.5) как приближение к иерархической байесовской оценке (5.5.8)?

(b)

Расширьте рассуждение из задачи 6.15, чтобы вычислить следующий член разложения, и тем самым получите более точное приближение к иерархической байесовской оценке (5.5.8). Для значений из таблицы 6.2, предпочтительнее ли это новое приближение к (5.5.8), чем (5.6.5) и (5.6.32)?

Задача 4.6.17

(a)(b)(c)(d)

?

(a)

Покажите, что если $b(\cdot )$ имеет ограниченную вторую производную, то

\int b(\lambda ) e^{-n h(\lambda )} d \lambda =b(\hat{\lambda }) \sqrt{\frac{2 \pi }{n h^{\prime \prime }(\hat{\lambda })}} e^{-n h(\hat{\lambda })}+O\left(\frac{1}{n^{3 / 2}}\right)

где $h(\hat{\lambda })$ — единственный минимум $h(\lambda ), h^{\prime \prime }(\lambda ) \neq 0$ , и $n h(\hat{\lambda }) \rightarrow$ константа при $n \rightarrow \infty$ . [Указание: Разложите $b(\cdot )$ и $h(\cdot )$ в ряд Тейлора в окрестности $\hat{\lambda }$ до членов второго порядка. Затем проведите почленное интегрирование.] Это приближение Лапласа для интеграла. Об уточнениях и других разработках этого приближения в байесовском выводе см. Tierney and Kadane 1986, Tierney, Kass, and Kadane 1989, и Robert 1994a (раздел 9.2.3).

(b)

Для иерархической модели (5.5.1) апостериорное среднее можно приблизить как

\mathbb {E}\left[\Theta \mid x\right]=e^{-n h(\hat{\lambda })}\left[\frac{2 \pi }{n h^{\prime \prime }(\hat{\lambda })}\right]^{1 / 2} \mathbb {E}\left[\Theta \mid x, \hat{\lambda }\right]+O\left(\frac{1}{n^{3 / 2}}\right)

где $h=\frac{1}{n} \log \pi (\lambda \mid x)$ , а $\hat{\lambda }$ — мода $\pi (\lambda \mid x)$ , апостериорного распределения $\lambda$ .

(c)

Если $\pi (\lambda \mid x)$ — нормальное распределение со средним $\hat{\lambda }$ и дисперсией $\sigma^{2}=\left[-\left(\partial^{2} / \partial \lambda^{2}\right) \times \left.\log \pi (\lambda \mid x)\right|_{\lambda =\hat{\lambda }}\right]^{-1}$ , то $\mathbb {E}\left[\Theta \mid x\right]=\mathbb {E}\left[\Theta \mid x, \hat{\lambda }\right]+O\left(1 / n^{3 / 2}\right)$ .

(d)

Покажите, что ситуация из пункта (c) возникает из иерархии

\begin{align} X_{i} \mid \theta _{i} & \sim N\left(\theta _{i}, \sigma ^{2}\right), \\ \theta _{i} \mid \lambda & \sim N\left(\lambda , \tau ^{2}\right), \\ \lambda & \sim \text{ Uniform }(-\infty , \infty ). \end{align}

Задача 4.6.18

(a)(b)

?

(a)

Примените приближение Лапласа (5.6.33), чтобы получить приближение к иерархической байесовской оценке из примера 6.6.

(b)

Сравните приближение из пункта (a) с эмпирической байесовской оценкой (5.6.24). Какое из них лучше приближает иерархическую байесовскую оценку?

Задача 4.6.19

Примените приближение Лапласа (5.6.33) к иерархии из примера 6.7 и покажите, что получаемое приближение к иерархической байесовской оценке задаётся формулой (5.6.32).

?

Задача 4.6.20

(a)(b)(c)

?

(a)

Проверьте (6.6.37) — что при квадратичной функции потерь

r(\pi , \delta )=r\left(\pi , \delta ^{\pi }\right)+\mathbb {E}\left[(\delta -\delta ^{\pi })^{2}\right].

(b)

Для $X \sim \operatorname {binomial}(p, n), L(p, \delta )=(p-\delta )^{2}$ и $\pi =\left\{ \pi : \pi =\operatorname {beta}(a, b), a>0\text{, }b>0\right\}$ , определите, какая оценка более робастна согласно (6.6.37) — $\hat{p}=x / n$ или $\delta^{0}=\left(a_{0}+x\right) /\left(a_{0}+b_{0}+n\right)$ .

(c)

Существует ли оценка вида $(c+x) /(c+d+n)$ , которую вы считали бы более робастной, в смысле (6.6.37), чем каждая из оценок пункта (b)?

[В пункте (b), при фиксированных $n$ и $\left(a_{0}, b_{0}\right)$ , вычислите байесовский риск $\hat{p}$ и $\delta^{0}$ для нескольких пар $(a, b)$ .]

Задача 4.6.21

(a)(b)

?

(a)

Установите (6.6.39) и (6.6.40) для класса априорных распределений, заданного в (6.6.38).

(b)

Покажите, что байесовская оценка, основанная на $\pi (\theta ) \in \pi$ в (6.6.38), при квадратичной функции потерь задаётся формулой (6.6.41).

Эмпирический байесовский подход