Глава 4

Оптимальность по среднему риску

[116/0%]

Показать

LaTeX

Показать LaTeX

Содержание

4.1 · Введение

4.2 · Первые примеры

4.3 · Байесовский подход с единственным априорным распределением

4.4 · Эквивариантные байесовские оценки

4.5 · Иерархический байесовский подход

4.6 · Эмпирический байесовский подход

4.7 · Сравнение рисков

4.1 · Введение[12/0%]

Задача 4.1.1

Проверьте выражения для $\pi (\lambda \mid \bar{x})$ и $\delta^{k}(\bar{x})$ в Примере 1.3.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.2

(a)(b)(c)(d)

Приведите примеры пар значений $(a, b)$ , для которых бета-плотность $B(a, b)$ является

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

убывающей,

(b)

возрастающей,

(c)

возрастающей при $p<p_{0}$ и убывающей при $p>p_{0}$ , и

(d)

убывающей при $p<p_{0}$ и возрастающей при $p>p_{0}$ .

Задача 4.1.3

В Примере 1.5, если $p$ имеет несобственную априорную плотность $\frac{1}{p(1-p)}$ , покажите, что апостериорная плотность $p$ при заданном $x$ является собственной, при условии $0<x<n$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.4

В Примере 1.5 найдите априорное распределение Джеффриса для $p$ и соответствующую байесовскую оценку $\delta_{\Lambda }$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.5

(a)(b)

Для оценки $\delta_{\Lambda }$ из Задачи 1.4,

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

вычислите смещение и максимальное смещение;

(b)

вычислите ожидаемую квадратичную ошибку и сравните её с ожидаемой квадратичной ошибкой UMVU-оценки.

Задача 4.1.6

В Примере 1.5 найдите байесовскую оценку $\delta$ параметра $p(1-p)$ , когда $p$ имеет априорное распределение $B(a, b)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.7

(a)(b)

Для ситуации Примера 1.5 UMVU-оценка $p(1-p)$ равна $\delta^{\prime }=[x(x- 1)] /[n(n-1)]$ (см. Пример 2.3.1 и Задачу 2.3.1).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Сравните оценку $\delta$ из Задачи 1.6 с UMVU-оценкой $\delta^{\prime }$ .

(b)

Сравните ожидаемую квадратичную ошибку оценки $p(1-p)$ для априорного распределения Джеффриса в Примере 1.5 с ожидаемой квадратичной ошибкой $\delta^{\prime }$ .

Задача 4.1.8

По аналогии с Задачей 1.2 определите возможные формы гамма-плотности $\Gamma (g, 1 / \alpha ), \alpha , g>0$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.9

(a)(b)

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые согласно распределению Пуассона $P(\lambda )$ , и пусть $\lambda$ имеет гамма-распределение $\Gamma (g, \alpha )$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для квадратичной функции потерь покажите, что байесовская оценка $\delta_{\alpha , g}$ параметра $\lambda$ имеет представление, аналогичное (1.1.13).

(b)

Что происходит с $\delta_{\alpha , g}$ , если (i) $n \rightarrow \infty$ , (ii) $\alpha \rightarrow \infty , g \rightarrow 0$ , или оба одновременно?

Задача 4.1.10

Для ситуации предыдущей задачи решите два пункта, соответствующие пунктам (a) и (b) Задачи 1.5.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.11

В Задаче 1.9, если $\lambda$ имеет несобственную априорную плотность $d \lambda / \lambda$ (соответствующую $\alpha =g=$ 0), при каких условиях апостериорное распределение является собственным?

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.1.12

(a)(b)

Решите задачи, аналогичные Задачам 1.9 и 1.10, когда наблюдения состоят из одной случайной величины $X$ , имеющей отрицательное биномиальное распределение $N b(p, m)$ , $p$ имеет бета-априорное распределение $B(a, b)$ , а оцениваемым параметром является

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$p$ , и

(b)

$1 / p$ .

4.2 · Первые примеры[16/0%]

Задача 4.2.1

(a)(b)

Обращаясь к Примеру 1.5, предположим, что $X$ имеет биномиальное распределение $b(p, n)$ , а семейство априорных распределений для $p$ является семейством бета-распределений $B(a, b)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что маргинальное распределение $X$ является бета-биномиальным распределением с функцией вероятности

\binom {n}{x} \frac{\Gamma (a+b)}{\Gamma (a) \Gamma (b)} \frac{\Gamma (x+a) \Gamma (n-x+b)}{\Gamma (n+a+b)}.

(b)

Покажите, что среднее и дисперсия бета-биномиального распределения задаются формулами

\mathbb {E}\left[X\right]=\frac{n a}{a+b} \quad \text{ и } \quad \text{ var } X=n\left(\frac{a}{a+b}\right)\left(\frac{b}{a+b}\right)\left(\frac{a+b+n}{a+b+1}\right).

[Указание: Для пункта (b) полезны тождества $\mathbb {E}\left[X\right]=E[\mathbb {E}\left[X \mid p\right]]$ и $\operatorname {var} X=\operatorname {var}[\mathbb {E}\left[X \mid p\right]]+ E[\operatorname {var}(X \mid p)]$ .]

Задача 4.2.2

(a)(b)(c)

Для ситуации Примера 2.1, Lindley и Phillips (1976) приводят подробное описание влияния правил остановки, которое мы можем проиллюстрировать следующим образом. Пусть $X$ — число успехов в $n$ испытаниях Бернулли с вероятностью успеха $p$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Предположим, что число проведённых испытаний Бернулли является заранее заданным числом $n$ , так что мы имеем биномиальную модель выборки, $\mathbb {P}\left(X=x\right)=\binom {n}{x} p^{x}(1-p)^{n-x}$ , $x=0,1, \ldots , n$ . Вычислите байесовский риск байесовской оценки (1.1.12) и UMVU-оценки $p$ .

(b)

Предположим, что число проведённых испытаний Бернулли является случайной величиной $N$ . Значение $N=n$ было получено, когда было замечено заранее заданное число $x$ успехов, так что мы имеем модель отрицательной биномиальной выборки, $\mathbb {P}\left(N=n\right)=\binom {n-1}{x-1} p^{x}(1- p)^{n-x}$ , $n=x$ . Вычислите байесовский риск байесовской оценки и UMVU-оценки $p$ .

(c)

Вычислите среднеквадратичные ошибки всех трёх оценок для каждой модели. Если неизвестно, какой механизм выборки породил данные, какую оценку вы предпочтёте в целом?

Задача 4.2.3

(a)(b)(c)

Покажите, что оценка (2.2.4) сходится по вероятности

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

к $\theta$ при $n \rightarrow \infty$ ,

(b)

к $\mu$ при $b \rightarrow 0$ , и

(c)

к $\theta$ при $b \rightarrow \infty$ .

Задача 4.2.4

(a)(b)(c)

Bickel и Mallows (1988) более подробно исследуют связь между несмещённостью и байесовским подходом, указывая условия, при которых эти свойства не могут выполняться одновременно. Кроме того, они показывают, что если априорное распределение несобственно, то апостериорное среднее может быть несмещённым. Пусть $X \sim \frac{1}{\theta } f(x / \theta ), x>0$ , где $\int_{0}^{\infty } t f(t) d t=1$ , и пусть $\pi (\theta )=\frac{1}{\theta^{2}} d \theta$ , $\theta >0$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $\mathbb {E}\left[X \mid \theta \right]=\theta$ , так что $X$ несмещена.

(b)

Покажите, что $\pi (\theta \mid x)=\frac{x^{2}}{\theta^{3}} f(x / \theta )$ является собственной плотностью.

(c)

Покажите, что $\mathbb {E}\left[\theta \mid x\right]=x$ , и, следовательно, апостериорное среднее несмещено.

Задача 4.2.5

DasGupta (1994) приводит тождество, связывающее байесовский риск со смещением, которое иллюстрирует, что небольшое смещение может помочь достичь малого байесовского риска. Пусть $X \sim f(x \mid \theta )$ и $\theta \sim \pi (\theta )$ . Байесовская оценка при квадратичной функции потерь равна $\delta^{\pi }=\mathbb {E}\left[\theta \mid x\right]$ . Покажите, что байесовский риск $\delta^{\pi }$ может быть записан как

r\left(\pi , \delta ^{\pi }\right)=\int _{\Theta } \int _{\mathcal{X}}\left[\theta -\delta ^{\pi }(x)\right]^{2} f(x \mid \theta ) \pi (\theta ) d x d \theta =\int _{\Theta } \theta b(\theta ) \pi (\theta ) d \theta

где $b(\theta )=\mathbb {E}\left[\delta^{\pi }(X) \mid \theta \right]-\theta$ — смещение $\delta^{\pi }$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.6

Проверьте оценку (2.2.10).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.7

В Примере 2.6 проверьте, что апостериорное распределение $\tau$ есть $\Gamma (r+g-1 / 2,1 /(\alpha +z))$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.8

В Примере 2.6 при $\alpha =g=0$ покажите, что апостериорное распределение $\sqrt{n}(\theta -\bar{X}) / \sqrt{Z /(n-1)}$ при заданных $X$ является $t$ -распределением Стьюдента с $n-1$ степенями свободы.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.9

В Примере 2.6 покажите, что апостериорное распределение $\theta$ симметрично относительно $\bar{x}$ , когда совместное априорное распределение $\theta$ и $\sigma$ имеет вид $h(\sigma ) d \sigma d \theta$ , где $h$ — произвольная плотность вероятности на $(0, \infty )$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.10

Rukhin (1978) исследует ситуацию, когда байесовская оценка одна и та же для каждой функции потерь из некоторого множества функций потерь, называя такие оценки универсальными байесовскими оценками. Для случая Примера 2.6, используя априорное распределение вида, указанного в Задаче 2.9, покажите, что $\bar{X}$ является байесовской оценкой при любой чётной функции потерь.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.11

(a)(b)

Пусть $X$ и $Y$ независимо распределены согласно распределениям $P_{\xi }$ и $Q_{\eta }$ соответственно. Предположим, что $\xi$ и $\eta$ являются вещественнозначными и независимы согласно некоторым априорным распределениям $\Lambda$ и $\Lambda^{\prime }$ . Если при квадратичной функции потерь $\delta_{\Lambda }$ — байесовская оценка $\xi$ на основе $X$ , а $\delta_{\Lambda^{\prime }}^{\prime }$ — байесовская оценка $\eta$ на основе $Y$ ,

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

покажите, что $\delta_{\Lambda^{\prime }}^{\prime }-\delta_{\Lambda }$ является байесовской оценкой $\eta -\xi$ на основе $(X, Y)$ ;

(b)

если $\eta >0$ и $\delta_{\Lambda^{\prime }}^{*}$ — байесовская оценка $1 / \eta$ на основе $Y$ , покажите, что $\delta_{\Lambda } \cdot \delta_{\Lambda^{\prime }}^{*}$ является байесовской оценкой $\xi / \eta$ на основе $(X, Y)$ .

Задача 4.2.12

Для плотности (2.2.13) и несобственного априорного распределения $(d \sigma / \sigma ) \cdot \left(d \sigma_{A} / \sigma_{A}\right)$ покажите, что апостериорное распределение $\left(\sigma , \sigma_{A}\right)$ остаётся несобственным.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.13

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

В Примере 2.7 получите априорное распределение Джеффриса для $(\sigma , \tau )$ .

(b)

Покажите, что для априорного распределения из пункта (a) апостериорное распределение $(\sigma , \tau )$ является собственным.

Задача 4.2.14

Проверьте байесовскую оценку (2.2.14).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.2.15

(a)(b)(c)

Пусть $X \sim N(\theta , 1)$ и $L(\theta , \delta )=(\theta -\delta )^{2}$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $X$ является пределом байесовских оценок $\delta^{\pi_{n}}$ , где $\pi_{n}$ есть $N(0,1)$ . Следовательно, $X$ является одновременно обобщённой байесовской оценкой и пределом байесовских оценок.

(b)

Для априорной меры $\pi (\theta )=e^{a \theta }, a>0$ , покажите, что обобщённая байесовская оценка равна $X+a$ .

(c)

Для $a>0$ покажите, что не существует последовательности собственных априорных распределений, для которой $\delta^{\pi_{n}} \rightarrow X+a$ .

Этот пример принадлежит Farrell; см. Kiefer 1966. Heath и Sudderth (1989), опираясь на работу Stone (1976), показали, что выводы из этой модели некогерентны, и установили, когда обобщённые байесовские оценки приводят к когерентным (то есть непротиворечивым) выводам. Их работа связана с теорией «аппроксимируемости собственными априорными распределениями», развитой Stein (1965) и Stone (1965, 1970, 1976), которая показывает, когда обобщённые байесовские оценки можно рассматривать как байесовские оценки.

Задача 4.2.16

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для ситуации Примера 2.8 проверьте, что $\delta (x)=x / n$ является обобщённой байесовской оценкой.

(b)

Если $X \sim N(0,1)$ и $L(\theta , \delta )=(\theta -\delta )^{2}$ , покажите, что $X$ является обобщённой байесовской оценкой при несобственном априорном распределении $\pi (\theta )=1$ .

4.3 · Байесовский подход с единственным априорным распределением[12/0%]

Задача 4.3.1

(a)(b)

Для ситуации Примера 3.1:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Проверьте, что байесовская оценка зависит от данных только через $Y=\max_{i} X_{i}$ .

(b)

Покажите, что $\mathbb {E}\left[\Theta \mid y, a, b\right]$ можно выразить как

\mathbb {E}\left[\Theta \mid y, a, b\right]=\frac{1}{b(n+a-1)} \frac{P\left(\chi _{2(n+a-1)}^{2}<2 / b y\right)}{P\left(\chi _{2(n+a)}^{2}<2 / b y\right)}

где $\chi_{v}^{2}$ — случайная величина, имеющая распределение хи-квадрат с $v$ степенями свободы. (В таком виде оценку особенно легко вычислить, поскольку многие компьютерные пакеты имеют встроенное распределение хи-квадрат.)

Задача 4.3.2

(a)(b)(c)

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые из $\operatorname {Gamma}(a, b)$ , где $a$ известно.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Проверьте, что сопряжённое априорное распределение для естественного параметра $\eta =-1 / b$ эквивалентно обратному гамма-распределению для $b$ .

(b)

Используя априорное распределение из пункта (a), найдите байесовскую оценку при функциях потерь (i) $L(b, \delta )= (b-\delta )^{2}$ и (ii) $L(b, \delta )=(1-\delta / b)^{2}$ .

(c)

Выразите оценку из пункта (b)(i) в виде (3.3.9). Можно ли сделать то же самое для оценки из пункта (b)(ii)?

Задача 4.3.3

(a)(b)

Следствие 3.3 утверждает: если $X=(X_{1}, \ldots , X_{p})$ имеет плотность $p_{\eta }(x)=e^{\sum_{i=1}^{p} \eta_{i} x_{i}-A(\eta )} h(x)$ , а $\eta$ имеет априорную плотность $\pi (\eta )$ , то байесовская оценка $\eta$ при функции потерь $L(\eta , \delta )=\sum (\eta_{i}-\delta_{i})^{2}$ задаётся формулой

\mathbb {E}\left[\eta _{i} \mid x\right]=\frac{\partial }{\partial x_{i}} \log m(x)-\frac{\partial }{\partial x_{i}} \log h(x).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Докажите Следствие 3.3.

(b)

Проверьте вычисление байесовской оценки в Примере 3.4.

Задача 4.3.4

Используя тождество Стейна (Лемма 1.5.15), покажите, что если $X_{i} \sim p_{\eta_{i}}(x)$ из (3.3.7), то

\begin{align} \mathbb {E}_{\eta }\left[-\nabla \log h(\mathbf{X})\right] & =\boldsymbol {\eta }, \\ R(\boldsymbol {\eta },-\nabla \log h(\mathbf{X})) & =\sum _{i=1}^{p} \mathbb {E}_{\eta }\left[-\frac{\partial ^{2}}{\partial X_{i}^{2}} \log h(\mathbf{X})\right]. \end{align}

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.3.5

(a)(b)(c)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Если $X_{i} \sim \operatorname {Gamma}(a, b), i=1, \ldots , p$ , независимы, с известным $a$ , вычислите $-\nabla \log h(\mathbf{x})$ и его математическое ожидание.

(b)

Примените результаты пункта (a) к ситуации, когда $X_{i} \sim N\left(0, \sigma_{i}^{2}\right), i=1, \ldots , p$ , независимы. Приводит ли это к несмещённой оценке $\sigma_{i}^{2}$ ? [Замечание: Для пункта (b) квадратичная функция потерь для естественного параметра $1 / \sigma^{2}$ приводит к функции потерь $L\left(\sigma^{2}, \delta \right)=\left(\sigma^{2} \delta -1\right)^{2} / \sigma^{4}$ для оценивания $\sigma^{2}$ .]

(c)

Если

X_{i} \sim \frac{\tan \left(a_{i} \pi \right)}{\pi } x^{a_{i}}(1-x)^{-1}, 0<x<1, \quad i=1, \ldots , p, \text{ независимы, }

вычислите $-\nabla \log h(\mathbf{X})$ и покажите, что это несмещённая оценка $\mathbf{a}=\left(a_{1}, \ldots , a_{p}\right)$ .

Задача 4.3.6

(a)(b)(c)

Для ситуации Примера 3.6:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что если $\delta$ — байесовская оценка $\theta$ , то $\delta^{\prime }=\delta / \sigma^{2}$ является байесовской оценкой $\eta$ , и, следовательно, $R(\theta , \delta )=\sigma^{4} R\left(\eta , \delta^{\prime }\right)$ .

(b)

Покажите, что риск байесовской оценки $\eta$ задаётся формулой

\frac{p \tau ^{4}}{\sigma ^{2}\left(\sigma ^{2}+\tau ^{2}\right)^{2}}+\left(\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{2} \sum a_{i}^{2}

где $a_{i}=\eta_{i}-\mu / \sigma^{2}$ .

(c)

Если $\Sigma a_{i}^{2}=k$ — фиксированная константа, то минимальный риск достигается при $\eta_{i}=\mu / \sigma^{2}+\sqrt{k / p}$ .

Задача 4.3.7

Если $\mathbf{X}$ имеет распределение $p_{\theta }(\mathbf{x})$ из (1.5.1), покажите, что, аналогично Теореме 3.2, $\mathbb {E}\left[\mathcal{T} \boldsymbol {\eta }(\theta )\right]= \nabla \log m_{\pi }(\mathbf{x})-\nabla \log h(\mathbf{x})$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.3.8

(a)(b)(c)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Используя тождество Стейна (Лемма 1.5.15), покажите, что если $X_{i} \sim p_{\eta_{i}}(x)$ из (3.3.18), то

\mathbb {E}_{\eta }\left[-\nabla \log h(\mathbf{X})\right]=\sum _{i} \eta _{i} \mathbb {E}_{\eta }\left[\frac{\partial }{\partial X_{j}} T_{i}(\mathbf{X})\right].

(b)

Если $X_{i}$ — независимые одинаково распределённые из гамма-распределения $\operatorname {Gamma}(a, b)$ , где параметр формы $a$ известен, используя пункт (a), найдите несмещённую оценку $1 / b$ .

(c)

Если $X_{i}$ — независимые одинаково распределённые из бета-распределения $(a, b)$ , можно ли использовать тождество из пункта (a) для получения несмещённой оценки $a$ , когда $b$ известно, или несмещённой оценки $b$ , когда $a$ известно?

Задача 4.3.9

(a)(b)

Для естественного экспоненциального семейства $p_{\eta }(x)$ из (3.3.7) и сопряжённого априорного распределения $\pi (\eta \mid k, \mu )$ из (3.3.19) докажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$\mathbb {E}\left[X\right]=A^{\prime }(\eta )$ и var $X=A^{\prime \prime }(\eta )$ , где математическое ожидание берётся относительно выборочной плотности $p_{\eta }(x)$ .

(b)

$\mathbb {E}\left[A^{\prime }(\eta )\right]=\mu$ и $\operatorname {var}[A(\eta )]=(1 / k) \mathbb {E}\left[A^{\prime \prime }(\eta )\right]$ , где математическое ожидание берётся относительно априорного распределения.

[Результаты пункта (b) позволяют рассматривать $\mu$ как априорное среднее, а $k$ — как объём априорной выборки.]

Задача 4.3.10

(a)(b)(c)

Для каждой из следующих ситуаций запишите плотность в виде (3.7) и укажите естественный параметр. Найдите байесовскую оценку $A^{\prime }(\eta )$ при квадратичной функции потерь и сопряжённом априорном распределении. Выразите ответ через исходные параметры.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$X \sim$ биномиальное $(p, n)$ ,

(b)

$X \sim$ Пуассона $(\lambda )$ , и

(c)

$X \sim \operatorname {Gamma}(a, b)$ , $a$ известно.

Задача 4.3.11

Для ситуации задачи 3.9, если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые как $p_{\eta }(x)$ , а априорное распределение — сопряжённое $\pi (\eta \mid k, \mu )$ , то апостериорное распределение равно $\pi \left(\eta \mid k+n, \frac{k \mu +n \bar{x}}{k+n}\right)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.3.12

(a)(b)(c)

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые из однопараметрического экспоненциального семейства, то байесовская оценка среднего при квадратичной функции потерь с использованием сопряжённого априорного распределения имеет вид $a \bar{X}+b$ для некоторых констант $a$ и $b$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Если $\mathbb {E}\left[X_{i}\right]=\mu$ и var $X_{i}=\sigma^{2}$ , то независимо от распределения $X_{i}$ среднеквадратичная ошибка равна

E[(a \bar{X}+b)-\mu ]^{2}=a^{2} \text{ var } \bar{X}+[(a-1) \mu +b]^{2}.

(b)

Если $\mu$ не ограничено, то никакая оценка вида $a \bar{X}+b$ не может иметь конечную среднеквадратичную ошибку при $a \neq 1$ .

(c)

Может ли байесовская оценка с сопряжённым априорным распределением в экспоненциальном семействе иметь конечную среднеквадратичную ошибку?

Примечание.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Эта задача показывает, почему байесовские оценки с сопряжённым априорным распределением считаются «неробастными».

4.4 · Эквивариантные байесовские оценки[14/0%]

Задача 4.4.1

(a)(b)

Для ситуации примера 4.2:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что байесовское правило при априорном распределении бета $(\alpha , \alpha )$ эквивариантно.

(b)

Покажите, что байесовское правило при любом априорном распределении, симметричном относительно $1 / 2$ , эквивариантно.

Задача 4.4.2

Байесовская оценка $\eta$ в примере 4.7 задаётся формулой (4.22).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.3

Байесовская оценка $\tau$ в примере 4.5 задаётся формулой (4.22).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.4

Байесовские оценки $\eta$ и $\tau$ в примере 4.9 задаются формулами (4.31) и (4.32). (Вспомните следствие 1.2.)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.5

(a)(b)(c)

Для каждой из следующих ситуаций найдите группу $G$ , оставляющую модель инвариантной, и определите лево- и право-инвариантные меры на $G$ . Совместная плотность $\mathbf{X}= \left(X_{1}, \ldots , X_{n}\right)$ и $\mathbf{Y}=\left(Y_{1}, \ldots , Y_{n}\right)$ и оцениваемый параметр таковы:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$f(\mathbf{x}-\eta , \mathbf{y}-\zeta )$ , оцениваемый параметр $\eta -\zeta$ ;

(b)

$f\left(\frac{\mathbf{x}-\eta }{\sigma }, \frac{\mathbf{y}-\zeta }{\tau }\right)$ , оцениваемый параметр $\tau / \sigma$ ;

(c)

$f\left(\frac{\mathbf{x}-\eta }{\tau }, /, \frac{\mathbf{y}-\zeta }{\tau }\right), \tau$ неизвестно; оцениваемый параметр $\eta -\zeta$ .

Задача 4.4.6

Для каждой из ситуаций задачи 4.5 найдите MRE-оценку, если функция потерь — квадратичная ошибка с масштабированием, обеспечивающим её инвариантность.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.7

(a)(b)

Для каждой из ситуаций задачи 4.5:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Найдите меру на $\Omega$ , индуцированную право-инвариантной мерой Хаара на $\bar{G}$ ;

(b)

Найдите байесовскую оценку относительно меры, найденной в пункте (a), и покажите, что она совпадает с MRE-оценкой.

Задача 4.4.8

В примере 4.9 покажите, что оценка

\hat{\tau }(\mathbf{x})=\frac{\iint \frac{1}{v^{r}} f\left(\frac{x_{1}-u}{v}, \ldots , \frac{x_{n}-u}{v}\right) d v d u}{\iint \frac{1}{v^{r+1}} f\left(\frac{x_{1}-u}{v}, \ldots , \frac{x_{n}-u}{v}\right) d v d u}

эквивариантна относительно изменений масштаба, то есть удовлетворяет $\bar{\tau }(c \mathbf{x})=c \hat{\tau }(\mathbf{x})$ для всех значений $r$ , при которых интегралы в $\hat{\tau }(\mathbf{x})$ существуют.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.9

Если $\Lambda$ — лево-инвариантная мера на $G$ , покажите, что $\Lambda^{*}$ , определённая как $\Lambda^{*}(B)=\Lambda \left(B^{-1}\right)$ , право-инвариантна, где $B^{-1}=\left\{ g^{-1}: g \in B\right\}$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.10

(a)(b)(c)

Между мерами Хаара и априорными распределениями Джеффриса в случаях сдвига и масштаба существует соответствие.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что в случае параметра сдвига априорное распределение Джеффриса совпадает с инвариантной мерой Хаара.

(b)

Покажите, что в случае параметра масштаба априорное распределение Джеффриса совпадает с инвариантной мерой Хаара.

(c)

Покажите, что в случае сдвига-масштаба априорное распределение Джеффриса совпадает с лево-инвариантной мерой Хаара.

[Пункт c) вызывает определённое беспокойство, поскольку, как отмечено в разделе 4.4 (см. обсуждение после примера 4.9), наилучшее эквивариантное правило является байесовским относительно право-инвариантной меры Хаара (если она существует).]

Задача 4.4.11

Для модели (3.3.23) найдите меру $\nu$ на плоскости $(\xi , \tau )$ , остающуюся инвариантной относительно преобразований (3.3.24). Следующие три задачи содержат более формальное изложение лево- и право-инвариантных мер Хаара.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.12

(a)(b)

Мера $\Lambda$ на группе $G$ называется право-инвариантной, если она удовлетворяет $\Lambda (B g)=\Lambda (B)$ , и лево-инвариантной, если она удовлетворяет $\Lambda (g B)=\Lambda (B)$ . Заметим, что если $G$ коммутативна, оба определения совпадают.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Если элементы $g \in G$ — вещественные числа $(-\infty <g<\infty )$ , а групповая операция задаётся как $g_{2} \cdot g_{1}=g_{1}+g_{2}$ , то мера $\nu$ , определённая как $\nu (B)=\int_{B} d x$ (т.е. мера Лебега), является как лево-, так и право-инвариантной.

(b)

Если элементы $g \in G$ — положительные вещественные числа, а композиция $g_{2}$ и $g_{1}$ — это произведение этих двух чисел, то мера $\nu$ , определённая как $\nu (B)=\int_{B}(1 / y) d y$ , является как лево-, так и право-инвариантной.

Задача 4.4.13

Если элементы $g \in G$ — пары вещественных чисел $(a, b)$ , $b>0$ , соответствующие преобразованиям $g x=a+b x$ , то групповая операция по (1.4.8) имеет вид

\left(a_{2}, b_{2}\right) \cdot \left(a_{1}, b_{1}\right)=\left(a_{2}+a_{1} b_{2}, b_{1} b_{2}\right).

Из мер, определённых как

\nu (B)=\iint _{B} \frac{1}{y} d x d y \quad \text{ и } \quad \nu (B)=\iint _{B} \frac{1}{y^{2}} d x d y

первая право-, но не лево-инвариантна, а вторая лево-, но не право-инвариантна.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.4.14

Четыре плотности, определяющие меры $v$ в задачах 4.12 и $4.13(d x,(1 / y) d y$ , $(1 / y) d x d y,\left(1 / y^{2}\right) d x d y$ ), являются единственными плотностями (с точностью до мультипликативных констант), для которых $v$ обладает указанными свойствами инвариантности в ситуациях этих задач.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

4.5 · Иерархический байесовский подход[21/0%]

Задача 4.5.1

Для модели (3.3.1) пусть $\pi (\theta \mid x, \lambda )$ — байесовское апостериорное распределение при фиксированном априорном распределении, а $\pi (\theta \mid x)$ — иерархическое байесовское апостериорное распределение. Покажите, что $\pi (\theta \mid x)=\int \pi (\theta \mid x, \lambda ) \cdot \pi (\lambda \mid x) d \lambda$ , где $\pi (\lambda \mid x)=\int f(x \mid \theta ) \pi (\theta \mid \lambda ) \gamma (\lambda ) d \theta / \iint f(x \mid \theta ) \pi (\theta \mid \lambda ) \gamma (\lambda ) d \theta d \lambda$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.5.2

(a)(b)

Для ситуации задачи 5.1 покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$\mathbb {E}\left[\theta \mid x\right]=E[\mathbb {E}\left[\theta \mid x, \lambda \right]]$ ;

(b)

$\operatorname {var}(\theta \mid x)=E[\operatorname {var}(\theta \mid x, \lambda )]+\operatorname {var}[\mathbb {E}\left[\theta \mid x, \lambda \right]]$ ;

и, следовательно, что $\pi (\theta \mid x)$ будет, как правило, иметь бо́льшую дисперсию, чем $\pi \left(\theta \mid x, \lambda_{0}\right)$ .

Задача 4.5.3

(a)(b)

Для модели (3.3.3) покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Маргинальное априорное распределение $\theta$ , безусловное относительно $\tau^{2}$ , задаётся формулой

\pi (\theta )=\frac{\Gamma \left(a+\frac{1}{2}\right)}{\sqrt{2 \pi } \Gamma (a) b^{a}} \frac{1}{\left(\frac{1}{b}+\frac{\theta ^{2}}{2}\right)^{a+1 / 2}},

которое при $a=v / 2$ и $b=2 / v$ является $t$ -распределением Стьюдента с $v$ степенями свободы.

(b)

Маргинальное апостериорное распределение $\tau^{2}$ задаётся формулой

\pi \left(\tau ^{2} \mid \bar{x}\right)=\frac{\left[\frac{\sigma ^{2} \tau ^{2}}{\sigma ^{2}+\tau ^{2}}\right]^{1 / 2} e^{-\frac{1}{2} \frac{\bar{x}^{2}}{\sigma ^{2}+\tau ^{2}}} \frac{1}{\left(\tau ^{2}\right)^{a+3 / 2}} e^{-1 / b \tau ^{2}}}{\int _{0}^{\infty }\left[\frac{\sigma ^{2} \tau ^{2}}{\sigma ^{2}+\tau ^{2}}\right]^{1 / 2} e^{-\frac{1}{2} \frac{\bar{x}^{2}}{\sigma ^{2}+\tau ^{2}}} \frac{1}{\left(\tau ^{2}\right)^{a+3 / 2}} e^{-1 / b \tau ^{2}} d \tau ^{2}}

Задача 4.5.4

(a)(b)(c)

Albert and Gupta (1985) исследуют теорию и приложения иерархической модели

\begin{align} X_{i} \mid \theta _{i} & \sim b\left(\theta _{i}, n\right), \quad i=1, \ldots , p, \text{ независимы, } \\ \theta _{i} \mid \eta & \sim \operatorname {beta}[k \eta , k(1-\eta )], k \text{ известно, } \\ \eta & \sim \operatorname {Uniform}(0,1). \end{align}

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что

\begin{align} \mathbb {E}\left[\theta _{i} \mid \mathbf{x}\right] & =\left(\frac{n}{n+k}\right)\left(\frac{x_{i}}{n}\right)+\left(\frac{k}{n+k}\right) \mathbb {E}\left[\eta \mid \mathbf{x}\right], \\ \operatorname {var}\left(\theta _{i} \mid \mathbf{x}\right) & =\frac{k^{2}}{(n+k)(n+k+1)} \operatorname {var}(\eta \mid \mathbf{x}). \end{align}

[Заметим, что $\mathbb {E}\left[\eta \mid \mathbf{x}\right]$ и $\operatorname {var}(\eta \mid \mathbf{x})$ не выражаются в простом виде.]

(b)

Безусловно по $\eta$ , величины $\theta_{i}$ имеют условную ковариацию

\operatorname {cov}\left(\theta _{i}, \theta _{j} \mid \mathbf{x}\right)=\left(\frac{k}{n+k}\right)^{2} \operatorname {var}(\eta \mid \mathbf{x}), \quad i \neq j.

(c)

Игнорируя априорное распределение $\eta$ , покажите, как построить эмпирическую байесовскую оценку $\theta_{i}$ . (Опять же, она не выражается в простом виде.)

[Albert and Gupta (1985) на самом деле рассматривают более общую модель, чем приведённая здесь, и показывают, как приближённо получить байесовское решение. Они применяют свою модель к задаче об отсутствии ответов при почтовых опросах.]

Задача 4.5.5

(a)(b)(c)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

По аналогии с задачей 1.7.9 докажите, что для любых случайных величин $X, Y$ и $Z$ ,

\operatorname {cov}(X, Y)=E[\operatorname {cov}(X, Y) \mid Z]+\operatorname {cov}[\mathbb {E}\left[X \mid Z\right], \mathbb {E}\left[Y \mid Z\right]].

(b)

Для иерархии

\begin{align} X_{i} \mid \theta _{i} & \sim f\left(x \mid \theta _{i}\right), \quad i=1, \ldots , p, \text{ независимы }, \\ \Theta _{i} \mid \lambda & \sim \pi \left(\theta _{i} \mid \lambda \right), \quad i=1, \ldots , p, \text{ независимы }, \\ \Lambda & \sim \gamma (\lambda ), \end{align}

покажите, что $\operatorname {cov}\left(\Theta_{i}, \Theta_{j} \mid \mathbf{x}\right)=\operatorname {cov}\left[\mathbb {E}\left[\Theta_{i} \mid \mathbf{x}, \lambda \right], \mathbb {E}\left[\Theta_{j} \mid \mathbf{x}, \lambda \right]\right]$ .

(c)

Если $\mathbb {E}\left[\Theta_{i} \mid \mathbf{x}, \lambda \right]=g\left(x_{i}\right)+h(\lambda ), i=1, \ldots , p$ , где $g(\cdot )$ и $h(\cdot )$ известны, то

\operatorname {cov}\left(\Theta _{i}, \Theta _{j} \mid \mathbf{x}\right)=\operatorname {var}\left[\mathbb {E}\left[\Theta _{i} \mid \mathbf{x}, \lambda \right]\right].

[Пункт (c) указывает на определённое ограничение применимости некоторых иерархических моделей, а именно на то, что они влекут положительную корреляционную структуру в апостериорном распределении.]

Задача 4.5.6

Модель однофакторных случайных эффектов из примера 2.7 (см. также примеры 3.5.1 и 3.5.5) можно записать в виде иерархической модели

\begin{align} X_{i j} \mid \mu , \alpha _{i} & \sim N\left(\mu +\alpha _{i}, \sigma ^{2}\right), \quad j=1, \ldots , n, \quad i=1, \ldots , s, \\ \alpha _{i} & \sim N\left(0, \sigma _{A}^{2}\right), \quad i=1, \ldots , s. \end{align}

Если, кроме того, положить $\mu \sim$ равномерное $(-\infty , \infty )$ , покажите, что байесовская оценка $\mu +\alpha_{i}$ при квадратичной функции потерь задаётся формулой (3.5.13) — UMVU-предиктором $\mu +\alpha_{i}$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.5.7

(a)(b)

Обращаясь к примеру 6.6:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Используя априорное распределение для $\gamma (b)$ , заданное в (5.6.27), покажите, что мода апостериорного распределения $\pi (b \mid \mathbf{x})$ равна $\hat{b}=(p \bar{x}+\alpha -1) /(p a+\beta -1)$ , и, следовательно, эмпирическая байесовская оценка, основанная на этом $\hat{b}$ , не совпадает с иерархической байесовской оценкой (5.6.29).

(b)

Покажите, что если оценивать $b /(b+1)$ с помощью его апостериорного математического ожидания $E[b /(b+1) \mid \mathbf{x}]$ , то получаемая эмпирическая байесовская оценка совпадает с иерархической байесовской оценкой.

Задача 4.5.8

(a)(b)(c)(d)

Метод интегрирования Монте-Карло позволяет вычислять (возможно, сложные) интегралы с помощью (возможно, простой) генерации случайных величин.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Чтобы вычислить $\int h(x) f_{X}(x) d x$ , сгенерируйте выборку $X_{1}, \ldots , X_{m}$ , независимую одинаково распределённую, из $f_{X}(x)$ . Тогда $1 / m \sum_{i=1}^{m} h\left(x_{i}\right) \rightarrow \int h(x) f_{X}(x) d x$ при $m \rightarrow \infty$ .

(b)

Если трудно сгенерировать случайную величину из $f_{X}(x)$ , то сгенерируйте пары случайных величин

\begin{align} Y_{i} & \sim f_{Y}(y), \\ X_{i} & \sim f_{X \mid Y}\left(x \mid y_{i}\right). \end{align}

Тогда $1 / m \sum_{i=1}^{m} h\left(x_{i}\right) \rightarrow \int h(x) f_{X}(x) d x$ при $m \rightarrow \infty$ . [Покажите, что если $X$ генерируется согласно $Y \sim f_{Y}(y)$ и $X \sim f_{X \mid Y}(x \mid Y)$ , то $\mathbb {P}\left(X \leq a\right)=\int_{-\infty }^{a} f_{x}(x) d x$ .]

(c)

Если сгенерировать, как в пункте (b), затруднительно, то сгенерируйте

\begin{align} X_{m_{i}} & \sim f_{X \mid Y}\left(x \mid Y_{m_{i-1}}\right), \\ Y_{m_{i}} & \sim f_{Y \mid X}\left(y \mid X_{m_{i}}\right). \end{align}

для $i=1, \ldots , K$ и $m=1, \ldots , M$ .

(d)

Покажите, что:

для каждого $m$ последовательность $\left\{ X_{m_{i}}\right\}$ является цепью Маркова. Если это к тому же эргодическая цепь Маркова, то $X_{m_{i}} \xrightarrow {\mathcal{L}} X$ при $i \rightarrow \infty$ , где $X$ имеет стационарное распределение цепи.
Если стационарное распределение цепи равно $f_{X}(x)$ , то
$\frac{1}{M} \sum _{m=1}^{M} h\left(x_{m_{k}}\right) \rightarrow \int h(x) f_{X}(x) d x$
при $K, M \rightarrow \infty$ .

Примечание.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Это основная теория, лежащая в основе сэмплера Гиббса. Для каждого $k$ мы сгенерировали независимые случайные величины $X_{m_{k}}, m=1, \ldots , M$ , где $X_{m_{k}}$ распределена согласно $f_{X \mid Y}\left(x \mid y_{m_{k-}}\right)$ . Также верно, что для каждого $m$ и большого $k$ величина $X_{m_{k}}$ распределена приближённо согласно $f_{X}(x)$ , хотя эти величины уже не являются независимыми. Преимущества и недостатки этих вычислительных схем (одна длинная цепь против многих коротких цепей) обсуждаются в Gelman and Rubin 1992; см. также Geyer and Thompson 1992 и Smith and Roberts 1992. Преобладающее мнение склоняется в пользу одной длинной цепи.

Задача 4.5.9

(a)(b)(c)

Чтобы понять сходимость сэмплера Гиббса, пусть $(X, Y) \sim f(x, y)$ , и определим

k\left(x, x^{\prime }\right)=\int f_{X \mid Y}(x \mid y) f_{Y \mid X}\left(y \mid x^{\prime }\right) d y

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что функция $h^{*}(\cdot )$ , решающая уравнение $h^{*}(x)=\int k\left(x, x^{\prime }\right) h^{*}\left(x^{\prime }\right) d x^{\prime }$ , есть $h^{*}(x)= f_{X}(x)$ — маргинальное распределение $X$ .

(b)

Запишите аналогичное интегральное уравнение, которому удовлетворяет $f_{Y}(y)$ .

(c)

Определите последовательность функций рекуррентно как $h_{i+1}(x)=\int k\left(x, x^{\prime }\right) h_{i}\left(x^{\prime }\right) d x_{I}^{\prime }$ , где $h_{0}(x)$ произвольна, но удовлетворяет $\sup_{x}\left|\frac{h_{0}(x)}{h^{*}(x)}\right|<\infty$ . Покажите, что

\int \left|h_{i+1}(x)-h^{*}(x)\right| d x<\int \left|h_{i}(x)-h^{*}(x)\right| d x

и, следовательно, $h_{i}(x)$ сходится к $h^{*}(x)$ .

[Метод пункта (c) называется методом последовательных подстановок. Когда в сэмплере Гиббса участвуют две переменные, он эквивалентен аугментации данных (Tanner and Wong 1987). Даже если переменные векторнозначны, приведённые выше результаты устанавливают сходимость. Если исходный вектор переменных содержит более двух переменных, то требуется более общая версия этого рассуждения (Gelfand and Smith 1990).]

Задача 4.5.10

(a)(b)

Прямая реализация подстановочной выборки методом Монте-Карло обеспечивается алгоритмом аугментации данных (Tanner and Wong 1987). Если определить

h_{i+1}(x)=\int \left[\int f_{X \mid Y}(x \mid y) f_{Y \mid X}\left(y \mid x^{\prime }\right) d y\right] h_{i}\left(x^{\prime }\right) d x^{\prime }

то по задаче 5.9 $h_{i}(x) \rightarrow f_{x}(x)$ при $i \rightarrow \infty$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Чтобы вычислить $h_{i+1}$ методом интегрирования Монте-Карло:

Сгенерируйте $X_{j}^{\prime } \sim h_{i}\left(x^{\prime }\right), \quad j=1, \ldots , J$ .
Для каждого $x_{j}^{\prime }$ сгенерируйте $Y_{j k} \sim f_{Y \mid X}\left(y \mid x_{j}^{\prime }\right), k=1, \ldots , K$ .
Вычислите $\hat{h}_{i+1}(x)=\frac{1}{J} \sum_{j=1}^{J} \frac{1}{K} \sum_{k=1}^{K} f_{X \mid Y}\left(x \mid y_{j k}\right)$ . Тогда $\hat{h}_{i+1}(x) \rightarrow h_{i+1}(x)$ при $J, K \rightarrow \infty$ , и, следовательно, алгоритм аугментации данных сходится.

(b)

Чтобы реализовать (a)(i), нужно уметь генерировать случайную величину из смеси распределений. Покажите, что если $f_{Y}(y)=\sum_{i=1}^{n} a_{i} g_{i}(y), \Sigma a_{i}=1$ , то алгоритм

Выбрать $g_{i}$ с вероятностью $a_{i}$
Сгенерировать $Y \sim g_{i}$ порождает случайную величину с распределением $f_{Y}$ .

Отсюда покажите, как реализовать шаг (a)(i), генерируя случайные величины из $f_{X \mid Y}$ . Tanner and Wong (1987) отмечают, что этот алгоритм работает даже при $J=1$ , что даёт приближение

\hat{h}_{i+1}(x)=\frac{1}{K} \sum _{k=1}^{K} f_{X \mid Y}\left(x \mid y_{k}\right),

идентичное сэмплеру Гиббса. Алгоритм аугментации данных можно также рассматривать как применение процедуры множественной импутации (multiple imputation) (Rubin 1976, 1987, Little and Rubin 1987).

Задача 4.5.11

(a)(b)(c)

Выборку методом последовательных подстановок можно реализовать через сэмплер Гиббса следующим образом. Из задачи 5.8(c) требуется вычислить

h_{M}=\frac{1}{M} \sum _{m=1}^{M} k\left(x \mid x_{m_{k}}\right)=\frac{1}{M} \sum _{m=1}^{M} \int f_{X \mid Y}(x \mid y) f_{X \mid Y}\left(y \mid x_{m_{k}}\right) d y.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $h_{M}(x) \rightarrow f_{X}(x)$ при $M \rightarrow \infty$ .

(b)

При заданном $x_{m_{k}}$ приближение Монте-Карло к $h_{M}(x)$ имеет вид

\hat{h}_{M}(x)=\frac{1}{M} \sum _{m=1}^{M} \frac{1}{J} \sum _{j=1}^{J} f_{X \mid Y}\left(x \mid y_{k_{j}}\right)

где $Y_{k_{j}} \sim f_{Y \mid X}\left(y \mid x_{m_{k}}\right)$ и $\hat{h}_{M}(x) \rightarrow h_{M}(x)$ при $J \rightarrow \infty$ .

(c)

Следовательно, при $M, J \rightarrow \infty , \hat{h}_{M}(x) \rightarrow f_{X}(x)$ .

Примечание.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Это сэмплер Гиббса, который обычно реализуется при $J=1$ .

Задача 4.5.12

(a)(b)(c)

Для ситуации примера 5.6 покажите, что

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

\mathbb {E}\left[\frac{1}{M} \sum _{i=1}^{M} \Theta _{i}\right]=\mathbb {E}\left[\frac{1}{M} \sum _{i=1}^{M} \mathbb {E}\left[\Theta \mid \mathbf{x}, \tau _{i}\right]\right],

(b)

\operatorname {var}\left(\frac{1}{M} \sum _{i=1}^{M} \Theta _{i}\right) \geq \operatorname {var}\left(\frac{1}{M} \sum _{i=1}^{M} \mathbb {E}\left[\Theta \mid \mathbf{x}, \tau _{i}\right]\right).

(c)

Обсудите, когда в (b) может достигаться равенство. Можете ли вы привести пример?

Задача 4.5.13

Покажите, что для иерархии (5.5.1) апостериорные распределения $\pi (\theta \mid \mathbf{x})$ и $\pi (\lambda \mid \mathbf{x})$ удовлетворяют

\begin{align} & \pi (\theta \mid \mathbf{x})=\int \left[\int \pi (\theta \mid \mathbf{x}, \lambda ) \pi \left(\lambda \mid \mathbf{x}, \theta ^{\prime }\right) d \lambda \right] \pi \left(\theta ^{\prime } \mid \mathbf{x}\right) d \theta ^{\prime } \\ & \pi (\lambda \mid \mathbf{x})=\int \left[\int \pi (\lambda \mid \mathbf{x}, \theta ) \pi \left(\theta \mid \mathbf{x}, \lambda ^{\prime }\right) d \theta \right] \pi \left(\lambda ^{\prime } \mid \mathbf{x}\right) d \lambda ^{\prime } \end{align}

и, следовательно, являются стационарными точками цепей Маркова в (5.5.13).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.5.14

(a)(b)(c)(d)

Исходя из равномерной случайной величины $U \sim \operatorname {Uniform}(0,1)$ , с помощью преобразований можно построить многие случайные величины.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $-\log U \sim \exp (1)$ .

(b)

Покажите, что $-\sum_{i=1}^{n} \log U_{i} \sim \operatorname {Gamma}(n, 1)$ , где $U_{1}, \ldots , U_{n}$ — независимые одинаково распределённые как $U(0,1)$ .

(c)

Пусть $X \sim \operatorname {Exp}(a, b)$ . Запишите $X$ как функцию от $U$ .

(d)

Пусть $X \sim \operatorname {Gamma}(n, \beta )$ , $n$ — целое число. Запишите $X$ как функцию от $U_{1}, \ldots , U_{n}$ , независимых одинаково распределённых как $U(0,1)$ .

Задача 4.5.15

(a)(b)(c)

Начиная со случайной величины $U(0,1)$ , преобразования из задачи 5.14 не позволяют получить нормальные случайные величины или гамма-случайные величины с нецелым параметром формы. Один из способов сделать это — использовать алгоритм принятия-отклонения (Accept-Reject Algorithm) (Ripley 1987, раздел 3.2), алгоритм для моделирования $X \sim f(x)$ :

Сгенерировать $Y \sim g(y), U \sim U(0,1)$ , независимо.
Вычислить $\rho (Y)=\frac{1}{M} \frac{f(Y)}{g(Y)}$ где $M=\sup_{t} f(t) / g(t)$ .
Если $U<\rho (Y)$ , положить $X=Y$ , иначе вернуться к i).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что этот алгоритм генерирует $X \sim f(x)$ .

(b)

Начиная с $Y \sim \exp (1)$ , покажите, как сгенерировать $X \sim N(0,1)$ .

(c)

Покажите, как сгенерировать гамма-случайную величину с нецелым параметром формы.

Задача 4.5.16

(a)(b)

Рассмотрим нормальную иерархическую модель

\begin{align} X \mid \theta _{1} & \sim n\left(\theta _{1}, \sigma _{1}^{2}\right), \\ \theta _{1} \mid \theta _{2} & \sim n\left(\theta _{2} \mid \sigma _{2}^{2}\right), \\ \vdots & \\ \theta _{k-1} \mid \theta _{k} & \sim n\left(\theta _{k}, \sigma _{k}^{2}\right) \end{align}

где $\sigma_{1}^{2}, i=1, \ldots , k$ , известны.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что апостериорное распределение $\theta_{i}(1 \leq i \leq k-1)$ равно

\pi \left(\theta _{i} \mid x, \theta _{k}\right)=N\left(\alpha _{i} x+\left(1-\alpha _{i}\right) \theta _{k}, \tau _{i}^{2}\right)

где $\tau_{i}^{2}=\left(\Sigma_{1}^{i} \sigma_{j}^{2}\right)\left(\Sigma_{i+1}^{k} \sigma_{j}^{2}\right) / \Sigma_{i}^{k} \sigma_{j}^{2}$ и $\alpha_{i}=\tau_{i}^{2} / \Sigma_{1}^{i} \sigma_{j}^{2}$ .

(b)

Найдите выражение для информации Кульбака—Лейблера $K\left[\pi \left(\theta_{i} \mid x, \theta_{k}\right), \pi \left(\theta_{i} \mid \theta_{k}\right)\right]$ и покажите, что она является убывающей функцией $i$ .

Задача 4.5.17

(a)(b)(c)

В первоначальном доказательстве теоремы 5.7 (Goel and DeGroot 1981) использовалась энтропийная функция Реньи (Rényi 1961)

R_{\alpha }(f, g)=\frac{1}{\alpha -1} \log \int f^{\alpha }(x) g^{1-\alpha }(x) d \mu (x),

где $f$ и $g$ — плотности, $\mu$ — доминирующая мера, а $\alpha$ — постоянная, $\alpha \neq 1$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $R_{\alpha }(f, g)$ удовлетворяет $R_{\alpha }(f, g)>0$ и $R_{\alpha }(f, f)=0$ .

(b)

Покажите, что теорема 5.7 остаётся верной, если вместо $K[f, g]$ использовать $R_{\alpha }(f, g)$ .

(c)

Покажите, что $\lim_{\alpha \rightarrow 1} R_{\alpha }(f, g)=K[f, g]$ , и приведите другое доказательство теоремы 5.7.

Задача 4.5.18

Информация Кульбака—Лейблера $K[f, g]$ (5.5.25) не симметрична по $f$ и $g$ , и модификация, называемая дивергенцией, устраняет эту асимметрию. Определим $J[f, g]$ — дивергенцию между $f$ и $g$ — как $J[f, g]=K[f, g]+K[g, f]$ . Покажите, что, аналогично теореме 5.7, $J[\pi (\lambda \mid x), \gamma (\lambda )]<J[\pi (\theta \mid x), \pi (\theta )]$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.5.19

Goel and DeGroot (1981) определяют байесовский аналог информации Фишера [см. (2.5.10)] как

\mathcal{I}[\pi (\theta \mid x)]=\int _{\Omega }\left[\frac{\frac{\partial }{\partial x} \pi (\theta \mid x)}{\pi (\theta \mid x)}\right]^{2} d \theta

— информацию, которую $x$ несёт об апостериорном распределении. Как и в теореме 5.7, покажите, что $\mathcal{I}[\pi (\lambda \mid x)]<\mathcal{I}[\pi (\theta \mid x)]$ , что снова показывает, что влияние $\lambda$ меньше влияния $\theta$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.5.20

(a)(b)(c)

Каждая из $m$ спор имеет вероятность $\tau$ прорастания. Из $r$ проросших спор каждая имеет вероятность $\omega$ изогнуться в определённом направлении. Если $s$ изгибается в этом определённом направлении, то вероятностная модель, описывающая этот процесс, — двумерное биномиальное распределение с функцией вероятности

f(r, s \mid \tau , \omega , m)=\binom {m}{r} \tau ^{r}(1-\tau )^{m-r}\binom {r}{s} \omega ^{s}(1-\omega )^{r-s}.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что априорное распределение Джеффриса равно $\pi_{J}(\tau , \omega )=(1-\tau )^{-1 / 2} \omega^{-1 / 2}(1-\omega )^{-1 / 2}$ .

(b)

Если $\tau$ рассматривается как мешающий параметр, то референсное априорное распределение равно

\pi _{R}(\tau , \omega )=\tau ^{-1 / 2}(1-\tau )^{-1 / 2} \omega ^{-1 / 2}(1-\omega )^{-1 / 2}.

Сравните апостериорные средние $\mathbb {E}\left[\omega \mid r, s, m\right]$ при априорном распределении Джеффриса и при референсном априорном распределении. Является ли одно из них более подходящим?

(c)

Как разные априорные распределения влияют на апостериорную дисперсию?

[Априорные распределения для двумерного биномиального распределения рассматривались в работах Crowder and Sweeting (1989), Polson and Wasserman (1990) и Clark and Wasserman (1993), которые предлагают компромиссное референсное/джеффрисовское априорное распределение.]

Задача 4.5.21

(a)(b)

Пусть $\mathcal{F}=\left\{ f(x \mid \theta ) ; \theta \in \Omega \right\}$ — семейство плотностей вероятности. Информацию Кульбака—Лейблера для различения двух плотностей из $\mathcal{F}$ можно записать как

\psi \left(\theta _{1}, \theta _{2}\right)=\int f\left(x \mid \theta _{1}\right) \log \left[\frac{f\left(x \mid \theta _{1}\right)}{f\left(x \mid \theta _{2}\right)}\right] d x.

Напомним, что градиент $\psi$ есть $\nabla \psi =\left\{ \left(\partial / \partial \theta_{i}\right) \psi \right\}$ , а гессиан — $\nabla \nabla \psi = \left\{ \left(\partial^{2} / \partial \theta_{i} \partial \theta_{j}\right) \psi \right\}$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Если интегрирование и дифференцирование можно менять местами, покажите, что

\nabla \psi (\theta , \theta )=0 \quad \text{ и } \quad \operatorname {det}[\nabla \nabla \psi (\theta , \theta )]=I(\theta ),

где $I(\theta )$ — информация Фишера для $f(x \mid \theta )$ .

(b)

George and McCulloch (1993) утверждают, что выбор $\pi (\theta )=(\operatorname {det}[\nabla \nabla \psi (\theta , \theta )])^{1 / 2}$ представляет собой привлекательный наименее информативный выбор априорного распределения. Какое обоснование вы можете этому дать?

4.6 · Эмпирический байесовский подход[21/0%]

Задача 4.6.1

Для модели (3.3.1) покажите, что $\left.\delta^{\lambda }(x)\right|_{\lambda =\hat{\lambda }}=\delta^{\hat{\lambda }(x)}$ , где байесовская оценка $\delta^{\lambda }(x)$ минимизирует $\int L[\theta , d(x)] \pi (\theta \mid x, \lambda ) d \theta$ , а эмпирическая байесовская оценка $\delta^{\hat{\lambda }(x)}$ минимизирует $\int L[\theta , d(x)] \pi (\theta \mid x, \hat{\lambda }) d \theta$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.2

(a)(b)

В этой задаче исследуются условия, при которых эмпирическая байесовская оценка является байесовской оценкой. Выражение (6.6.3) представляет собой истинные апостериорные ожидаемые потери, если $\pi (\theta \mid \mathbf{x}, \hat{\lambda }(\mathbf{x}))$ является истинным апостериорным распределением.

Исходя из иерархии

\begin{align} & X \mid \theta \sim f(x \mid \theta ), \\ & \Theta \mid \lambda \sim \pi (\theta \mid \lambda ), \end{align}

определим совместное распределение $\mathbf{X}$ и $\Theta$ как $(\mathbf{X}, \theta ) \sim g(\mathbf{x}, \theta )=f(\mathbf{x} \mid \theta ) \pi (\theta \mid \hat{\lambda }(\mathbf{x}))$ , где $\pi (\theta \mid \hat{\lambda }(\mathbf{x}))$ получается подстановкой $\hat{\lambda }(\mathbf{x})$ вместо $\lambda$ в $\pi (\theta \mid \lambda )$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что для этой совместной плотности формальная байесовская оценка эквивалентна эмпирической байесовской оценке из иерархической модели.

(b)

Если $f(\cdot \mid \theta )$ и $\pi (\cdot \mid \lambda )$ — собственные плотности, то $\int g(\mathbf{x}, \theta ) d \theta <\infty$ . Однако $\iint g(\mathbf{x}, \theta ) d \mathbf{x} d \theta$ не обязано быть конечным.

Задача 4.6.3

Для модели (6.3.1) байесовская оценка $\delta^{\lambda }(x)$ минимизирует $\int L(\theta , d(x)) \times \pi (\theta \mid x, \lambda ) d \theta$ , а эмпирическая байесовская оценка $\delta^{\hat{\lambda }}(x)$ минимизирует $\int L(\theta , d(x)) \pi (\theta \mid x, \hat{\lambda }(x)) d \theta$ . Покажите, что $\left.\delta^{\lambda }(x)\right|_{\lambda =\hat{\lambda }(x)}=\delta^{\hat{\lambda }}(x)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.4

(a)(b)

Для ситуации примера 6.1:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что

\int _{-\infty }^{\infty } e^{-n / 2 \sigma ^{2}(\bar{x}-\theta )^{2}} e^{(-1 / 2) \theta ^{2} / \tau ^{2}} d \theta =\sqrt{2 \pi }\left(\frac{\sigma ^{2} \tau ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{1 / 2} e^{(-n / 2) \bar{x}^{2} / \sigma ^{2}+n \tau ^{2}}

и, тем самым, установите (6.6.4).

(b)

Проверьте, что маргинальная MLE-оценка $\sigma^{2}+n \tau^{2}$ равна $n \bar{x}^{2}$ и что эмпирическая байесовская оценка задаётся формулой (6.6.5).

Задача 4.6.5

(a)(b)

Обращаясь к примеру 6.2:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что байесовский риск $r\left(\pi , \delta^{\pi }\right)$ байесовской оценки (6.6.7) задаётся формулой

r\left(\pi , \delta ^{\pi }\right)=k \mathbb {E}\left[\operatorname {var}\left(p_{k} \mid x_{k}\right)\right]=\frac{k a b}{(a+b)(a+b+1)(a+b+n)}.

(b)

Покажите, что байесовский риск несмещённой оценки $\mathbf{X} / n=\left(X_{1} / n, \ldots , X_{k} / n\right)$ задаётся формулой

r(\pi , \mathbf{X} / n)=\frac{k a b}{n(a+b+1)(a+b)}.

Задача 4.6.6

Теорема 6.3 утверждает: для ситуации следствия 3.3 (если $X=(X_{1}, \ldots , X_{p})$ имеет плотность $p_{\eta }(x)=e^{\sum_{i} \eta_{i} x_{i}-A(\eta )} h(x)$ , а $\eta$ имеет априорную плотность $\pi (\eta )$ , то байесовская оценка $\eta$ при квадратичной функции потерь равна $\mathbb {E}\left[\eta_{i} \mid x\right]=\frac{\partial }{\partial x_{i}} \log m(x)-\frac{\partial }{\partial x_{i}} \log h(x)$ ), с априорным распределением $\pi (\eta \mid \lambda )$ ; пусть $\hat{\lambda }(x)$ — MLE-оценка $\lambda$ , основанная на $m(x \mid \lambda )$ . Тогда эмпирическая байесовская оценка равна

\mathbb {E}\left[\eta _{i} \mid x, \hat{\lambda }\right]=\frac{\partial }{\partial x_{i}} \log m(x \mid \hat{\lambda }(x))-\frac{\partial }{\partial x_{i}} \log h(x).

Обобщите теорему 6.3 на случай теоремы 3.2; то есть, если $\mathbf{X}$ имеет плотность (3.3.7), а $\boldsymbol {\eta }$ имеет априорную плотность $\pi (\boldsymbol {\eta } \mid \gamma )$ , то эмпирическая байесовская оценка равна

\mathbb {E}\left[\left.\sum \eta _{i} \frac{\partial T_{i}(\mathbf{x})}{\partial x_{j}} \right\rvert \, \mathbf{x}, \hat{\gamma }(\mathbf{x})\right]=\frac{\partial }{\partial x_{j}} \log m(\mathbf{x} \mid \hat{\gamma }(\mathbf{x}))-\frac{\partial }{\partial x_{j}} \log h(\mathbf{x}),

где $m(\mathbf{x} \mid \gamma )$ — маргинальное распределение X, а $\hat{\gamma }(\mathbf{x})$ — маргинальная MLE-оценка $\gamma$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.7

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для $p_{\eta }(\mathbf{x})$ из (1.5.2) покажите, что для любого априорного распределения $\pi (\eta \mid \lambda )$ , зависящего от гиперпараметра $\lambda$ , эмпирическая байесовская оценка задаётся формулой

\mathbb {E}\left[\left.\sum _{i=1}^{s} \eta _{i} \frac{\partial }{\partial x_{j}} T_{i}(\mathbf{x}) \right\rvert \, \mathbf{x}, \hat{\lambda }\right]=\frac{\partial }{\partial x_{j}} \log m_{\pi }(\mathbf{x} \mid \hat{\lambda }(\mathbf{x}))-\frac{\partial }{\partial x_{j}} \log h(\mathbf{x}).

где $m_{\pi }(\mathbf{x})=\int p_{\theta }(\mathbf{x}) \pi (\theta ) d \theta$ .

(b)

Если X имеет распределение $p_{\theta }(\mathbf{x})$ из (1.5.1), покажите, что справедлива аналогичная формула, а именно

\mathbb {E}\left[\mathcal{T} \eta (\theta ) \mid \hat{\lambda }\right]=\nabla \log m_{\pi }(\mathbf{x} \mid \hat{\lambda })-\nabla \log h(\mathbf{x}),

где $\mathcal{T}=\left\{ \partial T_{i} / \partial x_{j}\right\}$ — якобиан $\mathcal{T}$ , а $\nabla a$ — вектор градиента $a$ , то есть $\nabla a=\left\{ \partial a / \partial x_{i}\right\}$ .

Задача 4.6.8

(a)(b)

Для каждой из следующих ситуаций запишите эмпирическую байесовскую оценку естественного параметра (при квадратичной функции потерь) в виде (6.6.12), используя оценку максимального маргинального правдоподобия гиперпараметра $\lambda$ . Вычислите выражения настолько, насколько это возможно.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

$X_{i} \sim N\left(0, \sigma_{i}^{2}\right), i=1, \ldots , p$ , независимы; $1 / \sigma_{i}^{2} \sim \operatorname {Exponential}(\lambda )$ .

(b)

$X_{i} \sim N\left(\theta_{i}, 1\right), \quad i=1, \ldots , p$ , независимы, $\theta_{i} \sim D E(0, \lambda )$ .

Задача 4.6.9

(a)(b)

Strawderman (1992) показывает, что оценку Джеймса—Стейна можно рассматривать как эмпирическую байесовскую оценку в произвольном семействе сдвига. Пусть $\mathbf{X}_{p \times 1} \sim f(x-\theta )$ , где $\mathbb {E}\left[\mathbf{X}\right]=\theta$ и var $\mathbf{X}=\sigma^{2} I$ . Пусть априорное распределение есть $\theta \sim f^{* n}$ — $n$ -кратная свёртка $f$ с самой собой. [Свёртка $f$ с самой собой — это $f^{* 2}(x)=\int f(x-y) f(y) d y$ . $n$ -кратная свёртка — это $f^{* n}(x)=\int f *(n-1)(x)(x-y) f(y) d y$ .] Эквивалентно, пусть $U_{i} \sim f, i=0, \cdots , n$ , независимые одинаково распределённые, $\theta =\sum_{1}^{n} U_{i}$ , и $\mathbf{X}=U_{0}+\theta$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что байесовское правило при квадратичной функции потерь равно $\frac{n}{n+1} \mathbf{x}$ . Заметим, что $n$ является априорным параметром.

(b)

Покажите, что $|\mathbf{X}|^{2} /\left(p \sigma^{2}\right)$ является несмещённой оценкой $n+1$ , и, следовательно, эмпирическая байесовская оценка $\theta$ задаётся формулой $\delta^{E B}=\left[1-\left(p \sigma^{2} /|\mathbf{x}|^{2}\right)\right] \mathbf{x}$ .

Задача 4.6.10

(a)(b)(c)

Покажите для иерархии из примера 3.4, где $\sigma^{2}$ и $\tau^{2}$ известны, а $\mu$ неизвестно, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Эмпирическая байесовская оценка $\theta_{i}$ , основанная на маргинальной MLE-оценке $\theta_{i}$ , равна $\frac{\tau^{2}}{\sigma^{2}+\tau^{2}} X_{i}+ \frac{\sigma^{2}}{\sigma^{2}+\tau^{2}} \bar{X}$ .

(b)

Байесовский риск, при функции потерь в виде суммы квадратов ошибок, эмпирической байесовской оценки из пункта (a) равен

p \sigma ^{2}-\frac{2(p-1)^{2} \sigma ^{4}}{p\left(\sigma ^{2}+\tau ^{2}\right)}+(p-1)\left(\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{2} \sum _{i=1}^{p} \mathbb {E}\left[(X_{i}-\bar{X})^{2}\right].

(c)

Минимальный риск эмпирической байесовской оценки достигается, когда все $\theta_{i}$ равны. [Указание: Покажите, что $\sum_{i=1}^{p} \mathbb {E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\sum_{i=1}^{p}\left(\theta_{i}-\bar{\theta }\right)^{2}+(p-1) \sigma^{2}$ .]

Задача 4.6.11

Для $\mathbb {E}\left[\Theta \mid \mathbf{x}\right]$ из (5.5.8) покажите, что при $v \rightarrow \infty , \mathbb {E}\left[\Theta \mid x\right] \rightarrow \left[p /\left(p+\sigma^{2}\right)\right] \bar{x}$ — байесовской оценке при априорном распределении $N(0,1)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.12

(a)(b)(c)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что эмпирическая байесовская оценка $\delta^{E B}(\bar{x})=\left(1-\sigma^{2} / \max \left\{ \sigma^{2}, p \bar{x}^{2}\right\} \right) \bar{x}$ из (6.6.5) имеет ограниченную среднеквадратичную ошибку.

(b)

Покажите, что вариант $\delta^{E B}(\bar{x})$ из пункта (a), $\delta^{v}(\bar{x})=\left[1-\sigma^{2} /\left(v+p \bar{x}^{2}\right)\right] \bar{x}$ , также имеет ограниченную среднеквадратичную ошибку.

(c)

При $\sigma^{2}=\tau^{2}=1$ постройте графики функций риска оценок из пунктов (a) и (b).

[Thompson (1968a, 1968b) исследовал свойства среднеквадратичной ошибки оценок, подобных приведённым в пункте (b). Хотя такие оценки имеют меньшую среднеквадратичную ошибку, чем $\bar{x}$ , при малых значениях $\theta$ , они всегда имеют бо́льшую среднеквадратичную ошибку при бо́льших значениях $\theta$ .]

Задача 4.6.13

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для иерархии (5.5.7), при $\sigma^{2}=1$ и $p=10$ , вычислите байесовский риск $r\left(\pi , \delta^{\pi }\right)$ байесовской оценки (5.5.8) при $v=2,5$ и 10.

(b)

Вычислите байесовский риск оценки $\delta^{v}$ из задачи 6.12(b). Найдите значение $v$ , дающее хорошее приближение к риску иерархической байесовской оценки. Сравните его с байесовским риском эмпирической байесовской оценки из задачи 6.12(a).

Задача 4.6.14

Обращаясь к примеру 6.6, покажите, что эмпирическая байесовская оценка также является иерархической байесовской оценкой при использовании априорного распределения $\gamma (b)=1 / b$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.15

(a)(b)(c)

Аппроксимация оценки (5.5.8) рядом Тейлора выполняется в несколько шагов. Покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Используя разложение Тейлора первого порядка в окрестности точки $\bar{x}$ , имеем

\begin{align} \frac{1}{\left(1+\theta ^{2} / v\right)^{(v+1) / 2}}= & \frac{1}{\left(1+\bar{x}^{2} / v\right)^{(v+1) / 2}} \\ & -\frac{v+1}{v} \frac{\bar{x}}{\left(1+\bar{x}^{2} / v\right)^{(v+3) / 2}}(\theta -\bar{x})+R(\theta -\bar{x}) \end{align}

где остаточный член $R(\theta -\bar{x})$ удовлетворяет $R(\theta -\bar{x}) /(\theta -\bar{x})^{2} \rightarrow 0$ при $\theta \rightarrow \bar{x}$ .

(b)

Остаточный член из пункта (a) также удовлетворяет

\int _{-\infty }^{\infty } R(\theta -\bar{x}) e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta =O\left(1 / p^{3 / 2}\right)

(c)

Числитель и знаменатель (5.5.8) можно записать как

\int _{-\infty }^{\infty } \frac{1}{\left(1+\theta ^{2} / \nu \right)^{(\nu +1) / 2}} e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta =\frac{\sqrt{2 \pi \sigma ^{2} / p}}{\left(1+\bar{x}^{2} / \nu \right)^{(\nu +1) / 2}}+O\left(\frac{1}{p^{3 / 2}}\right)

\begin{align} \int _{-\infty }^{\infty } & \frac{\theta }{\left(1+\theta ^{2} / v\right)^{(v+1) / 2}} e^{-\frac{p}{2 \sigma ^{2}}(\theta -\bar{x})^{2}} d \theta \\ & =\frac{\sqrt{2 \pi \sigma ^{2} / p}}{\left(1+\bar{x}^{2} / v\right)^{(v+1) / 2}}\left[1-\frac{(v+1) / v}{\left(1+\bar{x}^{2} / v\right)}\right] \bar{x}+O\left(\frac{1}{p^{3 / 2}}\right) \end{align}

что даёт (5.6.32).

Задача 4.6.16

(a)(b)

Для ситуации примера 6.7:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Вычислите значения приближения (5.6.32) для значений из таблицы 6.2. Существуют ли ситуации, в которых оценка (5.6.32) явно предпочтительнее эмпирической байесовской оценки (5.6.5) как приближение к иерархической байесовской оценке (5.5.8)?

(b)

Расширьте рассуждение из задачи 6.15, чтобы вычислить следующий член разложения, и тем самым получите более точное приближение к иерархической байесовской оценке (5.5.8). Для значений из таблицы 6.2, предпочтительнее ли это новое приближение к (5.5.8), чем (5.6.5) и (5.6.32)?

Задача 4.6.17

(a)(b)(c)(d)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что если $b(\cdot )$ имеет ограниченную вторую производную, то

\int b(\lambda ) e^{-n h(\lambda )} d \lambda =b(\hat{\lambda }) \sqrt{\frac{2 \pi }{n h^{\prime \prime }(\hat{\lambda })}} e^{-n h(\hat{\lambda })}+O\left(\frac{1}{n^{3 / 2}}\right)

где $h(\hat{\lambda })$ — единственный минимум $h(\lambda ), h^{\prime \prime }(\lambda ) \neq 0$ , и $n h(\hat{\lambda }) \rightarrow$ константа при $n \rightarrow \infty$ . [Указание: Разложите $b(\cdot )$ и $h(\cdot )$ в ряд Тейлора в окрестности $\hat{\lambda }$ до членов второго порядка. Затем проведите почленное интегрирование.] Это приближение Лапласа для интеграла. Об уточнениях и других разработках этого приближения в байесовском выводе см. Tierney and Kadane 1986, Tierney, Kass, and Kadane 1989, и Robert 1994a (раздел 9.2.3).

(b)

Для иерархической модели (5.5.1) апостериорное среднее можно приблизить как

\mathbb {E}\left[\Theta \mid x\right]=e^{-n h(\hat{\lambda })}\left[\frac{2 \pi }{n h^{\prime \prime }(\hat{\lambda })}\right]^{1 / 2} \mathbb {E}\left[\Theta \mid x, \hat{\lambda }\right]+O\left(\frac{1}{n^{3 / 2}}\right)

где $h=\frac{1}{n} \log \pi (\lambda \mid x)$ , а $\hat{\lambda }$ — мода $\pi (\lambda \mid x)$ , апостериорного распределения $\lambda$ .

(c)

Если $\pi (\lambda \mid x)$ — нормальное распределение со средним $\hat{\lambda }$ и дисперсией $\sigma^{2}=\left[-\left(\partial^{2} / \partial \lambda^{2}\right) \times \left.\log \pi (\lambda \mid x)\right|_{\lambda =\hat{\lambda }}\right]^{-1}$ , то $\mathbb {E}\left[\Theta \mid x\right]=\mathbb {E}\left[\Theta \mid x, \hat{\lambda }\right]+O\left(1 / n^{3 / 2}\right)$ .

(d)

Покажите, что ситуация из пункта (c) возникает из иерархии

\begin{align} X_{i} \mid \theta _{i} & \sim N\left(\theta _{i}, \sigma ^{2}\right), \\ \theta _{i} \mid \lambda & \sim N\left(\lambda , \tau ^{2}\right), \\ \lambda & \sim \text{ Uniform }(-\infty , \infty ). \end{align}

Задача 4.6.18

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Примените приближение Лапласа (5.6.33), чтобы получить приближение к иерархической байесовской оценке из примера 6.6.

(b)

Сравните приближение из пункта (a) с эмпирической байесовской оценкой (5.6.24). Какое из них лучше приближает иерархическую байесовскую оценку?

Задача 4.6.19

Примените приближение Лапласа (5.6.33) к иерархии из примера 6.7 и покажите, что получаемое приближение к иерархической байесовской оценке задаётся формулой (5.6.32).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.6.20

(a)(b)(c)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Проверьте (6.6.37) — что при квадратичной функции потерь

r(\pi , \delta )=r\left(\pi , \delta ^{\pi }\right)+\mathbb {E}\left[(\delta -\delta ^{\pi })^{2}\right].

(b)

Для $X \sim \operatorname {binomial}(p, n), L(p, \delta )=(p-\delta )^{2}$ и $\pi =\left\{ \pi : \pi =\operatorname {beta}(a, b), a>0\text{, }b>0\right\}$ , определите, какая оценка более робастна согласно (6.6.37) — $\hat{p}=x / n$ или $\delta^{0}=\left(a_{0}+x\right) /\left(a_{0}+b_{0}+n\right)$ .

(c)

Существует ли оценка вида $(c+x) /(c+d+n)$ , которую вы считали бы более робастной, в смысле (6.6.37), чем каждая из оценок пункта (b)?

[В пункте (b), при фиксированных $n$ и $\left(a_{0}, b_{0}\right)$ , вычислите байесовский риск $\hat{p}$ и $\delta^{0}$ для нескольких пар $(a, b)$ .]

Задача 4.6.21

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Установите (6.6.39) и (6.6.40) для класса априорных распределений, заданного в (6.6.38).

(b)

Покажите, что байесовская оценка, основанная на $\pi (\theta ) \in \pi$ в (6.6.38), при квадратичной функции потерь задаётся формулой (6.6.41).

4.7 · Сравнение рисков[20/0%]

Задача 4.7.1

(a)(b)

Для ситуации примера 7.1:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Эмпирическая байесовская оценка $\boldsymbol {\theta }$ , использующая несмещённую оценку $\tau^{2} /\left(\sigma^{2}+\tau^{2}\right)$ , равна

\delta ^{\mathrm{EB}}=\left(1-\frac{(p-2) \sigma ^{2}}{|\mathbf{x}|^{2}}\right) \mathbf{x},

— оценке Джеймса—Стейна.

(b)

Эмпирическая байесовская оценка $\boldsymbol {\theta }$ , использующая маргинальную MLE-оценку $\tau^{2} /\left(\sigma^{2}+\tau^{2}\right)$ , равна

\delta ^{\mathrm{EB}}=\left(1-\frac{p \sigma ^{2}}{|\mathbf{x}|^{2}}\right)^{+} \mathbf{x},

что напоминает положительную часть оценки Стейна.

Задача 4.7.2

Следствие 7.2 утверждает: пусть $X \sim N_{p}(\theta , \sigma^{2} I)$ , и пусть оценка $\delta$ имеет вид $\delta (\mathbf{x})=\mathbf{x}-g(\mathbf{x})$ , где $g(\mathbf{x})=\left\{ g_{i}(\mathbf{x})\right\}$ дифференцируема. Если $\mathbb {E}_{\theta }\left[\left|(\partial / \partial x_{i}) g_{i}(X)\right|\right]<\infty$ для $i=1, \ldots , p$ , то

R(\theta , \delta )=\mathbb {E}_{\theta }\left[\left|\theta -\delta (X)\right|^{2}\right]=p \sigma ^{2}+\mathbb {E}_{\theta }\left[\left|g(X)\right|^{2}\right]-2 \sigma ^{2} \sum _{i=1}^{p} \mathbb {E}_{\theta }\left[\frac{\partial }{\partial x_{i}} g_{i}(X)\right].

Докажите следствие 7.2. Обязательно проверьте, что условия на $g(\mathbf{x})$ достаточны, чтобы допустить рассуждение с интегрированием по частям. [Stein $(1973,1981)$ развивает эти представления в нормальном случае.]

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.3

(a)(b)(c)

Вывод несмещённой оценки риска (следствие 7.2) можно распространить на более общую модель в экспоненциальном семействе — модель следствия 3.3, где $\mathbf{X}=X_{1}, \ldots , X_{p}$ имеет плотность

p_{\boldsymbol {\eta }}(\mathbf{x})=e^{\sum _{i=1}^{p} \eta _{i} x_{i}-A(\boldsymbol {\eta })} h(\mathbf{x}).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Байесовская оценка $\boldsymbol {\eta }$ при квадратичной функции потерь равна

\mathbb {E}\left[\eta _{i} \mid \mathbf{x}\right]=\frac{\partial }{\partial x_{i}} \log m(\mathbf{x})-\frac{\partial }{\partial x_{i}} \log h(\mathbf{x}).

Покажите, что риск $\mathbb {E}\left[\eta \mid \mathbf{X}\right]]$ имеет несмещённую оценку

\sum _{i=1}^{p}\left[\frac{\partial ^{2}}{\partial x_{i}^{2}}(\log h(\mathbf{x})-2 \log m(\mathbf{x}))+\left(\frac{\partial }{\partial x_{i}} \log m(\mathbf{x})\right)^{2}\right].

[Указание: теорема 3.5 и задача 3.4.]

(b)

Покажите, что риск эмпирической байесовской оценки

\mathbb {E}\left[\eta _{i} \mid \mathbf{x}, \hat{\lambda }\right]=\frac{\partial }{\partial x_{i}} \log m(\mathbf{x} \mid \hat{\lambda }(\mathbf{x}))-\frac{\partial }{\partial x_{i}} \log h(\mathbf{x}).

из теоремы 6.3 имеет несмещённую оценку

\sum _{i=1}^{p}\left[\frac{\partial ^{2}}{\partial x_{i}^{2}}(\log h(\mathbf{x})-2 \log m(\mathbf{x} \mid \hat{\lambda }(\mathbf{x})))+\left(\frac{\partial }{\partial x_{i}} \log m(\mathbf{x} \mid \hat{\lambda }(\mathbf{x}))\right)^{2}\right]

(c)

Используя результаты пункта (b), выведите несмещённую оценку риска положительной части оценки Стейна из (7.7.10).

Задача 4.7.4

Проверьте (7.7.9) — выражение для байесовского риска $\delta^{\tau_{0}}$ . (Задача 3.12 может оказаться полезной.)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.5

(a)(b)

Общий вид эмпирической байесовской оценки (7.7.3) задаётся как

\delta ^{c}(\mathbf{x})=\left(1-\frac{c \sigma ^{2}}{|\mathbf{x}|^{2}}\right) \mathbf{x},

где $c$ — положительная константа.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Используя следствие 7.2, проверьте, что

\mathbb {E}_{\theta }\left[\left|\boldsymbol {\theta }-\delta ^{c}(\mathbf{X})\right|^{2}\right]=p \sigma ^{2}+c \sigma ^{4}[c-2(p-2)] \mathbb {E}_{\theta }\left[\frac{1}{|\mathbf{X}|^{2}}\right].

(b)

Покажите, что байесовский риск при $\Theta \sim N_{p}\left(0, \tau^{2} I\right)$ задаётся формулой

r\left(\pi , \delta ^{c}\right)=\sigma ^{2}\left[p+\frac{c \sigma ^{2}}{\sigma ^{2}+\tau ^{2}}\left(\frac{c}{p-2}-2\right)\right]

и минимизируется при выборе $c=p-2$ .

Задача 4.7.6

(a)(b)(c)

Для модели

\begin{align} \mathbf{X} \mid \boldsymbol {\theta } & \sim N_{p}\left(\boldsymbol {\theta }, \sigma ^{2} I\right), \\ \boldsymbol {\theta } \mid \tau ^{2} & \sim N_{p}\left(\mu , \tau ^{2} I\right): \end{align}

Покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Эмпирическая байесовская оценка, использующая несмещённую оценку $\tau^{2} /\left(\sigma^{2}+\tau^{2}\right)$ , является оценкой Стейна

\delta _{i}^{\mathrm{JS}}(\mathbf{x})=\mu _{i}+\left(1-\frac{(p-2) \sigma ^{2}}{\Sigma \left(x_{i}-\mu _{i}\right)^{2}}\right)\left(x_{i}-\mu _{i}\right).

(b)

Если $p \geq 3$ , байесовский риск при квадратичной функции потерь оценки $\delta^{\mathrm{JS}}$ равен $r\left(\tau , \delta^{\mathrm{JS}}\right)=r\left(\tau , \delta^{\tau }\right)+ 2 \sigma^{4} /\left(\sigma^{2}+\tau^{2}\right)$ , где $r\left(\tau , \delta^{\tau }\right)$ — байесовский риск байесовской оценки.

(c)

Если $p<3$ , байесовский риск $\delta^{\mathrm{JS}}$ бесконечен. [Указание: Покажите, что если $Y \sim \chi_{m}^{2}$ , то $\mathbb {E}\left[1 / Y\right]< \infty \Longleftrightarrow m<3]$ .

Задача 4.7.7

Для модели

\begin{align} \mathbf{X} \mid \boldsymbol {\theta } & \sim N_{p}\left(\boldsymbol {\theta }, \sigma ^{2} I\right), \\ \boldsymbol {\theta } \mid \tau ^{2} & \sim N\left(\mu , \tau ^{2} I\right) \end{align}

байесовский риск обычной оценки Стейна

\delta _{i}(\mathbf{x})=\mu _{i}+\left(1-\frac{(p-2) \sigma ^{2}}{\Sigma \left(x_{i}-\mu _{i}\right)^{2}}\right)\left(x_{i}-\mu _{i}\right)

равномерно больше, чем у её положительной части

\delta _{i}^{+}(\mathbf{x})=\mu _{i}+\left(1-\frac{(p-2) \sigma ^{2}}{\Sigma \left(x_{i}-\mu _{i}\right)^{2}}\right)^{+}\left(x_{i}-\mu _{i}\right).

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.8

(a)(b)(c)

Теорема 7.5 верна в большей общности, чем только для нормального распределения. Предположим, что $\mathbf{X}$ распределена согласно многомерной версии экспоненциального семейства $p_{\eta }(x)$ из (33.7),

p_{\eta }(\mathbf{x})=e^{\eta ^{\prime } \mathbf{x}-A(\eta )} h(\mathbf{x}), \quad -\infty <x_{i}<\infty ,

и используется многомерное сопряжённое априорное распределение [обобщающее (3.19)].

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что $\mathbb {E}\left[\mathbf{X} \mid \eta \right]=\nabla A(\eta )$ .

(b)

Если $\mu =0$ в априорном распределении (см. 3.19), покажите, что $r(\tau , \delta ) \geq r\left(\tau , \delta^{+}\right)$ , где $\delta (\mathbf{x})=[1-B(\mathbf{x})] \mathbf{x}$ и $\delta^{+}(\mathbf{x})=[1-B(\mathbf{x})]^{+} \mathbf{x}$ .

(c)

Если $\mu \neq 0$ , оценка $\delta (\mathbf{x})$ изменяется на $\mu +\delta (\mathbf{x}-\mu )$ . Установите результат, аналогичный пункту (b), для этой оценки.

Задача 4.7.9

(a)(b)

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для модели (7.7.15) покажите, что маргинальное распределение $X_{i}$ — отрицательное биномиальное $(a, 1 / b+1)$ ; то есть

\mathbb {P}\left(X_{i}=x\right)=\binom {a+x-1}{x}\left(\frac{b}{b+1}\right)^{x}\left(\frac{1}{b+1}\right)^{a}

с $\mathbb {E}\left[X_{i}\right]=a b$ и var $X_{i}=a b(b+1)$ .

(b)

Если $X_{1}, \ldots , X_{m}$ независимые одинаково распределённые согласно отрицательному биномиальному распределению из пункта (a), покажите, что условное распределение $X_{j} \mid \sum_{1}^{m} X_{i}$ — отрицательное гипергеометрическое распределение, задаваемое как

\mathbb {P}\left(X_{j}=x \mid \sum _{1}^{m} X_{i}=t\right)=\frac{\binom {a+x-1}{x}\binom {(m-1) a+t-x-1}{t-x}}{\binom {m a+t-1}{t}}

с $\mathbb {E}\left[X_{j}\right]=t / m$ и var $X_{j}=(m-1) t(m a+t) / m^{2}(m a+1)$ .

Задача 4.7.10

(a)(b)(c)

Для ситуации примера 7.6:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что байесовская оценка при функции потерь $L_{k}(\lambda , \delta )$ из (7.7.16) задаётся формулой (7.7.17).

(b)

Проверьте (7.7.19) и (7.7.20).

(c)

Вычислите байесовские риски $r\left(0, \delta^{1}\right)$ и $r\left(1, \delta^{0}\right)$ . Какая оценка, $\delta^{0}$ или $\delta^{1}$ , более робастна?

Задача 4.7.11

Для ситуации примера 7.6 вычислите байесовский риск эмпирической байесовской оценки (7.7.20) при $k=0$ и 1. При каких значениях неизвестного гиперпараметра $b$ эмпирическая байесовская оценка оказывается в наименее, а при каких — в наиболее выгодном положении?

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.12

Рассмотрим иерархическую байесовскую оценку для пуассоновской модели (7.7.15) при функции потерь (7.7.16). Используя распределение (5.6.27) для гиперпараметра $b$ , покажите, что байесовская оценка равна

\left(\frac{p \bar{x}+\alpha -k}{p \bar{x}+p a+\alpha +\beta -k}\right)\left(a+x_{i}-k\right).

[Указание: Покажите, что байесовская оценка равна $\mathbb {E}\left[\lambda^{1-k} \mid \mathbf{x}\right] / \mathbb {E}\left[\lambda^{-k} \mid \mathbf{x}\right]$ и что

\mathbb {E}\left[\lambda ^{r} \mid \mathbf{x}\right]=\frac{\Gamma (p \bar{x}+p a+\alpha +\beta ) \Gamma (p \bar{x}+\alpha +r)}{\Gamma (p \bar{x}+\alpha ) \Gamma (p \bar{x}+p a+\alpha +\beta +r)} \frac{\Gamma \left(a+x_{i}+r\right)}{\Gamma \left(a+x_{i}\right)}.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.13

(a)(b)

Докажите следующее: два матричных результата, полезных при вычислении оценок в многомерных иерархических моделях:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Для любого вектора $a$ вида $a=\left(I-\frac{1}{s} J\right) b, \mathbf{1}^{\prime } a=\Sigma a_{i}=0$ .

(b)

Если $B$ — идемпотентная матрица (то есть $B^{2}=I$ ), а $a$ — скаляр, то

(I+a B)^{-1}=I-\frac{a}{1+a} B.

Задача 4.7.14

(a)(b)(c)(d)

Для ситуации примера 7.7:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, как вывести эмпирическую байесовскую оценку $\delta^{L}$ из (7.7.28).

(b)

Проверьте байесовский риск $\delta^{L}$ из (7.7.29).

Для ситуации примера 7.8:

(c)

Покажите, как вывести эмпирическую байесовскую оценку $\delta^{\mathrm{EB}_{2}}$ из (7.7.33).

(d)

Проверьте байесовский риск $\delta^{\mathrm{EB}_{2}}$ , (7.7.34).

Задача 4.7.15

(a)(b)(c)

Эмпирическую байесовскую оценку (7.7.27) можно также вывести как иерархическую байесовскую оценку. Рассмотрим иерархическую модель

\begin{align} X_{i j} \mid \xi _{i} & \sim N\left(\xi _{i}, \sigma ^{2}\right), \quad j=1, \ldots , n, \quad i=1, \ldots , s, \\ \xi _{i} \mid \mu & \sim N\left(\mu , \tau ^{2}\right), \quad i=1, \ldots , s, \\ \mu & \sim \text{ Uniform }(-\infty , \infty ) \end{align}

где $\sigma^{2}$ и $\tau^{2}$ известны.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Покажите, что байесовская оценка при квадратичной функции потерь равна

\mathbb {E}\left[\xi _{i} \mid \mathbf{x}\right]=\frac{\sigma ^{2}}{\sigma ^{2}+n \tau ^{2}} \mathbb {E}\left[\mu \mid \mathbf{x}\right]+\frac{n \tau ^{2}}{\sigma ^{2}+n \tau ^{2}} \bar{x}_{i}

где $\mathbb {E}\left[\mu \mid \mathbf{x}\right]$ — апостериорное среднее $\mu$ .

(b)

Установите, что $\mathbb {E}\left[\mu \mid \mathbf{x}\right]=\bar{x}=\Sigma x_{i j} / n s$ . [Это можно сделать, вычислив математическое ожидание напрямую, либо показав, что апостериорное распределение $\xi_{i} \mid \mathbf{x}$ есть

\xi _{i} \left\lvert \, \mathbf{x} \sim N\left[\frac{\sigma ^{2}}{\sigma ^{2}+n \tau ^{2}} \bar{x}+\frac{n \tau ^{2}}{\sigma ^{2}+n \tau ^{2}} \bar{x}_{i}, \frac{\sigma ^{2}}{\sigma ^{2}+n \tau ^{2}}\left(n \tau ^{2}+\frac{\sigma ^{2}}{s}\right)\right].\right.

Заметим, что величины $\xi_{i}$ не являются независимыми апостериори. В самом деле,

\boldsymbol {\xi } \left\lvert \, \mathbf{x} \sim N_{s}\left(\frac{n \tau ^{2}}{\sigma ^{2}+n \tau ^{2}} M, \frac{n \sigma ^{2} \tau ^{2}}{\sigma ^{2}+n \tau ^{2}} M\right)\right.,

где $\left.M=I+\left(\sigma^{2} / n \tau^{2}\right) J\right]$ .

(c)

Покажите, что эмпирическую байесовскую оценку (7.7.32) также можно вывести как иерархическую байесовскую оценку, добавив к иерархии (7.7.30) спецификацию $(\alpha , \beta ) \sim$ равномерное $\left(\Re^{2}\right)$ [то есть $\pi (\alpha , \beta )=d \alpha d \beta ,-\infty <\alpha , \beta <\infty$ ].

Задача 4.7.16

(a)(b)(c)

Обобщение модели (7.7.23) на случай неравных $n_{i}$ , возможно, не так просто, как можно было бы ожидать. Рассмотрим обобщение

\begin{align} X_{i j} \mid \xi _{i} & \sim N\left(\xi _{i}, \sigma ^{2}\right), \quad j=1, \ldots , n_{i}, \quad i=1, \ldots , s, \\ \xi _{i} \mid \mu & \sim N\left(\mu , \tau _{i}^{2}\right), \quad i=1, \ldots , s. \end{align}

Предположим также, что $\tau_{i}^{2}=\tau^{2} / n_{i}$ . Покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Приведённая выше модель эквивалентна

\begin{align} & \mathbf{Y} \sim N_{s}\left(\lambda , \sigma ^{2} I\right), \\ & \lambda \sim N_{s}\left(\mathbf{Z} \mu , \tau ^{2} I\right) \end{align}

где $Y_{i}=\sqrt{n_{i}} \bar{X}_{i}, \lambda_{i}=\sqrt{n_{i}} \xi_{i}$ и $\mathbf{z}=\left(\sqrt{n_{1}}, \ldots , \sqrt{n_{s}}\right)^{\prime }$ .

(b)

Байесовская оценка $\xi_{i}$ при квадратичной функции потерь равна

\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}} \mu +\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} \bar{x}_{i}.

(c)

Маргинальное распределение $Y_{i}$ есть $Y_{i} \sim N_{s}\left(\mathbf{Z} \mu ,\left(\sigma^{2}+\tau^{2}\right) I\right)$ , и эмпирическая байесовская оценка $\xi$ равна

\delta _{i}^{E B}=\bar{x}+\left(1-\frac{(s-3) \sigma ^{2}}{\Sigma n_{i}\left(\bar{x}_{i}-\bar{x}\right)^{2}}\right)\left(\bar{x}_{i}-\bar{x}\right)

где $\bar{x}_{i}=\Sigma_{j} x_{i j} / n_{i}$ и $\bar{x}=\Sigma_{i} n_{i} \bar{x}_{i} / \Sigma_{i} n_{i}$ . [Без предположения $\tau_{i}^{2}=\tau^{2} / n_{i}$ получить простую эмпирическую байесовскую оценку не удаётся. Если $\tau_{i}^{2}=\tau^{2}$ , для получения оценки $\tau^{2}$ , используемой в эмпирической байесовской оценке, можно применить оценивание по методу правдоподобия. Это обсуждается у Morris (1983a).]

Задача 4.7.17

(a)(b)(c)(d)

(Эмпирическое байесовское оценивание в общем случае). Общий вид иерархических моделей из примеров 7.7 и 7.8:

\begin{align} & \mathbf{X} \mid \xi \sim N_{s}\left(\xi , \sigma ^{2} I\right), \\ & \xi \mid \boldsymbol {\beta } \sim N_{s}\left(\mathbf{Z} \boldsymbol {\beta }, \tau ^{2} I\right) \end{align}

где $\sigma^{2}$ и $\mathbf{Z}_{s \times r}$ ранга $r$ известны, а $\tau^{2}$ и $\boldsymbol {\beta }_{r \times 1}$ неизвестны. Для этой модели покажите, что:

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Байесовская оценка $\xi$ при квадратичной функции потерь равна

\mathbb {E}\left[\boldsymbol {\xi } \mid \mathbf{x}, \boldsymbol {\beta }\right]=\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}} z \boldsymbol {\beta }+\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} \mathbf{x}.

(b)

Маргинально распределение $\mathbf{X} \mid \boldsymbol {\beta }$ есть $\mathbf{X} \mid \boldsymbol {\beta } \sim N_{s}\left(\mathbf{Z} \boldsymbol {\beta },\left(\sigma^{2}+\tau^{2}\right) I\right)$ .

(c)

При маргинальном распределении из пункта (b)

\begin{align} \mathbb {E}\left[\left(\mathbf{Z}^{\prime } \mathbf{Z}\right)^{-1} \mathbf{Z}^{\prime } \mathbf{x}\right] & =\mathbb {E}\left[\hat{\boldsymbol {\beta }}\right]=\boldsymbol {\beta }, \\ \mathbb {E}\left[\frac{s-r-2}{|\mathbf{X}-\mathbf{Z} \hat{\boldsymbol {\beta }}|^{2}}\right] & =\frac{1}{\sigma ^{2}+\tau ^{2}}, \end{align}

и, следовательно, эмпирическая байесовская оценка $\xi$ равна

\delta ^{E B}=\mathbf{Z} \hat{\boldsymbol {\beta }}+\left(1-\frac{(s-r-2) \sigma ^{2}}{|\mathbf{x}-\mathbf{Z} \hat{\boldsymbol {\beta }}|^{2}}\right)(\mathbf{x}-\mathbf{Z} \hat{\boldsymbol {\beta }}).

(d)

Байесовский риск $\delta^{E B}$ равен $r\left(\tau , \delta^{\tau }\right)+(r+2) \sigma^{4} /\left(\sigma^{2}+\tau^{2}\right)$ , где $r\left(\tau , \delta^{\tau }\right)$ — риск байесовской оценки.

Задача 4.7.18

(a)(b)(c)

Аналогично предыдущей задаче, можно вывести иерархические байесовские оценки для модели

\begin{align} \mathbf{X} \mid \boldsymbol {\xi } & \sim N_{s}\left(\boldsymbol {\xi }, \sigma ^{2} I\right), \\ \boldsymbol {\xi } \mid \boldsymbol {\beta } & \sim N_{s}\left(\mathbf{Z} \boldsymbol {\beta }, \tau ^{2} I\right), \\ \boldsymbol {\beta } & \sim \operatorname {Uniform}\left(\Re ^{r}\right) \end{align}

где $\sigma^{2}$ и $\mathbf{Z}_{s \times r}$ ранга $r$ известны, а $\tau^{2}$ неизвестно.

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Априорное распределение $\boldsymbol {\xi }$ , безусловное относительно $\beta$ , пропорционально

\pi (\xi )=\int _{\Re ^{r}} \pi (\xi \mid \beta ) d \beta \propto e^{-\frac{1}{2} \frac{\xi ^{\prime }(I-H) \xi }{\tau ^{2}}},

где $H=\mathbf{Z}\left(\mathbf{Z}^{\prime } \mathbf{Z}\right)^{-1} \mathbf{Z}^{\prime }$ проектирует из $\Re^{s}$ в $\Re^{r}$ . [Указание: Установите, что

\begin{align} (\xi -\mathbf{Z} \boldsymbol {\beta })^{\prime }(\boldsymbol {\xi }-\mathbf{Z} \boldsymbol {\beta })=\xi ^{\prime }(I-H) \boldsymbol {\xi } & \\ & +\left[\boldsymbol {\beta }-\left(\mathbf{Z}^{\prime } \mathbf{Z}\right)^{-1} \mathbf{Z}^{\prime } \boldsymbol {\xi }\right]^{\prime } \mathbf{Z}^{\prime } \mathbf{Z}\left[\boldsymbol {\beta }-\left(\mathbf{Z}^{\prime } \mathbf{Z}\right)^{-1} \mathbf{Z}^{\prime } \boldsymbol {\xi }\right] \end{align}

чтобы выполнить интегрирование по $\boldsymbol {\beta }$ .]

(b)

Покажите, что

\boldsymbol {\xi } \left\lvert \, \mathbf{x} \sim N_{s}\left(\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} M, \frac{\sigma ^{2} \tau ^{2}}{\sigma ^{2}+\tau ^{2}} M\right)\right.

где $M=I+\left(\sigma^{2} / \tau^{2}\right) H$ , и, следовательно, байесовская оценка задаётся формулой

\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}} H \mathbf{x}+\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} \mathbf{x}

где $\mathbf{Z} \hat{\boldsymbol {\beta }}=H \mathbf{x}$ . [Указание: Установите, что

\begin{align} & \frac{1}{\tau ^{2}} \xi ^{\prime }(I-H) \xi +\frac{1}{\sigma ^{2}}(\mathbf{x}-\xi )^{\prime }(\mathbf{x}-\xi ) \\ & = \frac{\sigma ^{2}+\tau ^{2}}{\sigma ^{2} \tau ^{2}}\left[\left(\xi -\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} M \mathbf{x}\right)^{\prime } M^{-1}\left(\xi -\frac{\tau ^{2}}{\sigma ^{2}+\tau ^{2}} M \mathbf{x}\right)\right] \\ & +\frac{1}{\sigma ^{2}+\tau ^{2}} \mathbf{x}^{\prime }(I-H) \mathbf{x} \end{align}

где $M^{-1}=I-\frac{\sigma^{2}}{\sigma^{2}+\tau^{2}} H$ .]

(c)

Маргинально, $\mathbf{X}^{\prime }(I-H) \mathbf{X} \sim \left(\sigma^{2}+\tau^{2}\right) \chi_{s-r}^{2}$ . Это приводит нас к эмпирической байесовской оценке

H \mathbf{x}+\left(1-\frac{(s-r-2) \sigma ^{2}}{\mathbf{x}^{\prime }(I-H) \mathbf{x}}\right)(\mathbf{x}-H \mathbf{x})

которая равна эмпирической байесовской оценке из задачи 7.17(c).

[Модель в этой и предыдущей задаче можно существенно обобщить. Например, обе матрицы $\sigma^{2} I$ и $\tau^{2} I$ можно заменить полными положительно определёнными матрицами. Ценой увеличения сложности матричных вычислений и потери простых ответов иерархические и эмпирические байесовские оценки всё же можно вычислить. Ковариации, скалярные или матричные, также могут быть неизвестны, и в этом случае можно использовать обратное гамма-распределение (или обратное распределение Уишарта) в качестве априорного. Вычисления можно реализовать с помощью сэмплера Гиббса. Заметим, что эти обобщения охватывают случай «неравных $n_{i}$ » (см. задачу 7.16), однако для этого случая простых решений не существует. Многие из этих оценок также обладают свойством минимаксности, которое будет обсуждаться в главе 5.]

Задача 4.7.19

Как отмечено Morris (1983a), иерархическая модель типа дисперсионного анализа с неравными $n_{i}$ даёт эмпирические байесовские оценки в замкнутой форме, если априорные дисперсии пропорциональны выборочным дисперсиям. Покажите, что для модели

\begin{align} X_{i j} \mid \xi _{i} & \sim N\left(\xi _{i}, \sigma ^{2}\right), \quad j=1, \ldots , n_{i}, \quad i=1, \ldots , s \\ \boldsymbol {\xi } \mid \boldsymbol {\beta } & \sim N_{s}\left(\mathbf{Z} \boldsymbol {\beta }, \tau ^{2} D^{-1}\right) \end{align}

где $\sigma^{2}$ и $\mathbf{Z}_{s \times r}$ полного ранга $r$ известны, $\tau^{2}$ неизвестно, а $D=\operatorname {diag}\left(n_{1}, \ldots , n_{s}\right)$ , эмпирическая байесовская оценка задаётся формулой

\delta ^{\mathrm{EB}}=\mathbf{Z} \hat{\boldsymbol {\beta }}+\left(1-\frac{(s-r-2) \sigma ^{2}}{(\overline{\mathbf{x}}-\mathbf{Z} \hat{\boldsymbol {\beta }})^{\prime } D(\overline{\mathbf{x}}-\mathbf{Z} \hat{\boldsymbol {\beta }})}\right)(\overline{\mathbf{x}}-\mathbf{Z} \hat{\boldsymbol {\beta }})

с $\overline{\mathbf{x}}_{i}=\Sigma_{j} x_{i j} / n_{i}, \overline{\mathbf{x}}=\left\{ \bar{x}_{i}\right\}$ , и $\hat{\boldsymbol {\beta }}=\left(\mathbf{Z}^{\prime } D \mathbf{Z}\right)^{-1} \mathbf{Z}^{\prime } D \overline{\mathbf{x}}$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

Задача 4.7.20

(a)(b)(c)(d)

Занимательный (и необоснованный) результат, злоупотребляющий иерархическим байесовским вычислением, приводит к следующему выводу оценки Джеймса—Стейна. Пусть $X \sim N_{p}(\boldsymbol {\theta }, I)$ и $\boldsymbol {\theta } \mid \tau^{2} \sim N_{p}\left(0, \tau^{2} I\right)$ .

Происхождение: Переведено ИИ с другой версии содержимого этого же узла

Создано на основе: Изложено по оригинальному источнику

(a)

Проверьте, что при условии $\tau^{2}$ апостериорное и маргинальное распределения задаются формулами

\begin{align} \pi \left(\boldsymbol {\theta } \mid \mathbf{x}, \tau ^{2}\right) & =N_{p}\left(\frac{\tau ^{2}}{\tau ^{2}+1} \mathbf{x}, \frac{\tau ^{2}}{\tau ^{2}+1} I\right) \\ m\left(\mathbf{x} \mid \tau ^{2}\right) & =N_{p}\left[0,\left(\tau ^{2}+1\right) I\right] \end{align}

(b)

Покажите, что, если положить $\pi \left(\tau^{2}\right)=1,-1<\tau^{2}<\infty$ , то

\begin{align} & \iint _{\Re p} \boldsymbol {\theta } \pi \left(\boldsymbol {\theta } \mid \mathbf{x}, \tau ^{2}\right) m\left(\mathbf{x} \mid \tau ^{2}\right) d \boldsymbol {\theta } d \tau ^{2} \\ & =\frac{\mathbf{x}}{(2 \pi )^{p / 2}\left(|\mathbf{x}|^{2}\right)^{p / 2-1}}\left[\Gamma \left(\frac{p-2}{2}\right) 2^{(p-2) / 2}-\frac{\Gamma (p / 2) 2^{p / 2}}{|\mathbf{x}|^{2}}\right] \end{align}

\begin{align} & \iint _{\Re p} \pi \left(\boldsymbol {\theta } \mid \mathbf{x}, \tau ^{2}\right) m\left(\mathbf{x} \mid \tau ^{2}\right) d \boldsymbol {\theta } d \tau ^{2} \\ & =\frac{1}{(2 \pi )^{p / 2}\left(|\mathbf{x}|^{2}\right)^{p / 2-1}} \Gamma \left(\frac{p-2}{2}\right) 2^{(p-2) / 2} \end{align}

и, следовательно,

\mathbb {E}\left[\boldsymbol {\theta } \mid \mathbf{x}\right]=\left(1-\frac{p-2}{|\mathbf{x}|^{2}}\right) \mathbf{x}.

(c)

Объясните некоторые следствия результата из пункта (b) и то, почему он не может быть верным. [Попробуйте согласовать его с (3.3.12).]

(d)

Почему вычисления в пункте (b) необоснованны?