Обобщения

Покажите, что

где $S=\sum_{j}\left(X_{j}-\overline{\mathbf{X}}\right)^{2}$.

Используя интегрирование по частям, покажите, что

Используйте результаты пунктов (a) и (b), чтобы установить (6.2).

Оценка $\delta^{L}$ минимаксна, если $r \geq 4$ и $c \leq 2$.

Риск $\delta^{L}$ бесконечен, если $r \leq 3$.

Минимальный риск равен $3 / r$ и достигается при $\theta_{1}=\theta_{2}=\cdots =\theta$.

Оценка $\delta^{L}$ доминируется по риску своей версией с положительной частью

Покажите, что $k \mathbf{x}$ является MLE, если $\boldsymbol {\theta } \in \mathcal{L}_{k}$.

Покажите, что $\delta^{k}(\mathbf{x})$ из (6.8) минимаксна при квадратичной функции потерь.

Проверьте, что $\theta_{i}$ вида (6.4) удовлетворяют $T\left(T^{\prime } T\right)^{-1} T^{\prime } \boldsymbol {\theta }=\boldsymbol {\theta }$ для $T$ из (6.5), и постройте минимаксную оценку, сжимающуюся к этому подпространству.

Найдите MLE $\boldsymbol {\theta }$, скажем $\hat{\boldsymbol {\theta }}_{R}$, если предполагается, что $\boldsymbol {\theta }$ лежит в линейном подпространстве

Покажите, что $\mathcal{L}$ можно записать в виде (6.7), и найдите $K$.

Постройте оценку Стейна, сжимающуюся к MLE из пункта (a), и докажите, что она минимаксна.

Покажите, что $\delta^{c}(\mathbf{x}, \mathbf{y})$ минимаксна, если $0 \leq c \leq 2$.

Покажите, что если $\boldsymbol {\xi }=0$, то $R\left(\boldsymbol {\theta }, \delta^{1}\right)=1-\frac{\sigma^{2}}{\sigma^{2}+\tau^{2}} \frac{r-2}{r}$, $R\left(\boldsymbol {\theta }, \delta^{\text{comb }}\right)=1-\frac{\sigma^{2}}{\sigma^{2}+\tau^{2}}$, и, следовательно, $R\left(\boldsymbol {\theta }, \delta^{1}\right)>R\left(\boldsymbol {\theta }, \delta^{\text{comb }}\right)$.

Для $\boldsymbol {\xi } \neq 0$ покажите, что $R\left(\boldsymbol {\theta }, \delta^{\text{comb }}\right)=1-\frac{\sigma^{2}}{\sigma^{2}+\tau^{2}}+\frac{|\boldsymbol {\xi }|^{2} \sigma^{2}}{r\left(\sigma^{2}+\tau^{2}\right)}$, и, следовательно, риск неограничен при $\left|\boldsymbol {\xi }\right| \rightarrow \infty$.

Для $X\left|\boldsymbol {\theta } \sim N_{r}\left(\boldsymbol {\theta }, \sigma^{2} I\right), Y\right| \boldsymbol {\theta }, \boldsymbol {\xi } \sim N_{r}\left(\boldsymbol {\theta }+\boldsymbol {\xi }, \tau^{2} I\right), \boldsymbol {\xi } \sim N\left(0, \gamma^{2} I\right)$, и $\theta_{i} \sim$ Uniform $(-\infty , \infty )$, при известных $\sigma^{2}$ и $\tau^{2}$, покажите, как получить $\delta^{r-2}(\mathbf{x}, \mathbf{y})$ как эмпирическую байесовскую оценку.

Вычислите байесовскую оценку $\delta^{\pi }$ при квадратичной функции потерь.

Сравните $r\left(\pi , \delta^{\pi }\right)$ и $r\left(\pi , \delta^{r-2}\right)$.

Проверьте функцию риска (6.13).

Проверьте, что при неизвестной $\sigma^{2}$ функция риска оценки (6.14) задаётся формулой (6.15).

Покажите, что минимальный риск оценки (6.14) равен $1-\frac{v}{v+2} \frac{r-2}{r}$.

Покажите, что $R\left(\boldsymbol {\theta }, \delta^{L}\right)=1-\frac{v}{v+2} \frac{(r-3)^{2}}{r} \mathbb {E}_{\theta }\left[\frac{\sigma^{2}}{\Sigma \left(x_{i}-\bar{x}\right)^{2}}\right]$.

Покажите, что и $\delta^{L}$, и $\delta$ из (6.14) можно улучшить, используя их версии с положительной частью.

Покажите, что оценку Lindley с положительной частью можно записать в виде

Нулевая гипотеза отвергается, если $F$ велико. Покажите, что это соответствует использованию MLE при $H_{0}$, если $F$ мало, и оценки Стейна, если $F$ велико.

Нулевая гипотеза отвергается на уровне $\alpha$, если $F>F_{s-1, s(n-1), \alpha }$. Для $s=8$ и $n=6$: каков уровень критерия, соответствующий выбору $c=1$ — оптимальному по риску выбору?

Для тех же $s=8$ и $n=6$: каким значениям $c$ соответствует выбор $\alpha =.05$ или $\alpha =.01$ — типичных уровней $\alpha$? Являются ли получающиеся оценки минимаксными?

Покажите, что $\mathbb {E}_{\sigma }\left[\frac{1}{\sigma^{2}}\right]=\mathbb {E}_{0}\left[\frac{r-2}{|\mathrm{x}|^{2}}\right]$.

Если $1 / \sigma^{2} \sim \chi_{v}^{2} / v$, то $f(\left|\mathbf{x}-\boldsymbol {\theta }\right|)$ из (6.19) есть многомерное $t$-распределение с $v$ степенями свободы, и $\mathbb {E}_{0}\left[|\mathbf{X}|^{-2}\right]=(r-2)^{-1}$.

Если $1 / \sigma^{2} \sim Y$, где $\chi_{v}^{2} / v$ стохастически больше $Y$, то $\delta (\mathbf{x})$ из (6.20) минимаксна для этой смеси при условии $0 \leq c \leq 2(r-2)$.

Проверьте, что оценка (6.25) минимаксна, если $0 \leq c \leq 2$. (Применима Теорема 5.5.)

Обращаясь к (6.27), покажите, что

где $Y \sim \chi_{r}^{2}$.

Если $\chi_{v}^{2}$ обозначает случайную величину хи-квадрат с $v$ степенями свободы, установите тождество

чтобы показать, что

где теперь $Y \sim \chi_{r-2}^{2}$.

Проверьте (6.29), тем самым показав, что $r\left(\pi , \delta^{R}\right) \leq r\left(\pi , \delta^{c}\right)$.

Покажите, что $\mathbb {E}\left[(Y-a)^{2} I(Y>a)\right]$ является убывающей функцией от $a$, и, следовательно, максимальное улучшение байесовского риска при сохранении минимаксности достигается при $c=2$.

При каких значениях $a, \alpha$ и $\beta$ оценки из (4.6.29) минимаксны? Являются ли они также собственными байесовскими при этих значениях?

Пусть $\Lambda =\Sigma \lambda_{i}$, и определим $\theta_{i}=\lambda_{i} / \Lambda , i=1, \ldots , r$. Для априорного распределения $\pi (\boldsymbol {\theta }, \Lambda )= m(\Lambda ) d \Lambda \prod_{i=1}^{r} d \theta_{i}$ покажите, что байесовская оценка равна

где $z=\Sigma x_{i}$ и

Покажите, что выбор $m(\Lambda )=1$ даёт оценку $\delta (\mathbf{x})=[1-(r-1) /(z+r-1)] \mathbf{x}$, которая минимаксна.

Покажите, что выбор $m(\Lambda )=(1+\Lambda )^{-\beta }, 1 \leq \beta \leq r-1$, даёт оценку, которая является собственной байесовской минимаксной при $r>2$.

Оценку из пункта (d) трудно вычислить. Однако для выбора априорного распределения

покажите, что обобщённая байесовская оценка равна

и определите условия её минимаксности. Покажите, что она является собственной байесовской, если $\beta >1$.

Покажите, что обычная оценка $\mathbf{x} / p$ имеет постоянный риск $r(1-p) / p$.

Для $r \geq 2$ покажите, что оценка

доминирует над $\mathbf{x} / p$ по риску, где $z=\Sigma x_{i}$ и $0<a<2(r-1)(1-p)$.

Обобщите рассуждение из пункта (b) и найдите условия на функцию $c(\cdot )$ и константу $b$, при которых

доминирует над $\mathbf{x} / p$ по риску.

Докажите Лемму 6.9.

Докажите, что для $X \sim p_{i}(x \mid \theta )$, где $p_{i}(x \mid \theta )$ задаётся формулой (6.36), $\delta^{0}(x)=h_{i}(x- 1) / h_{i}(x)$ является UMVU-оценкой $\theta$ (Roy and Mitra 1957).

Докажите Теорему 6.10.

Установите, что $\mathbf{x}+g(\mathbf{x})$, где $g(\mathbf{x})$ задаётся формулой (6.42), удовлетворяет $\mathcal{D}(\mathbf{x}) \leq 0$ для функции потерь $L_{0}(\boldsymbol {\theta }, \delta )$ из (6.38), и, следовательно, доминирует над $\mathbf{x}$ по риску.

Выведите $\mathcal{D}(\mathbf{x})$ для независимых $X_{i} \sim \operatorname {Poisson}\left(\lambda_{i}\right)$ и функции потерь $L_{-1}(\lambda , \delta )$ из (6.38). Покажите, что $\mathbf{x}+g(\mathbf{x})$ для $g(\mathbf{x})$, заданной формулой (6.43), удовлетворяет $\mathcal{D}(\mathbf{x}) \leq 0$ и, следовательно, является минимаксной оценкой $\lambda$.

Покажите, что оценка $\delta_{0}(\mathbf{x})+g(\mathbf{x})$, для $g(\mathbf{x})$ из (6.45), доминирует над $\delta^{0}$ по риску при функции потерь $L_{-1}(\boldsymbol {\theta }, \delta )$ из (6.38), установив, что $\mathcal{D}(\mathbf{x}) \leq 0$.

Для функции потерь $L_{0}(\boldsymbol {\theta }, \delta )$ из (6.38) покажите, что оценка $\delta^{0}(\mathbf{x})+g(\mathbf{x})$, где

с $k_{i}(x)=\Sigma_{\ell =1}^{x}\left(t_{i}-1+\ell \right) / \ell$ и неубывающей $c(\cdot )$, где $0 \leq c(\cdot ) \leq 2\left[\left(\# x_{i} s>1\right)-2\right]$, обладает свойством $\mathcal{D}(\mathbf{x}) \leq 0$ и, следовательно, доминирует над $\delta^{0}(\mathbf{x})$ по риску.

Покажите, что MLE для $\mu$ есть $X$, и что риск оценки $\delta (\mathbf{x})=\mathbf{x}+g(\mathbf{x})$ можно записать в виде

где

и

так что достаточным условием доминирования над MLE является $\mathcal{D}_{1}(\mathbf{x})+\mathcal{D}_{2}(\mathbf{x}) \leq 0$ для всех $\mathbf{x}$.

Покажите, что если $X_{i}$ имеют распределение $\operatorname {Poisson}\left(\theta_{i}\right)$ (вместо отрицательного биномиального), то $\mathcal{D}_{2}(\mathbf{x})=0$. Таким образом, любая оценка, доминирующая над MLE в отрицательном биномиальном случае, также доминирует над MLE в пуассоновском случае.

Покажите, что оценка Клевенсона—Зидека

удовлетворяет $\mathcal{D}_{1}(\mathbf{x}) \leq 0$ и $\mathcal{D}_{2}(\mathbf{x}) \leq 0$ и, следовательно, доминирует над MLE как в пуассоновской, так и в отрицательной биномиальной модели.