Допустимость и полные классы

Установите утверждение, сделанное в Примере 7.2. Пусть $X_{1}$ и $X_{2}$ — независимые случайные величины, $X_{i} \sim N\left(\theta_{i}, 1\right)$, и пусть $L\left(\left(\theta_{1}, \theta_{2}\right), \delta \right)=\left(\theta_{1}-\delta \right)^{2}$. Покажите, что $\delta =\operatorname {sign}\left(X_{2}\right)$ является допустимой оценкой $\theta_{1}$, несмотря на то что её распределение не зависит от $\theta_{1}$.

Efron and Morris (1973a) приводят следующий вывод положительной части оценки Стейна как усечённой байесовской оценки. Для $X \sim N_{r}\left(\boldsymbol {\theta }, \sigma^{2} I\right), r \geq 3$, и $\boldsymbol {\theta } \sim N\left(0, \tau^{2} I\right)$, где $\sigma^{2}$ известно, а $\tau^{2}$ неизвестно, определим $t=\sigma^{2} /\left(\sigma^{2}+\tau^{2}\right)$ и зададим на $t$ априорное распределение $h(t), 0<t<1$.

Лемма 7.5 утверждает: (i) если $C$ — класс всех (включая рандомизированные) оценок, основанных на достаточной статистике, то $C$ существенно полон; (ii) если функция потерь $L(\theta , d)$ выпукла по $d$, то класс нерандомизированных оценок полон. Эти результаты являются непосредственными следствиями Теоремы 1.6.1 и Следствия 1.7.9.

Заполните детали доказательства Леммы 7.5.

Для ситуации Примера 7.8 покажите, что если $\delta_{0}$ — произвольная оценка $\theta$, то класс всех оценок с $\delta (x)<\delta_{0}(x)$ при некотором $x$ полон.

Задача принятия решений называется монотонной (по определению Karlin and Rubin 1956; см. также Brown, Cohen and Strawderman 1976 и Berger 1985, Раздел 8.4), если функция потерь $L(\theta , \delta )$ при каждом $\theta$ минимизируется при $\delta =\theta$ и является возрастающей функцией от $\left|\delta -\theta \right|$. Оценка $\delta$ называется монотонной, если она является неубывающей функцией от $x$.

Покажите, что в следующих задачах оценивания все функции риска непрерывны.

Докажите следующую теорему, которая даёт достаточные условия непрерывности функций риска оценок.

Теорема 8.5 (Ferguson 1967, Теорема 3.7.1) Рассмотрим оценивание $\theta$ с функцией потерь $L(\theta , \delta )$, где $X \sim f(x \mid \theta )$. Предположим, что

1. функция потерь $L(\theta , \delta )$ ограничена и непрерывна по $\theta$ равномерно по $\delta$ (так что $\left.\lim_{\theta \rightarrow \theta_{0}} \sup_{\delta }\left|L(\theta , \delta )-L\left(\theta_{0}, \delta \right)\right|=0\right)$;

2. для любой ограниченной функции $\varphi , \int \varphi (x) f(x \mid \theta ) d \mu (x)$ непрерывен по $\theta$.

Тогда функция риска $R(\theta , \delta )=\mathbb {E}_{\theta }\left[L(\theta , \delta )\right]$ непрерывна по $\theta$.

Ссылаясь на Теорему 8.5, покажите, что условие (iii) выполнено для

Семейство функций $\mathcal{F}$ называется равностепенно непрерывным в точке $x_{0}$, если для любого $\varepsilon >0$ найдётся $\delta$ такое, что $\left|f(x)-f\left(x_{0}\right)\right|<\varepsilon$ для всех $\left|x-x_{0}\right|<\delta$ и всех $f \in \mathcal{F}$. (Одно и то же $\delta$ подходит для всех $f$.) Семейство равностепенно непрерывно, если оно равностепенно непрерывно в каждой точке $x_{0}$.

Теорема 8.6 (сообщено $L$. Gajek) Рассмотрим оценивание $\theta$ с функцией потерь $L(\theta , \delta )$, где $X \sim f(x \mid \theta )$ непрерывна по $\theta$ при каждом $x$. Если

1. Семейство $L(\theta , \delta (x))$ равностепенно непрерывно по $\theta$ при каждом $\delta$.

2. Для всех $\theta , \theta^{\prime } \in \Omega$,

   $$\sup _{x} \frac{f\left(x \mid \theta ^{\prime }\right)}{f(x \mid \theta )}<\infty .$$

Тогда любая конечнозначная функция риска $R(\theta , \delta )=\mathbb {E}_{\theta }\left[L(\theta , \delta )\right]$ непрерывна по $\theta$ и, следовательно, оценки с конечным, непрерывным риском образуют полный класс.

Ссылаясь на Теорему 7.11, эта задача показывает, что предположение о непрерывности $f(x \mid \theta )$ по $\theta$ нельзя ослабить. Рассмотрим плотность $f(x \mid \theta )$, равную $N(\theta , 1)$ при $\theta \leq 0$ и $N(\theta +1,1)$ при $\theta >0$.

Для $\mathbf{X} \sim f(\mathbf{x} \mid \theta )$ и функции потерь $L(\theta , \delta )=\sum_{i=1}^{r} \theta_{i}^{m}\left(\theta_{i}-\delta_{i}\right)^{2}$ покажите, что условие (iii) Теоремы 7.11 выполнено.

Докажите следующую (эквивалентную) версию метода Блайта (Теорема 7.13).

Теорема 8.7 Предположим, что параметрическое пространство $\Omega \in \Re^{r}$ открыто, и оценки с непрерывным риском образуют полный класс. Пусть $\delta$ — оценка с непрерывной функцией риска, и пусть $\left\{ \pi_{n}\right\}$ — последовательность (возможно, несобственных) априорных мер, таких что

1. $r\left(\pi_{n}, \delta \right)<\infty$ для всех $n$,

2. для любого непустого открытого множества $\Theta_{0} \in \Omega$,

   $$\frac{r\left(\pi _{n}, \delta \right)-r\left(\pi _{n}, \delta ^{\pi _{n}}\right)}{\int _{\Theta _{0}} \pi _{n}(\theta ) d \theta } \rightarrow 0 \quad \text{ при } n \rightarrow \infty .$$

   Тогда $\delta$ — допустимая оценка.

Заполните некоторые из пробелов в Примере 7.14:

1. Проверьте выражения для апостериорных ожидаемых потерь $\delta^{0}$ и $\delta^{\pi }$ в (7.7).

2. Покажите, что нормированные бета-априорные распределения не удовлетворяют условию (b) Теоремы 7.13, а затем проверьте (7.9).

3. Покажите, что маргинальное распределение $X$ задаётся формулой (7.10).

4. Покажите, что

   $$\sum _{x=1}^{\infty } D(x) \leq \max \left\{ a^{2}, b^{2}\right\} \sum _{x=1}^{\infty } \frac{1}{x^{2}} \rightarrow 0$$

   и, следовательно, $\delta^{0}$ допустима.

Пусть $X \sim \operatorname {Poisson}(\lambda )$. Используя метод Блайта, покажите, что $\delta^{0}=X$ является допустимой оценкой $\lambda$ при функции потерь $L(\lambda , \delta )=(\lambda -\delta )^{2}$, выполнив следующие шаги:

Используя метод Блайта, установите допустимость в следующих ситуациях.

Покажите, что в общем случае, если $\delta^{\pi }$ — байесовская оценка при квадратичной функции потерь, то

тем самым устанавливая (7.13).

1. Докажите (7.15).

2. Используя (7.15), докажите допустимость $X$ в одномерном случае.

Тождество (7.14) можно установить другим способом. Для ситуации Примера 7.18 покажите, что

откуда следует

и, следовательно, выведите (7.14).

Теорема 7.19 утверждает: пусть $X \sim N_{r}(\theta , I)$ и $L(\theta , \delta )=|\theta -\delta |^{2}$. Пусть $\delta^{g}(\mathbf{x})=\mathbf{x}+\nabla \log m_{g}(\mathbf{x})$, где $m_{g}(\mathbf{x})=\int f(\mathbf{x} \mid \boldsymbol {\theta }) g(\boldsymbol {\theta }) d \boldsymbol {\theta }$. Предположим, что $g(\cdot )$ удовлетворяет

(a) $\displaystyle \int_{\left\{ \boldsymbol {\theta }:\left|\boldsymbol {\theta }\right|>1\right\} } \frac{g(\boldsymbol {\theta })}{|\boldsymbol {\theta }|^{2}} \left[\max \left\{ \log \left|\boldsymbol {\theta }\right|, \log 2\right\} \right]^{2} d \boldsymbol {\theta }<\infty$,

(b) $\displaystyle \int \frac{|\nabla g(\boldsymbol {\theta })|^{2}}{g(\boldsymbol {\theta })} d \boldsymbol {\theta }<\infty$,

(c) $\sup \left\{ R(\boldsymbol {\theta }, \delta^{g}): \boldsymbol {\theta } \in K\right\} <\infty$ для всех компактных множеств $K$. Тогда $\delta^{g}(\mathbf{x})$ допустима. Доказательство проводится с помощью последовательности априорных распределений $g_{n}(\boldsymbol {\theta }) \rightarrow g(\boldsymbol {\theta })$, где $g_{n}(\boldsymbol {\theta })=h_{n}^{2}(\boldsymbol {\theta }) g(\boldsymbol {\theta })$ и

для $n=2,3, \ldots$.

Эта задача намечает рассуждение, необходимое для доказательства Теоремы 7.19:

Теорема 7.19 (нормальный случай) утверждает: пусть $X \sim N_{r}(\theta , I)$ и $L(\theta , \delta )=|\theta -\delta |^{2}$. Пусть $\delta^{g}(\mathbf{x})=\mathbf{x}+\nabla \log m_{g}(\mathbf{x})$, где $m_{g}(\mathbf{x})=\int f(\mathbf{x} \mid \boldsymbol {\theta }) g(\boldsymbol {\theta }) d \boldsymbol {\theta }$. Предположим, что $g(\cdot )$ удовлетворяет

Для ситуации Примера 7.20:

В Примере 7.20, если $g(\boldsymbol {\theta })=1 /|\boldsymbol {\theta }|^{k}$ является собственным априорным распределением, то $\delta^{g}$ допустима. При каких значениях $k$ это выполнено?

Проверьте, что условия Теоремы 7.19 выполнены для $g(\boldsymbol {\theta })=1 /|\boldsymbol {\theta }|^{k}$, если

Установите условия допустимости оценки Стродермана (Пример 5.6)

Теорема 7.17 также применима к случаю Пуассона $(\lambda )$, для которого Johnstone (1984) получил следующую характеризацию допустимых оценок при функции потерь $L(\lambda , \delta )=\sum_{i=1}^{r}\left(\lambda_{i}-\delta_{i}\right)^{2} / \lambda_{i}$. Обобщённая байесовская оценка вида $\delta (\mathbf{x})=\left[1-h\left(\Sigma x_{i}\right)\right] \mathbf{x}$ является

1. недопустимой, если существуют $\varepsilon >0$ и $M<\infty$, такие что

   $$h\left(\Sigma x_{i}\right)<\frac{r-1-\varepsilon }{\Sigma x_{i}} \quad \text{ для } \Sigma x_{i}>M,$$

2. допустимой, если $h\left(\Sigma x_{i}\right)\left(\Sigma x_{i}\right)^{1 / 2}$ ограничена и существует $M<\infty$, такое что

   $$h\left(\Sigma x_{i}\right) \geq \frac{r-1}{\Sigma x_{i}} \text{ для } \Sigma x_{i}>M.$$

Для ситуации Примера 7.23:

Заполните пробелы в доказательстве того, что оценки $\delta^{\pi }$ вида (7.27) образуют полный класс.

Для $i=1,2, \ldots , k$ пусть $X_{i} \sim f_{i}\left(x \mid \theta_{i}\right)$ и предположим, что $\delta_{i}^{*}\left(x_{i}\right)$ — единственная байесовская оценка $\theta_{i}$ при функции потерь $L_{i}\left(\theta_{i}, \delta \right)$, где $L_{i}$ удовлетворяет $L_{i}(a, a)=0$ и $L_{i}\left(a, a^{\prime }\right)> 0, \quad a \neq a^{\prime }$. Предположим, что для некоторого $j, 1 \leq j \leq k$, существует значение $\theta^{*}$, такое что если $\theta_{j}=\theta^{*}$, то

1. $X_{j}=x^{*}$ с вероятностью 1,

2. $\delta_{j}^{*}\left(x^{*}\right)=\theta^{*}$.

Покажите, что $\left(\delta_{1}^{*}\left(x_{1}\right), \delta_{2}^{*}\left(x_{2}\right), \ldots , \delta_{k}^{*}\left(x_{k}\right)\right)$ допустима для $\left(\theta_{1}, \theta_{2}, \cdots , \theta_{k}\right)$ при функции потерь $\sum_{i} L_{i}\left(\theta_{i}, \delta \right)$; то есть эффект Стейна отсутствует.

Предположим, что мы наблюдаем $X_{1}, X_{2}, \ldots$ последовательно, где $X_{i} \sim f_{i}\left(x \mid \theta_{i}\right)$. Оценка $\boldsymbol {\theta }_{j}=\left(\theta_{1}, \theta_{2}, \ldots , \theta_{j}\right)$ называется неупреждающей (Gutmann 1982b), если она зависит только от $\left(X_{1}, X_{2}, \ldots , X_{j}\right)$. То есть мы не можем использовать информацию, поступающую позже, с индексами $>j$. Если $\delta_{i}^{*}\left(x_{i}\right)$ — допустимая оценка $\theta_{i}$, покажите, что она не может быть доминирована неупреждающей оценкой. Таким образом, это снова ситуация, в которой эффект Стейна отсутствует.

Для $X \sim N_{r}(\boldsymbol {\theta }, I)$ рассмотрим оценивание $\varphi^{\prime } \boldsymbol {\theta }$, где $\varphi_{r \times 1}$ известен, с помощью оценки $a^{\prime } X$ при функции потерь $L\left(\varphi^{\prime } \boldsymbol {\theta }, \delta \right)=\left(\varphi^{\prime } \boldsymbol {\theta }-\delta \right)^{2}$.

Парадокс вспомогательности Брауна. Пусть $\mathbf{X} \sim N_{r}(\mu , I), r>2$, и рассмотрим оценивание $\mathbf{w}^{\prime } \mu =\Sigma_{i=1}^{r} w_{i} \mu_{i}$, где $\mathbf{w}$ — известный вектор с $\Sigma w_{i}^{2}>0$, при функции потерь $L(\mu , d)=\left(\mathbf{w}^{\prime } \mu -\mathbf{w}^{\prime } d\right)^{2}$.

Efron (1990), обсуждая парадокс вспомогательности Brown's (1990a), предложил альтернативную версию. Предположим, что $\mathbf{X} \sim N_{r}(\mu , I), r>2$, и с вероятностью $1 / r$, независимо от X, наблюдается значение случайной величины $J=j$, $j=1,2, \ldots , r$. Задача состоит в оценивании $\theta_{j}$ при функции потерь $L\left(\theta_{j}, d\right)=\left(\theta_{j}-d\right)^{2}$. Покажите, что при условии $J=j$, $X_{j}$ является минимаксной и допустимой оценкой $\theta_{j}$. Однако безусловно $X_{j}$ доминируется $j$-й координатой оценки Джеймса—Стейна. Этот вариант парадокса может быть в некотором смысле более прозрачным. Он более наглядно показывает, как наличие вспомогательной случайной величины вынуждает рассматривать задачу как многомерную, открывая возможность для эффекта Стейна.