Минимаксное оценивание

Для ситуации примера 1.2:

Принцип гамма-минимаксности [впервые использованный Hodges and Lehmann (1952); см. также Robbins 1964 и Solomon 1972a, 1972b)] представляет собой синтез байесовского и частотного подходов. Оценка $\delta^{*}$ называется гамма-минимаксной, если

где $\Gamma$ — заданный класс априорных распределений. Таким образом, оценка $\delta^{*}$ минимизирует максимальный байесовский риск среди априорных распределений класса $\Gamma$. (Если $\Gamma =$ все априорные распределения, то $\delta^{*}$ была бы минимаксной.)

Классы априорных распределений для $\Gamma$-минимаксного оценивания часто задаются с помощью ограничений на моменты.

Установление того факта, что (9.1) выполняется, а значит, $S^{2}$ условно смещена, опирается на ряд шагов, некоторые из которых могут быть довольно громоздкими. Определим $\phi \left(a, \mu , \sigma^{2}\right)=\left(1 / \sigma^{2}\right) E_{\mu , \sigma^{2}}\left[S^{2} \mid \left|\bar{x}\right| / s<a\right]$.

Пусть $X \sim f(x \mid \theta )$, и $T(x)$ используется для оценивания $\tau (\theta )$. Ценность $T(x)$ можно поставить под сомнение, если существует такое множество $A \in \mathcal{X}$, что $T(x)>\tau (\theta )$ для $x \in A$ (или выполняется обратное неравенство). Это приводит к условному принципу, согласно которому оценку никогда не следует использовать, если существует множество $A \in \mathcal{X}$, для которого $\mathbb {E}_{\theta }\left[[T(X)-\tau (\theta )] I(X \in A)\right] \geq 0 \quad \forall \theta$, причём для некоторого $\theta$ неравенство строгое (или если выполняется аналогичное утверждение с обратным неравенством). Покажите, что если $T(x)$ — апостериорное среднее $\tau (\theta )$ относительно собственного априорного распределения, причём и априорное распределение, и $f(x \mid \theta )$ непрерывны по $\theta$, то такого множества $A$ существовать не может. (Если такое $A$ существует, оно называется полурелевантным множеством. Устранение полурелевантных множеств — чрезвычайно сильное требование. Более слабое требование — устранение релевантных множеств — представляется более уместным.)

Покажите, что если существует множество $A \in \mathcal{X}$ и $\varepsilon >0$, для которых $\mathbb {E}_{\theta }\left[[T(X)-\tau (\theta )] I(X \in A)\right]>\varepsilon$, то $T(x)$ недопустима для оценивания $\tau (\theta )$ при квадратичной функции потерь. (Множество $A$, удовлетворяющее этому неравенству, является примером релевантного множества.)

Чтобы понять, почему устранение полурелевантных множеств является слишком сильным требованием, рассмотрим оценивание $\theta$ по наблюдению $X \sim f(x-\theta )$. Покажите, что для любой константы $a$ оценка Питмена $X$ удовлетворяет

причём для некоторого $\theta$ неравенство строгое. Таким образом, для оценки Питмена, которая по общему мнению является хорошей оценкой, существуют полурелевантные множества.

В примере 1.7 пусть $\delta^{*}(X)=X / n$ с вероятностью $1-\varepsilon$ и $=1 / 2$ с вероятностью $\varepsilon$. Найдите функцию риска $\delta^{*}$ и покажите, что при $\varepsilon =1 /(n+1)$ её риск постоянен и меньше $\sup R(p, X / n)$.

Найдите смещение минимаксной оценки (1.11) и обсудите его направление.

В примере 1.7,

В примере 1.7 постройте графики функций риска $X / n$ и минимаксной оценки (1.11) при $n=1,4,9,16$, и укажите взаимное расположение этих двух графиков при больших значениях $n$.

Вычислите (1.16) и покажите, что его максимум равен $1-\alpha$.

Пусть $X=1$ или 0 с вероятностями $p$ и $q$ соответственно, и рассмотрим оценивание $p$ с функцией потерь, равной 1 при $\left|d-p\right| \geq 1 / 4$, и 0 в противном случае. Наиболее общая рандомизированная оценка имеет вид $\delta =U$ при $X=0$ и $\delta =V$ при $X=1$, где $U$ и $V$ — две случайные величины с известными распределениями.

Покажите, что задача из Примера 1.8 остаётся инвариантной относительно преобразований

Это показывает, что рандомизированные эквивариантные оценки, возможно, придётся рассматривать, когда $\bar{G}$ не транзитивна.

Пусть $r_{\Lambda }$ задаётся формулой (1.3). Если $r_{\Lambda }=\infty$ для некоторого $\Lambda$, покажите, что любая оценка $\delta$ имеет неограниченный риск.

В Примере 1.9 покажите, что ни одна линейная оценка не имеет постоянного риска.

Покажите, что функция риска из (1.22) зависит от $p_{1}$ и $p_{2}$ только через $p_{1}+p_{2}$ и достигает максимума при $p_{1}+p_{2}=1$.

В Примере 1.14 покажите, что $\bar{X}$ является минимаксной для функции потерь $(d-\theta )^{2} / \sigma^{2}$ без каких-либо ограничений на $\sigma$.

В Примере 1.16(b) покажите, что для любого $k>0$ оценка

является байесовской оценкой для априорного распределения $\Lambda$ на $\mathcal{F}_{0}$, для которого было показано, что (1.36) является байесовской.

Пусть $X_{i}(i=1, \ldots , n)$ и $Y_{j}(j=1, \ldots , n)$ независимы с распределениями $F$ и $G$ соответственно. Если $F(1)-F(0)=G(1)-G(0)=1$, но $F$ и $G$ в остальном неизвестны, найдите минимаксную оценку для $\mathbb {E}\left[Y_{j}\right]-\mathbb {E}\left[X_{i}\right]$ при квадратичной функции потерь.

Пусть $X_{i}(i=1, \ldots , n)$ — независимые одинаково распределённые случайные величины с неизвестным распределением $F$. Покажите, что

является минимаксной оценкой для $F(0)=\mathbb {P}\left(X_{i} \leq 0\right)$ при квадратичной функции потерь.

Пусть $X_{1}, \ldots , X_{m}$ и $Y_{1}, \ldots , Y_{n}$ независимо распределены как $N\left(\xi , \sigma^{2}\right)$ и $N\left(\eta , \tau^{2}\right)$ соответственно, и рассмотрим задачу оценивания $\Delta =\eta -\xi$ при квадратичной функции потерь.

В линейной модели (3.4.4) покажите, что $\Sigma a_{i} \hat{\xi }_{i}$ (в обозначениях Теоремы 3.4.4) является минимаксной оценкой для $\theta =\Sigma a_{i} \xi_{i}$ при квадратичной функции потерь, при ограничении $\sigma^{2} \leq M$.

Для случайной величины $X$, распределение которой задаётся формулой (1.42), покажите, что $x$ должно удовлетворять неравенствам, указанным после (1.42).

Покажите, что оценка, определённая формулой (1.43),

Покажите, что при фиксированных $X$ и $n$ (1.43) $\rightarrow$ (1.11) при $N \rightarrow \infty$.

Покажите, что $\operatorname {var}(\bar{Y})$, задаваемая формулой (3.7.6), достигает максимального значения при ограничении (1.41), когда все $a$ равны 0 или 1.

(Efron and Morris 1971)