Минимаксность и допустимость

Для ситуации примера 1.2:

Принцип гамма-минимаксности [впервые использованный Hodges and Lehmann (1952); см. также Robbins 1964 и Solomon 1972a, 1972b)] представляет собой синтез байесовского и частотного подходов. Оценка $\delta^{*}$ называется гамма-минимаксной, если

где $\Gamma$ — заданный класс априорных распределений. Таким образом, оценка $\delta^{*}$ минимизирует максимальный байесовский риск среди априорных распределений класса $\Gamma$. (Если $\Gamma =$ все априорные распределения, то $\delta^{*}$ была бы минимаксной.)

Классы априорных распределений для $\Gamma$-минимаксного оценивания часто задаются с помощью ограничений на моменты.

Установление того факта, что (9.1) выполняется, а значит, $S^{2}$ условно смещена, опирается на ряд шагов, некоторые из которых могут быть довольно громоздкими. Определим $\phi \left(a, \mu , \sigma^{2}\right)=\left(1 / \sigma^{2}\right) E_{\mu , \sigma^{2}}\left[S^{2} \mid \left|\bar{x}\right| / s<a\right]$.

Пусть $X \sim f(x \mid \theta )$, и $T(x)$ используется для оценивания $\tau (\theta )$. Ценность $T(x)$ можно поставить под сомнение, если существует такое множество $A \in \mathcal{X}$, что $T(x)>\tau (\theta )$ для $x \in A$ (или выполняется обратное неравенство). Это приводит к условному принципу, согласно которому оценку никогда не следует использовать, если существует множество $A \in \mathcal{X}$, для которого $\mathbb {E}_{\theta }\left[[T(X)-\tau (\theta )] I(X \in A)\right] \geq 0 \quad \forall \theta$, причём для некоторого $\theta$ неравенство строгое (или если выполняется аналогичное утверждение с обратным неравенством). Покажите, что если $T(x)$ — апостериорное среднее $\tau (\theta )$ относительно собственного априорного распределения, причём и априорное распределение, и $f(x \mid \theta )$ непрерывны по $\theta$, то такого множества $A$ существовать не может. (Если такое $A$ существует, оно называется полурелевантным множеством. Устранение полурелевантных множеств — чрезвычайно сильное требование. Более слабое требование — устранение релевантных множеств — представляется более уместным.)

Покажите, что если существует множество $A \in \mathcal{X}$ и $\varepsilon >0$, для которых $\mathbb {E}_{\theta }\left[[T(X)-\tau (\theta )] I(X \in A)\right]>\varepsilon$, то $T(x)$ недопустима для оценивания $\tau (\theta )$ при квадратичной функции потерь. (Множество $A$, удовлетворяющее этому неравенству, является примером релевантного множества.)

Чтобы понять, почему устранение полурелевантных множеств является слишком сильным требованием, рассмотрим оценивание $\theta$ по наблюдению $X \sim f(x-\theta )$. Покажите, что для любой константы $a$ оценка Питмена $X$ удовлетворяет

причём для некоторого $\theta$ неравенство строгое. Таким образом, для оценки Питмена, которая по общему мнению является хорошей оценкой, существуют полурелевантные множества.

В примере 1.7 пусть $\delta^{*}(X)=X / n$ с вероятностью $1-\varepsilon$ и $=1 / 2$ с вероятностью $\varepsilon$. Найдите функцию риска $\delta^{*}$ и покажите, что при $\varepsilon =1 /(n+1)$ её риск постоянен и меньше $\sup R(p, X / n)$.

Найдите смещение минимаксной оценки (1.11) и обсудите его направление.

В примере 1.7,

В примере 1.7 постройте графики функций риска $X / n$ и минимаксной оценки (1.11) при $n=1,4,9,16$, и укажите взаимное расположение этих двух графиков при больших значениях $n$.

Вычислите (1.16) и покажите, что его максимум равен $1-\alpha$.

Пусть $X=1$ или 0 с вероятностями $p$ и $q$ соответственно, и рассмотрим оценивание $p$ с функцией потерь, равной 1 при $\left|d-p\right| \geq 1 / 4$, и 0 в противном случае. Наиболее общая рандомизированная оценка имеет вид $\delta =U$ при $X=0$ и $\delta =V$ при $X=1$, где $U$ и $V$ — две случайные величины с известными распределениями.

Покажите, что задача из Примера 1.8 остаётся инвариантной относительно преобразований

Это показывает, что рандомизированные эквивариантные оценки, возможно, придётся рассматривать, когда $\bar{G}$ не транзитивна.

Пусть $r_{\Lambda }$ задаётся формулой (1.3). Если $r_{\Lambda }=\infty$ для некоторого $\Lambda$, покажите, что любая оценка $\delta$ имеет неограниченный риск.

В Примере 1.9 покажите, что ни одна линейная оценка не имеет постоянного риска.

Покажите, что функция риска из (1.22) зависит от $p_{1}$ и $p_{2}$ только через $p_{1}+p_{2}$ и достигает максимума при $p_{1}+p_{2}=1$.

В Примере 1.14 покажите, что $\bar{X}$ является минимаксной для функции потерь $(d-\theta )^{2} / \sigma^{2}$ без каких-либо ограничений на $\sigma$.

В Примере 1.16(b) покажите, что для любого $k>0$ оценка

является байесовской оценкой для априорного распределения $\Lambda$ на $\mathcal{F}_{0}$, для которого было показано, что (1.36) является байесовской.

Пусть $X_{i}(i=1, \ldots , n)$ и $Y_{j}(j=1, \ldots , n)$ независимы с распределениями $F$ и $G$ соответственно. Если $F(1)-F(0)=G(1)-G(0)=1$, но $F$ и $G$ в остальном неизвестны, найдите минимаксную оценку для $\mathbb {E}\left[Y_{j}\right]-\mathbb {E}\left[X_{i}\right]$ при квадратичной функции потерь.

Пусть $X_{i}(i=1, \ldots , n)$ — независимые одинаково распределённые случайные величины с неизвестным распределением $F$. Покажите, что

является минимаксной оценкой для $F(0)=\mathbb {P}\left(X_{i} \leq 0\right)$ при квадратичной функции потерь.

Пусть $X_{1}, \ldots , X_{m}$ и $Y_{1}, \ldots , Y_{n}$ независимо распределены как $N\left(\xi , \sigma^{2}\right)$ и $N\left(\eta , \tau^{2}\right)$ соответственно, и рассмотрим задачу оценивания $\Delta =\eta -\xi$ при квадратичной функции потерь.

В линейной модели (3.4.4) покажите, что $\Sigma a_{i} \hat{\xi }_{i}$ (в обозначениях Теоремы 3.4.4) является минимаксной оценкой для $\theta =\Sigma a_{i} \xi_{i}$ при квадратичной функции потерь, при ограничении $\sigma^{2} \leq M$.

Для случайной величины $X$, распределение которой задаётся формулой (1.42), покажите, что $x$ должно удовлетворять неравенствам, указанным после (1.42).

Покажите, что оценка, определённая формулой (1.43),

Покажите, что при фиксированных $X$ и $n$ (1.43) $\rightarrow$ (1.11) при $N \rightarrow \infty$.

Покажите, что $\operatorname {var}(\bar{Y})$, задаваемая формулой (3.7.6), достигает максимального значения при ограничении (1.41), когда все $a$ равны 0 или 1.

(Efron and Morris 1971)

Лемма 2.1 была расширена Berger (1990a) для случая, когда оцениваемая функция не обязана быть ограничена конечным интервалом, а вместо этого достигает максимума или минимума в конечной точке параметра.

Лемма 8.1. Пусть оцениваемая функция $g(\theta )$ непостоянна и достигает глобального максимума или минимума в точке $\theta^{*} \in \Omega$, для которой $f\left(x \mid \theta^{*}\right)>0$ п.в. (относительно доминирующей меры $\mu$), и пусть функция потерь $L(\theta , d)$ удовлетворяет предположениям Леммы 2.1. Тогда любая оценка $\delta$, принимающая значения выше максимума $g(\theta )$ или ниже минимума, недопустима.

Определите байесовский риск оценки (2.4), когда $\theta$ имеет априорное распределение $N\left(\mu , \tau^{2}\right)$.

Докажите утверждение (d) во втором доказательстве Примера 2.8: что существует последовательность значений $\theta_{i} \rightarrow -\infty$, для которой $b^{\prime }\left(\theta_{i}\right) \rightarrow 0$.

Покажите, что оценка $a X+b(0 \leq a \leq 1)$ величины $\mathbb {E}_{\theta }\left[X\right]$ недопустима (при квадратичной функции потерь) при каждом из следующих условий:

Покажите, что оценка $[1 /(1+\lambda )+\varepsilon ] X$ величины $\mathbb {E}_{\theta }\left[X\right]$ недопустима (при квадратичной функции потерь) при каждом из следующих условий:

Покажите, что если $\operatorname {var}_{\theta }(X) / E_{\theta }^{2}(X)>\lambda >0$, то оценка $[1 /(1+\lambda )+\varepsilon ] X+b$ недопустима (при квадратичной функции потерь) при каждом из следующих условий:

Brown (1986a) указывает на связь между информационным неравенством и несмещённой оценкой риска оценок стейновского типа.

Функция плотности $f(x \mid \theta )$ называется понижающей вариацию порядка $n+1\left(V R_{n+1}\right)$, если для любой функции $g(x)$ с $k(k \leq n)$ переменами знака (без учёта нулей) математическое ожидание $\mathbb {E}_{\theta }\left[g(X)\right]= \int g(x) f(x \mid \theta ) d x$ имеет не более $k$ перемен знака. Если $\mathbb {E}_{\theta }\left[g(X)\right]$ имеет ровно $k$ перемен знака, они происходят в том же порядке. Покажите, что $f(x \mid \theta )$ обладает свойством $V R_{2}$ тогда и только тогда, когда она имеет монотонное отношение правдоподобия. (См. TSH2, Лемма 2, Раздел 3.3, для доказательства импликации «если».) Brown и др. (1981) дают подробное введение в эту тему, включая характеризации $V R$ для многих семейств распределений (экспоненциальное семейство обладает свойством $V R_{\infty }$, как и $\chi_{v}^{2}$ с параметром $\nu$, и нецентральное $\chi_{\nu }^{2}(\lambda )$ по параметру $\lambda$). Существует эквивалентность между $V R_{n}$ и $T P_{n}$ — полной положительностью порядка $n$ по Karlin (1968), а именно $V R_{n}=T P_{n}$.

Для ситуации из Примера 2.9 покажите, что:

Для ситуации из Примера 2.10 покажите, что:

Предположим, что $X$ имеет распределение $F_{\xi }$, а $Y$ имеет распределение $G_{\eta }$, где $\xi$ и $\eta$ изменяются независимо. Если известно, что $\eta =\eta_{0}$, то любая оценка $\delta (X, Y)$ может быть улучшена с помощью

В Примере 2.13 докажите, что оценка $a Y+b$ недопустима при $a>1 /(r+1)$.

Пусть $X_{1}, \ldots , X_{n}$ независимые одинаково распределённые случайные величины с плотностью $N\left(0, \sigma^{2}\right)$, и пусть $S^{2}=\sum X_{i}^{2}$. Нас интересует оценивание $\sigma^{2}$ при квадратичной функции потерь с помощью линейных оценок $c S^{2}+d$, где $c$ и $d$ — константы. Покажите, что:

Для ситуации из Примера 2.15 пусть $Z=\bar{X} / S$.

Покажите эквивалентность следующих соотношений:

В Примере 2.17 покажите, что оценка $a X / n+b$ недопустима для всех $(a, b)$ вне треугольника (2.39).

Докажите допустимость оценок, соответствующих внутренности треугольника (2.39), применив Теорему 2.4 и используя результаты Примера 4.1.5.

Используя Теорему 2.14, приведите альтернативное доказательство допустимости оценки $a \bar{X}+b$, удовлетворяющей (2.6), в Примере 2.5.

Определите, какие оценки $a X+b$ допустимы для оценивания $\mathbb {E}\left[X\right]$ при квадратичной функции потерь в следующих ситуациях:

Пусть $X$ имеет распределение $\operatorname {Poisson}(\lambda )$, и рассмотрим оценивание $\lambda$ при функции потерь $(d-\lambda )^{2} / \lambda$ с ограничением $0 \leq \lambda \leq m$, где $m$ известно.

Покажите, что условия (2.41) и (2.42) из Примера 2.22 являются не только достаточными, но и необходимыми для допустимости (2.40).

Пусть $X$ и $Y$ независимо распределены по закону Пуассона с $\mathbb {E}\left[X\right]=\xi$ и $\mathbb {E}\left[Y\right]=\eta$ соответственно. Покажите, что $a X+b Y+c$ допустима для оценивания $\xi$ при квадратичной функции потерь тогда и только тогда, когда либо $0 \leq a<1, b \geq 0, c \geq 0$, либо $a=1, b=c=0$ (Makani 1972).

Пусть $X$ имеет плотность $\frac{1}{2} \beta (\theta ) e^{\theta x} e^{-\left|x\right|},\left|\theta \right|<1$.

Пусть $X$ распределена как $N(\theta , 1)$, и пусть $\theta$ имеет несобственную априорную плотность $\pi (\theta )=e^{\theta }$ $(-\infty <\theta <\infty )$. При квадратичной функции потерь формальная байесовская оценка $\theta$ равна $X+1$, и она не является ни минимаксной, ни допустимой. (См. также Задачу 2.15.) Условия, при которых формальная байесовская оценка, соответствующая несобственному априорному распределению для $\theta$ в Примере 3.4, является допустимой, даны в Zidek (1970).

Покажите, что естественное параметрическое пространство семейства (2.16) есть $(-\infty , \infty )$ для нормального (с известной дисперсией), биномиального распределений и распределения Пуассона, но не в случае гамма-распределения или отрицательного биномиального распределения.

Покажите, что Теорема 3.2.7 остаётся верной для почти эквивариантных оценок.

Проверьте плотность (3.1).

В Примере 3.3 покажите, что функция потерь остаётся инвариантной относительно $G$ тогда и только тогда, когда она является функцией от $(d-\theta )^{*}$.

В Примере 3.3 покажите, что ни одна из функций потерь $\left[(d-\theta )^{* *}\right]^{2}$ и $\left|(d-\theta )^{* *}\right|$ не является выпуклой.

Пусть $Y$ распределена как $G(y-\eta )$. Если $T=[Y]$ и $X=Y-T$, найдите распределение $X$ и покажите, что оно зависит от $\eta$ только через $\eta -[\eta ]$.

Докажите формулу (3.9).

Докажите (3.11).

В Примере 3.8 пусть $h(\theta )$ — длина пути $\theta$ после сокращения. Покажите, что $h$ не удовлетворяет условиям (3.2.11).

Обсудите Пример 3.8 для случая, когда случайное блуждание происходит не на плоскости, а

Покажите, что риск $R(\theta , \delta )$ из (3.18) конечен.

Покажите, что обе оценки $\delta^{*}$ и $\delta^{* *}$, определённые формулами (3.20) и (3.21) соответственно, являются эквивариантными.

Докажите соотношения (3.22) и (3.23).

Пусть распределение $X$ зависит от параметров $\theta$ и $\vartheta$, пусть функция риска оценки $\delta =\delta (x)$ параметра $\theta$ равна $R(\theta , \vartheta ; \delta )$, и пусть $r(\theta , \delta )=\int R(\theta , \vartheta ; \delta ) d P(\vartheta )$ для некоторого распределения $P$. Если $\delta_{0}$ минимизирует $\sup_{\theta } r(\theta , \delta )$ и удовлетворяет $\sup_{\theta } r\left(\theta , \delta_{0}\right)=\sup_{\theta , \vartheta } R\left(\theta , \vartheta ; \delta_{0}\right)$, покажите, что $\delta_{0}$ минимизирует $\sup_{\theta , \vartheta } R(\theta , \vartheta ; \delta )$.

В Примере 4.2 покажите, что оценка $\delta$ эквивариантна тогда и только тогда, когда она удовлетворяет (4.11) и (4.12).

Покажите, что функция $\mu$ удовлетворяет (4.12) тогда и только тогда, когда она зависит только от $\Sigma X_{i}^{2}$.

Проверьте байесовскую оценку (4.15).

Пусть $X_{i}$ независимы с биномиальным распределением $b\left(p_{i}, n_{i}\right), i=1, \ldots , r$. Для оценивания $p=\left(p_{1}, \ldots , p_{r}\right)$ при усреднённой квадратичной функции потерь (4.17) найдите минимаксную оценку $p$ и определите, является ли она допустимой.