Банк задач по математике

Задача 6.8.1

(a)(b)(c)(d)

Определите предельное распределение байесовской оценки, соответствующей квадратичной функции потерь, и проверьте, что она асимптотически эффективна, в каждом из следующих случаев:

?

(a)

Наблюдения $X_{1}, \ldots , X_{n}$ независимы и одинаково распределены как $N\left(\theta , \sigma^{2}\right)$ , где $\sigma$ известно, а оцениваемый параметр — $\theta$ . Априорное распределение для $\Theta$ — сопряжённое нормальное распределение, скажем, $N\left(\mu , b^{2}\right)$ . (См. Пример 4.2.2.)

(b)

Наблюдения $Y_{i}$ имеют гамма-распределение $\Gamma (\gamma , 1 / \tau )$ , оцениваемый параметр — $1 / \tau$ , а $\tau$ имеет сопряжённую априорную плотность $\Gamma (g, \alpha )$ .

(c)

Наблюдения и априорное распределение такие же, как в Задаче 4.1.9, а оцениваемый параметр — $\lambda$ .

(d)

Наблюдения $Y_{i}$ имеют отрицательное биномиальное распределение (4.3), $p$ имеет априорную плотность $B(a, b)$ , а оцениваемый параметр — (a) $p$ и (b) $1 / b$ .

Задача 6.8.2

(a)(b)

Обращаясь к Примеру 8.1, рассмотрим вместо этого минимаксную оценку $\delta_{n}$ параметра $p$ , заданную формулой (1.11), которая соответствует последовательности бета-априорных распределений с $a=b=\sqrt{n} / 2$ . Тогда,

\sqrt{n}\left[\delta _{n}-p\right]=\sqrt{n}\left(\frac{X}{n}-p\right)+\frac{\sqrt{n}}{1+\sqrt{n}}\left(\frac{1}{2}-\frac{X}{n}\right).

?

(a)

Покажите, что предельное распределение $\sqrt{n}\left[\delta_{n}-p\right]$ есть $N\left[\frac{1}{2}-p, p(1-p)\right]$ , так что $\delta_{n}$ имеет ту же асимптотическую дисперсию, что и $X / n$ , но при $p \neq \frac{1}{2}$ является асимптотически смещённой.

(b)

Покажите, что ARE оценки $\delta_{n}$ относительно $X / n$ не существует, кроме случая $p=\frac{1}{2}$ , когда она равна 1.

Задача 6.8.3

Условия регулярности Теоремы 2.6 таковы: пусть $X_1, \ldots , X_n$ независимы и одинаково распределены, каждая с плотностью $f(x \mid \theta )$ относительно $\sigma$ -конечной меры $\mu$ , где $\theta$ вещественнозначный, и предположим:

?

(a)

параметрическое пространство $\Omega$ является открытым интервалом (не обязательно конечным);

(b)

распределения $P_\theta$ величин $X_i$ имеют общий носитель, так что $A=\left\{ x: f(x\mid \theta )>0\right\}$ не зависит от $\theta$ ;

(c)

для каждого $x \in A$ плотность $f(x\mid \theta )$ дважды дифференцируема по $\theta$ , и вторая производная непрерывна по $\theta$ ;

(d)

интеграл $\int f(x\mid \theta )\, d\mu (x)$ можно дважды дифференцировать под знаком интеграла;

(e)

информация Фишера $I(\theta )$ удовлетворяет условию $0<I(\theta )<\infty$ ;

(f)

для любого заданного $\theta_0 \in \Omega$ существуют $c>0$ и функция $M(x)$ (возможно, зависящие от $\theta_0$ ), такие что $\left|\partial^{2} \log f(x\mid \theta )/\partial \theta^{2}\right| \leq M(x)$ для всех $x \in A$ , $\theta_0-c<\theta <\theta_0+c$ , и $\mathbb {E}_{\theta_0}\left[M(X)\right]<\infty$ .

Если $l(\theta )=\sum_{i=1}^{n} \log f(X_i \mid \theta )$ — логарифм правдоподобия, а $\theta_0$ — истинное значение, то (8.1) и (8.2) — это утверждения

l(\theta )=l(\theta _{0})+(\theta -\theta _{0}) l'(\theta _{0})-\frac{1}{2}(\theta -\theta _{0})^{2}\left[n I(\theta _{0})+R_{n}(\theta )\right] \tag {8.1}

где

\frac{1}{n} R_{n}(\theta ) \xrightarrow {P} 0 \quad \text{при } n \rightarrow \infty . \tag {8.2}

Предположения Теоремы 2.6 влекут (8.1) и (8.2).

Задача 6.8.4

В Примере 8.5 апостериорная плотность $\theta$ после одного наблюдения равна $f\left(x_{1}-\theta \right)$ ; это собственная плотность, и она удовлетворяет (B5) при условии $\mathbb {E}_{\theta }\left[\left|X_{1}\right|\right]<\infty$ .

?

Задача 6.8.5

Пусть $X_{1}, \ldots , X_{n}$ — независимые положительные величины, каждая с плотностью $(1 / \tau ) f\left(x_{i} / \tau \right)$ , а $\tau$ имеет несобственную плотность $\pi (\tau )=1 / \tau (\tau >0)$ . Апостериорная плотность после одного наблюдения является собственной плотностью и удовлетворяет (B5) при условии $\mathbb {E}_{\tau }\left[1 / X_{1}\right]<\infty$ .

?

Задача 6.8.6

Приведите пример, в котором апостериорная плотность является собственной (с вероятностью 1) после двух наблюдений, но не после одного.

?

Задача 6.8.7

Докажите результат, сформулированный перед Примером 8.6.

?

Задача 6.8.8

Пусть $X_{1}, \ldots , X_{n}$ независимы и одинаково распределены как $N(\theta , 1)$ , и рассмотрим несобственную плотность $\pi (\theta )=e^{\theta^{4}}$ . Тогда апостериорное распределение будет несобственным при всех $n$ .

?

Задача 6.8.9

Пусть $X_1, \ldots , X_n$ независимы и одинаково распределены с плотностью $f(x_i \mid \theta )$ (относительно $\mu$ ), где $\theta$ вещественнозначный, а параметрическое пространство $\Omega$ — открытый интервал; пусть $\theta_0$ обозначает истинное значение, $l(\theta )$ — логарифм правдоподобия, а $l'(\theta_0)$ — score в точке $\theta_0$ . Предположим, что для любой последовательности $\tilde\theta =\tilde\theta_n \xrightarrow {P} \theta_0$ ,

l(\theta )=l(\theta _{0})+(\theta -\theta _{0}) l'(\theta _{0})-\frac{1}{2}(\theta -\theta _{0})^{2}\left[n I(\theta _{0})+R_{n}(\theta )\right],

где $\frac{1}{n} R_{n}(\theta ) \xrightarrow {P} 0$ при $n \rightarrow \infty$ . Пусть

T_{n}=\theta _{0}+\frac{1}{n I(\theta _{0})} l'(\theta _{0}),

и определим

\omega (t)=l\left(T_{n}+\frac{t}{\sqrt{n}}\right)-l(\theta _{0})-\frac{1}{2 n I(\theta _{0})}\left[l'(\theta _{0})\right]^{2}.

Лемма 8.7 утверждает: величина $\omega (t)$ равна

\omega (t)=-I(\theta _{0}) \frac{t^{2}}{2 n}-\frac{1}{2 n} R_{n}\left(T_{n}+\frac{t}{\sqrt{n}}\right)\left[t+\frac{1}{I(\theta _{0}) \sqrt{n}} l'(\theta _{0})\right]^{2}.

Докажите Лемму 8.7.

?

Задача 6.8.10

(a)(b)

?

(a)

Если $\sup \left|Y_{n}(t)\right| \xrightarrow {P} 0$ и $\sup \left|X_{n}(t)-c\right| \xrightarrow {P} 0$ при $n \rightarrow \infty$ , то $\sup \left|X_{n}(t)- c e^{Y_{n}(t)}\right| \xrightarrow {P} 0$ , где супремум берётся по общему множеству $t \in T$ .

(b)

Используя (a), покажите, что (8.22) и (8.23) влекут (8.21).

Задача 6.8.11

Условия регулярности Теоремы 2.6 таковы: пусть $X_1, \ldots , X_n$ независимы и одинаково распределены, каждая с плотностью $f(x \mid \theta )$ относительно $\sigma$ -конечной меры $\mu$ , где $\theta$ вещественнозначный, и предположим:

?

(a)

параметрическое пространство $\Omega$ является открытым интервалом (не обязательно конечным);

(b)

распределения $P_\theta$ величин $X_i$ имеют общий носитель, так что $A=\left\{ x: f(x\mid \theta )>0\right\}$ не зависит от $\theta$ ;

(c)

для каждого $x \in A$ плотность $f(x\mid \theta )$ дважды дифференцируема по $\theta$ , и вторая производная непрерывна по $\theta$ ;

(d)

интеграл $\int f(x\mid \theta )\, d\mu (x)$ можно дважды дифференцировать под знаком интеграла;

(e)

информация Фишера $I(\theta )$ удовлетворяет условию $0<I(\theta )<\infty$ ;

(f)

для любого заданного $\theta_0 \in \Omega$ существуют $c>0$ и функция $M(x)$ (возможно, зависящие от $\theta_0$ ), такие что $\left|\partial^{2} \log f(x\mid \theta )/\partial \theta^{2}\right| \leq M(x)$ для всех $x \in A$ , $\theta_0-c<\theta <\theta_0+c$ , и $\mathbb {E}_{\theta_0}\left[M(X)\right]<\infty$ .

Предположение (B1) таково: логарифм правдоподобия $l(\theta )=\sum_{i=1}^{n}\log f(X_i\mid \theta )$ удовлетворяет этим условиям.

Пусть $\theta_0$ обозначает истинное значение, $l'(\theta_0)$ — score в точке $\theta_0$ , $I(\theta_0)$ — информацию Фишера, и

T_{n}=\theta _{0}+\frac{1}{n I(\theta _{0})} l'(\theta _{0}).

Тогда (8.24) — это утверждение $T_{n} \xrightarrow {P} \theta_{0}$ , а (8.26) — утверждение, что $\dfrac {1}{I(\theta_{0}) \sqrt{n}} l'(\theta_{0})$ ограничена по вероятности.

Покажите, что (B1) влечёт

(8.24) и
(8.26).

Асимптотическая эффективность байесовских оценок