Оценка качества в больших выборках

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с $\mathbb {E}\left[X_{i}\right]=\xi$.

Для фиксированного $n$ опишите относительную ошибку в Примере 1.3 как функцию от $p$.

Теорема 1.1 утверждает: пусть $X_1, \ldots , X_n$ — независимые одинаково распределённые случайные величины с $\mathbb {E}\left[X_1\right]=\xi$, $\operatorname {Var}\left[X_1\right]=\sigma^2$ и конечным четвёртым моментом, и пусть $h$ — функция вещественной переменной, первые четыре производные которой $h', h'', h''', h^{(iv)}$ существуют для всех $x \in I$, где $I$ — интервал с $\mathbb {P}\left(X_1 \in I\right)=1$. Предположим далее, что $\left|h^{(iv)}(x)\right| \leq M$ для всех $x \in I$ при некотором $M<\infty$. Тогда,

и если, кроме того, четвёртая производная от $h^2$ также ограничена,

где остаточный член $R_n$ в обоих случаях есть $O(1/n^2)$.

Теорема 1.5 утверждает: предположим, что предположения Теоремы 1.1 выполнены, и что $c_n$ — последовательность констант, удовлетворяющая $c_{n}=1+\dfrac {a}{n}+O\! \left(\dfrac {1}{n^{2}}\right)$. Тогда дисперсия $\delta_{n}(\bar{X})=h\left(c_{n} \bar{X}\right)$ удовлетворяет

Докажите Теорему 1.5.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, $\sigma^{2}$ известно, и пусть $g(\xi )=\xi^{r}, r=2,3,4$. Определите, с точностью до членов порядка $1 / n$,

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, $\xi$ известно. Для чётного $r$ определите дисперсию UMVU-оценки (2.2.4) величины $\sigma^{r}$ с точностью до членов порядка $r$.

Решите предыдущую задачу для случая, когда $\xi$ неизвестно.

Для оценивания $p^{m}$ в Примере 3.3.1 определите, с точностью до порядка $1 / n$,

Решите предыдущую задачу, если $p^{m}$ заменить оцениваемым параметром из Задачи 2.3.3.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением Пуассона $P(\theta )$.

Решите пункт (b) предыдущей задачи для оценки (2.3.22).

В условиях Задачи 1.1 покажите, что $\mathbb {E}\left[\left|\bar{X}-\xi \right|^{2 k-1}\right]=O\left(n^{-k+1 / 2}\right)$.

Получите вариант Теоремы 1.1, который требует существования и ограниченности только $h^{\prime \prime \prime }$ вместо $h^{(i v)}$, но где $R_{n}$ есть лишь $O\left(n^{-3 / 2}\right)$.

Чтобы убедиться, что Теорема 1.1 не обязательно верна без ограниченности четвёртой (или некоторой более высокой) производной, предположим, что $X$ распределены как $N\left(\xi , \sigma^{2}\right)$, и пусть $h(X)=e^{x^{4}}$. Тогда все моменты $X$ и все производные $h$ существуют.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины из показательного распределения с плотностью $(1 / \theta ) e^{-x / \theta }, x>0$, и $\theta >0$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $U(0, \theta )$. Определите дисперсию UMVU-оценки $\theta^{k}$, где $k$ — целое число, $k>-n$.

В условиях Задачи 1.15 найдите MLE для $\theta^{k}$ и сравните её ожидаемую квадратичную ошибку с дисперсией UMVU-оценки.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $U(0, \theta )$, пусть $T=\max \left(X_{1}, \ldots , X_{n}\right)$, и пусть $h$ — функция, удовлетворяющая условиям Теоремы 1.1. Покажите, что

и

Примените результаты Задачи 1.17, чтобы получить приближённые ответы к Задачам 1.15 и 1.16, и сравните ответы с точными решениями.

Если $X$ таковы, как в Теореме 1.1, и если первые пять производных $h$ существуют, а пятая производная ограничена, покажите, что

и, если пятая производная $h^{2}$ также ограничена,

где $\mu_{3}=\mathbb {E}\left[(X-\xi )^{3}\right]$.

В условиях предыдущей задачи проведите вычисление дисперсии (1.16) до членов порядка $1 / n^{2}$ и сравните результат с результатом предыдущей задачи.

Проведите вычисление из Задачи 1.4 до членов порядка $1 / n^{2}$.

Для оцениваемых параметров из Задачи 1.4 вычислите ожидаемую квадратичную ошибку MLE до членов порядка $1 / n^{2}$ и сравните её с дисперсией, вычисленной в Задаче 1.21.

Вычислите дисперсию (1.18) до членов порядка $1 / n^{2}$ и сравните её с ожидаемой квадратичной ошибкой MLE, вычисленной до того же порядка.

Найдите дисперсию оценки (2.3.17) с точностью до членов порядка $1 / n^{3}$.

Для ситуации Примера 1.12 покажите, что UMVU-оценка $\delta_{1 n}$ является MLE с поправкой на смещение, где MLE есть $\delta_{3 n}$.

Для оценок из Примера 1.13:

На основе выборки из $N\left(\xi , \sigma^{2}\right)$ пусть $P_{n}(\xi , \sigma )$ — вероятность того, что UMVU-оценка $\bar{X}^{2}-\sigma^{2} / n$ величины $\xi^{2}$ ($\sigma$ известно) отрицательна.

Используя $t$-распределение, найдите значение $P_{n}(0, \sigma )$ из предыдущей задачи для UMVU-оценки $\xi^{2}$, когда $\sigma$ неизвестно, для характерных значений $n$.

Теорема 1.9 утверждает: если последовательность случайных величин $T_{n}$ стремится к $\xi$ по вероятности, и если $h$ непрерывна в точке $\xi$, то $h(T_{n}) \xrightarrow {P} h(\xi )$. Чтобы показать, что $\mathbb {P}\left(\left|h(T_{n})-h(\xi )\right|<a\right) \rightarrow 1$, достаточно заметить, что в силу непрерывности $h$ разность $\left|h(T_{n})-h(\xi )\right|$ будет сколь угодно мала, если $T_{n}$ близко к $\xi$, и что для любого $a$ вероятность того, что $\left|T_{n}-\xi \right|<a$, стремится к $1$ при $n \rightarrow \infty$.

Заполните детали доказательства Теоремы 1.9. (См. также Задачу 1.8.8.)

В Примере 8.13 при $\theta =0$ покажите, что $\delta_{2 n}$ не имеет в точности распределение $\sigma^{2}\left(\chi_{1}^{2}-1\right) / n$.

В Примере 8.13 пусть $\delta_{4 n}=\max \left(0, \bar{X}^{2}-\sigma^{2} / n\right)$, что является улучшением по сравнению с $\delta_{1 n}$.

Пусть $X$ имеет биномиальное распределение $b(p, n)$, и пусть $g(p)=p q$. UMVU-оценкой $g(p)$ является $\delta =X(n-X) / n(n-1)$. Определите предельное распределение $\sqrt{n}(\delta - p q)$ и $n(\delta -p q)$, когда $g^{\prime }(p) \neq 0$ и $g^{\prime }(p)=0$ соответственно.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N(\xi , 1)$. Определите предельное поведение распределения UMVU-оценки $p=\mathbb {P}\left(\left|X_{i}\right| \leq u\right)$.

Определите предельное поведение оценки (2.3.22) при $n \rightarrow \infty$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $P_{\theta }$, и предположим, что $\delta_{n}$ является UMVU-оценкой $g(\theta )$ на основе $X_{1}, \ldots , X_{n}$. Если существует $n_{0}$ и несмещённая оценка $\delta_{0}\left(X_{1}, \ldots , X_{n_{0}}\right)$, имеющая конечную дисперсию при всех $\theta$, то $\delta_{n}$ состоятельна для $g(\theta )$.

Пусть $Y_{n}$ имеет распределение $N(0,1)$ с вероятностью $\pi_{n}$ и распределение $N\left(0, \tau_{n}^{2}\right)$ с вероятностью $1-\pi_{n}$. Если $\tau_{n} \rightarrow \infty$ и $\pi_{n} \rightarrow \pi$, определите, при каких значениях $\pi$ последовательность $\left\{ Y_{n}\right\}$ имеет предельное распределение, а при каких — нет.

Пусть $b_{m, n}, m, n=1,2, \ldots$ — двойная последовательность вещественных чисел, которая при каждом фиксированном $m$ не убывает по $n$. Покажите, что $\lim_{n \rightarrow \infty } \lim_{m \rightarrow \infty } b_{m, n}=\lim_{m, n \rightarrow \infty } \inf b_{m, n}$ и $\lim_{m \rightarrow \infty } \lim_{n \rightarrow \infty } b_{m, n}=\lim_{m, n \rightarrow \infty } \sup b_{m, n}$, при условии что указанные пределы существуют (они могут быть бесконечны), и где $\lim \inf b_{m, n}$ и $\lim \sup b_{m, n}$ обозначают, соответственно, наименьшую и наибольшую предельные точки, достижимые последовательностью $b_{m_{k}, n_{k}}, k=1,2, \ldots$, с $m_{k} \rightarrow \infty$ и $n_{k} \rightarrow \infty$.