Оценивание

Рассмотрим совместную плотность вероятности $f_{X,Z}(x,z) = e^{-z}$ при $0 \leq x \leq z$ и $f_{X,Z}(x,z) = 0$ в остальных случаях. Найдите пару значений $x,z$, максимизирующую эту плотность. Найдите маргинальную плотность $f_Z(z)$ и найдите значение $z$, максимизирующее её.

Пусть $f_{X,Z,Y}(x,z,y)$ равна $y^2 e^{-yz}$ при $0 \leq x \leq z$, $1 \leq y \leq 2$ и равна $0$ в остальных случаях. При условии наблюдения $Y = y$ найдите совместную MAP-оценку $X, Z$. Найдите $f_{Z \mid Y}(z \mid y)$ — маргинальную плотность $Z$ при условии $Y = y$, и найдите MAP-оценку $Z$ при условии $Y = y$.

Объясните (используя результаты главы 3), почему $Y$ и $U$ совместно гауссовские и почему они статистически независимы.

Не используя матрицы, запишите совместную плотность вероятности $Y$ и $U$. Проверьте свой ответ по (3.22).

Найдите MMSE-оценку $\hat{x}(y)$ величины $X$ при условии заданного значения выборки $y$ величины $Y$. Вы можете вывести это из первых принципов либо использовать (10.9) или пример 10.2.2.

Покажите, что ошибка оценивания $\xi = X-\hat{X}(Y)$ равна $-U/2$.

Запишите плотность вероятности $U$ при условии $Y = y$ и плотность вероятности $\xi$ при условии $X = y$.

Нарисуйте эскиз на плоскости $x,z$ контуров равной вероятности для $X$ и $Z$. Объясните, почему они также являются контурами равной вероятности для $Y$ и $U$. Для некоторого заданного значения выборки $Y$, скажем $Y = 1$, изобразите множество точек, для которых $x+z = 1$. Для заданной точки на этой прямой изобразите значение выборки $U$.

Пусть $X, Z_1, Z_2, \ldots , Z_n$ — независимые гауссовские случайные величины с нулевым средним и дисперсиями $\sigma_X^2, \sigma_{Z_1}^2, \ldots \sigma_{Z_n}^2$ соответственно. Пусть $Y_j = h_j X+Z_j$ для $j \geq 1$ и пусть $\overrightarrow {Y} = (Y_1, \ldots Y_n)^{\mathrm{T}}$. Используя (10.9), покажите, что MMSE-оценка $X$ при условии $\overrightarrow {Y} = \overrightarrow {y} = (y_1, \ldots , y_n)^{\mathrm{T}}$ задаётся выражением

Подсказка: Пусть вектор-строка $\overrightarrow {g}^{\mathrm{T}}$ равна $[K_{X \cdot Y}][K_Y^{-1}]$; умножьте $\overrightarrow {g}^{\mathrm{T}}$ на $K_Y$, чтобы найти $\overrightarrow {g}^{\mathrm{T}}$.

Пусть $\xi = X-\hat{X}(\overrightarrow {Y})$; покажите, что (10.29) верно, т.е. что

Покажите, что (10.28), т.е. $\hat{x}(\overrightarrow {y}) = \sigma_{\xi }^2 \sum_{j=1}^{n} h_j y_j/\sigma_{Z_j}^2$, верно.

Покажите, что выражение в (10.29) эквивалентно итеративному выражению в (10.27).

Покажите, что выражение в (10.28) эквивалентно итеративному выражению в (10.25).

Выпишите MMSE-оценку и дисперсию ошибки оценивания из (10.28) и (10.29) при $h_i = 1$ для всех $i$.

Для произвольных чисел $h_1, \ldots , h_n$ рассмотрим уравнения $h_i Y_i = h_i X+h_i Z_i$. Пусть $U_i = h_i Y_i$. Выпишите MMSE-оценку $X$ как функцию от $U_1, \ldots , U_n$, по-прежнему используя с.в. $Z_1, \ldots , Z_n$. Указание: заметьте, что если отмасштабировать каждое наблюдение $U_i$ до $U_i/h_i$, вы получите ту же задачу оценивания, что и в (а).

Теперь пусть $W_i = h_i Z_i$. Выпишите ту же MMSE-оценку через $U_i, \ldots , U_n$ и $W_1, \ldots , W_n$ и покажите, что теперь вы получили (10.28) со всеми $h_i$, вернувшимися в уравнение. Указание: у вас по-прежнему есть базовое уравнение из (а), но дисперсию $Z_i$ нужно выразить через $W_i$. Аналогично выпишите дисперсию ошибки из (10.29).

Предположим, что $X_1 \sim \mathscr {N}\left(\overline{X}_1, \sigma_{X_1}^2\right)$ и что для каждого $n \geq 1$ выполняется $X_{n+1} = \alpha X_n+W_n$, где $0 < \alpha < 1$, $W_n \sim \mathscr {N}\left(0, \sigma_W^2\right)$, а $X_1, W_1, W_2, \ldots$ независимы. Покажите, что для каждого $n \geq 1$

Покажите напрямую, сравнивая уравнение $\sigma_{X_n}^2 = \alpha^2 \sigma_{X_{n-1}}^2+\sigma_W^2$ для каждых двух соседних значений $n$, что $\sigma_{X_n}^2$ монотонно движется от $\sigma_{X_1}^2$ к $\sigma_W^2/(1-\alpha^2)$ при $n \rightarrow \infty$.

Предположим, что наблюдаются значения выборки $Y_1, Y_2, \ldots$, где $Y_n = h X_n+Z_n$, а $Z_1, Z_2, \ldots$ — н.о.р. гауссовские с.в. с нулевым средним и дисперсией $\sigma_Z^2$. Предположим, что $Z_1, \ldots , W_1, \ldots , X_1$ независимы, и предположим $h \geq 0$. Перепишите рекурсию для дисперсии ошибки оценивания в (10.41) для этого частного случая. Покажите, что если $h/\sigma_Z = 0$, то $\sigma_{\xi_n}^2 = \sigma_{X_n}^2$ для каждого $n \geq 1$. Указание: сравните рекурсию из (б) с рекурсией для $\sigma_{\xi_n}^2$.

Покажите, исходя из рекурсии, что $\sigma_{\xi_n}^2$ является убывающей функцией от $h/\sigma_Z$ для каждого $n \geq 2$. Используйте это, чтобы показать, что $\sigma_{\xi_n}^2 \leq \sigma_{X_n}^2$ для каждого $n$. Объясните (без уравнений), почему этот результат обязан быть верным.

Покажите, что последовательность $\left\{ \sigma_{\xi_n}^2; n \geq 1\right\}$ монотонна по $n$. Указание: используйте тот же приём, что и в (б). Из этого и из (г) покажите, что существует $\lambda = \lim_{n \rightarrow \infty } \sigma_{\xi_n}^2$. Покажите, что предел удовлетворяет (10.42) (заметьте, что (10.42) должно иметь $2$ корня, один положительный и один отрицательный, так что предел должен быть положительным корнем).

Покажите, что для каждого $n \geq 1$ величина $\sigma_{\xi_n}^2$ возрастает по $\sigma_W^2$ и возрастает по $\alpha$. Замечание: это возрастание с ростом $\alpha$ удивительно, поскольку когда $\alpha$ близко к единице, $X_n$ меняется медленно, и потому можно было бы ожидать хорошего отслеживания $X_n$. Проблема в том, что $\lim_n \sigma_{X_n}^2 = \sigma_W^2/(1-\alpha^2)$, так что дисперсия неотслеживаемого $X_n$ неограниченно растёт при приближении $\alpha$ к $1$. Пункт (ж) несколько громоздок, но разрешает этот вопрос.

Покажите, что если рекурсию выразить через $\beta = \sigma_W^2/(1-\alpha^2)$ и $\alpha$, то $\lambda$ убывает по $\alpha$ при постоянном $\beta$.

Предположим, что $\overrightarrow {X}$ и $\overrightarrow {Y}$ — гауссовские с нулевым средним, совместно гауссовские, совместно невырожденные и связаны соотношением $\overrightarrow {Y} = [H]\overrightarrow {X}+\overrightarrow {Z}$. Покажите, что оценка MMSE может быть выражена как

Указание: вспомните из (10.9), что $\hat{\overrightarrow {x}}(\overrightarrow {y}) = [G]\overrightarrow {y}$. Свяжите $[G]$ и $[H]$, используя (3.115).

Покажите, что

Указание: разумный подход — начать с (10.10), т.е. с $[K_{\xi }] = [K_X]-[K_{X \cdot Y} K_Y^{-1} K_{X \cdot Y}^{\mathrm{T}}]$. Умножьте обе части слева на $[K_X^{-1}]$, а справа — на $[K_{\xi }^{-1}]$. Итоговое произведение матриц здесь можно выразить как $[H^{\mathrm{T}} K_Z^{-1} H]$, используя указание из пункта (а) для $[K_Z^{-1} H]$.

Запишите $\mathbb {E}\left[(X-\overrightarrow {g}^{\mathrm{T}} \overrightarrow {Y})^2\right] = \sigma_X^2-2[K_{X \cdot Y}]\overrightarrow {g}+\overrightarrow {g}^{\mathrm{T}}[K_Y]\overrightarrow {g}$ как функцию $\overrightarrow {g} = (g_1, g_2, \ldots , g_n)^{\mathrm{T}}$ и возьмите частную производную этой функции по $g_i$ для каждого $i$, $1 \leq i \leq n$. Покажите, что вектор этих частных производных равен $-2[K_{X \cdot Y}]+2\overrightarrow {g}^{\mathrm{T}}[K_Y]$.

Объясните, почему стационарная точка здесь на самом деле является минимумом.

Покажите, что

Покажите, что

и найдите $B, C$, для которых это верно.

Покажите, что $[K_X] = 2([K_{\mathrm{re}}]-[K_{\mathrm{ri}}])$.

Покажите, что $[K_X^{-1}] = \frac{1}{2}(B-iC)$.

Определите $f_X(\overrightarrow {x}) = f_U(\overrightarrow {u})$ для $\overrightarrow {u} = (\overrightarrow {x}_{\mathrm{re}}^{\mathrm{T}}, \overrightarrow {x}_{\mathrm{im}}^{\mathrm{T}})^{\mathrm{T}}$ и покажите, что

Покажите, что

Указание: вспомните, что элементарные преобразования строк не меняют значения определителя.

Покажите, что

Указание: вспомните, что элементарные преобразования столбцов не меняют значения определителя.

Покажите, что

и на основании этого сделайте вывод, что (3.108) справедливо.

Пусть $X$ — кругово-симметричная, центрированная, комплексная гауссовская случайная величина с дисперсией $1$. Покажите, что

Вспомните, что вещественная и мнимая части имеют дисперсию $1/2$ каждая.

Пусть $\overrightarrow {X}$ — $n$-мерный, кругово-симметричный, комплексный гауссовский случайный вектор с нулевым средним и $K_X = [I_n]$. Покажите, что

Пусть $\overrightarrow {Y} = [H]\overrightarrow {X}$, где $[H]$ — матрица размера $n \times n$, обратимая. Покажите, что

где $v$ — это $d\overrightarrow {y}/d\overrightarrow {x}$, отношение приращения $2n$-мерного объёма после преобразования $[H]$ к приращению объёма до преобразования.

Используя это, покажите, что (3.108) справедливо.

Пусть $Y = X^2+Z$, где $Z$ --- гауссова случайная величина с нулевым средним и единичной дисперсией. Покажите, что не существует несмещённой оценки $X$ по наблюдению $Y$.

Пусть $Y = X+Z$, где $Z$ равномерно распределена на $(-1,1)$, а $X$ --- параметр, лежащий в $(-1,1)$. Покажите, что $\hat{x}(y) = y$ --- несмещённая оценка $x$. Найдите смещённую оценку $\hat{x}_1(y)$, для которой $\left|\hat{x}_1(y)-x\right| \leq \left|\hat{x}(y)-x\right|$ при всех $x$ и $y$, причём строгое неравенство выполняется с положительной вероятностью для всех $x \in (-1,1)$.

Предположим, что для каждого значения параметра $x$ величина $Y$ гауссова, $\mathscr {N}\left(x, \sigma_Z^2\right)$. Покажите, что $v_x(y)$, определённая в (10.103), равна $(y-x)/\sigma_Z^2$, и покажите, что фишеровская информация равна $1/\sigma_Z^2$.

Покажите, что для оценки максимального правдоподобия смещение равно $0$ для всех $x$. Покажите, что в этом случае граница Крамера--Рао выполняется с равенством для всех $x$.

Рассмотрите использование MMSE-оценки для априорного распределения $X \sim \mathscr {N}\left(0, \sigma_X^2\right)$. Покажите, что смещение удовлетворяет соотношению $b_{\hat{x}}(x) = -x\sigma_Z^2/(\sigma_Z^2+\sigma_X^2)$.

Покажите, что MMSE-оценка из пункта (в) удовлетворяет границе Крамера--Рао с равенством для каждого $x$. Отметьте, что среднеквадратичная ошибка как функция от $x$ меньше, чем в случае оценки максимального правдоподобия, при малых $x$, и больше --- при больших $x$.