Обнаружение, принятие решений и проверка гипотез

Используя (8.40) для каждого выборочного значения $\overrightarrow {y}$ величины $\overrightarrow {Y}$, покажите, что

Определив $\gamma = \left\| \overrightarrow {b}-\overrightarrow {a}\right\| /(2\sigma )$, покажите, что

Покажите, что

Покажите, что при условии $X=\overrightarrow {a}$ величина $\mathrm{LLR}(\overrightarrow {Y}) \sim \mathcal{N}(-2\gamma^{2}, 4\gamma^{2})$. Покажите, что при условии $X=\overrightarrow {a}$ величина $\mathrm{LLR}(\overrightarrow {Y})/2\gamma \sim \mathcal{N}(-\gamma , 1)$.

Покажите, что первая половина (8.44) верна, то есть что

По сути повторив (a)--(д), покажите, что вторая половина (8.44) верна, то есть что

Пусть $U = (\overrightarrow {b}-\overrightarrow {a})^{\mathsf{T}}K_{Z}^{-1}\overrightarrow {Y}$. Найдите $\mathbb {E}\left[ U \mid X=\overrightarrow {a} \right]$ и $\mathbb {E}\left[ U \mid X=\overrightarrow {b} \right]$.

Найдите условную дисперсию $U$ при условии $X=\overrightarrow {a}$.

Приведите пороговый тест в терминах выборочного значения $u$ величины $U$ и вычислите $\mathbb {P}\left( e_{\eta } \mid X=\overrightarrow {a} \right)$ и $\mathbb {P}\left( e_{\eta } \mid X=\overrightarrow {b} \right)$ исходя из этого и (б). Покажите, что ваш ответ согласуется с (8.53).

Объясните, что происходит, если $[K_{Z}]$ вырождена.

Пусть $Y$ — дискретная наблюдаемая случайная величина для задачи бинарного обнаружения, пусть $y$ — наблюдаемое выборочное значение. Пусть $v = v(y)$ — достаточная статистика, и пусть $V$ — соответствующая случайная величина. Покажите, что $\Lambda (y)$ равно $\mathsf{p}_{V|X}(v(y) \mid b)/\mathsf{p}_{V|X}(v(y) \mid a)$. Другими словами, покажите, что отношение правдоподобия достаточной статистики совпадает с отношением правдоподобия исходного наблюдения.

Покажите, что это также верно для отношения плотностей вероятности, если $V$ — непрерывная случайная величина или случайный вектор.

Покажите, что если $v(y)$ — достаточная статистика согласно условию 1 теоремы 8.2.8, то

Рассмотрите подпространство событий при условии $V(y) = v$ для заданного $v$. Покажите, что для $y$, таких что $v(y) = v$,

Объясните, почему это рассуждение справедливо независимо от того, является ли $Y$ дискретной или непрерывной случайной величиной, и является ли $V$ дискретной, непрерывной или частично дискретной, частично непрерывной.

Пусть $Y$ — дискретный вектор наблюдений, а $v(y)$ — некоторая функция значений выборки $Y$. Покажите, что

Используя теорему 8.2.8, покажите, что указанная дробь не зависит от $X$ тогда и только тогда, когда $v(y)$ — достаточная статистика.

Теперь предположим, что $Y$ — непрерывный вектор наблюдений, $v(y)$ — заданная функция, а $V = v(Y)$ имеет плотность вероятности. Определим

Это можно интерпретировать как своеобразную плотность вероятности на условном пространстве выборок, но проще рассматривать это просто как дробь. Покажите, что $v(y)$ — достаточная статистика тогда и только тогда, когда эта дробь не зависит от $x$.

Предположим, что наблюдаемое значение выборки $\overrightarrow {y}$ преобразуется в $\overrightarrow {v} = [A^{-1}]\overrightarrow {y}$. Объясните, почему $\overrightarrow {v}$ является достаточной статистикой для данной задачи обнаружения (и, следовательно, почему МАВ-обнаружение на основе $\overrightarrow {v}$ должно давать то же решение, что и обнаружение на основе $\overrightarrow {y}$).

Рассмотрим задачу обнаружения, где $\overrightarrow {V} = [A^{-1}]\overrightarrow {a}+\overrightarrow {W}$ при $X=\overrightarrow {a}$ и $[A^{-1}]\overrightarrow {b}+\overrightarrow {W}$ при $X=\overrightarrow {b}$. Найдите $\mathrm{LLR}(\overrightarrow {v})$ для значения выборки $\overrightarrow {v}$ величины $\overrightarrow {V}$. Покажите, что это совпадает с $\mathrm{LLR}$ для значения выборки $\overrightarrow {y} = [A]\overrightarrow {v}$ величины $\overrightarrow {Y}$.

Найдите $\mathbb {P}\left( e \mid X=\overrightarrow {a} \right)$ и $\mathbb {P}\left( e \mid X=\overrightarrow {b} \right)$ для задачи обнаружения из (б), используя результаты примера 8.2.4. Покажите, что ваш ответ согласуется с (8.53).

Убедитесь, исходя из круговой симметрии ситуации, что приёмник максимального правдоподобия вычисляет значения выборки $v_{0}$ и $v_{1}$ величин $V_{0} = Y_{1}^{2}+Y_{2}^{2}$ и $V_{1} = Y_{3}^{2}+Y_{4}^{2}$ и выбирает $\hat{x}=0$, если $v_{0} \geq v_{1}$, и $\hat{x}=1$ в противном случае.

Найдите $\mathbb {P}\left( V_{1}>v_{1} \mid X=0 \right)$ как функцию от $v_{1}>0$.

Покажите, что

Покажите, что

Покажите, что это равно $(1/2)\exp (-a^{2}/(4\sigma^{2}))$.

Объясните, почему это является вероятностью ошибки (т.е. почему событие $V_{1}>V_{0}$ не зависит от $\varphi$), и почему $\mathbb {P}\left( e \mid X=0 \right) = \mathbb {P}\left( e \mid X=1 \right)$.

Убедитесь, исходя из круговой симметрии ситуации, что приёмник максимального правдоподобия вычисляет значения выборки $v_{0}$ и $v_{1}$ для $V_{0} = Y_{1}^{2}+Y_{2}^{2}$ и $V_{1} = Y_{3}^{2}+Y_{4}^{2}$ и выбирает $\hat{x}=0$, если $v_{0}>v_{1}$, и $\hat{x}=1$ в противном случае.

Найдите $f_{V_{0}|X}(v_{0} \mid 0)$ и найдите $f_{V_{1}|X}(v_{1} \mid 0)$.

Пусть $W = V_{0}-V_{1}$; найдите $f_{W}(w \mid X=0)$.

Покажите, что $\mathbb {P}\left( e \mid X=0 \right) = [2+a^{2}/\sigma^{2})]^{-1}$. Объясните, почему это также безусловная вероятность неверного решения.

Первоначально был разработан довольно шумный тест для определения того, какой штамм присутствует у пациентов с этим заболеванием. Результатом теста является выборочное значение $y_{1}$ случайной величины $Y_{1}$. При штамме 0 ($X=0$) $Y_{1} = 5+Z_{1}$, а при штамме 1 ($X=1$) $Y_{1} = 1+Z_{1}$. Шум измерения $Z_{1}$ не зависит от $X$ и является гауссовским, $Z_{1} \sim \mathcal{N}(0, \sigma^{2})$. Приведите решающее правило MAP, т.е. определите множество наблюдений $y_{1}$, при которых принимается решение $\hat{x}=1$. Приведите $\mathbb {P}\left( e \mid X=0 \right)$ и $\mathbb {P}\left( e \mid X=1 \right)$ через функцию $Q(x)$.

Начинающий медицинский исследователь приходит к выводу, что тест допускает слишком много ошибок. Разрабатывается новая процедура измерения с двумя случайными величинами наблюдения $Y_{1}$ и $Y_{2}$. $Y_{1}$ такая же, как в (а). $Y_{2}$ при гипотезе 0 задаётся как $Y_{2} = 5+Z_{1}+Z_{2}$, а при гипотезе 1 — как $Y_{2} = 1+Z_{1}+Z_{2}$. Предположим, что $Z_{2}$ не зависит ни от $Z_{1}$, ни от $X$, и что $Z_{2} \sim \mathcal{N}(0, \sigma^{2})$. Найдите решающее правило MAP для $\hat{x}$ в терминах совместного наблюдения $(y_{1}, y_{2})$ и найдите $\mathbb {P}\left( e \mid X=0 \right)$ и $\mathbb {P}\left( e \mid X=1 \right)$.

Объясните простым языком, почему медицинскому исследователю следует побольше узнать о теории вероятностей.

Теперь предположим, что $Z_{2}$ из (б) распределена равномерно на отрезке от $0$ до $1$, а не является гауссовской. По-прежнему считается, что $Z_{2}$ не зависит ни от $Z_{1}$, ни от $X$. Найдите решающее правило MAP для $\hat{x}$ в терминах совместного наблюдения $(y_{1}, y_{2})$ и найдите $\mathbb {P}\left( e \mid X=0 \right)$ и $\mathbb {P}\left( e \mid X=1 \right)$.

Наконец, предположим, что $Z_{1}$ также распределена равномерно на отрезке от $0$ до $1$. Снова найдите решающее правило MAP и вероятности ошибок.

Рассмотрим задачу проверки бинарных гипотез и обозначим гипотезы как $X=1$ и $X=-1$. Пусть $\overrightarrow {a} = (a_{1}, a_{2}, \ldots , a_{n})^{\mathsf{T}}$ — произвольный вещественный $n$-вектор, и пусть наблюдение представляет собой выборочное значение $y$ случайной величины $\overrightarrow {Y} = X\overrightarrow {a}+\overrightarrow {Z}$, где $\overrightarrow {Z} \sim \mathcal{N}(0, \sigma^{2}[I_{n}])$, а $[I_{n}]$ — единичная матрица размера $n \times n$. Предположим, что $\overrightarrow {Z}$ и $X$ независимы. Найдите решающее правило ML и найдите вероятности ошибок $\mathbb {P}\left( e \mid X=0 \right)$ и $\mathbb {P}\left( e \mid X=1 \right)$ через функцию $Q(x)$.

Теперь предположим, что к ситуации из (а) добавляется третья гипотеза, $X=0$. Наблюдаемая случайная величина по-прежнему $\overrightarrow {Y} = X\overrightarrow {a}+\overrightarrow {Z}$, но здесь $X$ может принимать значения $-1, 0$ или $+1$. Найдите одномерную достаточную статистику для этой задачи (т.е. одномерную функцию от $y$, из которой можно вычислить отношения правдоподобия

).

Найдите решающее правило ML для ситуации из (б) и найдите вероятности ошибок $\mathbb {P}\left( e \mid X=x \right)$ для $x=-1,0,+1$.

Теперь предположим, что $Z_{1}, \ldots , Z_{n}$ из (а) независимы и одинаково распределены, каждая равномерно на интервале от $-2$ до $+2$. Также предположим, что $\overrightarrow {a} = (1,1,\ldots ,1)^{\mathsf{T}}$. Найдите решающее правило ML для этой ситуации.

Начиная с успешной продажи в момент времени $0$, пусть $S_{i}$ — момент поступления $i$-й последующей успешной продажи. Руководитель наблюдает $S_{1}, S_{2}, \ldots , S_{n} (n \geq 1)$ и выбирает гипотезу с максимальной апостериорной вероятностью на основе этого наблюдения. Найдите совместную плотность вероятности $f(S_{1}, S_{2}, \ldots , S_{n}|X=1)$ и $f(S_{1}, \ldots , S_{n}|X=0)$ и приведите правило принятия решения.

То же, что и в (а), за исключением того, что система находится в стационарном режиме в момент времени $0$ (а не начинает работу с успешной продажи). Найдите плотность $S_{1}$ (момента первого прихода после момента времени $0$) при условии $X=0$ и $X=1$. Каково теперь правило принятия решения после наблюдения $S_{1}, \ldots , S_{n}$.

То же, что и в (б), за исключением того, что вместо наблюдения $n$ успешных продаж наблюдаются успешные продажи вплоть до некоторого заданного момента времени $t$. Найдите вероятность, при каждой гипотезе, того, что первая успешная продажа происходит в $(s_{1}, s_{1}+\Delta ]$, вторая — в $(s_{2}, s_{2}+\Delta ], \ldots$, а последняя — в $(s_{N(t)}, s_{N(t)}+\Delta ]$ (предполагая $\Delta$ очень малым). Каково теперь правило принятия решения?

Если $A$ является объединением $k$ интервалов, покажите, что $A^{c}$ является объединением не более чем $k+1$ непересекающихся интервалов. Интервалы могут быть открытыми или замкнутыми на каждом конце и могут быть ограничены $\pm \infty$.

Пусть $\mathcal{I}$ — разбиение $\mathbb {R}$, порождённое интервалами как $A$, так и $A^{c}$. Пусть $\mathcal{I}_{j}$ — $j$-й интервал в этом разбиении. Покажите, что

Выражение в правой части (б) является функцией разбиения, но в остальном не зависит от $A$. Оно соответствует тесту, при котором $Y$ сначала квантуется до конечного набора интервалов, а затем к этой дискретной задаче применяется тест MAP. Мы обозначаем этот тест как $\mathrm{MAP}(\mathcal{I})$. Пусть разбиение $\mathcal{I}'$ является измельчением $\mathcal{I}$ в том смысле, что каждый интервал $\mathcal{I}'$ содержится в некотором интервале $\mathcal{I}$. Покажите, что

Покажите, что для любых двух конечных разбиений $\mathbb {R}$ на интервалы существует третье конечное разбиение, являющееся измельчением каждого из них.

Рассмотрим последовательность $\left\{ A_{j}, j \geq 1\right\}$ (каждое — конечное объединение интервалов), приближающуюся к супремуму (по конечным объединениям интервалов) из (8.85). Постройте соответствующую последовательность последовательных измельчений разбиений $\left\{ \mathcal{I}_{j}, j \geq 1\right\}$, для которой $\mathbb {P}\left(\hat{x}_{\mathrm{MAP}(\mathcal{I}_{j})}(Y) = X\right)$ приближается к тому же пределу.

Отметим, что показывает это упражнение на данный момент: если правдоподобия не имеют ни ФРВ, ни ПМВ, нет никакой основы для теста MAP для отдельного наблюдения $y$. Однако, квантуя наблюдения достаточно мелко, квантованное правило MAP имеет общую вероятность правильного решения, сколь угодно близкую к оптимуму по всем правилам, где $A$ — конечное (но произвольно большое) объединение интервалов. Произвольно мелкое квантование означает, что решения сколь угодно близки к поточечным решениям, а использование квантования означает, что не требуется бесконечно тонкого разрешения для наблюдений.

Далее предположим, что супремум в (8.85) берётся по всем измеримым множествам $A \in \mathbb {R}$. Покажите, что для любого измеримого множества $A$ и любого $\epsilon >0$ существует конечное объединение интервалов $A'$, такое что $\mathbb {P}\left( A \neq A' \mid X=\ell \right) \leq \epsilon$ как для $\ell =0$, так и для $\ell =1$. Покажите из этого, что супремум в (8.85) одинаков независимо от того, берётся ли он по измеримым множествам или по конечным объединениям интервалов.

Для заданного $\theta$, $0<\theta \leq 1$, пусть $\eta^{*}$ достигает супремума $\sup_{0\leq \eta <\infty } q_{1}(\eta )+\eta (q_{0}(\eta )-\theta )$. Покажите, что $\eta^{*} \leq 1/\theta$.

Покажите, что модуль наклона кривой ошибок $u(\theta )$ в точке $\theta$ не превышает $1/\theta$.

Найдите $f_{Y|X}(y \mid 0)$, $f_{Y|X}(y \mid 1)$ и отношение правдоподобия $\Lambda (y)$.

Найдите пороговый тест при $\eta$ для каждого $\eta$, $0<\eta <\infty$, и вычислите условные вероятности ошибок $q_{0}(\eta )$ и $q_{1}(\eta )$.

Найдите кривую ошибок $u(\theta )$ и тщательно объясните, как находятся $u(0)$ и $u(1/2)$.

Найдите дискретную достаточную статистику $v(y)$ для этой задачи, имеющую три выборочных значения.

Опишите правило принятия решения, для которого вероятность ошибки при каждой гипотезе равна $1/4$. Вам не обязательно использовать рандомизированное правило, но нужно аккуратно обработать случаи безразличия в пороговом тесте.