Банк задач по математике

Задача 7.9.1

(a)(b)

Пусть $Y$ равномерно распределена на $[-1,1]$ , и пусть $X = Y^{2}$ .

?

(a)

Найдите наилучший предсказатель $X$ по $Y$ и $Y$ по $X$ .

(b)

Найдите наилучший линейный предсказатель $X$ по $Y$ и $Y$ по $X$ .

Задача 7.9.2

(a)(b)

?

(a)

Пусть пара $(X, Y)$ имеет общее двумерное нормальное распределение. Найдите $\mathbb {E}\left[Y \mid X\right]$ .

(b)

Пусть $U_{1}, U_{2}, \ldots , U_{n}$ — независимые случайные величины $N(0,1)$ , и пусть $\left(a_{i}\right),\left(b_{i}\right)$ — вещественные ненулевые векторы. Покажите, что $X = \sum_{i} a_{i} U_{i}$ и $Y = \sum_{i} b_{i} U_{i}$ удовлетворяют

\mathbb {E}\left[Y \mid X\right] = X \frac{\sum _{i} a_{i} b_{i}}{\sum _{i} a_{i}^{2}}

Задача 7.9.3

Пусть $X_{1}, X_{2}, \ldots , X_{n}$ — случайные величины с нулевыми средними и ковариационной матрицей $\mathbf{V} = \left(v_{i j}\right)$ , и пусть $Y$ имеет конечный второй момент. Найдите линейную функцию $h$ от $X_{i}$ , минимизирующую среднеквадратичную ошибку $\mathbb {E}\left[\left(Y-h\left(X_{1}, \ldots , X_{n}\right)\right)^{2}\right]$ .

?

Задача 7.9.4

Проверьте следующие свойства условного математического ожидания. Можете считать, что соответствующие математические ожидания существуют.

?

(a)

$\mathbb {E}\left[\mathbb {E}\left[Y \mid g\right]\right] = \mathbb {E}\left[Y\right]$ .

(b)

$\mathbb {E}\left[\alpha Y+\beta Z \mid g\right] = \alpha \mathbb {E}\left[Y \mid g\right] + \beta \mathbb {E}\left[Z \mid g\right]$ при $\alpha , \beta \in \mathbb {R}$ .

(c)

$\mathbb {E}\left[Y \mid g\right] \geq 0$ , если $Y \geq 0$ .

(d)

$\mathbb {E}\left[Y \mid g\right] = \mathbb {E}\left[\mathbb {E}\left[Y \mid \mathcal{H}\right] \mid g\right]$ , если $\mathcal{G} \subseteq \mathcal{H}$ .

(e)

$\mathbb {E}\left[Y \mid \mathcal{G}\right] = \mathbb {E}\left[Y\right]$ , если $Y$ независима от $I_{G}$ при каждом $G \in \mathcal{G}$ .

(f)

Неравенство Йенсена. $g\left\{ \mathbb {E}\left[Y \mid g\right]\right\} \leq \mathbb {E}\left[g(Y) \mid g\right]$ для всех выпуклых функций $g$ .

(g)

Если $Y_{n} \xrightarrow {\text{ п.н. }} Y$ и $\left|Y_{n}\right| \leq Z$ п.н., где $\mathbb {E}\left[Z\right] < \infty$ , то $\mathbb {E}\left[Y_{n} \mid \mathcal{g}\right] \xrightarrow {\text{ п.н. }} \mathbb {E}\left[Y \mid \mathcal{g}\right]$ .

Утверждения (b)-(f), разумеется, следует понимать «почти наверное».

Задача 7.9.5

Пусть $X$ и $Y$ имеют совместную функцию вероятности $f(x, y) = \left\{ x(x+1)\right\}^{-1}$ при $x = y = 1,2, \ldots$ . Покажите, что $\mathbb {E}\left[Y \mid X\right] < \infty$ , тогда как $\mathbb {E}\left[Y\right] = \infty$

?

Задача 7.9.6

(a)(b)

Пусть $(\Omega , \mathcal{F}, \mathbb {P})$ — вероятностное пространство, и пусть $\mathcal{g}$ — под- $\sigma$ -алгебра $\mathcal{F}$ . Пусть $H$ — пространство $\mathcal{g}_{\text{измеримых случ}}$ случайных величин с конечным вторым моментом.

?

(a)

Покажите, что $H$ замкнуто относительно нормы $\left\| \cdot \right\|_{2}$ .

(b)

Пусть $Y$ — случайная величина, удовлетворяющая $\mathbb {E}\left[Y^{2}\right] < \infty$ , и покажите эквивалентность следующих двух утверждений для любого $M \in H$ :

(i) $\mathbb {E}\left[(Y-M) Z\right] = 0$ для всех $Z \in H$ ,

(ii) $\mathbb {E}\left[(Y-M) I_{G}\right] = 0$ для всех $G \in \mathcal{G}$ .

Задача 7.9.7

Для, возможно, зависимых случайных величин $X$ и $Y$ определим коэффициент максимальной корреляции $m(X, Y) = \sup \rho (f(X), g(Y))$ , где $\rho$ обозначает обычную корреляцию, а супремум берётся по всем функциям $f$ и $g$ , таким что $f(X)$ и $g(Y)$ имеют конечные ненулевые дисперсии. Покажите, что:

?

(a)

$m(X, Y) = 0$ тогда и только тогда, когда $X$ и $Y$ независимы,

(b)

$m(X, Y)^{2} = \sup_{g} \operatorname {Var}\left[\mathbb {E}\left[g(Y) \mid X\right]\right]$ , где супремум берётся по всем функциям $g$ , таким что $\operatorname {Var}\left[g(Y)\right] = 1$

(c)

$\widehat{f}(X) m(X, Y) = \mathbb {E}\left[\widehat{g}(Y) \mid X\right]$ п.н., где $\widehat{f}$ и $\widehat{g}$ — функции, такие что $m = \rho (\widehat{f}(X), \widehat{g}(Y))$ .

(d)

Имеем, п.н., что

\mathbb {E}\left[\mathbb {E}\left[\widehat{f}(X) \mid Y\right] \mid X\right] = m(X, Y)^{2} \widehat{f}(X), \quad \mathbb {E}\left[\mathbb {E}\left[\widehat{g}(Y) \mid X\right] \mid Y\right] = m(X, Y)^{2} \widehat{g}(Y)

(e)

Если упорядоченная тройка $X, Y, Z$ образует марковскую цепь, покажите, что $m(X, Z) \leq m(X, Y) m(Y, Z)$ , причём равенство достигается, если $(X, Y)$ и $(Z, Y)$ одинаково распределены.

(f)

Выведите отсюда, что для пары $(U, V)$ со стандартным двумерным нормальным распределением $m(U, V)$ является возрастающей функцией модуля корреляции $\left|\rho \right|$ . [Можно показать, что в этом случае $m(U, V) = \left|\rho \right|$ .]

Задача 7.9.8

Пусть $\rho_{\operatorname {mon}}(X, Y) = \sup \rho (f(X), g(Y))$ , где супремум берётся по всем монотонным функциям $f$ и $g$ , таким что $f(X)$ и $g(Y)$ имеют конечные ненулевые дисперсии. Покажите, что $\rho_{\text{mon }}(X, Y) = 0$ тогда и только тогда, когда $X$ и $Y$ независимы.

Для случайных величин $X, Y$ с конечными ненулевыми дисперсиями покажите, что $\rho (X, Y) \leq \rho_{\operatorname {mon}}(X, Y) \leq m(X, Y)$ , где $m$ — коэффициент максимальной корреляции.

?

Задача 7.9.9

(a)(b)(c)

Пусть $(X, Y)$ имеет совместную плотность $f(x, y) = 2 e^{-x-y}$ при $0 < x \leq y < \infty$ .

?

(a)

Найдите предсказатель $X$ по $Y = y$ с минимальной среднеквадратичной ошибкой.

(b)

Найдите линейный предсказатель $X$ по $Y = y$ с минимальной среднеквадратичной ошибкой.

(c)

Сравните их.

Прогноз и условное математическое ожидание