Глава 1

Векторы случайных величин

[18/89%]
Показать
LaTeX
Задача 1.1

Если XX и YY — случайные величины, докажите, что

Var⁡[X]=EY[Var⁡[X∣Y]]+Var⁡Y[E[X∣Y]] \operatorname {Var}\left[X\right] = \mathbb {E}_{Y}\left[\operatorname {Var}\left[X \mid Y\right]\right]+\operatorname {Var}_{Y}\left[\mathbb {E}\left[X \mid Y\right]\right]

Обобщите этот результат на векторы X\mathbf{X} и Y\mathbf{Y} случайных величин.

?
Задача 1.2

Пусть X=(X1,X2,X3)T\mathbf{X} = \left(X_{1}, X_{2}, X_{3}\right)^{T} с

Var⁡[X]=[523230303] \operatorname {Var}\left[\mathbf{X}\right] =\left[\begin{smallmatrix} 5 & 2 & 3 \\ 2 & 3 & 0 \\ 3 & 0 & 3 \end{smallmatrix}\right]
?
(a)

Найдите дисперсию X1−2X2+X3X_{1}-2 X_{2}+X_{3}.

(b)

Найдите матрицу дисперсий Y=(Y1,Y2)T\mathbf{Y} = \left(Y_{1}, Y_{2}\right)^{T}, где Y1=X1+X2Y_{1} = X_{1}+X_{2} и Y2=X1+X2+X3Y_{2} = X_{1}+X_{2}+X_{3}.

Задача 1.3

Пусть X1,X2,…,XnX_{1}, X_{2}, \ldots , X_{n} — случайные величины с общим средним μ\mu. Предположим, что Cov⁡[Xi,Xj]=0\operatorname {Cov}\left[ X_{i}, X_{j} \right] = 0 для всех ii и jj таких, что j>i+1j > i+1. Если

Qi=∑i=1n(Xi−Xˉ)2 Q_{\mathrm{i}} = \sum _{i = 1}^{n}\left(X_{i}-\bar{X}\right)^{2}

и

Q2=(X1−X2)2+(X2−X3)2+⋯+(Xn−1−Xn)2+(Xn−X1)2 Q_{2} = \left(X_{1}-X_{2}\right)^{2}+\left(X_{2}-X_{3}\right)^{2}+\cdots +\left(X_{n-1}-X_{n}\right)^{2}+\left(X_{n}-X_{1}\right)^{2}

докажите, что

E[3Q1−Q2n(n−3)]=Var⁡[Xˉ] E\left[\frac{3 Q_{1}-Q_{2}}{n(n-3)}\right] = \operatorname {Var}\left[\bar{X}\right]
?
Задача 1.4

Дана случайная выборка X1,X2,X3X_{1}, X_{2}, X_{3} из распределения с плотностью

f(x)=12(−1≤x≤1) f(x) = \frac{1}{2} \quad (-1 \leq x \leq 1)

найдите дисперсию (X1−X2)2+(X2−X3)2+(X3−X1)2\left(X_{1}-X_{2}\right)^{2}+\left(X_{2}-X_{3}\right)^{2}+\left(X_{3}-X_{1}\right)^{2}.

?
Задача 1.5

Если X1,…,XnX_{1}, \ldots , X_{n} независимо и одинаково распределены как N(0,σ2)N\left(0, \sigma^{2}\right), а A\mathbf{A} и B\mathbf{B} — произвольные симметричные матрицы n×nn \times n, докажите, что

Cov⁡[XTAX,XTBX]=2σ4tr⁡(AB) \operatorname {Cov}\left[ \mathbf{X}^{T} \mathbf{A X}, \mathbf{X}^{T} \mathbf{B} \mathbf{X} \right] = 2 \sigma ^{4} \operatorname {tr}(\mathbf{A B})
?
§
Задача 1a.1

Докажите, что если a — вектор констант той же размерности, что и случайный вектор X\mathbf{X}, то

E[(X−a)(X−a)T]=Var⁡[X]+(E[X]−a)(E[X]−a)T \mathbb {E}\left[(\mathbf{X}-\mathbf{a})(\mathbf{X}-\mathbf{a})^{T}\right] = \operatorname {Var}\left[\mathbf{X}\right]+(\mathbb {E}\left[\mathbf{X}\right]-\mathbf{a})(\mathbb {E}\left[\mathbf{X}\right]-\mathbf{a})^{T}

Если Var⁡[X]=Σ=(σij)\operatorname {Var}\left[\mathbf{X}\right] = \mathbf{\Sigma } = \left(\sigma_{i j}\right), выведите, что

E[∥X−a∥2]=∑iσii+∥E[X]−a∥2 \mathbb {E}\left[\left\| \mathbf{X}-\mathbf{a}\right\| ^{2}\right] = \sum _{i} \sigma _{i i}+\left\| \mathbb {E}\left[\mathbf{X}\right]-\mathbf{a}\right\| ^{2}
?
Задача 1a.2

Если X\mathbf{X} и Y\mathbf{Y} — векторы случайных величин размера m×1m \times 1 и n×1n \times 1, а a\mathbf{a} и b — векторы констант размера m×1m \times 1 и n×1n \times 1, докажите, что

Cov⁡[X−a,Y−b]=Cov⁡[X,Y] \operatorname {Cov}\left[ \mathbf{X}-\mathbf{a}, \mathbf{Y}-\mathbf{b} \right] = \operatorname {Cov}\left[ \mathbf{X}, \mathbf{Y} \right]
?
Задача 1a.3

Пусть X=(X1,X2,…,Xn)T\mathbf{X} = \left(X_{1}, X_{2}, \ldots , X_{n}\right)^{T} — вектор случайных величин, и пусть Y1=X1,Yi=Xi−Xi−1(i=2,3,…,n)Y_{1} = X_{1}, Y_{i} = X_{i}-X_{i-1}(i = 2,3, \ldots , n). Если YiY_{i} взаимно независимы, каждая с единичной дисперсией, найдите Var⁡[X]\operatorname {Var}\left[\mathbf{X}\right].

?
Задача 1a.4

Если X1,X2,…,XnX_{1}, X_{2}, \ldots , X_{n} — случайные величины, удовлетворяющие Xi+1=ρXi(i=1,2,…,n−1X_{i+1} = \rho X_{i} \quad (i = 1,2, \ldots , n-1), где ρ\rho — константа, и Var⁡[X1]=σ2\operatorname {Var}\left[X_{1}\right] = \sigma^{2}, найдите Var⁡[X]\operatorname {Var}\left[\mathbf{X}\right].

?
§
Задача 1b.1

Предположим, что X1,X2X_{1}, X_{2} и X3X_{3} — случайные величины с общим средним μ\mu и матрицей дисперсий

Var⁡[X]=σ2[10001140141] \operatorname {Var}\left[\mathbf{X}\right] = \sigma ^{2}\left[\begin{smallmatrix} 1 & 0 & 0 \\ 0 & 1 & \frac{1}{4} \\ 0 & \frac{1}{4} & 1 \end{smallmatrix}\right]

Найдите E[X12+2X1X2−4X2X3+X32]\mathbb {E}\left[X_{1}^{2}+2 X_{1} X_{2}-4 X_{2} X_{3}+X_{3}^{2}\right].

?
Задача 1b.2

Если X1,X2,…,XnX_{1}, X_{2}, \ldots , X_{n} — независимые случайные величины с общим средним μ\mu и дисперсиями σ12,σ22,…,σn2\sigma_{1}^{2}, \sigma_{2}^{2}, \ldots , \sigma_{n}^{2}, докажите, что ∑i(Xi−Xˉ)2/[n(n−1)]\sum_{i}\left(X_{i}-\bar{X}\right)^{2} /[n(n-1)] является несмещённой оценкой Var⁡[Xˉ]\operatorname {Var}\left[\bar{X}\right].

?
Задача 1b.3

Предположим, что в упражнении 2 дисперсии известны. Пусть Xˉw=∑iwiXi\bar{X}_{w} = \sum_{i} w_{i} X_{i} — несмещённая оценка μ\mu (т.е. ∑iwi=1\sum_{i} w_{i} = 1).

?
(a)

Докажите, что Var⁡[Xˉw]\operatorname {Var}\left[\bar{X}_{w}\right] минимизируется, когда wi∝1/σi2w_{i} \propto 1 / \sigma_{i}^{2}. Найдите эту минимальную дисперсию vmin v_{\text{min }}.

(b)

Пусть Sw2=∑iwi(Xi−Xˉw)2/(n−1)S_{w}^{2} = \sum_{i} w_{i}\left(X_{i}-\bar{X}_{w}\right)^{2} /(n-1). Если wiσi2=a(i=1,2,…,n)w_{i} \sigma_{i}^{2} = a(i = 1,2, \ldots , n), докажите, что E[Sw2]\mathbb {E}\left[S_{w}^{2}\right] является несмещённой оценкой vmin v_{\text{min }}.

Задача 1b.4

Случайные величины X1,X2,…,XnX_{1}, X_{2}, \ldots , X_{n} имеют общее ненулевое среднее μ\mu, общую дисперсию σ2\sigma^{2}, и корреляция между любой парой случайных величин равна ρ\rho.

?
(a)

Найдите Var⁡[Xˉ]\operatorname {Var}\left[\bar{X}\right] и тем самым докажите, что −1/(n−1)≤ρ≤1-1 /(n-1) \leq \rho \leq 1.

(b)

Если

Q=a∑i=1nXi2+b(∑i=1nXi)2 Q = a \sum _{i = 1}^{n} X_{i}^{2}+b\left(\sum _{i = 1}^{n} X_{i}\right)^{2}

является несмещённой оценкой σ2\sigma^{2}, найдите aa и bb. Покажите тем самым, что в этом случае

Q=∑i=1n(Xi−Xˉ)2(1−ρ)(n−1) Q = \sum _{i = 1}^{n} \frac{\left(X_{i}-\bar{X}\right)^{2}}{(1-\rho )(n-1)}
Задача 1b.5

Пусть X1,X2,…,XnX_{1}, X_{2}, \ldots , X_{n} независимо распределены как N(μ,σ2)N\left(\mu , \sigma^{2}\right). Определим

S2=1n−1∑i=1n(Xi−Xˉ)2 S^{2} = \frac{1}{n-1} \sum _{i = 1}^{n}\left(X_{i}-\bar{X}\right)^{2}

и

Q=12(n−1)∑i=1n−1(Xi+1−Xi)2 Q = \frac{1}{2(n-1)} \sum _{i = 1}^{n-1}\left(X_{i+1}-X_{i}\right)^{2}
?
(a)

Докажите, что Var⁡[S2]=2σ4/(n−1)\operatorname {Var}\left[S^{2}\right] = 2 \sigma^{4} /(n-1).

(b)

Покажите, что QQ является несмещённой оценкой σ2\sigma^{2}.

(c)

Найдите дисперсию QQ и тем самым покажите, что при n→∞n \rightarrow \infty эффективность QQ относительно S2S^{2} равна 23\frac{2}{3}.

§
Задача 1c.1

Если XX и YY — случайные величины с одинаковой дисперсией, докажите, что Cov⁡[X+Y,X−Y]=0\operatorname {Cov}\left[ X+Y, X-Y \right] = 0. Приведите контрпример, показывающий, что нулевая ковариация не обязательно означает независимость.

?
Задача 1c.2

Пусть XX и YY — дискретные случайные величины, принимающие только значения 0 или 1, и пусть pr⁡(X=i,Y=j)=pij(i=1,0;j=1,0)\operatorname {pr}(X = i, Y = j) = p_{i j}(i = 1,0 ; j = 1,0). Докажите, что XX и YY независимы тогда и только тогда, когда Cov⁡[X,Y]=0\operatorname {Cov}\left[ X, Y \right] = 0.

?
Задача 1c.3

Если XX — случайная величина с плотностью, симметричной относительно нуля, и нулевым средним, докажите, что Cov⁡[X,X2]=0\operatorname {Cov}\left[ X, X^{2} \right] = 0.

?
Задача 1c.4

Если X,YX, Y и ZZ имеют совместную плотность

f(x,y,z)=18(1+xyz)(−1≤x,y,z≤1) f(x, y, z) = \frac{1}{8}(1+x y z) \quad (-1 \leq x, y, z \leq 1)

докажите, что они попарно независимы, но не независимы в совокупности.

?