3.10 Обобщённый метод наименьших квадратов

Пусть $Y_{i} = \beta x_{i}+\varepsilon_{i}(i = 1,2)$, где $\varepsilon_{1} \sim N\left(0, \sigma^{2}\right), \varepsilon_{2} \sim N\left(0,2 \sigma^{2}\right)$, причём $\varepsilon_{1}$ и $\varepsilon_{2}$ статистически независимы. Если $x_{1} = +1$ и $x_{2} = -1$, найдите оценку $\beta$ методом взвешенных наименьших квадратов и найдите дисперсию вашей оценки.

Пусть $Y_{i}(i = 1,2, \ldots , n)$ — независимые случайные величины с общим средним $\theta$ и дисперсиями $\sigma^{2} / w_{i}(i = 1,2, \ldots , n)$. Найдите линейную несмещённую оценку $\theta$ с минимальной дисперсией и найдите эту минимальную дисперсию.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — независимые случайные величины, и пусть $Y_{i}$ имеет распределение $N\left(i \theta , i^{2} \sigma^{2}\right)$ для $i = 1,2, \ldots , n$. Найдите оценку $\theta$ методом взвешенных наименьших квадратов и докажите, что её дисперсия равна $\sigma^{2} / n$.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — случайные величины с общим средним $\theta$ и матрицей рассеяния $\sigma^{2} \mathbf{V}$, где $v_{i i} = 1(i = 1,2, \ldots , n)$ и $v_{i j} = \rho$ ($0 < \rho < 1 ; i, j = 1,2, \ldots , n ; i \neq j$). Найдите обобщённую оценку $\theta$ методом наименьших квадратов и покажите, что она совпадает с обычной оценкой методом наименьших квадратов. Указание: $\mathbf{V}^{-1}$ имеет тот же вид, что и $\mathbf{V}$.

Пусть $\mathbf{Y} \sim N_{n}\left(\mathbf{X} \beta , \sigma^{2} \mathbf{V}\right)$, где $\mathbf{X}$ — матрица $n \times p$ ранга $p$, а $\mathbf{V}$ — известная положительно определённая матрица $n \times n$. Если $\beta^{*}$ — обобщённая оценка $\mathbf{\beta }$ методом наименьших квадратов, докажите, что

Предположим, что $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{\theta }, \mathbf{A} \mathbf{\theta } = \mathbf{0}$, и $\operatorname {Var}\left[\mathbf{Y}\right] = \sigma^{2} \mathbf{V}$, где $\mathbf{A}$ — матрица $q \times n$ ранга $q$, а $\mathbf{V}$ — известная положительно определённая матрица $n \times n$. Пусть $\mathbf{\theta }^{*}$ — обобщённая оценка $\mathbf{\theta }$ методом наименьших квадратов; то есть $\mathbf{\theta }^{*}$ минимизирует $(\mathbf{Y}-\mathbf{\theta })^{T} \mathbf{V}^{-1}(\mathbf{Y}-\mathbf{\theta })$ при условии $\mathbf{A} \mathbf{\theta } = \mathbf{0}$. Покажите, что

где $\tilde{\mathbf{\gamma }}^{*}$ — обобщённая оценка $\mathbf{\gamma }$ методом наименьших квадратов для модели $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{V A}^{T} \mathbf{\gamma }, \operatorname {Var}\left[\mathbf{Y}\right] = \sigma^{2} \mathbf{V}$.