3.2 Свойства оценок наименьших квадратов

Пусть $Y_{i} = \beta_{0}+\beta_{1} x_{i}+\varepsilon_{i}(i = 1,2, \ldots , n)$, где $\mathbb {E}\left[\varepsilon \right] = 0$ и $\operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{I}_{n}$. Найдите оценки наименьших квадратов для $\beta_{0}$ и $\beta_{1}$. Докажите, что они некоррелированы тогда и только тогда, когда $\bar{x} = 0$.

Чтобы оценить два параметра $\theta$ и $\phi$, можно провести наблюдения трёх типов: (а) первый тип имеет математическое ожидание $\theta$, (б) второй тип имеет математическое ожидание $\theta +\phi$, и (в) третий тип имеет математическое ожидание $\theta -2 \phi$. Все наблюдения подвержены некоррелированным ошибкам с нулевым средним и постоянной дисперсией. Если сделано $m$ наблюдений типа (а), $m$ наблюдений типа (б) и $n$ наблюдений типа (в), найдите оценки наименьших квадратов $\widehat{\theta }$ и $\widehat{\phi }$. Докажите, что эти оценки некоррелированы, если $m = 2 n$.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — случайная выборка из $N\left(\theta , \sigma^{2}\right)$. Найдите линейную несмещённую оценку $\theta$ с минимальной дисперсией.

Пусть

где $\bar{x}_{j} = \sum_{i = 1}^{n} x_{i j} / n, \mathbb {E}\left[\varepsilon \right] = \mathbf{0}$, и $\operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{I}_{n}$. Если $\widehat{\beta }_{1}$ — оценка наименьших квадратов $\beta_{1}$, покажите, что

где $r$ — коэффициент корреляции $n$ пар $\left(x_{i 1}, x_{i 2}\right)$.