3.1 Оценивание методом наименьших квадратов

Покажите, что если $\mathbf{X}$ имеет полный ранг,

и отсюда выведите, что левая часть минимизируется единственным образом при $\mathbf{\beta } = \widehat{\mathbf{\beta }}$.

Если $\mathbf{X}$ имеет полный ранг, докажите, что $\sum_{i = 1}^{n}\left(Y_{i}-\widehat{Y}_{i}\right) = 0$. Подсказка: рассмотрите первый столбец $\mathbf{X}$.

Пусть

где $\mathbb {E}\left[\varepsilon_{i}\right] = 0(i = 1,2,3)$. Найдите оценки наименьших квадратов для $\theta$ и $\phi$.

Рассмотрим регрессионную модель

где $x_{1} = -1, x_{2} = 0$ и $x_{3} = +1$. Найдите оценки наименьших квадратов $\beta_{0}, \beta_{1}$ и $\beta_{2}$. Покажите, что оценки наименьших квадратов $\beta_{0}$ и $\beta_{1}$ не изменяются, если $\beta_{2} = 0$.

Натяжение $T$, наблюдаемое в нерастяжимой нити, необходимое для удержания тела неизвестного веса $w$ в равновесии на гладкой наклонной плоскости с углом $\theta (0 < \theta < \pi / 2)$, является случайной величиной со средним $\mathbb {E}\left[T\right] = w \sin \theta$. Если при $\theta = \theta_{i}(i = 1,2, \ldots , n)$ соответствующие значения $T$ равны $T_{i}$ ($i = 1,2, \ldots , n$), найдите оценку наименьших квадратов для $w$.

Если $\mathbf{X}$ имеет полный ранг, так что $\mathbf{P} = \mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$, докажите, что $\mathcal{C}(\mathbf{P}) = \mathcal{C}(\mathbf{X})$.

Для общей регрессионной модели, в которой $\mathbf{X}$ может иметь или не иметь полный ранг, покажите, что

Предположим, что мы масштабируем объясняющие переменные так, что $x_{i j} = k_{j} w_{i j}$ для всех $i, j$. Выразив $\mathbf{X}$ через новую матрицу $\mathbf{W}$, докажите, что $\widehat{\mathbf{Y}}$ остаётся неизменной при этом изменении масштаба.