5.14

Почему метод наименьших квадратов?

[1/100%]
Показать
LaTeX
Задача 5.14.1

Для матрицы Zm×n=[zij]Z_{m\times n} = [z_{ij}] случайных величин E[Z]E[Z] — это матрица размера m×nm\times n, у которой (i,j)(i,j)-элемент равен E[zij]E[z_{ij}]. Рассмотрим стандартную линейную модель y=Xm×nβ+εy = X_{m\times n}\beta + \varepsilon, такую что rk⁡(X)=n\operatorname {rk}\left(X\right)=n, E[ε]=0E[\varepsilon ]=0, Cov⁡[ε]=σ2I\operatorname {Cov}[\varepsilon ] = \sigma^{2}I, и пусть e^\hat{e} обозначает вектор случайных величин, определённый как e^=y−Xβ^\hat{e} = y - X\hat{\beta }, где β^=(XTX)−1XTy=X†y\hat{\beta } = (X^{T}X)^{-1}X^{T}y = X^{\dagger }y. Покажите, что

σ^2=e^Te^m−n \hat{\sigma }^{2} = \frac{\hat{e}^{T}\hat{e}}{m-n}

является несмещённой оценкой для σ2\sigma^{2}.

?
Примечание.
?

(5.14.5): в стандартной линейной модели μyi=Xi∗β\mu_{y_i} = X_{i*}\beta и Cov⁡[yi,yj]=σ2\operatorname {Cov}[y_i,y_j] = \sigma^{2}, если i=ji=j, и 00 в противном случае. Упражнение 5.9.13: rk⁡(P)=trace⁡(P)\operatorname {rk}\left(P\right) = \operatorname {trace}(P) для любого проектора PP.