3g

3.8 Оценивание с линейными ограничениями: 3.8.1 Метод множителей Лагранжа, 3.8.2 Метод ортогональных проекций

[5/100%]
Показать
LaTeX
Задача 3g.1
?
(a)

Найдите оценки наименьших квадратов α\alpha и β\beta в примере 3.5, используя оба описанных там подхода. Чему равна оценка наименьших квадратов γ\gamma?

(b)

Предположим, что вводится дополнительное ограничение: а именно, α=β\alpha = \beta. Найдите оценки наименьших квадратов для этой новой ситуации обоими методами.

Задача 3g.2

Рассматривая тождество Y−Y^H=Y−Y^+Y^−Y^H\mathbf{Y}-\widehat{\mathbf{Y}}_{H} = \mathbf{Y}-\widehat{\mathbf{Y}}+\widehat{\mathbf{Y}}-\widehat{\mathbf{Y}}_{H}, докажите, что

∥Y−Y^H∥2=∥Y−Y^∥2+∥Y^−Y^H∥2 \left\| \mathbf{Y}-\widehat{\mathbf{Y}}_{H}\right\| ^{2} = \left\| \mathbf{Y}-\widehat{\mathbf{Y}}\right\| ^{2}+\left\| \widehat{\mathbf{Y}}-\widehat{\mathbf{Y}}_{H}\right\| ^{2}
?
Задача 3g.3

Докажите, что

Var⁡[β^H]=σ2{(XTX)−1−(XTX)−1AT[A(XTX)−1AT]−1A(XTX)−1} \operatorname {Var}\left[\widehat{\beta }_{H}\right] = \sigma ^{2}\left\{ \left(\mathbf{X}^{T} \mathbf{X}\right)^{-1}-\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{A}^{T}\left[\mathbf{A}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{A}^{T}\right]^{-1} \mathbf{A}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1}\right\}

Отсюда выведите, что

Var⁡[β^Hj]≤Var⁡[β^j] \operatorname {Var}\left[\widehat{\beta }_{H j}\right] \leq \operatorname {Var}\left[\widehat{\beta }_{j}\right]

где β^Hj\widehat{\beta }_{H j} и β^j\widehat{\beta }_{j} — jj-е элементы β^H\widehat{\mathbf{\beta }}_{H} и β^\widehat{\mathbf{\beta }} соответственно.

?
Задача 3g.4

Покажите, что

∥Y−Y^H∥2−∥Y−Y^∥2=σ2λ^HT(Var⁡[λ^H])−1λ^H \left\| \mathbf{Y}-\widehat{\mathbf{Y}}_{H}\right\| ^{2}-\left\| \mathbf{Y}-\widehat{\mathbf{Y}}\right\| ^{2} = \sigma ^{2} \widehat{\mathbf{\lambda }}_{H}^{T}\left(\operatorname {Var}\left[\widehat{\mathbf{\lambda }}_{H}\right]\right)^{-1} \widehat{\lambda }_{H}
?
Задача 3g.5

Если X\mathbf{X} имеет размер n×pn \times p и rank⁡p\operatorname {rank} p, а B\mathbf{B} имеет размер p×qp \times q и rank⁡q\operatorname {rank} q, покажите, что rank⁡(XB)=q\operatorname {rank}(\mathbf{X B}) = q.

?