10

Линейная модель множественной регрессии

[9/22%]
Показать
LaTeX
Задача 10.1

Модель линейной регрессии имеет следующий частный вид:

Xk=θ1+hkθ2+εk,k=1,…,n, X_{k} = \theta _{1}+h_{k} \theta _{2}+\varepsilon _{k}, \quad k = 1, \ldots , n,

где {εk}\left\{ \varepsilon_{k}\right\} — независимые центрированные СВ. Найдите явное аналитическое выражение для МНК-оценки θ^n\widehat{\theta }_{n} вектора θ={θ1,θ2}⊤\theta = \left\{ \theta_{1}, \theta_{2}\right\}^{\top }.

?
Задача 10.2

Докажите соотношение (10.7):

∑k=1n(Xk−Xˉn)2=∑k=1n(X^n−Xˉn)2+∑k=1nε^k2 \sum _{k = 1}^{n}\left(X_{k}-\bar{X}_{n}\right)^{2} = \sum _{k = 1}^{n}\left(\widehat{X}_{n}-\bar{X}_{n}\right)^{2}+\sum _{k = 1}^{n} \widehat{\varepsilon }_{k}^{2}

где Xˉn=∑k=1nXk,X^k=hk⊤θ^n,ε^k=Xk−X^k\bar{X}_{n} = \sum_{k = 1}^{n} X_{k}, \widehat{X}_{k} = h_{k}^{\top } \widehat{\theta }_{n}, \widehat{\varepsilon }_{k} = X_{k}-\widehat{X}_{k}.

?
Задача 10.3

Пусть X=Hθ+EX = H \theta +E, где E[E]=0,Cov⁡[E,E]=σ2I,H∈Rn×p\mathbb {E}\left[E\right] = 0, \operatorname {Cov}\left[ E, E \right] = \sigma^{2} I, H \in \mathbb {R}^{n \times p}. Докажите, что если HH и θ\theta разбиты на блоки в форме

Xθ=[H1H2][θ1θ2] X \theta =\left[\begin{smallmatrix} H_{1} & H_{2} \end{smallmatrix}\right]\left[\begin{smallmatrix} \theta _{1} \\ \theta _{2} \end{smallmatrix}\right]

то МНК-оценка для θ2\theta_{2} имеет вид: θ^2=[H2⊤H2−H2⊤H1(H1⊤H1)−1H1⊤H2]−1[H2⊤X−H2⊤H1(H1⊤H1)−1H1⊤X]\widehat{\theta }_{2} = \left[H_{2}^{\top } H_{2}-H_{2}^{\top } H_{1}\left(H_{1}^{\top } H_{1}\right)^{-1} H_{1}^{\top } H_{2}\right]^{-1}\left[H_{2}^{\top } X-H_{2}^{\top } H_{1}\left(H_{1}^{\top } H_{1}\right)^{-1} H_{1}^{\top } X\right].

?
Задача 10.4

По двум наблюдениям X1=2,X2=4X_{1} = 2, X_{2} = 4 при h1=1,h2=2h_{1} = 1, h_{2} = 2 постройте реализацию МНК-оценки неизвестных параметров в модели простой линейной регрессии. Вычислите коэффициент детерминации.

?
Задача 10.5

В условиях примера 10.4 проверьте с помощью критерия Фишера гипотезу H0:θ1=−1,θ2=2H_{0}: \theta_{1} = -1, \theta_{2} = 2 на уровне значимости α=0,01\alpha = 0,01, считая, что ошибки в наблюдениях имеют распределение N(0;σ2)\mathcal{N}\left(0 ; \sigma^{2}\right).

?
Задача 10.6

Модель наблюдений имеет вид

Xk=kθ+εk,k=1,…,n, X_{k} = k \theta +\varepsilon _{k}, \quad k = 1, \ldots , n,

где {εk}\left\{ \varepsilon_{k}\right\} — независимые гауссовские СВ,εk∼N(0;σ2),σ>0\mathrm{СВ}, \varepsilon_{k} \sim \mathcal{N}\left(0 ; \sigma^{2}\right), \sigma > 0. Используя МНК-оценку θ^n\widehat{\theta }_{n} параметра θ\theta, постройте для него доверительный интервал надежности q=0,95q = 0,95.

?
Задача 10.7

В условиях примера 10.4 проверить на уровне значимости p=0,05p = 0,05 параметрическую гипотезу H0:θ2=0H_{0}: \theta_{2} = 0, считая, что ошибки в наблюдениях независимы и имеют распределение N(0;σ2)\mathcal{N}\left(0 ; \sigma^{2}\right).

?
Задача 10.8

По данным примера 10.6 постройте зависимость X=θ1+θ2hX = \theta_{1}+\theta_{2} h, считая, что:

?
(1)

h=[1,…,12]⊤h = [1, \ldots , 12]^{\top };

(2)

h=[1954,…,1967]⊤h = [1954, \ldots , 1967]^{\top }.

В обоих случаях оцените погрешность найденной реализации оценки и вычислите коэффициент детерминации.

Задача 10.9

Оцените неизвестные параметры α,β\alpha , \beta в модели потребления человеком некоторого продукта v=α+βln⁡wv = \alpha +\beta \ln w, где vv — расходы на продукт потребления, ww — недельный доход (табл. 10.4).

Таблица 10.4

kk1234567
wkw_{k}0,81,21,52,22,33,63,1
vkv_{k}1,72,73,65,76,78,112,0

Оцените коэффициент эластичности σ=dvdw⋅wv\sigma = \frac{d v}{d w} \cdot \frac{w}{v}. Считая, что ошибки в наблюдениях имеют распределение N(0;σ2)\mathcal{N}\left(0 ; \sigma^{2}\right), с помощью критерия Фишера проверьте гипотезу H0:β=1H_{0}: \beta = 1 на уровне значимости 0,05.

?