Отклонения от исходных предположений

Предположим, что постулируемая модель регрессии имеет вид

тогда как истинная модель на самом деле такова:

Если мы используем наблюдения $Y$ при $x = -3,-2,-1,0,1,2,3$ для оценивания $\beta_{0}$ и $\beta_{1}$ в постулируемой модели, какое смещение будет внесено в эти оценки?

Предположим, что модель

подгоняется, тогда как истинная модель на самом деле такова:

Если $e_{i}$ — остаток подогнанной модели, докажите, что

где $g$ и $h$ — функции от $x_{i j}$.

Предположим, что мы хотим проверить гипотезу $H$ о том, что средние двух генеральных совокупностей равны, при наличии $n_{i}$ наблюдений из $i$-й совокупности ($i = 1,2$). Предполагая, что совокупности имеют одинаковую дисперсию и эксцесс ($\gamma_{2}$), найдите приближённые выражения для $\mathbb {E}\left[Z\right]$ и $\operatorname {Var}\left[Z\right]$ в предположении, что $H$ верна (ср. теорему 9.2). Покажите, что в используемом порядке приближения эти выражения не зависят от $\gamma_{2}$, если $n_{1} = n_{2}$.

Докажите, что $(X_{i}, Y_{i})$ в примере 9.3 раздела 9.6.5 имеет заявленное двумерное нормальное распределение.

Предположим, что в примере 9.1 роли постулированной модели и истинной модели поменялись местами. Найдите смещения оценок наименьших квадратов.

В разделе 9.2.2 наблюдаемый остаток равен $\mathbf{Y}-\mathbf{X} \widehat{\mathbf{\beta }}$. Найдите его истинное среднее и ковариационную матрицу.

В разделе 9.2.2 предположим, что $\mathbf{x}_{0}^{T} = \left(\mathbf{x}_{10}^{T}, \mathbf{x}_{20}^{T}\right)$, где $\mathbf{x}_{0}$ имеет размер $p \times 1$, а $\mathbf{x}_{10}$ — размер $k \times 1$. Прогноз в точке $\mathbf{x}_{0}$ равен $\widehat{Y}_{0} = \mathbf{x}_{0}^{T} \widehat{\mathbf{\beta }}$, тогда как правильный прогноз равен $\widehat{Y}_{10} = \mathbf{x}_{10}^{T} \widehat{\mathbf{\beta }}_{1}$. Сравните $\widehat{Y}_{0}$ и $\widehat{Y}_{10}$ по их средним и дисперсиям.

Если первый столбец $\mathbf{X}$ равен $\mathbf{1}_{n}$ и

воспользуйтесь (9.8), чтобы показать, что

Указание: рассмотрите $\mathbf{P 1}_{n}$.

Когда $\operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{V}$, подходящей оценкой $\mathbf{\beta }$ является обобщённая оценка наименьших квадратов $\beta * = \left(\mathbf{X}^{T} \mathbf{V}^{-1} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbf{V}^{-1} \mathbf{Y}$. Если $\mathcal{C}\left(\mathbf{V}^{-1} \mathbf{X}\right) = \mathcal{C}(\mathbf{X})$, покажите, что $\mathbf{\beta }^{*}$ и $\widehat{\mathbf{\beta }}$ совпадают. Указание: $\mathbf{V}^{-1} \mathbf{X} = \mathbf{X W}$, где $\mathbf{W}$ невырождена.

Заполните детали доказательства теоремы 9.2.

Покажите, что теория раздела 9.5.2 может быть также применена к случаю $H: \mathbf{A} \mathbf{\beta } = \mathbf{c}$, где $\mathrm{c} \neq \mathbf{0}$.

Рассмотрим регрессионную модель полного ранга

где $\varepsilon_{i}$ независимо и одинаково распределены как $N\left(0, \sigma^{2}\right)$, и предположим, что мы хотим проверить $H: \beta_{1} = \beta_{2} = \cdots = \beta_{p-1} = 0$.

Предполагая, что $H$ верна, найдите приближённое выражение для $\mathbb {E}\left[Z\right]$, где $Z = \frac{1}{2} \log F$, через диагональные элементы $\mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$.

Докажите, что в регрессии с двумя объясняющими переменными $x$ и $z$

Докажите, что $R_{j}^{\widehat{y}} = 0$ тогда и только тогда, когда $\mathrm{x}^{*(j)}$ ортогонален столбцам $\mathbf{X}^{*(j)}$.

Покажите, что $\mathbf{R}_{x x}$ положительно определена при условии, что $\mathbf{X}$ имеет полный ранг и содержит столбец из единиц.

Покажите, что собственные значения $\lambda_{j}$ матрицы $\mathbf{R}_{x x}$ удовлетворяют условию

Отсюда докажите, что $\mathrm{VIF}_{j} \leq \kappa^{2}$, где $\kappa$ — число обусловленности матрицы $\mathbf{R}_{x x}$.

Докажите, что

и