Глава 10

Отклонения от предположений: диагностика и способы устранения

[28/100%]

Показать

LaTeX

Показать LaTeX

Задача 10.1

Рассмотрим регрессию с регрессионной матрицей $\mathbf{X}$ и МНК-оценкой $\widehat{\mathbf{\beta }}$ . Предположим, что добавлен новый случай с данными ( $\mathbf{x}, Y$ ). Покажите, что сумма квадратов остатков увеличивается на величину $e^{2} /\left(1+\mathbf{x}^{T}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{x}\right)$ , где $e = Y-\mathbf{x}^{T} \widehat{\mathbf{\beta }}$ .

Задача 10.2

(a)(b)(c)

Рассмотрим удаление переменной $x_{j}$ из регрессии. Пусть $\mathbf{H}$ и $\mathbf{H}_{j}$ — шляпные матрицы с включённым и без включённого соответствующего столбца $\mathbf{x}^{(j)}$ .

(a)

Покажите, что

\mathbf{H} = \mathbf{H}_{j}+\frac{\left(\mathbf{I}_{n}-\mathbf{H}_{j}\right) \mathbf{x}^{(j)} \mathbf{x}^{(j) \prime }\left(\mathbf{I}_{n}-\mathbf{H}_{j}\right)}{\mathbf{x}^{(j) \prime }\left(\mathbf{I}_{n}-\mathbf{H}_{j}\right) \mathbf{x}^{(j)}}

(b)

Пусть $\eta_{i j} = \left[\left(\mathbf{I}_{n}-\mathbf{H}_{j}\right) \mathbf{x}^{(j)}\right]_{i}$ . Покажите, что если $h_{i}$ и $h_{i}^{(j)}$ — диагональные элементы матриц $\mathbf{H}$ и $\mathbf{H}_{j}$ , то

h_{i} = h_{i}^{(j)}+\frac{\eta _{i j}^{2}}{\sum _{k} \eta _{k j}^{2}} \tag {10.72}

(c)

Объясните, как второе слагаемое в правой части (10.72) можно интерпретировать как рычаг (leverage) $i$ -го случая на графике добавленной переменной для переменной $j$ . Как можно использовать графики добавленных переменных, чтобы определить, какие переменные вносят вклад в рычаг наблюдения $j$ ?

Задача 10.3

(a)(b)(c)

Корреляция, существующая между остатками в регрессии, усложняет обнаружение отклонений от стандартной регрессионной модели. По этой причине были предложены различные подходы к построению независимых и одинаково распределённых величин, «похожих на остатки». Например, Тейл [Theil, 1965, 1968] (см. также Гроссман и Стайан [Grossman and Styan, 1972]) ввёл BLUS-остатки $\widehat{\mathbf{e}}$ , обладающие следующими свойствами: (i) $\widehat{\mathbf{e}} = \mathbf{A Y}$ для некоторой матрицы $\mathbf{A}$ размера $(n-p) \times n$ (т.е. линейность). (ii) $\operatorname {Var}\left[\widehat{e}\right] = \sigma^{2} \mathbf{I}_{n-p}$ (т.е. скалярность). (iii) $\mathbb {E}\left[\widehat{e}\right] = 0$ (т.е. несмещённость). (iv) Матрица $\mathbf{A}$ выбирается так, чтобы минимизировать $\mathbb {E}\left[\left\| \widehat{\mathbf{e}}-\varepsilon_{1}\right\|^{2}\right]$ , где $\varepsilon_{1}$ — некоторый фиксированный $(n-p)$ -мерный подвектор вектора $\varepsilon$ (т.е. наилучшесть).

Таким образом, BLUS-остатки — это $N_{n-p}\left(\mathbf{0}, \sigma^{2} \mathbf{I}_{n-p}\right)$ линейная комбинация $\mathbf{Y}$ , наилучшим образом приближающая некоторое ( $n-p$ )-подмножество ошибок.

(a)

Предположим, что $\mathbf{X}$ имеет полный ранг $p$ . Пусть $\mathbf{Q} = \left(\mathbf{Q}_{1}, \mathbf{Q}_{2}\right)$ — ортогональная матрица размера $n \times n$ , такая что столбцы $\mathbf{Q}_{1}$ образуют ортонормированный базис для $\mathcal{C}(\mathbf{X})$ . (Например, $\mathbf{Q}$ может быть матрицей, возникающей в QR-разложении, обсуждаемом в разделе 11.3.) Покажите, что любая матрица $\mathbf{A}$ , удовлетворяющая условиям (ii) и (iii) выше, должна иметь вид $\mathbf{T Q}_{2}^{T}$ для некоторой ортогональной матрицы $\mathbf{T}$ размера $(n-p) \times (n-p)$ .

(b)

Пусть $\mathbf{J}$ — подматрица матрицы $\mathbf{I}_{n}$ размера $(n-p) \times n$ , такая что $\varepsilon_{1} = \mathbf{J} \varepsilon$ . Покажите, что

\mathbb {E}\left[\left\| \widehat{\mathbf{e}}-\varepsilon _{1}\right\| ^{2}\right] = 2 \sigma ^{2}\left[n-p-\operatorname {tr}\left(\mathbf{T} \mathbf{Q}_{2}^{T} \mathbf{J}^{T}\right)\right]

(c)

Пусть $\mathbf{Q}_{2}^{T} \mathbf{J}^{T} = \mathbf{U} \mathbf{\Delta } \mathbf{V}^{T}$ — сингулярное разложение матрицы $\mathbf{Q}_{2}^{T} \mathbf{J}^{T}$ (ср. A.12). Покажите, что

\operatorname {tr}\left(\mathbf{T} \mathbf{Q}_{2}^{T} \mathbf{J}^{T}\right) \leq \operatorname {tr}(\mathbf{\Delta })

причём равенство достигается тогда и только тогда, когда $\mathbf{T} = \mathbf{V} \mathbf{U}^{T}$ . Отсюда покажите, что $\mathbf{A} = \mathbf{V} \mathbf{U}^{T} \mathbf{Q}_{2}^{T}$ . Указание: покажите, что $\operatorname {tr}\left[(\mathbf{V}-\mathbf{T U}) \mathbf{\Delta }(\mathbf{V}-\mathbf{T U})^{T}\right] = 2\left[\operatorname {tr}(\mathbf{\Delta })-\operatorname {tr}\left(\mathbf{T} \mathbf{Q}_{2}^{T} \mathbf{J}^{T}\right)\right]$ .

10a · 10.1 Введение, 10.2 Остатки и диагональные элементы матрицы-шляпы[4/100%]

Задача 10a.1

Докажите (10.14).

Задача 10a.2

Покажите, что если случайная величина $B$ имеет бета-распределение $\left(\frac{1}{2} \alpha , \frac{1}{2} \beta \right)$ , то $F = \beta B\left\{ \alpha (1-B)\right\}^{-1}$ имеет распределение $F_{\alpha , \beta }$ . Выразите $B$ через $F$ .

Задача 10a.3

(a)(b)(c)(d)

(a)

Выразите $e_{i}$ в виде $e_{i} = \mathbf{c}_{i}^{T}\left(\mathbf{I}_{n}-\mathbf{H}\right) \varepsilon$ для подходящего вектора $\mathbf{c}_{i}$ .

(b)

Покажите, что $(n-p)^{-1} r_{i}^{2}$ можно записать в виде

(n-p)^{-1} r_{i}^{2} = \frac{\mathbf{Z}^{T} \mathbf{Q} \mathbf{Z}}{\mathbf{Z}^{T}\left(\mathbf{I}_{n}-\mathbf{H}\right) \mathbf{Z}}

где $\mathbf{Q} = \left(1-h_{i}\right)^{-1}\left(\mathbf{I}_{n}-\mathbf{H}\right) \mathbf{c}_{i} \mathbf{c}_{i}^{T}\left(\mathbf{I}_{n}-\mathbf{H}\right)$ и $\mathbf{Z} \sim N_{n}\left(\mathbf{0}, \mathbf{I}_{n}\right)$ .

(c)

Докажите, что $\mathbf{Q}$ является матрицей проектирования (т.е. покажите, что $\mathbf{Q}^{2} = \mathbf{Q}$ и $\mathbf{Q}^{T} = \mathbf{Q}$ ).

(d)

Покажите, что $\left(\mathbf{I}_{n}-\mathbf{H}\right)-\mathbf{Q}$ является матрицей проектирования, и докажите, что $\mathbf{Z}^{T} \mathbf{Q Z}$ и $\mathbf{Z}^{T}\left(\left(\mathbf{I}_{n}-\mathbf{H}\right)-\mathbf{Q}\right) \mathbf{Z}$ независимы. Отсюда докажите, что $(n-p)^{-1} r_{i}^{2}$ имеет бета-распределение $\left[\frac{1}{2}, \frac{1}{2}(n-p-1)\right]$ .

Задача 10a.4

Покажите, что $\left(1-h_{i}\right)^{2}+\sum_{j \neq i} h_{i j}^{2} = \left(1-h_{i}\right)$ .

10b · 10.3 Работа с криволинейностью: 10.3.1 Визуализация регрессионных поверхностей, 10.3.2 Преобразования для устранения криволинейности, 10.3.3 Добавление и удаление переменных[5/100%]

Задача 10b.1

(a)(b)

(a)

Покажите, что при условии, что регрессионная матрица $\mathbf{X}$ содержит столбец единиц, $\sum_{i = 1}^{n}\left(x_{i j}-\bar{x}_{j}\right) e_{i} = 0$ для каждого $j$ .

(b)

Используйте пункт (а) для доказательства (10.21).

Следующие упражнения требуют знакомства с таким вычислительным пакетом, как S-PLUS, R или Matlab. Мы приводим некоторый код на R в помощь читателям.

Задача 10b.2

(a)(b)(c)(d)

(a)

Сгенерируйте набор регрессионных данных согласно модели

Y_{i} = 1+x_{i 1}+2 \operatorname {sign}\left(x_{i 2}\right)\left|x_{i 2}\right|^{1 / 3}+\varepsilon _{i} \quad (i = 1, \ldots , 100)

где $x_{i 1}$ и $x_{i 2}$ выбираются из независимых распределений $N(0,1)$ , а ошибки $\varepsilon_{i}$ выбираются из $N\left(0, \sigma^{2}\right)$ , где $\sigma = 0.25$ . Это можно сделать в S-PLUS или R с помощью следующего фрагмента кода eps<-rnorm(100,sd=0.25) x1<-rnorm(100) x2<-rnorm(100) y<-1+x1+2*sign(x2)*abs(x2)^(1/3)+eps

(b)

Постройте график частных остатков для $x_{2}$ . Насколько хорошо кривая на графике выявляет преобразование, необходимое для линеаризации регрессионной поверхности? Используйте код reg.stuff<-lm(y~x1+x2) betahat2<-coef(reg.stuff)[3] estar2<-betahat2*x2+residuals(reg.stuff) plot(x2,estar2)

(c)

Теперь постройте другой набор данных, такой же, как раньше, но с $x_{2}$ , имеющим корреляцию $\rho = 0.95$ с $x_{1}$ . Используйте тот же код, но определите $x_{2}$ строками rho<-0.95 x2<-rho*x1+sqrt(1-rho^2)*rnorm(100)

(d)

Постройте график частных остатков для нового $x_{2}$ . Что вы замечаете?

Задача 10b.3

Постройте набор данных, как в упражнении 2, но с

Y_{i} = 1+x_{i 1}+\varepsilon _{i} \quad (i = 1, \ldots , 100)

так что коэффициент $\beta_{2}$ равен нулю. Задайте корреляцию $\rho$ между $x_{1}$ и $x_{2}$ равной 0.999. Что график частных остатков говорит о значимости $x_{2}$ в модели? Сгенерируйте новый набор с $\rho = 0$ . Что теперь говорит график? Чему этот пример учит вас относительно использования графиков частных остатков для оценки значимости добавления переменных?

Задача 10b.4

Повторите упражнение 3, используя графики добавленной переменной вместо графиков частных остатков. Возникает ли у графиков добавленной переменной проблема с коррелированными данными? Используйте код на R resy<-residuals(lm(y~~x1)) resx2<-residuals(lm(x2~~x1)) plot(resy,resx2) для построения графика добавленной переменной.

Задача 10b.5

Постройте набор данных, как в упражнении 2(а), но с $x_{2}$ , порождаемым как

x_{i 2} = x_{i 1}^{2}+u_{i} \quad (i = 1, \ldots , 100)

где $u_{i}$ имеют распределение $N(0,0.1)$ . Это создаст ситуацию, в которой график частных остатков, как ожидается, не сработает, согласно аргументам Кука [Cook, 1993], поскольку $\mathbb {E}\left[\mathbf{x}_{2} \mid x_{1}\right] = x_{1}^{2}$ , что далеко от линейности. Действительно ли график не срабатывает? Повторите с $x_{2}$ , являющимся линейной функцией $x_{1}$ . Что происходит теперь?

10c · 10.4 Непостоянная дисперсия и последовательная корреляция: 10.4.1 Обнаружение непостоянной дисперсии, 10.4.2 Оценивание функций дисперсии, 10.4.3 Преобразования для выравнивания дисперсий, 10.4.4 Последовательная корреляция и критерий Дарбина–Уотсона[4/100%]

Задача 10c.1

Продифференцируйте (10.35) и возьмите математическое ожидание, чтобы вывести (10.37).

Задача 10c.2

(a)(b)(c)(d)

(a)

Пусть $\mathbf{G} = \mathbf{\Sigma }^{-1} \mathbf{X}\left(\mathbf{X}^{T} \mathbf{\Sigma }^{-1} \mathbf{X}\right)^{-1}$ , и пусть $\mathbf{Q}$ — ортонормированный базис для $\mathcal{C}(\mathbf{X})^{\perp }$ , так что $\mathbf{Q} \mathbf{Q}^{T} = \mathbf{I}_{n}-\mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$ . Проверьте, что $\mathbf{G}^{T} \mathbf{\Sigma } \mathbf{Q} = \mathbf{0}$ и что $\mathbf{G}^{T} \mathbf{\Sigma } \mathbf{G} = \left(\mathbf{X}^{T} \mathbf{\Sigma }^{-1} \mathbf{X}\right)^{-1}$ .

(b)

Пусть $\mathbf{M} = \left(\mathbf{\Sigma }^{1 / 2} \mathbf{Q}, \mathbf{\Sigma }^{1 / 2} \mathbf{G}\right)$ . Покажите, что $\mathbf{M}$ имеет полный ранг, так что $\mathbf{M}\left(\mathbf{M}^{T} \mathbf{M}\right)^{-1} \mathbf{M}^{T} = \mathbf{I}_{n}$ .

(c)

Используя (б), докажите (10.38).

(d)

Используя тот факт, что $[\operatorname {det}\left(\mathbf{M}\right)]^{2} = \operatorname {det}\left(\mathbf{M}^{T} \mathbf{M}\right)$ , докажите (10.39).

Задача 10c.3

(a)(b)

(a)

Предположим, что $\mathbf{Y} = \left(Y_{1}, \ldots , Y_{n}\right)^{T}$ , где $Y_{i}$ независимы и одинаково распределены как $N\left(\mu , \sigma^{2}\right)$ . Найдите ограниченное правдоподобие для $\mathbf{Q}^{T} \mathbf{Y}$ .

(b)

Покажите, что в этом примере REML-оценка $\sigma^{2}$ совпадает с обычной несмещённой оценкой $S^{2} = (n-1)^{-1} \sum_{i = 1}^{n}\left(Y_{i}-\bar{Y}\right)^{2}$ . Таким образом, в этом случае REML-оценка несмещённа, а ОМП — нет.

Задача 10c.4

Предположим, что $Y_{1}, \ldots , Y_{n}$ — гамма-случайные величины с плотностями

f_{i}(y) = \frac{1}{\Gamma (r) \lambda _{i}^{r}} y^{r-1} \exp \left(-y / \lambda _{i}\right)

так что $\mathbb {E}\left[Y_{i}\right] = r \lambda_{i} = \mu_{i}$ , скажем, и $\operatorname {Var}\left[Y_{i}\right] = r^{-1} \mu_{i}^{2}$ . Найдите преобразование, которое сделает дисперсии $Y_{i}$ приближённо равными.

10d · 10.5 Отклонения от нормальности: 10.5.1 Нормальные вероятностные графики, 10.5.2 Преобразование отклика, 10.5.3 Преобразование обеих частей[3/100%]

Задача 10d.1

(a)(b)(c)(d)

Пусть $Z_{(1)}, \ldots , Z_{(n)}$ — порядковые статистики, вычисленные по случайной выборке из распределения $N(0,1)$ . Тогда (см., например, David [1981], Azzalini [1996: p. 301]) плотность $Z_{(i)}$ равна

\frac{n!}{(i-1)!(n-i)!} \Phi (z)^{i-1}[1-\Phi (z)]^{n-i} \phi (z)

где $\Phi$ и $\phi$ — соответственно функция распределения и плотность стандартного нормального распределения.

(a)

Выполнив замену переменной, покажите, что

\mathbb {E}\left[Z_{(i)}\right] = B(i, n-i+1)^{-1} \int _{0}^{1} \Phi ^{-1}(y) y^{i-1}(1-y)^{n-i} d y

где $B(i, n-i+1)$ — бета-функция (A.13.6).

(b)

Используя определение интеграла, покажите, что

\mathbb {E}\left[Z_{(i)}\right] \approx \sum _{j = 1}^{n} \Phi ^{-1}[(j-0.5) / n] w_{i j}

где

w_{i j} = B(i, n-i+1)^{-1} \int _{(j-1) / n}^{j / n} y^{i-1}(1-y)^{n-i} d y

(c)

Объясните, почему веса $w_{i j}$ в сумме дают 1.

(d)

Прокомментируйте точность приближения

\mathbb {E}\left[Z_{(i)}\right] \approx \Phi ^{-1}[(i-0.5) / n]

Задача 10d.2

(a)(b)

Предположим, что $g(y, \lambda )$ — семейство монотонно возрастающих преобразований, таких что $g\left(Y_{i}, \lambda \right)$ имеет распределение $N\left(\mathbf{x}_{i}^{T} \beta , \sigma^{2}\right)$ .

(a)

Покажите, что логарифм правдоподобия для $Y_{1}, \ldots , Y_{n}$ равен

c-\frac{n}{2} \log \sigma ^{2}-\frac{1}{2 \sigma ^{2}} \sum _{i = 1}^{n}\left[g\left(y_{i}, \lambda \right)-\mathbf{x}_{i}^{T} \beta \right]^{2}+\sum _{i = 1}^{n} \log \left|\frac{\partial g\left(y_{i}, \lambda \right)}{\partial y_{i}}\right|

(b)

Покажите, что в случае преобразования Джона-Дрейпера логарифм правдоподобия равен

c-\frac{n}{2} \log \sigma ^{2}-\frac{1}{2 \sigma ^{2}} \sum _{i = 1}^{n}\left[g\left(y_{i}, \lambda \right)-\mathbf{x}_{i}^{T} \beta \right]^{2}+(\lambda -1) \sum _{i = 1}^{n} \log \left(1+\left|y_{i}\right|\right)

Задача 10d.3

Покажите, что при фиксированном $\lambda$ значения $\beta$ и $\sigma^{2}$ , минимизирующие (10.47), равны

\beta _{*} = \left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbb {E}_{\lambda _{*}}\left[\mathbf{Y}\right]

\sigma _{*}^{2} = n^{-1}\left\{ \mathbb {E}_{\lambda _{*}}\left[\mathbf{Y}^{T}\left(\mathbf{I}_{n}-\mathbf{P}\right) \mathbf{Y}\right]+\operatorname {tr}\left(\operatorname {Var}_{\lambda _{*}}\left[\mathbf{Y}\right] \mathbf{P}\right)\right\}

где $E_{\lambda }$ обозначает математическое ожидание относительно $h_{\lambda }$ , а $\mathbf{P} = \mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$ .

10e · 10.6 Обнаружение выбросов и работа с ними: 10.6.1 Типы выбросов, 10.6.2 Выявление точек с высоким рычагом, 10.6.3 Диагностика по методу исключения одного наблюдения, 10.6.4 Критерий для выбросов, 10.6.5 Другие методы[5/100%]

Задача 10e.1

Рассмотрим линейную функцию $\mathbf{d}^{T} \mathbf{\beta }$ от $\mathbf{\beta }$ . Покажите, что изменение оценки $\mathbf{d}^{T} \widehat{\mathbf{\beta }}$ при удалении $i$ -го наблюдения равно

\mathbf{d}^{T} \widehat{\mathbf{\beta }}(i)-\mathbf{d}^{T} \widehat{\mathbf{\beta }} = \left(\mathbf{C}^{T} \mathbf{d}\right)_{i} e_{i} /\left(1-h_{i}\right),

где $\mathbf{C}$ — «улавливающая» матрица $\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$ .

Задача 10e.2

Покажите, что

\mathbf{Y}_{D}-\mathbf{X}_{D} \widehat{\mathbf{\beta }}(D) = \left(\mathbf{I}-\mathbf{H}_{D}\right)^{-1}\left[\mathbf{Y}_{D}-\mathbf{X}_{D} \widehat{\mathbf{\beta }}(D)\right]

Задача 10e.3

Предположим, что мы удаляем множество наблюдений $D$ . Покажите, что версия «удаления $d$ »

\frac{\operatorname {det}\left(\mathbf{X}_{A}(D)^{T} \mathbf{X}_{A}(D)\right)}{\operatorname {det}\left(\mathbf{X}_{A} \mathbf{X}_{A}\right)}

статистики Эндрюса-Прегибона может быть записана как

\operatorname {det}\left(\mathbf{I}_{d}-\mathbf{H}_{D}\right)\left[1-\frac{\mathbf{e}_{D}^{T}\left(\mathbf{I}_{d}-\mathbf{H}_{D}\right)^{-1} \mathbf{e}_{D}}{\operatorname {RSS}}\right]

Задача 10e.4

Пусть $h_{i, A}$ — $i$ -й диагональный элемент шляпной матрицы, построенной по ( $\mathbf{X}, \mathbf{Y}$ ), а не по $\mathbf{X}$ . Покажите, что $A P(i) = 1-h_{i, A}$ . Указание: используйте результаты раздела 10.6.3.

Задача 10e.5

(a)(b)(c)

Кривая влияния для оценки наименьших квадратов $\widehat{\mathbf{\beta }}$ была получена в примере 3.22. Выборочный вариант функции влияния (ФВ) (ср. раздел 3.13.3) можно определить, взяв $\mathrm{z}_{0} = \left(\mathbf{x}_{i}, Y_{i}\right), t = -1 /(n-1), F$ как эмпирическую функцию распределения $\widehat{F}_{n}$ , и рассмотрев разность $\left[T\left(F_{t}\right)-T(F)\right] / t$ вместо производной. Это приводит к выборочной кривой влияния $\mathrm{SIC}_{i}$ , задаваемой формулой

\mathrm{SIC}_{i} = -(n-1)\left\{ T\left[(n-1)^{-1}\left(n \widehat{F}_{n}-\delta _{i}\right)\right]-T\left(\widehat{F}_{n}\right)\right\}

где $\delta_{i}$ помещает массу 1 в точку ( $\mathbf{x}_{i}, Y_{i}$ ).

(a)

Покажите, что $(n-1)^{-1}\left(n \widehat{F}_{n}-\delta_{i}\right)$ — эмпирическая функция распределения, вычисленная по оставшимся $(n-1)$ точкам, когда $i$ -е наблюдение удалено из выборки.

(b)

Отсюда покажите, что для функционала оценки наименьших квадратов $T$

\mathrm{SIC}_{i} = (n-1)(\widehat{\mathbf{\beta }}(i)-\widehat{\mathbf{\beta }})

(c)

Величина $\mathrm{SIC}_{i}$ является вектором. Общую скалярную меру можно получить, рассмотрев величину

D_{i}(\mathbf{M}, c) = c^{-1}\left(\mathrm{SIC}_{i}\right)^{T} \mathbf{M}\left(\mathbf{S I C}_{i}\right)

где $\mathbf{M}$ — положительно определённая матрица, а $c$ — положительная константа. Покажите, что если выбрать $\mathbf{M} = \mathbf{X}^{T} \mathbf{X}$ и $c = p S^{2} /(n-1)^{2}$ , мы получим расстояние Кука.

Подробнее о подходе к обнаружению выбросов на основе функции влияния см. Cook and Weisberg [1982, Chapter 3] и Chatterjee and Hadi [1988, Chapter 5].

10f · 10.7 Диагностика коллинеарности: 10.7.1 Недостатки центрирования, 10.7.2 Выявление точек, влияющих на коллинеарность, 10.7.3 Способы устранения коллинеарности[4/100%]

Задача 10f.1

Покажите, что наибольшее собственное значение $\breve{\lambda }_{\text{MAX }}$ матрицы $\breve{\mathbf{X}}^{T} \breve{\mathbf{X}}$ удовлетворяет

1 \leq \breve{\lambda }_{\operatorname {MAX}} \leq p

Задача 10f.2

Покажите, что

\mathbb {E}\left[\left\| \mathbf{X} \widehat{\mathbf{\beta }}-\mathbf{X} \mathbf{\beta }\right\| ^{2}\right] = \sigma ^{2}+\mathbb {E}\left[\left\| \mathbf{X}^{*} \widehat{\mathbf{\gamma }}-\mathbf{X}^{*} \gamma \right\| ^{2}\right]

Задача 10f.3

Докажите, что при априорных распределениях из раздела 10.7.3 апостериорное среднее $\gamma$ — это в точности гребневая оценка (10.64).

Задача 10f.4

Докажите, что при априорных распределениях из раздела 10.7.3 априорное распределение $\widehat{\mathbf{\alpha }}$ есть $N_{p-1}\left[\mathbf{0}, \sigma^{2}\left(\mathbf{\Lambda }^{-1}+k^{-1} \mathbf{I}_{p-1}\right)\right]$ .