Прогнозирование и выбор модели

Объясните, как можно было бы вычислить гребневую оценку $\widehat{\beta }(k)$, используя программу метода наименьших квадратов.

Рассмотрим регрессию с двумя ортогональными центрированными и масштабированными объясняющими переменными $x$ и $z$. Используя методы примера 12.2 из раздела 12.4.1, вычислите вероятность правильного определения истинной модели с помощью пошагового отбора, когда коэффициенты регрессии для $x$ и $z$ оба равны нулю. Используйте значение $c_{1} = 1.64$ и предположите, что дисперсия ошибки равна 1.

Рассмотрим регрессию с $K$ объясняющими переменными. Пусть $F_{p}$ — $F$-статистика для проверки того, что некоторое заданное подмножество из $r$ переменных можно исключить из модели, где $r = K+1-p$. Покажите, что значение $C_{p}$ для этой сокращённой модели с исключёнными $r$ переменными равно $C_{p} = r\left(F_{p}-1\right)+p$.

Проверьте (12.85).

Покажите, что квадрат полного смещения $\left\| \mathbf{\mu }-\mathbb {E}\left[\mathbf{X} \widehat{\mathbf{\beta }}\right]\right\|^{2}$ равен первому слагаемому в (12.8).

Рассмотрим регрессионную модель

где $\sum_{i} x_{i} = \sum_{i} z_{i} = 0$ и $\sum_{i} x_{i}^{2} = \sum_{i} z_{i}^{2} = 1$. Предположим, что мы хотим предсказать отклик $Y$, соответствующий вектору $(x, z)$, используя предиктор вида

где $\tilde{\gamma }_{1}$ — оценка наименьших квадратов, полученная подгонкой модели

Докажите, что

Проведите небольшую симуляцию, чтобы оценить, насколько сильно $C_{p}$ занижает ошибку предсказания в примере 12.1.

Докажите, что $K L(f, g) \geq 0$. Можете предполагать, что $f(\mathbf{y}) > 0$ и $g(\mathbf{y}) > 0$ для всех x. Указание: покажите, что $\log x \leq x-1$ при $x > 0$, и положите $x = g(\mathbf{y}) / f(\mathbf{y})$.

Получите (12.35), используя рассуждения об условной вероятности.

Покажите, что первый шаг прямого отбора эквивалентен выбору переменной, наиболее сильно коррелированной с откликом.

Покажите, что переменная, увеличивающая разность $\mathrm{RSS}_{p}-\mathrm{RSS}_{p+1}$ на наибольшую величину, — это та переменная, которая имеет наибольшую частную корреляцию с откликом при заданных уже включённых в модель переменных.

В примере 12.2 проверьте алгоритм 12.2 и определите области, соответствующие подмножествам, выбранным (а) обратным исключением, (б) пошаговой регрессией.

Проверьте, что маргинальное распределение $\mathbf{Y}$ в байесовской постановке раздела 12.5.1 есть $N_{p}\left(\mathbf{0},\left(\sigma^{2}+\sigma_{0}^{2}\right) \mathbf{I}_{p}\right)$.

Покажите, что когда $\mathbf{X}^{T} \mathbf{X} = \mathbf{I}_{p}$, величина $c_{j}$ во второй версии гарроты задаётся формулой

Рис. 12.4 Функции, задающие сжимающие оценки в ортонормированном случае. Сжимающая оценка \tilde{\beta }{j} равна h\left(\widehat{\beta }{j}\right).

Проверьте (12.65). Указание: используйте формулу обращения блочной матрицы A.9.1 и раскройте квадратичную форму.

Найдите вид апостериорной прогностической плотности для линейной регрессии. Предположите, что объясняющая переменная центрирована и что априорное среднее равно нулю. Также предположите, что вы предсказываете единственное значение (т.е. считайте, что $m = 1$).

Рассмотрим модель регрессии

где $\sum_{i} x_{i} = 0$ и $\sum_{i} x_{i}^{2} = 1$. Пусть $r = \sum_{i} x_{i} Y_{i}$. Предположим, что мы оцениваем параметр $\beta$ с помощью оценки

где $c$ — некоторая положительная константа. Как СКО оценки $\tilde{\beta }$ как оценки $\beta$ соотносится со СКО обычной МНК-оценки?

Предположим, что вы используете пошаговый отбор для выбора либо нулевой модели $Y_{i} = \alpha +\varepsilon_{i}$, либо модели простой линейной регрессии из упражнения 1 выше. Объясните, как бы вы вычислили условную плотность (12.74) в этой ситуации.

Для любой пары случайных векторов $\mathbf{Y}$ и $\mathbf{Z}$ покажите, что разность $\operatorname {Var}\left[\mathbf{Y}\right]-\mathbb {E}\left[\operatorname {Var}\left[\mathbf{Y} \mid \mathbf{Z}\right]\right]$ является положительно полуопределённой. Указание: покажите, что эта разность равна $\operatorname {Var}\left[\mathbb {E}\left[\mathbf{Y} \mid \mathbf{Z}\right]\right]$.

Напишите небольшую компьютерную программу для вычисления остаточной суммы квадратов для всех возможных регрессий с использованием алгоритма Гарсайда. Задачи какого размера можно разумно обработать?

Реализуйте алгоритм Моргана и Татара. Какие улучшения вы замечаете по сравнению с алгоритмом Гарсайда?

Покажите, что функция $f$, которая минимизирует ожидаемую МО (12.80), есть условное математическое ожидание $\mathbb {E}\left[\beta \mid \widehat{\beta }\right]$, задаваемое формулой (12.81).

Постройте ту же диаграмму для примера 12.6, что и приведённые в тексте в примерах 12.4 и 12.5.

Покажите, что в гребневой регрессии, когда $\mathbf{X}^{T} \mathbf{X} = \mathbf{I}_{p}$, малый бутстрап и обобщённая перекрёстная проверка (GCV) дают одну и ту же оценку для гребневого параметра.