10.3 Работа с криволинейностью: 10.3.1 Визуализация регрессионных поверхностей, 10.3.2 Преобразования для устранения криволинейности, 10.3.3 Добавление и удаление переменных

[5/100%]

Показать

LaTeX

Показать LaTeX

Задача 10b.1

(a)(b)

(a)

Покажите, что при условии, что регрессионная матрица $\mathbf{X}$ содержит столбец единиц, $\sum_{i = 1}^{n}\left(x_{i j}-\bar{x}_{j}\right) e_{i} = 0$ для каждого $j$ .

(b)

Используйте пункт (а) для доказательства (10.21).

Следующие упражнения требуют знакомства с таким вычислительным пакетом, как S-PLUS, R или Matlab. Мы приводим некоторый код на R в помощь читателям.

Задача 10b.2

(a)(b)(c)(d)

(a)

Сгенерируйте набор регрессионных данных согласно модели

Y_{i} = 1+x_{i 1}+2 \operatorname {sign}\left(x_{i 2}\right)\left|x_{i 2}\right|^{1 / 3}+\varepsilon _{i} \quad (i = 1, \ldots , 100)

где $x_{i 1}$ и $x_{i 2}$ выбираются из независимых распределений $N(0,1)$ , а ошибки $\varepsilon_{i}$ выбираются из $N\left(0, \sigma^{2}\right)$ , где $\sigma = 0.25$ . Это можно сделать в S-PLUS или R с помощью следующего фрагмента кода eps<-rnorm(100,sd=0.25) x1<-rnorm(100) x2<-rnorm(100) y<-1+x1+2*sign(x2)*abs(x2)^(1/3)+eps

(b)

Постройте график частных остатков для $x_{2}$ . Насколько хорошо кривая на графике выявляет преобразование, необходимое для линеаризации регрессионной поверхности? Используйте код reg.stuff<-lm(y~x1+x2) betahat2<-coef(reg.stuff)[3] estar2<-betahat2*x2+residuals(reg.stuff) plot(x2,estar2)

(c)

Теперь постройте другой набор данных, такой же, как раньше, но с $x_{2}$ , имеющим корреляцию $\rho = 0.95$ с $x_{1}$ . Используйте тот же код, но определите $x_{2}$ строками rho<-0.95 x2<-rho*x1+sqrt(1-rho^2)*rnorm(100)

(d)

Постройте график частных остатков для нового $x_{2}$ . Что вы замечаете?

Задача 10b.3

Постройте набор данных, как в упражнении 2, но с

Y_{i} = 1+x_{i 1}+\varepsilon _{i} \quad (i = 1, \ldots , 100)

так что коэффициент $\beta_{2}$ равен нулю. Задайте корреляцию $\rho$ между $x_{1}$ и $x_{2}$ равной 0.999. Что график частных остатков говорит о значимости $x_{2}$ в модели? Сгенерируйте новый набор с $\rho = 0$ . Что теперь говорит график? Чему этот пример учит вас относительно использования графиков частных остатков для оценки значимости добавления переменных?

Задача 10b.4

Повторите упражнение 3, используя графики добавленной переменной вместо графиков частных остатков. Возникает ли у графиков добавленной переменной проблема с коррелированными данными? Используйте код на R resy<-residuals(lm(y~~x1)) resx2<-residuals(lm(x2~~x1)) plot(resy,resx2) для построения графика добавленной переменной.

Задача 10b.5

Постройте набор данных, как в упражнении 2(а), но с $x_{2}$ , порождаемым как

x_{i 2} = x_{i 1}^{2}+u_{i} \quad (i = 1, \ldots , 100)

где $u_{i}$ имеют распределение $N(0,0.1)$ . Это создаст ситуацию, в которой график частных остатков, как ожидается, не сработает, согласно аргументам Кука [Cook, 1993], поскольку $\mathbb {E}\left[\mathbf{x}_{2} \mid x_{1}\right] = x_{1}^{2}$ , что далеко от линейности. Действительно ли график не срабатывает? Повторите с $x_{2}$ , являющимся линейной функцией $x_{1}$ . Что происходит теперь?