Методы восстановления зависимостей

Модель линейной регрессии имеет следующий частный вид:

где $\left\{ \varepsilon_{k}\right\}$ — независимые центрированные СВ. Найдите явное аналитическое выражение для МНК-оценки $\widehat{\theta }_{n}$ вектора $\theta = \left\{ \theta_{1}, \theta_{2}\right\}^{\top }$.

Докажите соотношение (10.7):

где $\bar{X}_{n} = \sum_{k = 1}^{n} X_{k}, \widehat{X}_{k} = h_{k}^{\top } \widehat{\theta }_{n}, \widehat{\varepsilon }_{k} = X_{k}-\widehat{X}_{k}$.

Пусть $X = H \theta +E$, где $\mathbb {E}\left[E\right] = 0, \operatorname {Cov}\left[ E, E \right] = \sigma^{2} I, H \in \mathbb {R}^{n \times p}$. Докажите, что если $H$ и $\theta$ разбиты на блоки в форме

то МНК-оценка для $\theta_{2}$ имеет вид: $\widehat{\theta }_{2} = \left[H_{2}^{\top } H_{2}-H_{2}^{\top } H_{1}\left(H_{1}^{\top } H_{1}\right)^{-1} H_{1}^{\top } H_{2}\right]^{-1}\left[H_{2}^{\top } X-H_{2}^{\top } H_{1}\left(H_{1}^{\top } H_{1}\right)^{-1} H_{1}^{\top } X\right]$.

По двум наблюдениям $X_{1} = 2, X_{2} = 4$ при $h_{1} = 1, h_{2} = 2$ постройте реализацию МНК-оценки неизвестных параметров в модели простой линейной регрессии. Вычислите коэффициент детерминации.

В условиях примера 10.4 проверьте с помощью критерия Фишера гипотезу $H_{0}: \theta_{1} = -1, \theta_{2} = 2$ на уровне значимости $\alpha = 0,01$, считая, что ошибки в наблюдениях имеют распределение $\mathcal{N}\left(0 ; \sigma^{2}\right)$.

Модель наблюдений имеет вид

где $\left\{ \varepsilon_{k}\right\}$ — независимые гауссовские $\mathrm{СВ}, \varepsilon_{k} \sim \mathcal{N}\left(0 ; \sigma^{2}\right), \sigma > 0$. Используя МНК-оценку $\widehat{\theta }_{n}$ параметра $\theta$, постройте для него доверительный интервал надежности $q = 0,95$.

В условиях примера 10.4 проверить на уровне значимости $p = 0,05$ параметрическую гипотезу $H_{0}: \theta_{2} = 0$, считая, что ошибки в наблюдениях независимы и имеют распределение $\mathcal{N}\left(0 ; \sigma^{2}\right)$.

По данным примера 10.6 постройте зависимость $X = \theta_{1}+\theta_{2} h$, считая, что:

Оцените неизвестные параметры $\alpha , \beta$ в модели потребления человеком некоторого продукта $v = \alpha +\beta \ln w$, где $v$ — расходы на продукт потребления, $w$ — недельный доход (табл. 10.4).

Таблица 10.4

Оцените коэффициент эластичности $\sigma = \frac{d v}{d w} \cdot \frac{w}{v}$. Считая, что ошибки в наблюдениях имеют распределение $\mathcal{N}\left(0 ; \sigma^{2}\right)$, с помощью критерия Фишера проверьте гипотезу $H_{0}: \beta = 1$ на уровне значимости 0,05.

Найдите ОМНК-оценку и дисперсию ее компонент в случае, когда ковариационная матрица ошибок $V_{n}$ является диагональной.

Получите матрицу вида (11.12).

Пусть $X_{k} = \theta_{1}+\theta_{2} h_{k}+\varepsilon_{k}, k = 1,2,3$, где вектор ошибок $E = \left\{ \varepsilon_{1}, \varepsilon_{2}, \varepsilon_{3}\right\}^{T}$ имеет математическое ожидание $\mathbb {E}\left[E\right] = 0$, а $\operatorname {Cov}\left[ E, E \right] = \sigma^{2} V$,

числа $a$ и $0 < \rho < 1$ неизвестны, $h_{1} = -1, h_{2} = 0, h_{3} = 1$. Покажите, что ОМНК-оценка вектора $\theta$ имеет вид

где $r = 1+\rho +2 a^{2}-4 a \rho$. Найдите такие значения $\rho , a, X_{k}, k = 1,2,3$, при которых линия регрессии лежит целиком ниже и целиком выше всех наблюдавшихся значений.

Пусть $X_{i} = \theta h_{i}+\varepsilon_{i}, i = 1,2$, где $\varepsilon_{1} \sim \mathcal{N}\left(0, \sigma^{2}\right), \varepsilon_{2} \sim \mathcal{N}\left(0,4 \sigma^{2}\right)$, причем $\varepsilon_{1}$ и $\varepsilon_{2}$ независимы. Для двух векторов $h: h^{(1)} = [-1,1]^{\top }, h^{(2)} = [1,-1]^{\top }$ найдите ОМНК-оценку и ее дисперсию для двух векторов $h$.

Пусть модель регрессии имеет вид

где $\varepsilon_{k}$ — независимые, центрированные СВ с дисперсиями $\sigma_{k}^{2} = h_{k}^{2}$. По наблюдениям, приведенным в табл. 11.5 найдите реализации МНК-оценки и ОМНК-оценки неизвестных параметров $\left[\theta_{1}, \theta_{2}\right]^{\top }$. Для каждой оценки вычислите ковариационную матрицу ее ошибки.

Таблица 11.5

Покажите, что использование ОМНК для модели простой линейной регрессии с дисперсиями ошибок, равными $\operatorname {Var}\left[e_{k}\right] = \sigma^{2} h_{k}^{2}$, равносильно использованию обычного МНК для модели наблюдений вида

где $\delta_{k}$ — независимые СВ с дисперсиями $\operatorname {Var}\left[\delta_{k}\right] = \sigma^{2}$ для $k = 1, \ldots , n$.

Пусть задана модель регрессии

где ошибки $\varepsilon_{k}$ удовлетворяют уравнению авторегрессии первого порядка

где $v_{k}$ — последовательность независимых нормально распределенных случайных величин с нулевым средним и дисперсией $\sigma_{0}^{2} = 1$. Найдите реализацию ОМНК-оценки вектора неизвестных параметров $\theta = \left[\theta_{1}, \theta_{2}\right]^{\top }$ по наблюдениям, приведенным в табл. 11.6.

Таблица 11.6

Сравните полученный вектор с реализацией МНК-оценки, построенной в предположении некоррелированности ошибок $\varepsilon_{k}$.

Рассмотрите модель, связывающую количество вакансий $w$ и уровень безработицы $u$

где $X_{k} = \ln w_{k}, h_{k} = \ln u_{k}, \varepsilon_{k} \sim \mathcal{N}\left(0 ; \sigma^{2}\right)$. Используя данные из табл. 11.7, найдите МНК-оценки параметров $\theta_{1}$ и $\theta_{2}$. Проверьте с помощью критерия Дарбина-Уотсона гипотезу $H_{0}: \rho = 0$ о некоррелированности ошибок наблюдений на уровне значимости $\alpha = 0,05$. Если гипотеза $H_{0}$ отвергается, то предположите, что последовательность случайных ошибок $\left\{ \varepsilon_{k}\right\}$ удовлетворяет уравнению авторегрессии первого порядка

где $e_{k}$ — центрированные гауссовские $\mathrm{СВ}$ с дисперсией $\operatorname {Var}\left[e_{k}\right] = \sigma_{0}^{2}$. Найдите оценку неизвестного коэффициента $\rho$ в уравнении авторегрессии.

Исследуйте потребительскую функцию Японии $X(h)$ за период 1951-1962 гг. на наличие коррелированности ошибок наблюдений. Если ошибки в наблюдениях являются коррелированными, то найдите реализацию ОМНК-оценки вектора неизвестных параметров. Найдите оценку ковариационной матрицы вектора ошибок $E$. Данные для расчетов приведены в табл. 11.8 (данные взяты из: U. N. Yearbook of National Accounts Statistics, 1963). Здесь $X$ — совокупное индивидуальное потребление (трлн иен), $h$ совокупные личные доходы (трлн иен).

В табл. 12.4 приведены данные об инвестициях ($X$), государственных расходах $\left(h_{1}\right)$, валовом внутреннем продукте ($h_{2}$) и численности населения $\left(h_{3}\right)$ для 28 стран в 1997 г. Величины $X, h_{1}$ и $h_{2}$ приводятся в миллиардах долларов США, $h_{3}$ — в миллионах человек. Постройте зависимость объема инвестиций от объема государственных расходов и ВВП вида

где $\theta_{1}, \ldots , \theta_{4}$ — неизвестные параметры, $\varepsilon_{k} \sim \mathcal{N}\left(0 ; \sigma_{k}^{2}\right)$. Проверьте гипотезу $H_{0}: \sigma_{1}^{2} = \sigma_{2}^{2} = \cdots = \sigma_{28}^{2}$ с помощью критерия Голдфельда-Куандта на уровне значимости 0,05.

Для данных задачи 1 примените тест Бартлетта.

Для данных задачи 1 постройте зависимость инвестиций от государственных расходов и валового внутреннего продукта, разделив значения всех переменных на соответствующие значение численности населения. Для нового набора наблюдений примените тест Голдфельда-Куандта.

Исследуйте зависимость между величиной добавленной стоимости в обрабатывающей промышленности ($X$) и валовым внутренним продуктом ($h$) по выборке из 28 стран за 1994 г., включающей как малые страны, так и большие (UNIDO Yearbook 1997). В табл. 12.5 приведены значения $X$ и $h$ в миллионах долларов США, население $(g)$ — в миллионах человек, данные последних двух столбцов — в долларах США на одного человека. Постройте МНК-оценку параметров $\theta_{1}$ и $\theta_{2}$ для модели

Проверьте наличие гетероскедастичности с помощью одного из критериев в предположении, что ошибки в наблюдениях $\varepsilon_{k}, k = 1, \ldots , 28$ некоррелированны и имеют гауссовское распределение. Если гетероскедастичность обнаружена, то устраните ee, разделив каждое наблюдение на значение численности населения. Для этого можно воспользоваться данными из последних двух столбцов табл. 12.5.

Таблица 12.5

По выборке для 15 стран оцените параметры модели $X = \theta_{1} + \theta_{2} h_{2}+\theta_{3} h_{3}$, где $X$ — доход на душу населения; $h_{2}$ — процент рабочей силы, занятой в сельском хозяйстве; $h_{3}$ — средний уровень образования в возрасте после 25 лет (число лет, проведенных в учебных заведениях). Проверьте наличие или отсутствие гетероскедастичности в предположении, что ошибки в наблюдениях некоррелированны и имеют гауссовское распределение, при обнаружении попробовать устранить.

Таблица 12.6

Выведите формулы (13.11) - (13.13) для вычисления с.к.-погрешности произвольной оценки $\tilde{\theta }_{n}$ вектора $\theta$.

Покажите, что для произвольной ридж-оценки $\bar{\theta }_{n}(k)$ величины $l_{n}(k)$ и $d_{n}(k)$ определяются соотношениями, соответственно, (13.16) и (13.17).

Покажите, что при $k = 0$ выполнено $\bar{\theta }_{n}(k) = \widehat{\theta }_{n}, l_{n}(k) = 0, d_{n}(k) = \sigma^{2} \operatorname {tr}\left[W_{n}^{-1}\right]$.

Рассмотрите предельные значения ридж-оценки $\bar{\theta }_{n}(k)$ и ее характеристик $l_{n}(k), d_{n}(k)$ и $\Delta_{n}(k)$ при $k \rightarrow \infty$. К чему приводит использование в алгоритме ридж-оценивания слишком больших значений параметра регуляризации $k$ ?

Используя данные табл. 13.1 , постройте $\bar{\theta }_{n}(k)$ и $\Delta_{n}(k)$ для $k = 0,05$, $k = 0,5$ и $k = 5$. Выберите из этих оценок лучшую по критерию минимума с.к.-погрешности $\Delta_{n}(k)$.

Пусть $\tilde{\theta }_{n}$ равна $\widehat{\theta }_{n}$ или $\bar{\theta }_{n}(0,0167), \widetilde{z}_{m} = \widetilde{h}_{m} \widetilde{\theta }_{n}$ — соответствующая оценка точного значения измеряемой зависимости $z_{m}^{(0)} = h_{m} \theta^{(0)}$, $m = 1, \ldots , n$. Пусть также $\delta_{n} = \sum_{m = 1}^{n}\left(\widetilde{z}_{m}-z_{m}^{(0)}\right)^{2}$. Для какой из оценок величина $\delta_{n}$ будет меньше? Сильно ли изменяется величина $\delta_{n}$ при переходе от МНК-оценки $\bar{\theta }_{n}(0)$ к ридж-оценке $\bar{\theta }_{n}(0,0167)$ ? Верно ли утверждение: МНК не позволяет построить «хорошие» оценки параметров $\theta^{(0)}$, но позволяет весьма точно оценить измеряемую зависимость $\left\{ z_{m}^{(0)}, m = 1, \ldots , n\right\}$ ?

Используя данные из табл. 13.3, найдите оценки параметров модели производственной функции $Y = F(K, L)$, если:

Используя данные, приведенные в табл. 14.1, оцените среднюю начисленную зарплату в ЦФО с помощью методов наименьших квадратов и наименьших модулей. Проанализируйте данные на наличие аномальных значений, проведите их отбраковку.

Рассмотрите линейную регрессионную модель

где $y_{k}$ — среднедушевой доход в $k$-м регионе ЦФО, а $x_{k}$ — средняя начисленная зарплата в этом же регионе (табл. 14.2). Найдите оценки параметров $\theta_{1}$ и $\theta_{2}$ с помощью алгоритмов МНК и МНМ.

В условиях примера 14.3 проанализируйте данные на наличие выбросов, используя алгоритм отбраковки аномальных данных.

Используя данные примера 14.6, постройте графики оценок зависимости $y(x) = \theta_{1}+\theta_{2} x$ для различных видов оценок параметров. Постройте прогнозные значения для $y(x)$ в точках $x = 6 ; 6,5 ; 7$ и сравните их с точными значениями $y(x) = -1+2 x$ в указанных точках. Проанализируйте влияние выбросов на точность полученных прогнозов.

В табл. 14.4 приведены индексы объема производства $Y_{k}$, капитальных затрат $K_{k}$ и затрат труда $L_{k}$ для $n = 10$ лет (США, 1913-1922 гг.).

Таблица 14.4

Предполагается, что связь между указанными переменными имеет вид

Найдите оценки параметров $\theta_{1}$ и $\theta_{2}$ с помощью МНК и МНМ. Найдите устойчивую оценку параметра $\sigma^{2} = \operatorname {Var}\left[\varepsilon_{k}\right]$. Проанализируйте данные на наличие выбросов и проведите их отбраковку.

Используя данные табл. 15.4 методом приведения модели к линейной, оцените параметры модели производства Кобба-Дугласа [6]:

Таблица 15.4 (данные приведены в процентах к базовому 1960 г., $i = 11$)

Используя данные табл. 15.1, оцените параметры модели

Таблица 15.1

методом Гаусса-Ньютона. Сравните с результатами примера 15.1.

В условиях примера 15.2 найдите точные выражения для компонент вектора $F_{i}^{(m)}$.

Зависимость переменной $y$ от $x$ имеет вид дробно-рациональной функции

Разработайте алгоритм оценивания параметров $\left\{ \theta_{1}, \ldots , \theta_{4}\right\}^{\top }$ по наблюдениям

методом Гаусса-Ньютона.

Пусть $g_{\alpha }(u) := u\left(\alpha - \; \mathbb {1}_{u < 0}\right)$, где $\alpha \in (0, 1)$. Покажите, что $\mathbb {E}\left[g_{\alpha }\left(X-x_{\alpha }\right)\right]$ является выпуклой функцией по $x_{\alpha }$.

Для модели линейной регрессии $X_{k} = h_{k}^{\top }\theta +e_{k}$ рассмотрим задачу квантильной регрессии $\widehat{\theta }(\alpha ) := \arg \min_{\theta } J_{\alpha }(\theta )$, где $J_{\alpha }(\theta ) := \sum_{k = 1}^{n} g_{\alpha }\left(X_{k}-h_{k}^{\top }\theta \right)$ и $g_{\alpha }(u) := u\left(\alpha - \; \mathbb {1}_{u < 0}\right)$. Покажите, что решения задач из примеров 14.5 и 14.6, полученные с помощью ВВНК-метода, совпадают с решениями этой задачи квантильной регрессии для $\alpha = 0,5$, построенными по тем же наблюдениям.

Для модели простой регрессии

где $\varepsilon_{k}$ — независимые центрированные СВ с одинаковой дисперсией, решите задачу квантильной регрессии $\widehat{\theta }(\alpha ) := \arg \min_{\theta } \sum_{k = 1}^{n} g_{\alpha }\left(X_{k}-\theta_{1}-\theta_{2} h_{k}\right)$ (где $g_{\alpha }(u) := u\left(\alpha - \; \mathbb {1}_{u < 0}\right)$) по трем наблюдениям $\left(h_{k}, X_{k}\right) = [(-1,-1) ;(0,2) ;(1 ; 0)]$ при различных значениях $\alpha \in (0,1)$. Проанализируйте полученные результаты, используя теорему 16.2.

Для наблюдений, описываемых уравнением линейной регрессии $X_{k} = \theta_{1}+\theta_{2} h_{k}+\varepsilon_{k}$, $k = 1, \ldots , n$, где $\varepsilon_{k} \sim \mathcal{N}\left(0 ; \sigma^{2}\right)$, приведенных в табл. 11.3, постройте график, на котором изобразите наблюдения и решение задачи квантильной регрессии $\widehat{\theta }(\alpha ) := \arg \min_{\theta } \sum_{k = 1}^{n} g_{\alpha }\left(X_{k}-\theta_{1}-\theta_{2} h_{k}\right)$ (где $g_{\alpha }(u) := u\left(\alpha - \; \mathbb {1}_{u < 0}\right)$) для $\alpha = [0,05,0,1, \ldots , 0,95]$.

Таблица 11.3