Линейная регрессия: оценивание и теория распределений

Пусть $Y_{i} = a_{i} \beta_{1}+b_{i} \beta_{2}+\varepsilon_{i}(i = 1,2, \ldots , n)$, где $a_{i}, b_{i}$ известны, а $\varepsilon_{i}$ независимо и одинаково распределены как $N\left(0, \sigma^{2}\right)$. Найдите необходимое и достаточное условие независимости оценок метода наименьших квадратов для $\beta_{1}$ и $\beta_{2}$.

Пусть $\mathbf{Y} = \mathbf{\theta }+\mathbf{\varepsilon }$, где $\mathbb {E}\left[\varepsilon \right] = 0$. Докажите, что значение $\mathbf{\theta }$, минимизирующее $\left\| \mathbf{Y}-\mathbf{\theta }\right\|^{2}$ при условии $\mathbf{A} \mathbf{\theta } = \mathbf{0}$, где $\mathbf{A}$ — известная матрица $q \times n$ ранга $q$, равно

Пусть $\mathbf{Y} = \mathbf{X} \mathbf{\beta }+\varepsilon$, где $\mathbb {E}\left[\varepsilon \right] = \mathbf{0}, \operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{I}_{n}$, а $\mathbf{X}$ — матрица $n \times p$ ранга $p$. Если $\mathbf{X}$ и $\mathbf{\beta }$ разбиты на блоки вида

докажите, что оценка $\widehat{\mathbf{\beta }}_{2}$ метода наименьших квадратов для $\mathbf{\beta }_{\mathbf{2}}$ даётся выражением

Найдите $\operatorname {Var}\left[\widehat{\mathbf{\beta }}_{2}\right]$.

Предположим, что $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{X} \mathbf{\beta }$ и $\operatorname {Var}\left[\mathbf{Y}\right] = \sigma^{2} \mathbf{I}_{n}$. Докажите, что $\mathbf{a}^{T} \mathbf{Y}$ является линейной несмещённой оценкой $\mathbb {E}\left[\mathbf{a}^{T} \mathbf{Y}\right]$ с минимальной дисперсией тогда и только тогда, когда $\operatorname {Cov}\left[ \mathbf{a}^{T} \mathbf{Y}, \mathbf{b}^{T} \mathbf{Y} \right] = 0$ для всех $\mathbf{b}$ таких, что $\mathbb {E}\left[\mathbf{b}^{T} \mathbf{Y}\right] = 0$ (т.е. $\mathbf{b}^{T} \mathbf{X} = \mathbf{0}^{T}$).

Если $\mathbf{X}$ имеет полный ранг и $\widehat{\mathbf{Y}} = \mathbf{X} \widehat{\mathbf{\beta }}$, докажите, что

Оцените веса $\beta_{i}(i = 1,2,3,4)$ четырёх предметов по следующим данным взвешивания (обозначения см. в упражнениях 3e, № 5, в конце раздела 3.6):

Три посылки взвешиваются на почте по отдельности, попарно и все вместе, давая веса $Y_{i j k}(i, j, k = 0,1)$, где индекс 1 обозначает присутствие конкретной посылки, а индекс 0 — её отсутствие. Найдите оценки весов методом наименьших квадратов.

Экспериментатор хочет оценить плотность $d$ жидкости, взвешивая известные объёмы этой жидкости. Пусть $Y_{i}$ — вес для объёма $x_{i}(i = 1,2, \ldots , n)$, и пусть $\mathbb {E}\left[Y_{i}\right] = d x_{i}$ и $\operatorname {Var}\left[Y_{i}\right] = \sigma^{2} f\left(x_{i}\right)$. Найдите оценку $d$ методом наименьших квадратов для следующих случаев:

Пусть $Y_{i} = \beta_{0}+\beta_{1} x_{i}+\varepsilon_{i}(i = 1,2,3)$, где $\mathbb {E}\left[\varepsilon \right] = 0, \operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathrm{~ V}$ с

и $x_{1} = -1, x_{2} = 0$, и $x_{3} = 1$. Покажите, что обобщённые оценки наименьших квадратов $\beta_{0}$ и $\beta_{1}$ равны

где $r = 1+\rho +2 a^{2}-4 a \rho$. Докажите также следующее:

Если $\mathbf{X}$ не имеет полного ранга, покажите, что любое решение $\mathbf{\beta }$ уравнения $\mathbf{X}^{T} \mathbf{V}^{-1} \mathbf{X} \mathbf{\beta } = \mathbf{X}^{T} \mathbf{V}^{-1} \mathbf{Y}$ минимизирует $(\mathbf{Y}-\mathbf{X} \mathbf{\beta })^{T} \mathbf{V}^{-1}(\mathbf{Y}-\mathbf{X} \mathbf{\beta })$.

Пусть

и

где $\mathbb {E}\left[\varepsilon_{i}\right] = 0(i = 1,2,3)$. Найдите оценки $\partial_{1}$ и $\theta_{2}$ методом наименьших квадратов. Если приведённые выше уравнения дополнить до

найдите оценку $\theta_{3}$ методом наименьших квадратов.

Для обычной регрессионной модели полного ранга докажите, что случайные величины $\bar{Y}$ и $\sum_{i}\left(Y_{i}-\widehat{Y}_{i}\right)^{2}$ статистически независимы.

Пусть $Y_{i} = \beta x_{i}+u_{i}, x_{i} > 0(i = 1,2, \ldots , n)$, где $u_{i} = \rho u_{i-1}+\varepsilon_{i}$, а $\varepsilon_{i}$ независимо распределены как $N\left(0, \sigma^{2}\right)$. Если $\widehat{\beta }$ — обычная оценка $\beta$ методом наименьших квадратов, докажите, что $\operatorname {Var}\left[\widehat{\beta }\right]$ увеличивается при $\rho > 0$.

Предположим, что $\mathbb {E}\left[Y_{t}\right] = \beta_{0}+\beta_{1} \cos \left(2 \pi k_{1} t / n\right)+\beta_{2} \sin \left(2 \pi k_{2} t / n\right)$, где $t = 1,2, \ldots , n$, а $k_{1}$ и $k_{2}$ — положительные целые числа. Найдите оценки $\beta_{0}, \beta_{1}$ и $\beta_{2}$ методом наименьших квадратов.

Предположим, что $\mathbb {E}\left[Y_{i}\right] = \alpha_{0}+\beta_{1}\left(x_{i 1}-\bar{x}_{1}\right)+\beta_{2}\left(x_{i 2}-\bar{x}_{2}\right), i = 1,2, \ldots , n$. Покажите, что оценки $\alpha_{0}, \beta_{1}$ и $\beta_{2}$ методом наименьших квадратов можно получить следующей двухэтапной процедурой: (i) Подогнать модель $\mathbb {E}\left[Y_{i}\right] = \alpha_{0}+\beta_{1}\left(x_{i 1}-\bar{x}_{1}\right)$. (ii) Регрессировать остатки из (i) на ($x_{i 2}-\bar{x}_{2}$).

Покажите, что если $\mathbf{X}$ имеет полный ранг,

и отсюда выведите, что левая часть минимизируется единственным образом при $\mathbf{\beta } = \widehat{\mathbf{\beta }}$.

Если $\mathbf{X}$ имеет полный ранг, докажите, что $\sum_{i = 1}^{n}\left(Y_{i}-\widehat{Y}_{i}\right) = 0$. Подсказка: рассмотрите первый столбец $\mathbf{X}$.

Пусть

где $\mathbb {E}\left[\varepsilon_{i}\right] = 0(i = 1,2,3)$. Найдите оценки наименьших квадратов для $\theta$ и $\phi$.

Рассмотрим регрессионную модель

где $x_{1} = -1, x_{2} = 0$ и $x_{3} = +1$. Найдите оценки наименьших квадратов $\beta_{0}, \beta_{1}$ и $\beta_{2}$. Покажите, что оценки наименьших квадратов $\beta_{0}$ и $\beta_{1}$ не изменяются, если $\beta_{2} = 0$.

Натяжение $T$, наблюдаемое в нерастяжимой нити, необходимое для удержания тела неизвестного веса $w$ в равновесии на гладкой наклонной плоскости с углом $\theta (0 < \theta < \pi / 2)$, является случайной величиной со средним $\mathbb {E}\left[T\right] = w \sin \theta$. Если при $\theta = \theta_{i}(i = 1,2, \ldots , n)$ соответствующие значения $T$ равны $T_{i}$ ($i = 1,2, \ldots , n$), найдите оценку наименьших квадратов для $w$.

Если $\mathbf{X}$ имеет полный ранг, так что $\mathbf{P} = \mathbf{X}\left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T}$, докажите, что $\mathcal{C}(\mathbf{P}) = \mathcal{C}(\mathbf{X})$.

Для общей регрессионной модели, в которой $\mathbf{X}$ может иметь или не иметь полный ранг, покажите, что

Предположим, что мы масштабируем объясняющие переменные так, что $x_{i j} = k_{j} w_{i j}$ для всех $i, j$. Выразив $\mathbf{X}$ через новую матрицу $\mathbf{W}$, докажите, что $\widehat{\mathbf{Y}}$ остаётся неизменной при этом изменении масштаба.

Пусть $Y_{i} = \beta_{0}+\beta_{1} x_{i}+\varepsilon_{i}(i = 1,2, \ldots , n)$, где $\mathbb {E}\left[\varepsilon \right] = 0$ и $\operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{I}_{n}$. Найдите оценки наименьших квадратов для $\beta_{0}$ и $\beta_{1}$. Докажите, что они некоррелированы тогда и только тогда, когда $\bar{x} = 0$.

Чтобы оценить два параметра $\theta$ и $\phi$, можно провести наблюдения трёх типов: (а) первый тип имеет математическое ожидание $\theta$, (б) второй тип имеет математическое ожидание $\theta +\phi$, и (в) третий тип имеет математическое ожидание $\theta -2 \phi$. Все наблюдения подвержены некоррелированным ошибкам с нулевым средним и постоянной дисперсией. Если сделано $m$ наблюдений типа (а), $m$ наблюдений типа (б) и $n$ наблюдений типа (в), найдите оценки наименьших квадратов $\widehat{\theta }$ и $\widehat{\phi }$. Докажите, что эти оценки некоррелированы, если $m = 2 n$.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — случайная выборка из $N\left(\theta , \sigma^{2}\right)$. Найдите линейную несмещённую оценку $\theta$ с минимальной дисперсией.

Пусть

где $\bar{x}_{j} = \sum_{i = 1}^{n} x_{i j} / n, \mathbb {E}\left[\varepsilon \right] = \mathbf{0}$, и $\operatorname {Var}\left[\varepsilon \right] = \sigma^{2} \mathbf{I}_{n}$. Если $\widehat{\beta }_{1}$ — оценка наименьших квадратов $\beta_{1}$, покажите, что

где $r$ — коэффициент корреляции $n$ пар $\left(x_{i 1}, x_{i 2}\right)$.

Предположим, что $\mathbf{Y} \sim N_{n}\left(\mathbf{X} \mathbf{\beta }, \sigma^{2} \mathbf{I}_{n}\right)$, где $\mathbf{X}$ имеет размер $n \times p$ и $\operatorname {rank} p$.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ независимо и одинаково распределены со средним $\theta$ и дисперсией $\sigma^{2}$. Найдите неотрицательную квадратичную несмещённую оценку $\sigma^{2}$ с минимальной дисперсией.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ независимо распределены как $N\left(\theta , \sigma^{2}\right)$; используя теорему 3.5, докажите, что:

Используя теорему 2.5, докажите, что для регрессионной модели полного ранга RSS независима от $(\widehat{\mathbf{\beta }}-\mathbf{\beta })^{T} \mathbf{X}^{T} \mathbf{X}(\widehat{\mathbf{\beta }}-\mathbf{\beta })$.

Докажите приведённое выше утверждение о том, что минимум достигается при $\lambda_{j} = c(j = 1,2, \ldots , p-1$).

Требуется подобрать регрессионную модель вида

где $\phi (x)$ — многочлен второй степени. Если $x_{1} = -1, x_{2} = 0$ и $x_{3} = 1$, найдите $\phi$ такое, что матрица плана $\mathbf{X}$ имеет взаимно ортогональные столбцы.

Предположим, что $\mathbf{X} = \left(\mathbf{x}^{(0)}, \mathbf{x}^{(1)}, \ldots , \mathbf{x}^{(p-1)}, \mathbf{x}^{(p)}\right) = \left(\mathbf{W}, \mathbf{x}^{(p)}\right)$ имеет линейно независимые столбцы.

Какие изменения в формулировке примера 3.3, доказанного выше, можно внести, если член $\beta_{0}$ опущен?

Предположим, что мы хотим найти веса $\beta_{i}(i = 1,2, \ldots , k)$ $k$ объектов. Один метод — взвесить каждый объект $r$ раз и взять среднее; это требует всего $k r$ взвешиваний, а дисперсия каждого среднего равна $\sigma^{2} / r$ ($\sigma^{2}$ — дисперсия ошибки взвешивания). Другой метод — взвешивать объекты в комбинациях; часть объектов распределяется между двумя чашами, и в одну чашу помещаются гири для достижения равновесия. Регрессионная модель для такой схемы имеет вид

где $x_{i} = 0,1$ или $-1$ в зависимости от того, не используется ли $i$-й объект, помещён ли он в левую чашу или в правую, $\varepsilon$ — ошибка взвешивания (предполагается одинаковой для всех взвешиваний), а $Y$ — вес, требуемый для равновесия ($Y$ считается отрицательным, если помещён в левую чашу). После $n$ таких операций взвешивания можно найти оценки наименьших квадратов $\widehat{\beta }_{i}$ весов.

Докажите, что

Докажите, что $\widehat{\gamma }_{G}$ можно получить, заменив $\mathbf{Y}$ на $\mathbf{Y}-\mathbf{Z} \gamma$ в $\mathbf{Y}^{T} \mathbf{R Y}$ и минимизируя по $\gamma$. Покажите далее, что полученное таким образом минимальное значение равно $\mathbf{Y}^{T} \mathbf{R}_{G} \mathbf{Y}$.

Если $\widehat{\mathbf{\beta }}_{G} = \left(\widehat{\beta }_{G, j}\right)$ и $\widehat{\mathbf{\beta }} = \left(\widehat{\beta }_{j}\right)$, используя теорему 3.6 (iv), докажите, что

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ независимо распределены как $N\left(\theta , \sigma^{2}\right)$, найдите оценку наименьших квадратов $\theta$.

Рассматривая тождество $\mathbf{Y}-\widehat{\mathbf{Y}}_{H} = \mathbf{Y}-\widehat{\mathbf{Y}}+\widehat{\mathbf{Y}}-\widehat{\mathbf{Y}}_{H}$, докажите, что

Докажите, что

Отсюда выведите, что

где $\widehat{\beta }_{H j}$ и $\widehat{\beta }_{j}$ — $j$-е элементы $\widehat{\mathbf{\beta }}_{H}$ и $\widehat{\mathbf{\beta }}$ соответственно.

Покажите, что

Если $\mathbf{X}$ имеет размер $n \times p$ и $\operatorname {rank} p$, а $\mathbf{B}$ имеет размер $p \times q$ и $\operatorname {rank} q$, покажите, что $\operatorname {rank}(\mathbf{X B}) = q$.

Предположим, что $\mathbf{X}$ не имеет полного ранга, и пусть $\widehat{\mathbf{\beta }}_{i}(i = 1,2)$ — любые два решения нормальных уравнений. Покажите непосредственно, что

Если столбцы $\mathbf{X}$ линейно зависимы, докажите, что не существует такой матрицы $\mathbf{C}$, что $\mathbf{C Y}$ является несмещённой оценкой $\mathbf{\beta }$.

Докажите, что $\mathbf{a}^{T} \mathbb {E}\left[\widehat{\mathbf{\beta }}\right]$ является оцениваемой функцией $\mathbf{\beta }$.

Если $\mathbf{a}_{1}^{T} \beta , \mathbf{a}_{2}^{T} \beta , \ldots , \mathbf{a}_{k}^{T} \beta$ оцениваемы, докажите, что любая линейная комбинация их также оцениваема.

Если $\mathbf{a}^{T} \widehat{\mathbf{\beta }}$ инвариантна относительно $\widehat{\mathbf{\beta }}$, докажите, что $\mathbf{a}^{T} \mathbf{\beta }$ оцениваема.

Докажите, что $\mathbf{a}^{T} \mathbf{\beta }$ оцениваема тогда и только тогда, когда

Если $\mathbf{a}^{T} \mathbf{\beta }$ — оцениваемая функция, докажите, что

Докажите, что все линейные функции $\mathbf{a}^{T} \mathbf{\beta }$ оцениваемы тогда и только тогда, когда столбцы $\mathbf{X}$ линейно независимы.

Если $\mathbf{P}$ проецирует на $\mathcal{C}(\mathbf{X})$, покажите, что $\mathbf{Z}^{T}\left(\mathbf{I}_{n}-\mathbf{P}\right) \mathbf{Z}$ невырождена.

Докажите, что если $\mathbf{X}_{1}$ — матрица $n \times r$ ранга $r$, состоящая из набора $r$ линейно независимых столбцов $\mathbf{X}$, то $\mathbf{X} = \mathbf{X}_{1} \mathbf{L}$, где $\mathbf{L}$ — матрица $r \times p$ ранга $r$.

Докажите, что $\mathbf{B}$ имеет полный столбцовый ранг.

Если $\mathbf{X}$ имеет полный ранг и $\widehat{\mathbf{\theta }}_{\omega } = \mathbf{X} \widehat{\mathbf{\beta }}_{H}$, покажите, что

Покажите, как модифицировать приведённую выше теорию для случая, когда ограничения имеют вид $\mathbf{A} \mathbf{\beta } = \mathrm{c}(\mathrm{c} \neq 0)$.

Пусть $Y_{i} = \beta x_{i}+\varepsilon_{i}(i = 1,2)$, где $\varepsilon_{1} \sim N\left(0, \sigma^{2}\right), \varepsilon_{2} \sim N\left(0,2 \sigma^{2}\right)$, причём $\varepsilon_{1}$ и $\varepsilon_{2}$ статистически независимы. Если $x_{1} = +1$ и $x_{2} = -1$, найдите оценку $\beta$ методом взвешенных наименьших квадратов и найдите дисперсию вашей оценки.

Пусть $Y_{i}(i = 1,2, \ldots , n)$ — независимые случайные величины с общим средним $\theta$ и дисперсиями $\sigma^{2} / w_{i}(i = 1,2, \ldots , n)$. Найдите линейную несмещённую оценку $\theta$ с минимальной дисперсией и найдите эту минимальную дисперсию.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — независимые случайные величины, и пусть $Y_{i}$ имеет распределение $N\left(i \theta , i^{2} \sigma^{2}\right)$ для $i = 1,2, \ldots , n$. Найдите оценку $\theta$ методом взвешенных наименьших квадратов и докажите, что её дисперсия равна $\sigma^{2} / n$.

Пусть $Y_{1}, Y_{2}, \ldots , Y_{n}$ — случайные величины с общим средним $\theta$ и матрицей рассеяния $\sigma^{2} \mathbf{V}$, где $v_{i i} = 1(i = 1,2, \ldots , n)$ и $v_{i j} = \rho$ ($0 < \rho < 1 ; i, j = 1,2, \ldots , n ; i \neq j$). Найдите обобщённую оценку $\theta$ методом наименьших квадратов и покажите, что она совпадает с обычной оценкой методом наименьших квадратов. Указание: $\mathbf{V}^{-1}$ имеет тот же вид, что и $\mathbf{V}$.

Пусть $\mathbf{Y} \sim N_{n}\left(\mathbf{X} \beta , \sigma^{2} \mathbf{V}\right)$, где $\mathbf{X}$ — матрица $n \times p$ ранга $p$, а $\mathbf{V}$ — известная положительно определённая матрица $n \times n$. Если $\beta^{*}$ — обобщённая оценка $\mathbf{\beta }$ методом наименьших квадратов, докажите, что

Предположим, что $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{\theta }, \mathbf{A} \mathbf{\theta } = \mathbf{0}$, и $\operatorname {Var}\left[\mathbf{Y}\right] = \sigma^{2} \mathbf{V}$, где $\mathbf{A}$ — матрица $q \times n$ ранга $q$, а $\mathbf{V}$ — известная положительно определённая матрица $n \times n$. Пусть $\mathbf{\theta }^{*}$ — обобщённая оценка $\mathbf{\theta }$ методом наименьших квадратов; то есть $\mathbf{\theta }^{*}$ минимизирует $(\mathbf{Y}-\mathbf{\theta })^{T} \mathbf{V}^{-1}(\mathbf{Y}-\mathbf{\theta })$ при условии $\mathbf{A} \mathbf{\theta } = \mathbf{0}$. Покажите, что

где $\tilde{\mathbf{\gamma }}^{*}$ — обобщённая оценка $\mathbf{\gamma }$ методом наименьших квадратов для модели $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{V A}^{T} \mathbf{\gamma }, \operatorname {Var}\left[\mathbf{Y}\right] = \sigma^{2} \mathbf{V}$.

Если $\tilde{Y}_{i} = Y_{i}-\bar{Y}$ и $\tilde{\mathbf{Y}} = \left(\tilde{Y}_{1}, \ldots , \tilde{Y}_{n}\right)^{T}$, докажите, исходя из (3.54), что RSS $= \tilde{\mathbf{Y}}^{T}\left(\mathbf{I}_{n}-\tilde{\mathbf{P}}\right) \tilde{\mathbf{Y}}$.

Предположим, что мы рассматриваем подгонку модели, в которой $Y$-данные центрированы и масштабированы так же, как и $x$-данные. Это означает, что вместо $Y_{i}$ мы используем $Y_{i}^{*} = \left(Y_{i}-\bar{Y}\right) / s_{y}$, где $s_{y}^{2} = \sum_{i}\left(Y_{i}-\bar{Y}\right)^{2}$. Используя (3.54), получите выражение для RSS для этой модели.

Выведите уравнения (3.60) и (3.61).

Используя неинформативное априорное распределение для $\theta$, покажите, что условная апостериорная плотность $f(\beta \mid \mathbf{y}, \sigma )$ является многомерной нормальной. Отсюда выведите, что апостериорное среднее $\mathbf{\beta }$ равно $\widehat{\mathbf{\beta }}$.

Предположим, что мы используем неинформативное априорное распределение для $\mathbf{\theta }$.

Пусть $\chi (z) = \operatorname {sign}(\left|z\right|-1 / c)$ для некоторой константы $c$. Покажите, что решением (3.77) является MAD-оценка

Покажите, что если положить $w_{i j} = 1$ в (3.99), то получится оценка Джекеля, определённая формулой (3.97) с весами Уилкоксона.

Покажите, что если $s$ — решение (3.101) с $\rho$, заданным (3.102), то полученное $s$ приближённо равно нижней квартили $\binom {n}{2}$ разностей $\left|e_{i}(\mathbf{b})-e_{j}(\mathbf{b})\right|$.