Классический метод наименьших квадратов

Закон Гука гласит, что смещение $y$ идеальной пружины пропорционально приложенной силе $x$ — т.е. $y = kx$ для некоторой константы $k$. Рассмотрим пружину, для которой $k$ неизвестна. К пружине прикрепляются различные грузы, и наблюдаются приведённые ниже смещения. Используя эти наблюдения, определите оценку методом наименьших квадратов для $k$.

Рисунок 4.6.6

Покажите, что угловой коэффициент прямой, проходящей через начало координат в $\mathbb {R}^{2}$ и наиболее близко (в смысле наименьших квадратов) проходящей через точки $\left\{ (x_1, y_1), (x_2, y_2), \ldots , (x_n, y_n)\right\}$, задаётся формулой $m = \sum_i x_i y_i / \sum_i x_i^2$.

Небольшая компания работает три года и зафиксировала следующую годовую прибыль (в тысячах долларов).

Предполагая, что снижение прибыли имеет линейный тренд, спрогнозируйте год и месяц, когда компания начнёт нести убытки.

Экономист выдвигает гипотезу, что изменение (в долларах) цены буханки хлеба в основном является линейной комбинацией изменения цены бушеля пшеницы и изменения минимальной заработной платы. То есть, если $B$ — изменение цены хлеба, $W$ — изменение цены пшеницы, а $M$ — изменение минимальной заработной платы, то $B = \alpha W + \beta M$. Предположим, что за три последовательных года изменения цены хлеба, цены пшеницы и минимальной заработной платы были такими, как показано ниже.

Используя теорию наименьших квадратов, оцените изменение цены хлеба в 4-м году, если цена пшеницы и минимальная заработная плата каждая упадут на $1.

Предположим, что исследователь выдвигает гипотезу, что потеря веса пинты мороженого при хранении в основном является линейной функцией времени. То есть,

где $y =$ потеря веса в граммах, $t =$ время хранения в неделях, а $\varepsilon$ — функция случайной ошибки со средним значением $0$. Предположим, что проведён эксперимент и получены следующие данные.

Изучая определённый тип рака, исследователь предполагает, что в краткосрочной перспективе число ($y$) злокачественных клеток в конкретной ткани растёт экспоненциально со временем ($t$). То есть $y = \alpha_0 e^{\alpha_1 t}$. Определите оценки метода наименьших квадратов для параметров $\alpha_0$ и $\alpha_1$ по данным наблюдений исследователя, приведённым ниже.

Используя технику наименьших квадратов, подгоните следующие данные

прямой $y = \alpha_0 + \alpha_1 x$, а затем подгоните данные квадратичной функцией $y = \alpha_0 + \alpha_1 x + \alpha_2 x^2$. Определите, какая из этих двух кривых лучше подходит для данных, вычислив сумму квадратов ошибок в каждом случае.

Рассмотрим время ($T$), которое требуется бегуну, чтобы завершить марафон (26 миль и 385 ярдов). Многие факторы, такие как рост, вес, возраст, предыдущая подготовка и т.д., могут влиять на результат спортсмена, но опыт показывает, что особенно важны следующие три фактора:

Линейная модель предполагает, что время $T$ (в минутах) задаётся как $T = \alpha_0 + \alpha_1 x_1 + \alpha_2 x_2 + \alpha_3 x_3 + \varepsilon$, где $\varepsilon$ — случайная функция, учитывающая все прочие факторы, среднее значение которой предполагается равным нулю. На основе пяти наблюдений, приведённых ниже, оцените ожидаемое время марафона для 43-летнего бегуна ростом 74 дюйма, весом 180 фунтов, который пробежал 450 миль за предыдущие восемь недель.

Каково ваше личное предсказанное среднее время марафона?

Для $\mathbf{A} \in \mathbb {R}^{m \times n}$ и $\overrightarrow {b} \in \mathbb {R}^{m}$ докажите, что $\overrightarrow {x}_2$ является решением метода наименьших квадратов для $\mathbf{A}\overrightarrow {x} = \overrightarrow {b}$ тогда и только тогда, когда $\overrightarrow {x}_2$ является частью решения более широкой системы

Во многих приложениях метода наименьших квадратов исходная матрица данных $\mathbf{A}_{m \times n}$ не имеет линейно независимых столбцов — т.е. $\operatorname {rk}\left(\mathbf{A}\right) < n$, — так что соответствующая система нормальных уравнений $\mathbf{A}^T \mathbf{A}\overrightarrow {x} = \mathbf{A}^T \overrightarrow {b}$ не будет иметь единственного решения. Это означает, что в связанной задаче линейной оценки вида

будет существовать бесконечно много оценок метода наименьших квадратов для параметров $\alpha_i$, а значит, будет существовать бесконечно много оценок для среднего значения $y$ в любой заданной точке $(t_1, t_2, \ldots , t_n)$ — что, очевидно, нежелательно. Чтобы устранить эту проблему, мы ограничимся оцениванием только в тех точках $(t_1, t_2, \ldots , t_n)$, которые лежат в пространстве строк матрицы $\mathbf{A}$. Если

— произвольное решение метода наименьших квадратов (т.е. $\mathbf{A}^T \mathbf{A}\overrightarrow {x} = \mathbf{A}^T \overrightarrow {b}$), докажите, что оценка, определённая формулой

единственна в том смысле, что $\hat{y}$ не зависит от того, какое решение $\overrightarrow {x}$ метода наименьших квадратов используется.