3e

3.5 Оценивание методом максимального правдоподобия, 3.6 Ортогональные столбцы в матрице регрессии

[5/100%]
Показать
LaTeX
Задача 3e.1

Докажите приведённое выше утверждение о том, что минимум достигается при λj=c(j=1,2,…,p−1\lambda_{j} = c(j = 1,2, \ldots , p-1).

?
Задача 3e.2

Требуется подобрать регрессионную модель вида

E[Yi]=β0+β1xi+β2ϕ(xi)(i=1,2,3) \mathbb {E}\left[Y_{i}\right] = \beta _{0}+\beta _{1} x_{i}+\beta _{2} \phi \left(x_{i}\right) \quad (i = 1,2,3)

где ϕ(x)\phi (x) — многочлен второй степени. Если x1=−1,x2=0x_{1} = -1, x_{2} = 0 и x3=1x_{3} = 1, найдите ϕ\phi такое, что матрица плана X\mathbf{X} имеет взаимно ортогональные столбцы.

?
Задача 3e.3

Предположим, что X=(x(0),x(1),…,x(p−1),x(p))=(W,x(p))\mathbf{X} = \left(\mathbf{x}^{(0)}, \mathbf{x}^{(1)}, \ldots , \mathbf{x}^{(p-1)}, \mathbf{x}^{(p)}\right) = \left(\mathbf{W}, \mathbf{x}^{(p)}\right) имеет линейно независимые столбцы.

?
(a)

Используя A.9.5, докажите, что

det⁡(XTX)=det⁡(WTW)(x(p)′x(p)−x(p)′W(WTW)−1WTx(p)) \operatorname {det}\left(\mathbf{X}^{T} \mathbf{X}\right) = \operatorname {det}\left(\mathbf{W}^{T} \mathbf{W}\right)\left(\mathbf{x}^{(p) \prime } \mathbf{x}^{(p)}-\mathbf{x}^{(p) \prime } \mathbf{W}\left(\mathbf{W}^{T} \mathbf{W}\right)^{-1} \mathbf{W}^{T} \mathbf{x}^{(p)}\right)
(b)

Выведите, что

det⁡(WTW)det⁡(XTX)≥1x(p)/x(p) \frac{\operatorname {det}\left(\mathbf{W}^{T} \mathbf{W}\right)}{\operatorname {det}\left(\mathbf{X}^{T} \mathbf{X}\right)} \geq \frac{1}{\mathbf{x}^{(\mathbf{p}) / \mathbf{x}^{(\mathbf{p})}}}

и, следовательно, покажите, что Var⁡[β^p]≥σ2(x(p)′x(p))−1\operatorname {Var}\left[\widehat{\beta }_{p}\right] \geq \sigma^{2}\left(\mathbf{x}^{(p) \prime } \mathbf{x}^{(p)}\right)^{-1}, причём равенство достигается тогда и только тогда, когда x(p)′x(j)=0(j=0,1,…,p−1)\mathbf{x}^{(p) \prime } \mathbf{x}^{(j)} = 0(j = 0,1, \ldots , p-1).

Задача 3e.4

Какие изменения в формулировке примера 3.3, доказанного выше, можно внести, если член β0\beta_{0} опущен?

?
Задача 3e.5

Предположим, что мы хотим найти веса βi(i=1,2,…,k)\beta_{i}(i = 1,2, \ldots , k) kk объектов. Один метод — взвесить каждый объект rr раз и взять среднее; это требует всего krk r взвешиваний, а дисперсия каждого среднего равна σ2/r\sigma^{2} / r (σ2\sigma^{2} — дисперсия ошибки взвешивания). Другой метод — взвешивать объекты в комбинациях; часть объектов распределяется между двумя чашами, и в одну чашу помещаются гири для достижения равновесия. Регрессионная модель для такой схемы имеет вид

Y=β1x1+β2x2+⋯+βkxk+ε Y = \beta _{1} x_{1}+\beta _{2} x_{2}+\cdots +\beta _{k} x_{k}+\varepsilon

где xi=0,1x_{i} = 0,1 или −1-1 в зависимости от того, не используется ли ii-й объект, помещён ли он в левую чашу или в правую, ε\varepsilon — ошибка взвешивания (предполагается одинаковой для всех взвешиваний), а YY — вес, требуемый для равновесия (YY считается отрицательным, если помещён в левую чашу). После nn таких операций взвешивания можно найти оценки наименьших квадратов β^i\widehat{\beta }_{i} весов.

?
(a)

Покажите, что оценки весов обладают максимальной точностью (т.е. минимальной дисперсией), когда каждый элемент матрицы плана X\mathbf{X} равен ±1\pm 1, а столбцы X\mathbf{X} взаимно ортогональны.

(b)

Если объекты взвешиваются по отдельности, покажите, что для достижения той же точности, что и при оптимальном плане с nn взвешиваниями, требуется knk n взвешиваний.