Глава 8

Дисперсионный анализ

[24/96%]

Показать

LaTeX

Показать LaTeX

Задача 8.1

Если $\varepsilon_{i j}(i = 1,2, \ldots , I ; j = 1,2, \ldots , J)$ независимо распределены как $N\left(0, \sigma^{2}\right)$ , докажите, что

\sum _{i} \sum _{j}\left(\bar{\varepsilon }_{i .}-\bar{\varepsilon }_{. .}\right)^{2} \quad \text{ и } \quad \sum _{i} \sum _{j}\left(\varepsilon _{i j}-\bar{\varepsilon }_{i .}-\bar{\varepsilon }_{. j}+\bar{\varepsilon }_{. .}\right)^{2}

статистически независимы.

Задача 8.2

Пусть $Y_{i j} = \mu +\alpha_{i}+\varepsilon_{i j}(i = 1,2, \ldots , I ; j = 1,2, \ldots , J)$ , где $\sum_{i} d_{i} \alpha_{i} = 0 \left(\sum_{i} d_{i} \neq 0\right)$ и $E\left[\varepsilon_{i j}\right] = 0$ для всех $i, j$ . Используя метод множителей Лагранжа, найдите оценки наименьших квадратов для $\mu$ и $\alpha_{i}$ . Указание: Покажите, что множитель Лагранжа равен нулю.

Задача 8.3

(a)(b)

Пусть $Y_{i j k} = \mu_{i j}+\varepsilon_{i j k}$ , где

\begin{aligned} \mu _{i j} & = \bar{\mu }_{. .}+\left(\bar{\mu }_{i .}-\bar{\mu }_{. .}\right)+\left(\bar{\mu }_{i j}-\bar{\mu }_{i .}\right) \\ & = \mu +\alpha _{i}+\beta _{i j} \end{aligned}

скажем, $i = 1,2, \ldots , I ; j = 1,2, \ldots , J ; k = 1,2, \ldots , K$ , а $\varepsilon_{i j k}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ .

(a)

Найдите оценки наименьших квадратов для $\mu , \alpha_{i}$ и $\beta_{i j}$ и покажите, что они статистически независимы.

(b)

Получите тестовые статистики для проверки гипотез $H_{1}: \beta_{i j} = 0$ (для всех $i, j$ ) и $H_{2}: \alpha_{i} = 0$ (для всех $i$ ).

Задача 8.4

(a)(b)

Пусть $Y_{i j} = \mu_{i}+\varepsilon_{i j}(i = 1,2, \ldots , I ; j = 1,2, \ldots , J)$ , где $\varepsilon_{i j}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ .

(a)

При $I = 4$ получите $F$ -статистику для проверки гипотезы $\mu_{1} = 2 \mu_{2} = 3 \mu_{3}$ .

(b)

При $I = 2$ покажите, что $F$ -статистика для проверки $\mu_{1} = \mu_{2}$ является квадратом обычного $t$ -критерия для проверки гипотезы о равенстве средних двух нормально распределённых совокупностей при равных дисперсиях.

Задача 8.5

(a)(b)(c)

Предположим, что у нас есть модель

Y_{i j k} = \mu +\alpha _{i}+\beta _{j}+\gamma _{k}+\varepsilon _{i j k},

где $i = 1,2, \ldots , I ; j = 1,2, \ldots , J ; k = 1,2, \ldots , K, \sum_{i} \alpha_{i} = \sum_{j} \beta_{j} = \sum_{k} \gamma_{k} = 0$ , а $\varepsilon_{i j k}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ .

(a)

Выразите $\mu , \alpha_{i}, \beta_{j}$ и $\gamma_{k}$ через параметры $\mu_{i j k} = E\left[Y_{i j k}\right]$ .

(b)

Получите тестовую статистику для проверки гипотезы $H: \alpha_{i} = 0$ (для всех $i$ ).

(c)

Докажите, что

\sum _{i} \sum _{j} \sum _{k}\left(\bar{\varepsilon }_{i j .}-\bar{\varepsilon }_{i . .}-\bar{\varepsilon }_{. j .}+\bar{\varepsilon }_{. . .}\right)^{2} / \sigma ^{2} \sim \chi _{(I-1)(J-1)}^{2}

Указание: разбейте $\sum_{i} \sum_{j} \sum_{k}\left(\bar{\varepsilon }_{i j .}-\bar{\varepsilon }_{i . .}\right)^{2}$ на две суммы квадратов.

Задача 8.6

(a)(b)

Рассмотрим линейную модель $Y_{i j k} = \mu_{i j k}+\varepsilon_{i j k}$ , где $i = 1,2, \ldots , I ; j = 1,2, \ldots , J ; k = 1,2, \ldots , K$ ; а $\varepsilon_{i j k}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ . Пусть

\begin{aligned} \mu _{i j k} & = \bar{\mu }_{. .}+\left(\bar{\mu }_{i . .}-\bar{\mu }_{. . .}\right)+\left(\bar{\mu }_{i j .}-\bar{\mu }_{i . .}\right)+\left(\bar{\mu }_{. . k}-\bar{\mu }_{\ldots }\right)+\Delta _{i j k} \\ & = \mu +\alpha _{i}+\beta _{i j}+\gamma _{k} \end{aligned}

скажем, где $\Delta_{i j k} = 0$ (для всех $i, j, k$ ).

(a)

Найдите оценки наименьших квадратов для $\mu , \alpha_{i}, \beta_{i j}$ и $\gamma_{k}$ .

(b)

Получите $F$ -статистику для проверки $H: \alpha_{i} = 0$ (для всех $i$ ).

8a · 8.1 Введение, 8.2 Однофакторная классификация: 8.2.1 Общая теория, 8.2.2 Доверительные интервалы, 8.2.3 Исходные предположения[5/100%]

Задача 8a.1

Выразите $H: \mu_{1} = \cdots = \mu_{I}$ в виде $\mathbf{A} \mathbf{\mu } = \mathbf{0}$ . Каков ранг $\mathbf{A}$ ? Поскольку эта матрица не единственна, найдите другую матрицу, скажем $\mathbf{A}_{1}$ , также удовлетворяющую $H: \mathbf{A}_{1} \mathbf{\mu } = \mathbf{0}$ . Какова была бы связь между $\mathbf{A}$ и $\mathbf{A}_{1}$ ?

Задача 8a.2

Получите тождество, указанное в (8.3), а именно

\sum _{i} \sum _{j}\left(Y_{i j}-\bar{Y} . .\right)^{2} = \sum _{i} \sum _{i}\left(Y_{i j}-\bar{Y}_{i .}\right)^{2}+\sum _{i} \sum _{j}\left(\bar{Y}_{i .}-\bar{Y}_{. .}\right)^{2} .

Задача 8a.3

Получите оценки наименьших квадратов для $\mu_{i}$ , используя $\widehat{\mathbf{\beta }} = \left(\mathbf{X}^{T} \mathbf{X}\right)^{-1} \mathbf{X}^{T} \mathbf{Y}$ напрямую, где $\mathbf{X}$ задаётся формулой (8.2).

Задача 8a.4

Докажите, что

\sum _{i} \sum _{j}\left(\bar{Y}_{i .}-\bar{Y}_{. .}\right)^{2} = \sum _{i} \frac{Y_{i .}^{2}}{J_{i}}-\frac{Y_{.2}^{2}}{n} .

Получите аналогичное выражение для $\sum_{i} \sum_{j}\left(Y_{i j}-\bar{Y}_{i}\right)^{2}$ .

Задача 8a.5

(a)(b)

Найдите (а) $\mathbb {E}\left[\sum_{i} \sum_{j}\left(\bar{Y}_{i .}-\bar{Y} . .\right)^{2}\right]$ и (б) $\mathbb {E}\left[\sum_{i} \sum_{j}\left(Y_{i j}-\bar{Y}_{i .}\right)^{2}\right]$ . Указание: используйте теорему 4.1(ii) для первого выражения.

(a)

(b)

8b · 8.3 Двухфакторная классификация (несбалансированная): 8.3.1 Представление в виде регрессионной модели, 8.3.2 Проверка гипотез, 8.3.3 Процедуры проверки гипотез, 8.3.4 Доверительные интервалы[3/100%]

Задача 8b.1

Докажите, что $H_{A B}, H_{A B 1}, H_{A B 2}$ и $H_{A B 3}$ все эквивалентны $\mu_{i j} = \mu +\alpha_{i}+\beta_{j}$ .

Задача 8b.2

Используя симметричные ограничения, выразите параметры $\mu , \alpha_{i}$ и т.д. через $\mu_{i j}$ .

Задача 8b.3

Получите статистику $F$ -критерия для проверки $H: \mu_{i j} = \mu$ в двухфакторной классификации. Найдите математическое ожидание суммы квадратов числителя вашей статистики критерия.

8c · 8.4 Двухфакторная классификация (сбалансированная)[3/67%]

Задача 8c.1

(a)(b)

(a)

Докажите, что

\sum _{i = 1}^{I} \sum _{j = 1}^{J} \sum _{k = 1}^{K}\left(\bar{Y}_{i . .}-\bar{Y}_{\ldots }\right)^{2} = \sum _{i = 1}^{I} \frac{Y_{i .}^{2}}{J K}-\frac{Y_{. .}^{2}}{I J K}

Получите аналогичное выражение для

\sum _{i = 1}^{I} \sum _{j = 1}^{J} \sum _{k = 1}^{K}\left(\bar{Y}_{i j .}-\bar{Y}_{i . .}-\bar{Y}_{. j .}+\bar{Y}_{\ldots }\right)^{2}

(b)

Используя таблицу 8.2, докажите следующее:

\begin{aligned} E\left[(I-1) S_{A}^{2}\right] & = \sigma ^{2}(I-1)+J K \sum _{i} \alpha _{i}^{* 2} \\ E\left[(J-1) S_{B}^{2}\right] & = \sigma ^{2}(J-1)+I K \sum _{j} \beta _{i}^{* 2} \\ E\left[(I-1) S_{A B}^{2}\right] & = \sigma ^{2}(I-1)(J-1)+K \sum _{i} \sum _{j}(\alpha \beta )_{i j}^{* 2} \end{aligned}

Задача 8c.2

(a)(b)(c)

Даны средние значения генеральной совокупности $\mu_{i j}\left(i = 1,2, \ldots , I ; j = 1,2, \ldots , J\right)$ , пусть

\begin{aligned} A_{i} & = \sum _{j} v_{j} \mu _{i j} \quad \left(\sum _{j} v_{j} = 1\right), \\ B_{i} & = \sum _{i} u_{i} \mu _{i j} \quad \left(\sum _{j} u_{j} = 1\right), \end{aligned}

\mu = \sum _{i} u_{i} A_{i} = \sum _{j} v_{j} B_{j} = \sum _{i} \sum _{j} u_{i} v_{j} \mu _{i j}

Определим $\alpha_{i} = A_{i}-\mu , \beta_{j} = B_{j}-\mu$ , и

(\alpha \beta )_{i j} = \mu _{i j}-A_{i}-B_{j}+\mu

(a)

Покажите, что $\sum_{i} u_{i} \alpha_{i} = \sum_{j} v_{j} \beta_{j} = 0, \sum_{i} u_{i}(\alpha \beta )_{i j} = 0$ (для всех $j$ ), и $\sum_{j} v_{j}(\alpha \beta )_{i j} = 0$ (для всех $i$ ).

(b)

Обратно, если дано

\mu _{i j} = \mu +\alpha _{i}+\beta _{j}+(\alpha \beta )_{i j}

покажите, что параметры в уравнении выше однозначно определяются ограничениями из пункта (а).

(c)

Докажите, что если взаимодействия $\left\{ (\alpha \beta )_{i j}\right\}$ все равны нулю для некоторой системы весов $\left\{ u_{i}\right\}$ и $\left\{ v_{i}\right\}$ , то они равны нулю для любой системы весов. В этом случае покажите, что любой контраст в $\left\{ \alpha_{i}\right\}$ или $\left\{ \beta_{i}\right\}$ имеет значение, не зависящее от системы весов.

Задача 8c.3

Пусть $Y_{i j k} = \mu +\alpha_{i}+\beta_{j}+(\alpha \beta )_{i j}+\varepsilon_{i j k}$ , где $i = 1,2, \ldots , I ; j = 1,2, \ldots , J ; k = 1,2, \ldots , K_{i j}$ ; и $\varepsilon_{i j k}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ . Дано $K_{i j} = K_{i .} K_{. j} / K_{. .}$ для всех $i, j$ , найдите статистику критерия для проверки гипотезы $H:(\alpha \beta )_{i j} = 0$ (для всех $i, j$ ). Указание: По упражнению 2, справедливость $H$ не зависит от весов, используемых в ограничениях идентифицируемости $\sum_{i} u_{i} \alpha_{i} = \sum_{j} v_{j} \beta_{j} = 0$ . Поэтому мы можем использовать $u_{i} = K_{i .} / K_{.}$ и $v_{j} = K_{. j} / K_{. .}$ и найти оценки наименьших квадратов для $\alpha_{i}$ и $\beta_{j}$ , когда $H$ верна.

8d · 8.5 Двухфакторная классификация (одно наблюдение на среднее): 8.5.1 Исходные предположения, 8.6 Многофакторные классификации с равным числом наблюдений: 8.6.1 Определение взаимодействий, 8.6.2 Проверка гипотез, 8.6.3 Пропущенные наблюдения[4/100%]

Задача 8d.1

Проверьте (8.28).

Задача 8d.2

В трёхфакторном эксперименте средние значения генеральной совокупности $\mu_{i j k}(i = 1,2,3 ; j = 1,2,3 ; k = 1,2$ ), заданы следующими таблицами:

Покажите, что взаимодействия $ABC$ равны нулю.

Задача 8d.3

Пусть

\mathbf{Y} = \binom {\mathbf{Y}_{1}}{\mathbf{Y}_{2}} = \binom {\mathbf{X}_{1}}{\mathbf{X}_{2}} \mathbf{\beta }+\mathbf{\varepsilon } = \mathbf{X} \mathbf{\beta }+\mathbf{\varepsilon }

где $\mathbf{X}$ имеет полный ранг. Предположим, что наблюдения $\mathbf{Y}_{2}$ отсутствуют. Для наблюдённых данных оценка наименьших квадратов $\mathbf{\beta }$ равна $\widehat{\mathbf{\beta }} = \left(\mathbf{X}_{1}^{T} \mathbf{X}_{1}\right)^{-1} \mathbf{X}_{1}^{T} \mathbf{Y}_{1}$ . Пусть $\widehat{\mathbf{Y}}_{2} = \mathbf{X}_{2} \widehat{\mathbf{\beta }}$ . Покажите, что $\widehat{\mathbf{\beta }}$ можно получить, применив метод наименьших квадратов к наблюдённым данным, дополненным $\widehat{\mathbf{Y}}_{2}$ , и матрице регрессии $\mathbf{X}$ .

Задача 8d.4

Предположим, что у нас есть однофакторная классификация

E\left[Y_{i j}\right] = \mu _{i} \quad (i = 1,2, \ldots , I ; j = 1,2, \ldots , J)

и предположим, что $Y_{I J}$ отсутствует. Докажите, что подходящей оценкой $Y_{I J}$ является среднее оставшихся наблюдений для среднего $\mu_{I}$ .

8e · 8.7 Планы с простой блочной структурой, 8.8 Ковариационный анализ[3/100%]

Задача 8e.1

Упражнения 3f, № 2, в разделе 3.7 дали следующий двухэтапный метод нахождения оценок наименьших квадратов для общей модели ANCOVA $G$ , скажем. Сначала находим оценку наименьших квадратов $\widehat{\mathbf{\beta }}$ величины $\mathbf{\beta }$ для модели $\mathbb {E}\left[\mathbf{Y}\right] = \mathbf{X} \mathbf{\beta }$ и остаточную сумму квадратов $\mathbf{Y}^{T} \mathbf{R} \mathbf{Y}$ . Во-вторых, $\widehat{\gamma }_{G}$ находится заменой $\mathbf{Y}$ на $\mathbf{Y}-\mathbf{Z} \mathbf{\gamma }$ в $\mathbf{Y}^{T} \mathbf{R Y}$ и минимизацией по $\mathbf{\gamma }$ . Это минимальное значение является корректной остаточной суммой квадратов для модели $G$ . В-третьих, обращаясь к теореме 3.6, мы видим, что $\widehat{\mathbf{\beta }}_{G}$ получается из $\widehat{\mathbf{\beta }}$ заменой $\mathbf{Y}$ на $\mathbf{Y}-\mathbf{X} \widehat{\mathbf{\gamma }}$ . Этот метод можно применить к модели для $H$ , а также для $G$ . Теперь примените этот метод к следующей задаче. Рассмотрим модель $Y_{i j} = \mu_{i}+\gamma_{i} x_{j}+\varepsilon_{i j}$ , где $i = 1,2 ; j = 1,2, \ldots , J$ ; и $\varepsilon_{i j}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ . Выведите $F$ -статистику для проверки гипотезы, что $\gamma_{1} = \gamma_{2}$ , и покажите, что эта статистика является квадратом обычной $t$ -статистики для проверки параллельности двух прямых.

Задача 8e.2

(a)(b)(c)

Пусть $Y_{i j} = \mu_{i}+\gamma_{1} z_{i j}+\gamma_{2} w_{i j}+\varepsilon_{i j}$ , где $i = 1,2, \ldots , I ; j = 1,2, \ldots , J$ ; и $\varepsilon_{i j}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ .

(a)

Выведите оценку наименьших квадратов для $\gamma_{1}$ и покажите, что она является несмещённой оценкой $\gamma_{1}$ .

(b)

Найдите матрицу дисперсий оценок наименьших квадратов $\widehat{\gamma }_{i}$ величины $\gamma_{i} (i = 1,2)$ .

(c)

При каких условиях $\widehat{\gamma }_{1}$ и $\widehat{\gamma }_{2}$ статистически независимы?

Задача 8e.3

Пусть $Y_{i j k} = \mu_{i j}+\gamma_{i j} z_{i j k}+\varepsilon_{i j k}$ , где $i = 1,2, \ldots , I ; i = 1,2, \ldots , J$ ; $k = 1,2, \ldots , K$ ; и $\varepsilon_{i j k}$ независимо распределены как $N\left(0, \sigma^{2}\right)$ . Получите статистику критерия для проверки гипотезы

H: \gamma _{i j} = \gamma \quad (\text{ для всех } i, j)