Проекции и матрицы проектирования

Пусть $\mathbf{Y}$ — матрица в линейном пространстве $\mathcal{V}$, пусть $\mathcal{U}$ и $\mathcal{W}$ — подпространства $\mathcal{V}$, и пусть $\{ \mathbf{X}_{1}, \ldots , \mathbf{X}_{s}\}$ — множество матриц, порождающее $\mathcal{U}$, а $\{ \mathbf{Z}_{1}, \ldots , \mathbf{Z}_{t}\}$ — множество, порождающее $\mathcal{W}$. Проверьте, что $\mathbf{Y} \perp \mathcal{U}$ тогда и только тогда, когда $\mathbf{Y} \cdot \mathbf{X}_{i} = 0$ для $i = 1, \ldots , s$ (то есть что $\mathbf{Y}$ ортогональна $\mathcal{U}$ тогда и только тогда, когда $\mathbf{Y}$ ортогональна каждой из матриц $\mathbf{X}_{1}, \ldots , \mathbf{X}_{s}$); и, аналогично, что $\mathcal{U} \perp \mathcal{W}$ тогда и только тогда, когда $\mathbf{X}_{i} \cdot \mathbf{Z}_{j} = 0$ для $i = 1, \ldots , s$ и $j = 1, \ldots , t$ (то есть что $\mathcal{U}$ ортогонально $\mathcal{W}$ тогда и только тогда, когда каждая из матриц $\mathbf{X}_{1}, \ldots , \mathbf{X}_{s}$ ортогональна каждой из матриц $\mathbf{Z}_{1}, \ldots , \mathbf{Z}_{t}$).

Пусть $\mathcal{U}$ и $\mathcal{V}$ — подпространства $\mathbb {R}^{m \times n}$. Покажите, что если $\dim (\mathcal{V}) > \dim (\mathcal{U})$, то в $\mathcal{V}$ найдётся ненулевая матрица, ортогональная $\mathcal{U}$.

Пусть $\mathcal{U}$ — подпространство линейного пространства $\mathbb {R}^{m}$ всех $m$-мерных вектор-столбцов. Пусть $\mathcal{M}$ — подпространство $\mathbb {R}^{m \times n}$, определяемое условием: $\mathbf{W} \in \mathcal{M}$ тогда и только тогда, когда $\mathbf{W} = (\mathbf{w}_{1}, \ldots , \mathbf{w}_{n})$ для некоторых векторов $\mathbf{w}_{1}, \ldots , \mathbf{w}_{n}$ из $\mathcal{U}$. Пусть $\mathbf{Z}$ — проекция (относительно обычного скалярного произведения) $m \times n$ матрицы $\mathbf{Y}$ на $\mathcal{M}$, а $\mathbf{X}$ — произвольная $m \times p$ матрица, столбцы которой порождают $\mathcal{U}$. Покажите, что $\mathbf{Z} = \mathbf{X}\mathbf{B}^{*}$ для любого решения $\mathbf{B}^{*}$ линейной системы

Проекция (относительно обычного скалярного произведения) $n$-мерного вектор-столбца $\mathbf{y}$ на подпространство $\mathcal{U}$ пространства $\mathbb {R}^{n}$ в частном случае $n = 3$, $\mathbf{y} = (3, -38/5, 74/5)'$ и $\mathcal{U} = \operatorname {sp}\{ \mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}\}$, где

была определена как вектор $(3, 22/5, 44/5)'$ --- при этом было отмечено, что $\mathbf{x}_{1}$ и $\mathbf{x}_{2}$ линейно независимы и что $\mathbf{x}_{3} = \mathbf{x}_{2} - (1/3)\mathbf{x}_{1}$, откуда $\dim (\mathcal{U}) = 2$. Заново вычислите проекцию $\mathbf{y}$ на $\mathcal{U}$ (в этом частном случае), взяв в качестве $\mathbf{X}$ матрицу размера $3 \times 2$

и выполнив следующие два шага: (1) вычислите решение нормальных уравнений $\mathbf{X}'\mathbf{X}\mathbf{b} = \mathbf{X}'\mathbf{y}$; и (2) умножьте $\mathbf{X}$ справа на решение, вычисленное на шаге (1).

Пусть $\mathbf{X}$ — произвольная матрица размера $n \times p$. Если $p \times n$ матрица $\mathbf{B}^{*}$ является решением линейной системы $\mathbf{X}'\mathbf{X}\mathbf{B} = \mathbf{X}'$ (относительно $\mathbf{B}$), то $\mathbf{B}^{*}$ является обобщённой обратной матрицей для $\mathbf{X}$, а $\mathbf{X}\mathbf{B}^{*}$ симметрична. Покажите, что, обратно, если $p \times n$ матрица $\mathbf{G}$ является обобщённой обратной матрицей для $\mathbf{X}$ и если $\mathbf{X}\mathbf{G}$ симметрична, то $\mathbf{X}'\mathbf{X}\mathbf{G} = \mathbf{X}'$ (то есть $\mathbf{G}$ — решение $\mathbf{X}'\mathbf{X}\mathbf{B} = \mathbf{X}'$).

Используя результат части (b) упражнения 9.3 (или иным способом), покажите, что для любой ненулевой симметрической матрицы $\mathbf{A}$

где $\mathbf{B}$ — произвольная матрица полного ранга по столбцам, а $\mathbf{T}$ — произвольная матрица полного ранга по строкам, такие что $\mathbf{A} = \mathbf{B}\mathbf{T}$. (Невырожденность $\mathbf{T}\mathbf{B}$ следует из результата упражнения 8.3.)

Пусть $\mathcal{V}$ — $k$-мерное подпространство линейного пространства $\mathbb {R}^{n}$ всех $n$-мерных вектор-столбцов. Пусть $\mathbf{X}$ — произвольная $n \times p$ матрица, столбцы которой порождают $\mathcal{V}$, пусть $\mathcal{U}$ — подпространство $\mathcal{V}$, и пусть $\mathbf{A}$ — матрица проектирования для $\mathcal{U}$. Покажите (1), что матрица $\mathbf{B}$ (размера $n \times n$) такова, что $\mathbf{B}\mathbf{y}$ является проекцией $\mathbf{y}$ на $\mathcal{U}$ для каждого $\mathbf{y} \in \mathcal{V}$, тогда и только тогда, когда $\mathbf{B} = \mathbf{A} + \mathbf{Z}_{*}$ для некоторого решения $\mathbf{Z}_{*}$ однородной линейной системы $\mathbf{X}'\mathbf{Z} = \mathbf{0}$ (относительно $n \times n$ матрицы $\mathbf{Z}$), и (2), что, если только не $k = n$, существует более одной матрицы $\mathbf{B}$, такой что $\mathbf{B}\mathbf{y}$ является проекцией $\mathbf{y}$ на $\mathcal{U}$ для каждого $\mathbf{y} \in \mathcal{V}$.

Пусть $\{ \mathbf{A}_{1}, \ldots , \mathbf{A}_{k}\}$ — непустое линейно независимое множество матриц в линейном пространстве $\mathcal{V}$. И определим (как в процессе ортогонализации Грама--Шмидта) $k$ ненулевых ортогональных линейных комбинаций, скажем, $\mathbf{B}_{1}, \ldots , \mathbf{B}_{k}$, матриц $\mathbf{A}_{1}, \ldots , \mathbf{A}_{k}$ следующим образом:

где (для $i < j = 1, \ldots , k$)

Покажите, что $\mathbf{B}_{j}$ является (ортогональной) проекцией $\mathbf{A}_{j}$ на некоторое подпространство $\mathcal{U}_{j}$ (пространства $\mathcal{V}$), и опишите $\mathcal{U}_{j}$ ($j = 2, \ldots , k$).