Ортогональное проектирование

Найдите ортогональную проекцию $b$ на $M = \left\langle u\right\rangle$, а затем определите ортогональную проекцию $b$ на $M^{\perp }$, где $b = \begin{pmatrix} 4 & 8 \end{pmatrix}^{T}$ и $u = \begin{pmatrix} 3 & 1 \end{pmatrix}^{T}$.

Пусть $A = \begin{pmatrix} 1& 2& 0 \\ 2& 4& 1 \\ 1& 2& 0 \end{pmatrix}$ и $b = \begin{pmatrix} 1\\ 1\\ 1 \end{pmatrix}$.

Для ортогонального проектора $P$ докажите, что $\left\| Px\right\|_{2} = \left\| x\right\|_{2}$ тогда и только тогда, когда $x \in \mathcal{R}(P)$.

Объясните, почему $A^{T}P_{\mathcal{R}(A)} = A^{T}$ для всех $A \in \mathbb {R}^{m\times n}$.

Объясните, почему $P_{M} = \sum_{i=1}^{r} u_{i}u_{i}^{T}$, если $B = \left\{ u_{1},u_{2},\ldots ,u_{r}\right\}$ — ортонормированный базис для $M \subseteq \mathbb {R}^{n\times 1}$.

Объясните, как использовать методы ортогонального разложения для вычисления ортогональных проекторов на каждое из четырёх фундаментальных подпространств матрицы $A \in \mathbb {R}^{m\times n}$.

Прямая $L$ в $\mathbb {R}^{n}$, проходящая через две различные точки $u$ и $v$, задаётся как $L = u + \left\langle u-v\right\rangle$. Если $u \neq 0$ и $v \neq \alpha u$, то $L$ — прямая, не проходящая через начало координат, т.е. $L$ не является подпространством. Объясните, как ортогонально спроектировать вектор $b$ на $L$.

Объясните, почему $\hat{x}$ является решением по методу наименьших квадратов для $Ax=b$ тогда и только тогда, когда $\left\| A\hat{x}-b\right\|_{2} = \left\| P_{\mathcal{N}(A^{T})}b\right\|_{2}$.

Докажите, что если $\varepsilon = A\hat{x}-b$, где $\hat{x}$ — решение по методу наименьших квадратов для $Ax=b$, то $\left\| \varepsilon \right\|_{2}^{2} = \left\| b\right\|_{2}^{2} - \left\| P_{\mathcal{R}(A)}b\right\|_{2}^{2}$.

Пусть $M$ — $r$-мерное подпространство в $\mathbb {R}^{n}$. Если $B = \left\{ u_{1},u_{2},\ldots ,u_{r}\right\}$ — ортонормированный базис для $M$, и если $x \in M$, то $x$ равен своему разложению Фурье относительно $B$: $x = \sum_{i=1}^{r}(u_{i}^{T}x)u_{i}$. Покажите, что при $x \notin M$ эта же сумма $\sum_{i=1}^{r}(u_{i}^{T}x)u_{i}$ является точкой в $M$, ближайшей к $x$, — т.е. покажите, что $\sum_{i=1}^{r}(u_{i}^{T}x)u_{i} = P_{M}x$.

Определите ортогональную проекцию $b$ на $M$, где

Пусть $M$ и $N$ — подпространства векторного пространства $V$, и рассмотрим соответствующие ортогональные проекторы $P_{M}$ и $P_{N}$.

Пусть $M$ и $N$ — подпространства одного и того же векторного пространства, и пусть $P_{M}$ и $P_{N}$ — ортогональные проекторы на $M$ и $N$ соответственно.

Докажите, что если $M$ и $N$ — подпространства одного и того же векторного пространства, то ортогональный проектор на $M\cap N$ задаётся формулой $P_{M\cap N} = 2P_{M}(P_{M}+P_{N})^{\dagger }P_{N}$.

Для квадратной матрицы $X$ матричная экспонента определяется как $e^{X} = I+X+\dfrac {X^{2}}{2!}+\dfrac {X^{3}}{3!}+\cdots = \sum_{n=0}^{\infty } \dfrac {X^{n}}{n!}$, и её допустимо дифференцировать/интегрировать почленно, что даёт $de^{At}/dt = Ae^{At} = e^{At}A$ и $\int e^{At}A\, dt = e^{At}$.

Аффинное пространство $v+M \subseteq \mathbb {R}^{n}$, для которого $\dim M = n-1$, называется гиперплоскостью.

Для $u,w \in \mathbb {R}^{n}$ таких, что $u^{T}w \neq 0$, пусть $M = u^{\perp }$ и $W = \left\langle w\right\rangle$.

Для совместной системы $A_{n\times r}x=b$ с $\operatorname {rk}\left(A\right)=r$ отмасштабируем строки так, чтобы $\left\| A_{i*}\right\|_{2}=1$ для каждого $i$, и пусть $H_{i} = \left\{ x \mid A_{i*}x=b_{i}\right\}$ — гиперплоскость, определяемая $i$-м уравнением. Начиная с произвольного вектора $p_{0}$, последовательность Качмажа порождается двойным циклом Для $k=0,1,2,3,\ldots$ Для $i=1,2,\ldots ,n$ $p_{kn+i} = p_{kn+i-1} - (A_{i*}p_{kn+i-1}-b_{i})(A_{i*})^{T}$ Докажите, что последовательность Качмажа сходится к решению $x$ системы $Ax=b$, показав, что

Предположим, что невырожденная система $A_{n\times n}x=b$ отмасштабирована по строкам так, что $\left\| A_{i*}\right\|_{2}=1$ для каждого $i$, и пусть $H_{i} = \left\{ x \mid A_{i*}x=b_{i}\right\}$. Теоретически систему можно решить с помощью $n-1$ косых проекций (упражнение 5.13.18): произвольная точка $p_{1}$ в $H_{1}$ косо проецируется на $H_{2}$ вдоль $H_{1}$, давая $p_{2} \in H_{1}\cap H_{2}$, затем $p_{2}$ проецируется на $H_{3}$ вдоль $H_{1}\cap H_{2}$, давая $p_{3}$, и так далее. Поскольку $\bigcap_{i=1}^{k} H_{i}$, как правило, неизвестно, процедура модифицируется — воспользуйтесь следующим рисунком, показывающим случай $n=3$, в качестве ориентира.

Последовательные косые проекции при n=3: p_1^{(1)} проецируется через p_2^{(1)}, p_3^{(1)} на \mathcal{H}_2, давая точки в \mathcal{H}_1 \cap \mathcal{H}_2.

Шаг 0. Начните с любого набора $\left\{ p_{1}^{(1)}, p_{2}^{(1)}, \ldots , p_{n}^{(1)}\right\} \subset H_{1}$ такого, что $\left\{ p_{1}^{(1)}-p_{2}^{(1)}, \ldots , p_{1}^{(1)}-p_{n}^{(1)}\right\}$ линейно независим и $A_{2*}(p_{1}^{(1)}-p_{k}^{(1)}) \neq 0$ для $k=2,\ldots ,n$. Шаг 1. По очереди спроецируйте $p_{1}^{(1)}$ на $H_{2}$ через $p_{2}^{(1)},\ldots ,p_{n}^{(1)}$, чтобы получить $\left\{ p_{2}^{(2)},\ldots ,p_{n}^{(2)}\right\} \subset H_{1}\cap H_{2}$. Шаг 2. Спроецируйте $p_{2}^{(2)}$ на $H_{3}$ через $p_{3}^{(2)},\ldots ,p_{n}^{(2)}$, чтобы получить $\left\{ p_{3}^{(3)},\ldots ,p_{n}^{(3)}\right\} \subset H_{1}\cap H_{2}\cap H_{3}$, и так далее. Шаг $n-1$. Спроецируйте $p_{n-1}^{(n-1)}$ через $p_{n}^{(n-1)}$, чтобы получить $p_{n}^{(n)} \in \bigcap_{i=1}^{n} H_{i}$. Тогда $x = p_{n}^{(n)}$ является решением. Объясните, почему следующий алгоритм выполняет вычисления шагов $1,2,\ldots ,n-1$. Для $i=2$ до $n$ Для $j=i$ до $n$ $x_{j} \leftarrow x_{j} - (A_{i*}x_{i-1}-b_{i})\dfrac {x_{i-1}-x_{j}}{A_{i*}(x_{i-1}-x_{j})}$ $x \leftarrow x_{n}$ (решение системы)

Пусть $M$ — подпространство $\mathbb {R}^{n}$, и пусть $R = I-2P_{M}$. Докажите, что ортогональное расстояние между произвольной точкой $x \in \mathbb {R}^{n}$ и $M^{\perp }$ такое же, как ортогональное расстояние между $Rx$ и $M^{\perp }$ (т.е. $R$ отражает всё относительно $M^{\perp }$).

В 1938 году итальянский математик Джанфранко Чиммино использовал следующее элементарное наблюдение для построения итерационного алгоритма решения линейных систем. Для системы $2\times 2$ вида $Ax=b$ пусть $H_{1}$ и $H_{2}$ — две прямые (гиперплоскости), задаваемые двумя уравнениями. Для произвольного приближения $r_{0}$ пусть $r_{1}$ — отражение $r_{0}$ относительно прямой $H_{1}$, а $r_{2}$ — отражение $r_{0}$ относительно прямой $H_{2}$. Как показано ниже, три точки $r_{0}$, $r_{1}$ и $r_{2}$ лежат на окружности, центр которой — $H_{1}\cap H_{2}$ (решение системы).

Отражения r_1, r_2 произвольной точки r_0 относительно прямых \mathcal{H}_1, \mathcal{H}_2 лежат вместе с r_0 на окружности с центром в \mathcal{H}_1 \cap \mathcal{H}_2.

Среднее значение $m = (r_{1}+r_{2})/2$ строго внутри окружности, так что $m$ — лучшее приближение к решению, чем $r_{0}$. Наглядно видно, что итерация порождает последовательность, сходящуюся к решению $Ax=b$. Докажите это в общем случае, используя следующий план.