5.12

Сингулярное разложение

[18/100%]
Показать
LaTeX
Задача 5.12.1

Следуя выводу из текста, найдите SVD для C=(−4−63−8)C = \begin{pmatrix} -4& -6 \\ 3& -8 \end{pmatrix}.

?
Задача 5.12.2

Если σ1≥σ2≥⋯≥σr\sigma_{1}\geq \sigma_{2}\geq \cdots \geq \sigma_{r} — ненулевые сингулярные числа матрицы AA, то можно показать, что функция νk(A)=(σ12+σ22+⋯+σk2)1/2\nu_{k}(A) = \left(\sigma_{1}^{2}+\sigma_{2}^{2}+\cdots +\sigma_{k}^{2}\right)^{1/2} задаёт унитарно инвариантную норму (упражнение 5.6.9) на Rm×n\mathbb {R}^{m\times n} (или Cm×n\mathbb {C}^{m\times n}) для каждого k=1,2,…,rk=1,2,\ldots ,r. Объясните, почему 2-норма и норма Фробениуса являются крайними случаями в том смысле, что ∥A∥22=σ12\left\| A\right\|_{2}^{2} = \sigma_{1}^{2} и ∥A∥F2=σ12+σ22+⋯+σr2\left\| A\right\|_{F}^{2} = \sigma_{1}^{2}+\sigma_{2}^{2}+\cdots +\sigma_{r}^{2}.

?
Примечание.
?

Уравнение (5.12.4): σ1=max⁡∥x∥2=1∥Ax∥2=∥A∥2\sigma_{1} = \max_{\left\| x\right\|_{2}=1}\left\| Ax\right\|_{2} = \left\| A\right\|_{2}.

Задача 5.12.3

Объясните, почему ∥A∥2≤∥A∥F≤n∥A∥2\left\| A\right\|_{2} \leq \left\| A\right\|_{F} \leq \sqrt{n}\left\| A\right\|_{2} (элементы (2,F)(2,F) и (F,2)(F,2) таблицы эквивалентности матричных норм из упражнения 5.1.8/собственной ограничивающей матрицы упражнения 5.12.3).

?
Задача 5.12.4

Докажите, что если σ1≥σ2≥⋯≥σr\sigma_{1}\geq \sigma_{2}\geq \cdots \geq \sigma_{r} — ненулевые сингулярные числа матрицы AA ранга rr, и если ∥E∥2<σr\left\| E\right\|_{2} < \sigma_{r}, то rk⁡(A+E)≥rk⁡(A)\operatorname {rk}\left(A+E\right) \geq \operatorname {rk}\left(A\right).

?
Примечание.
?

(5.12.10): если σ1≥⋯≥σr\sigma_{1}\geq \cdots \geq \sigma_{r} — ненулевые сингулярные числа матрицы Am×nA_{m\times n}, то для каждого k<rk<r расстояние от AA до ближайшей матрицы ранга kk равно σk+1=min⁡rk⁡(B)=k∥A−B∥2\sigma_{k+1} = \min_{\operatorname {rk}\left(B\right)=k}\left\| A-B\right\|_{2}. Это проясняет смысл выражения «достаточно малый» в утверждении о том, что малые возмущения не могут уменьшить ранг.

Задача 5.12.5

Обобщите результат об образе единичной сферы, включив сингулярные и прямоугольные матрицы, показав, что если σ1≥σ2≥⋯≥σr>0\sigma_{1}\geq \sigma_{2}\geq \cdots \geq \sigma_{r}>0 — ненулевые сингулярные числа матрицы Am×nA_{m\times n}, то образ A(S2)⊂RmA(S_{2}) \subset \mathbb {R}^{m} единичной 2-сферы S2⊂RnS_{2}\subset \mathbb {R}^{n} является эллипсоидом (возможно, вырожденным), у которого kk-я полуось равна σkU∗k=AV∗k\sigma_{k}U_{*k} = AV_{*k}, где U∗kU_{*k} и V∗kV_{*k} — соответственно левые и правые сингулярные векторы матрицы AA.

?
Задача 5.12.6

Докажите, что если σr\sigma_{r} — наименьшее ненулевое сингулярное число матрицы Am×nA_{m\times n}, то

σr=min⁡∥x∥2=1x∈R(AT)∥Ax∥2=1/∥A†∥2. \sigma _{r} = \min _{\substack {\left\| x\right\| _{2}=1 \\ x \in \mathcal{R}(A^{T})}} \left\| Ax\right\| _{2} = 1/\left\| A^{\dagger }\right\| _{2}.
?
Задача 5.12.7

Обобщите оценку κ−1∥e∥/∥b∥≤∥x−x~∥/∥x∥≤κ∥e∥/∥b∥\kappa^{-1}\left\| e\right\| /\left\| b\right\| \leq \left\| x-\tilde{x}\right\| /\left\| x\right\| \leq \kappa \left\| e\right\| /\left\| b\right\| (где κ=∥A∥∥A−1∥\kappa = \left\| A\right\| \left\| A^{-1}\right\| — для анализа неопределённости невырожденной системы), включив сингулярные и прямоугольные матрицы, показав, что если xx и x~\tilde{x} — соответствующие решения с минимальной 2-нормой совместных систем Ax=bAx=b и Ax~=b~=b−eA\tilde{x} = \tilde{b} = b-e, то

κ−1∥e∥∥b∥≤∥x−x~∥∥x∥≤κ∥e∥∥b∥,где κ=∥A∥∥A†∥. \kappa ^{-1}\frac{\left\| e\right\| }{\left\| b\right\| } \leq \frac{\left\| x-\tilde{x}\right\| }{\left\| x\right\| } \leq \kappa \frac{\left\| e\right\| }{\left\| b\right\| }, \qquad \text{где } \kappa = \left\| A\right\| \left\| A^{\dagger }\right\| .

Можно ли использовать те же рассуждения, что и в примере с неопределённостью для невырожденного случая, чтобы утверждать, что для ∥⋆∥2\left\| \star \right\|_{2} верхняя и нижняя границы достижимы для любой AA?

?
Задача 5.12.8

Докажите, что если ∣ϵ∣<σr2\left|\epsilon \right| < \sigma_{r}^{2} для наименьшего ненулевого сингулярного числа матрицы Am×nA_{m\times n}, то (ATA+ϵI)−1(A^{T}A+\epsilon I)^{-1} существует, и lim⁡ϵ→0(ATA+ϵI)−1AT=A†\lim_{\epsilon \to 0}(A^{T}A+\epsilon I)^{-1}A^{T} = A^{\dagger }.

?
Задача 5.12.9

Рассмотрим систему Ax=bAx=b, в которой A=(.835.667.333.266)A = \begin{pmatrix} .835& .667 \\ .333& .266 \end{pmatrix}, и предположим, что bb подвержен неопределённости ee. Используя ∞\infty-нормы, определите направления bb и ee, приводящие к наихудшему случаю ∥x−x~∥∞/∥x∥∞=κ∞∥e∥∞/∥b∥∞\left\| x-\tilde{x}\right\|_{\infty }/\left\| x\right\|_{\infty } = \kappa_{\infty }\left\| e\right\|_{\infty }/\left\| b\right\|_{\infty }.

?
Задача 5.12.10

Плохую обусловленность матрицы подозревают, когда при LU-разложении AA появляется малый ведущий элемент uiiu_{ii} (поскольку тогда [U−1]ii=1/uii\left[U^{-1}\right]_{ii} = 1/u_{ii} велик), однако это не абсолютный критерий.

?
(a)

Постройте пример матрицы, которая хорошо обусловлена, но имеет малый ведущий элемент.

(b)

Постройте пример матрицы, которая плохо обусловлена, но не имеет малых ведущих элементов.

Задача 5.12.11

Оцените относительную неопределённость решения невырожденной системы Ax=bAx=b, в которой есть некоторая неопределённость в AA, но не в bb, показав, что если (A−E)x~=b(A-E)\tilde{x}=b, где α=∥A−1E∥<1\alpha = \left\| A^{-1}E\right\| < 1 для любой матричной нормы с ∥I∥=1\left\| I\right\| =1, то

∥x−x~∥∥x∥≤κ1−α∥E∥∥A∥,где κ=∥A∥∥A−1∥. \frac{\left\| x-\tilde{x}\right\| }{\left\| x\right\| } \leq \frac{\kappa }{1-\alpha }\frac{\left\| E\right\| }{\left\| A\right\| }, \qquad \text{где } \kappa = \left\| A\right\| \left\| A^{-1}\right\| .
?
Примечание.
?

Если используется 2-норма, то ∥E∥2<σn\left\| E\right\|_{2}<\sigma_{n} гарантирует α<1\alpha <1.

Задача 5.12.12

Теперь оцените относительную неопределённость решения невырожденной системы Ax=bAx=b, в которой есть некоторая неопределённость и в AA, и в bb, показав, что если (A−E)x~=b−e(A-E)\tilde{x} = b-e, где α=∥A−1E∥<1\alpha = \left\| A^{-1}E\right\| < 1 для любой матричной нормы с ∥I∥=1\left\| I\right\| =1, то

∥x−x~∥∥x∥≤κ1−κ∥E∥/∥A∥(∥e∥∥b∥+∥E∥∥A∥),где κ=∥A∥∥A−1∥. \frac{\left\| x-\tilde{x}\right\| }{\left\| x\right\| } \leq \frac{\kappa }{1-\kappa \left\| E\right\| /\left\| A\right\| }\left(\frac{\left\| e\right\| }{\left\| b\right\| } + \frac{\left\| E\right\| }{\left\| A\right\| }\right), \qquad \text{где } \kappa = \left\| A\right\| \left\| A^{-1}\right\| .
?
Примечание.
?

Если используется 2-норма, то ∥E∥2<σn\left\| E\right\|_{2}<\sigma_{n} гарантирует α<1\alpha <1. Это упражнение подчёркивает вывод о том, что если AA хорошо обусловлена, а относительные неопределённости в AA и bb малы, то относительная неопределённость в xx также должна быть малой.

Задача 5.12.13

Рассмотрим матрицу A=(−4−2−4−22−221−41−4−2)A = \begin{pmatrix} -4& -2& -4& -2 \\ 2& -2& 2& 1 \\ -4& 1& -4& -2 \end{pmatrix}.

?
(a)

Используя URV-разложение, вычисленное в упражнении 5.11.8, найдите A†A^{\dagger }.

(b)

Теперь используйте URV-разложение, полученное в упражнении 5.11.9, чтобы найти A†A^{\dagger }. Согласуются ли ваши результаты с результатами пункта (а)?

Задача 5.12.14

Для матрицы AA из упражнения 5.11.8 и b=(−123−9)Tb = \begin{pmatrix} -12& 3& -9 \end{pmatrix}^{T} найдите решение Ax=bAx=b, имеющее минимальную евклидову норму.

?
Примечание.
?

Уравнение (5.12.17): когда Ax=bAx=b совместна, x=A†bx = A^{\dagger }b — решение минимальной евклидовой нормы.

Задача 5.12.15

Пусть A=URVTA = URV^{T} — URV-разложение (в частности, это может быть SVD) матрицы m×nm\times n ранга rr, и пусть UU разбита на блоки U=[U1∣U2]U = \left[U_{1}\mid U_{2}\right], где U1U_{1} имеет размер m×rm\times r. Докажите, что P=U1U1T=AA†P = U_{1}U_{1}^{T} = AA^{\dagger } — это проектор на R(A)\mathcal{R}(A) вдоль N(AT)\mathcal{N}(A^{T}).

?
Примечание.
?

В этом случае PP называют ортогональным проектором, поскольку его образ ортогонален его ядру. Каков ортогональный проектор на N(AT)\mathcal{N}(A^{T}) вдоль R(A)\mathcal{R}(A)?

Задача 5.12.16

Установите следующие свойства A†A^{\dagger }.

?
(a)

A†=A−1A^{\dagger } = A^{-1}, когда AA невырождена.

(b)

(A†)†=A(A^{\dagger })^{\dagger } = A.

(c)

(A†)T=(AT)†(A^{\dagger })^{T} = (A^{T})^{\dagger }.

(d)

A†={(ATA)−1ATкогда rk⁡(Am×n)=n,AT(AAT)−1когда rk⁡(Am×n)=m.A^{\dagger } = \begin{cases} (A^{T}A)^{-1}A^{T} & \text{когда } \operatorname {rk}\left(A_{m\times n}\right)=n, \\ A^{T}(AA^{T})^{-1} & \text{когда } \operatorname {rk}\left(A_{m\times n}\right)=m. \end{cases}

(e)

AT=ATAA†=A†AATA^{T} = A^{T}AA^{\dagger } = A^{\dagger }AA^{T} для всех A∈Rm×nA \in \mathbb {R}^{m\times n}.

(f)

A†=AT(AAT)†=(ATA)†ATA^{\dagger } = A^{T}(AA^{T})^{\dagger } = (A^{T}A)^{\dagger }A^{T} для всех A∈Rm×nA \in \mathbb {R}^{m\times n}.

(g)

R(A†)=R(AT)=R(A†A)\mathcal{R}(A^{\dagger }) = \mathcal{R}(A^{T}) = \mathcal{R}(A^{\dagger }A), и N(A†)=N(AT)=N(AA†)\mathcal{N}(A^{\dagger }) = \mathcal{N}(A^{T}) = \mathcal{N}(AA^{\dagger }).

(h)

(PAQ)†=QTA†PT(PAQ)^{\dagger } = Q^{T}A^{\dagger }P^{T}, когда PP и QQ — ортогональные матрицы, но в общем случае (AB)†≠B†A†(AB)^{\dagger } \neq B^{\dagger }A^{\dagger } (закон обратного порядка не выполняется).

(i)

(ATA)†=A†(AT)†(A^{T}A)^{\dagger } = A^{\dagger }(A^{T})^{\dagger } и (AAT)†=(AT)†A†(AA^{T})^{\dagger } = (A^{T})^{\dagger }A^{\dagger }.

Задача 5.12.17

Объясните, почему A†=ADA^{\dagger } = A^{D} тогда и только тогда, когда AA — RPN-матрица (то есть R(A)⊥N(A)\mathcal{R}(A)\perp \mathcal{N}(A)).

?
Задача 5.12.18

Пусть X,Y∈Rm×nX, Y \in \mathbb {R}^{m\times n} таковы, что R(X)⊥R(Y)\mathcal{R}(X) \perp \mathcal{R}(Y).

?
(a)

Установите теорему Пифагора для матриц, доказав, что ∥X+Y∥F2=∥X∥F2+∥Y∥F2\left\| X+Y\right\|_{F}^{2} = \left\| X\right\|_{F}^{2} + \left\| Y\right\|_{F}^{2}.

(b)

Приведите пример, показывающий, что результат пункта (а) не выполняется для матричной 2-нормы.

(c)

Покажите, что A†A^{\dagger } является наилучшим приближённым обратным для AA в том смысле, что A†A^{\dagger } — это матрица наименьшей нормы Фробениуса, минимизирующая ∥I−AX∥F\left\| I-AX\right\|_{F}.