Нормы, скалярные произведения и ортогональность
[208/100%]Найдите 1-, 2- и -нормы для и .
Рассмотрим евклидову норму с и .
Определите расстояние между и .
Проверьте, что неравенство треугольника выполняется для и .
Проверьте, что неравенство КБШ выполняется для и .
Покажите, что для .
Используя евклидову норму, опишите замкнутый шар в с центром в начале координат и единичным радиусом.
Опишите замкнутый шар с центром в точке радиуса .
Если таковы, что , чему равно ?
Объясните, почему верно для всех норм.
Для произвольной векторной нормы на докажите, что непрерывно зависит от компонент в том смысле, что для каждого найдётся такое , что , как только для каждого .
Для объясните, почему .
Для покажите, что , где — это -элемент следующей матрицы. (См. упражнение 5.12.3 для аналогичного утверждения относительно матричных норм.)
Для , , объясните, почему равенство в неравенстве КБШ имеет место тогда и только тогда, когда , где .
Формула (5.1.4) из доказательства неравенства КБШ утверждает, что при
Для ненулевых векторов с евклидовой нормой докажите, что равенство в неравенстве треугольника имеет место тогда и только тогда, когда , где вещественно и положительно.
Используя неравенство Гёльдера
(где , , ), докажите, что если компоненты в сумме дают нуль (т.е. для ), то
для всех .
Для векторов с "нулевой суммой" эта оценка не хуже, а обычно и точнее, чем само неравенство Гёльдера, поскольку .
Классическая форма неравенства Гёльдера утверждает, что если и — вещественные числа, такие что , то
Выведите это неравенство, выполнив следующие шаги:
Рассматривая функцию при , установите неравенство
для неотрицательных вещественных чисел и .
Пусть и ; применяя неравенство из пункта (а), получите
Выведите классическую форму неравенства Гёльдера, а затем объясните, почему из этого следует, что .
Неравенство треугольника для общей -нормы на самом деле является классическим неравенством Минковского, которое утверждает, что при
Выведите неравенство Минковского.
Вычислите норму Фробениуса для каждой из следующих матриц.
Вычислите индуцированные 1-, 2- и -матричные нормы для каждой из трёх матриц, заданных в упражнении 5.2.1: , , .
Объясните, почему для любой индуцированной матричной нормы .
Чему равно ?
Объясните, почему для нормы Фробениуса .
Для матриц и и для векторов установите следующие свойства согласованности между векторной нормой, определённой на каждом , и соответствующей индуцированной матричной нормой .
Покажите, что .
Покажите, что .
Объясните, почему .
Установите следующие свойства матричной 2-нормы.
,
,
,
(считать вещественными),
, когда и .
Используя индуцированную матричную норму , докажите, что если невырождена, то
Для и параметра матрица называется резольвентой . Докажите, что если для любой индуцированной матричной нормы, то
Обратное неравенство треугольника (пример 5.1.1) утверждает, что .
Для , определите, какие из следующих выражений являются скалярными произведениями для .
,
,
,
.
Скалярное произведение на вещественном векторном пространстве — это функция упорядоченных пар векторов, удовлетворяющая условиям: вещественно и , причём тогда и только тогда, когда ; для всех скаляров ; ; и .
Для общего пространства со скалярным произведением объясните, почему каждое из следующих утверждений верно.
Если для всех , то .
для всех и всех скаляров .
для всех .
Пусть — пространство со скалярным произведением . Объясните, почему функция, заданная как , удовлетворяет первым двум общим свойствам матричной нормы с , и .
Для вещественного пространства со скалярным произведением, где , выведите неравенство
Для матриц и размера объясните, почему каждое из следующих неравенств справедливо.
.
для вещественных матриц.
для вещественных матриц.
Пример 5.3.3: для , снабжённых стандартным матричным скалярным произведением и соответствующей нормой Фробениуса , неравенство КБШ даёт .
Распространите доказательство обратного утверждения к тождеству параллелограмма на комплексные пространства.
Тождество параллелограмма утверждает, что для заданной нормы на векторном пространстве существует скалярное произведение на , такое что , тогда и только тогда, когда выполняется для всех . Для вещественного пространства, удовлетворяющего этому тождеству, скалярное произведение, восстанавливающее норму, есть .
Объясните, почему не существует скалярного произведения на (), такого что .
Объясните, почему матричная норма Фробениуса на обязана удовлетворять тождеству параллелограмма.
Для порождена ли скалярным произведением на хотя бы одна из матричных норм 1, 2 или ?
Используя стандартное скалярное произведение, определите, какие из следующих пар являются ортогональными векторами в указанном пространстве.
и в ,
и в ,
и в ,
и в ,
и в .
Найдите два вектора единичной нормы, ортогональных вектору .
Рассмотрим следующий набор из трёх векторов:
Используя стандартное скалярное произведение в , проверьте, что эти векторы попарно ортогональны.
Найдите ненулевой вектор такой, что — набор попарно ортогональных векторов.
Преобразуйте полученный набор в ортонормированный базис пространства .
Используя стандартное скалярное произведение, определите разложение Фурье вектора по , где
Используя скалярное произведение для матриц , проверьте, что набор
является ортонормированным базисом пространства , а затем вычислите разложение Фурье матрицы по .
Определите угол между и .
Дан ортонормированный базис пространства ; объясните, почему разложение Фурье вектора однозначно определяется базисом .
Объясните, почему столбцы матрицы образуют ортонормированный базис пространства тогда и только тогда, когда .
Такие матрицы называются унитарными; их свойства изучаются в одном из следующих разделов.
Матрицы со свойством называются нормальными (эрмитовы матрицы, а также вещественные симметричные матрицы входят в этот класс). Докажите, что если нормальна, то — то есть каждый вектор из образа матрицы ортогонален каждому вектору из её нуль-пространства.
Для уравнения (4.5.5)-(4.5.6) утверждают, что , , и .
Используя скалярное произведение через след , определите угол между следующими парами матриц.
и .
и .
Почему определение не годится для ? Объясните, как следует определить , чтобы оно имело смысл в .
Если — ортонормированный базис пространства со скалярным произведением , объясните, почему
выполняется для всех .
Рассмотрим вещественное пространство со скалярным произведением, где .
Докажите, что если , то .
Для стандартного скалярного произведения в нарисуйте картинку, иллюстрирующую это. То есть изобразите расположение и для двух векторов с равными нормами.
Пусть — общее пространство со скалярным произведением, в котором .
Если — вещественное пространство, докажите, что тогда и только тогда, когда .
Постройте пример, показывающий, что одна из импликаций в пункте (а) не выполняется, когда — комплексное пространство.
Если — комплексное пространство, докажите, что тогда и только тогда, когда для всех скаляров и .
Пусть — ортонормированный базис пространства со скалярным произведением , и пусть — разложение Фурье вектора .
Если — вещественное пространство и — угол между и , объясните, почему . Сделайте набросок этого в или , чтобы показать, почему компонента представляет собой ортогональную проекцию на прямую, определяемую вектором , и тем самым проиллюстрируйте тот факт, что разложение Фурье — это не что иное, как разложение на взаимно ортогональные компоненты.
Выведите равенство Парсеваля, которое утверждает, что .
Пусть — ортонормированное множество в -мерном пространстве со скалярным произведением . Выведите неравенство Бесселя, которое утверждает, что если и , то
Объясните, почему равенство выполняется тогда и только тогда, когда .
Постройте пример со стандартным скалярным произведением в , показывающий, что угол между двумя векторами и может быть близок к , при этом не будет близко к .
Пример 5.4.3 показывает, что линейно коррелирует с в том смысле, что , тогда и только тогда, когда стандартизованные векторы и «близки» в том смысле, что они почти лежат на одной прямой в (где — среднее и стандартное отклонение компонент , и аналогично для ). Объясните, почему простое измерение не всегда позволяет оценить степень линейной корреляции.
Пусть — угол между двумя векторами и из вещественного пространства со скалярным произведением.
Докажите, что тогда и только тогда, когда при .
Докажите, что тогда и только тогда, когда при .
Относительно ортонормированного множества
определите разложение в ряд Фурье пилообразной функции, заданной как для (продолженной периодически).
Периодическое продолжение пилообразной функции f(t)=t на (-\pi ,\pi ).
Пусть .
Используйте классический алгоритм Грама--Шмидта (с точной арифметикой), чтобы определить ортонормированный базис пространства .
Непосредственно проверьте, что последовательность Грама--Шмидта, полученная в пункте (а), действительно является ортонормированным базисом пространства .
Повторите пункт (а), используя модифицированный алгоритм Грама--Шмидта, и сравните результаты.
Используйте процедуру Грама--Шмидта, чтобы найти ортонормированный базис для четырех фундаментальных подпространств матрицы .
Примените процедуру Грама--Шмидта со стандартным скалярным произведением в к множеству .
Объясните, что произойдет, если процесс Грама--Шмидта применить к ортонормированному множеству векторов.
Объясните, что произойдет, если процесс Грама--Шмидта применить к линейно зависимому множеству векторов.
Пусть и .
Определите прямоугольное QR-разложение матрицы .
Используя QR-множители из пункта (а), найдите решение методом наименьших квадратов уравнения .
Дан линейно независимый набор векторов в пространстве со скалярным произведением; пусть для . Приведите индукционное рассуждение, доказывающее, что если — последовательность Грама-Шмидта
то действительно является ортонормированным базисом для при каждом .
Докажите, что если , то прямоугольное QR-разложение матрицы единственно. То есть, если , где имеет ортонормированные столбцы, а верхнетреугольная с положительными диагональными элементами, то и единственны.
Формула (5.5.6) показывает, что если , где имеет ортонормированные столбцы, то . Пример 3.10.7 утверждает, что разложение Холецкого положительно определённой матрицы единственно.
Примените классический процесс Грама-Шмидта с 3-значной арифметикой с плавающей точкой к . Можно считать, что .
Снова используя 3-значную арифметику с плавающей точкой, примените модифицированный алгоритм Грама-Шмидта к и сравните результат с результатом из пункта (а).
В зависимости от того, как определены скалярные произведения , убедитесь, что следующий код реализует как классический, так и модифицированный алгоритмы Грама-Шмидта, применённые к набору векторов . Для до Для до Конец Если , завершить (поскольку ) Иначе Конец Если используется точная арифметика, будут ли скалярные произведения одинаковыми для обеих реализаций?
Пусть — пространство со скалярным произведением, состоящее из вещественнозначных непрерывных функций, определённых на отрезке , где скалярное произведение определено как , и пусть — подпространство в , порождённое тремя линейно независимыми многочленами , , .
Используя процесс Грама-Шмидта, найдите ортонормированное множество многочленов , порождающее . Эти многочлены являются первыми тремя нормированными многочленами Лежандра.
Проверьте, что удовлетворяет дифференциальному уравнению Лежандра при .
Определите, какие из следующих матриц являются изометриями.
.
.
.
.
Является ли унитарной матрицей?
Сколько существует матриц , которые одновременно диагональны и ортогональны?
Сколько существует матриц , которые одновременно диагональны и ортогональны?
Сколько существует матриц , которые одновременно диагональны и унитарны?
При каких условиях на вещественные числа и матрица будет ортогональной?
При каких условиях на вещественные числа и матрица будет унитарной?
Пусть и — две унитарные (ортогональные) матрицы .
Объясните, почему произведение обязательно унитарно (ортогонально).
Объясните, почему сумма не обязана быть унитарной (ортогональной).
Объясните, почему обязательно унитарна (ортогональна).
Докажите, как это сделал Кэли в 1846 году, что если косоэрмитова (или вещественная кососимметричная), то унитарна (ортогональна); для этого сначала покажите, что существует для косоэрмитовых матриц, а также что .
Упражнение 3.7.6 устанавливает, что всякий раз, когда невырождена. Существует более прямой подход к этому упражнению, но он требует теоремы о диагонализации нормальных матриц (Упражнение 7.5.5).
Предположим, что и — элементарные отражения.
Является ли элементарным отражением?
Является ли элементарным отражением?
Объясните, почему стандартное скалярное произведение инвариантно относительно унитарного преобразования. То есть, если — произвольная унитарная матрица и если и , то .
Для произвольных двух векторов объясните, почему угол между ними инвариантен относительно ортогонального преобразования. То есть, если и , где — ортогональная матрица, то .
Пусть — матрица с ортонормированными столбцами, а — матрица с ортонормированными строками. Для произвольной решите следующие задачи, используя матричную 2-норму и норму Фробениуса.
Определите значения , , и .
Покажите, что .
Покажите, что .
В частности, эти свойства верны, когда и — унитарные матрицы. Из-за пунктов (б) и (в) 2-норму и норму Фробениуса называют унитарно инвариантными нормами.
Пусть и .
Определите ортогональную проекцию на .
Определите ортогональную проекцию на .
Определите ортогональную проекцию на .
Определите ортогональную проекцию на .
Формула (5.6.6): для ненулевого вектора ортогональный проектор на равен , а ортогональный проектор на равен .
Рассмотрим элементарные ортогональные проекторы (где ).
Докажите, что вырождена.
Теперь докажите, что если имеет размер , то .
Для векторов таких, что , пусть — ортогональная проекция на . Объясните, почему , причём равенство выполняется тогда и только тогда, когда является скалярным кратным .
Формула (5.6.5) утверждает, что . Неравенство Коши—Буняковского—Шварца (5.1.3) утверждает, что .
Пусть .
Определите элементарное отражение такое, что лежит на оси .
Проверьте прямым вычислением, что ваше отражение симметрично, ортогонально и инволютивно.
Дополните до ортонормированного базиса пространства , используя элементарное отражение.
Пусть , где . Если — неподвижная точка в том смысле, что , и если , докажите, что должен быть ортогонален , а затем изобразите эту ситуацию в .
Плоскость неподвижных точек u^{\perp } отражения R = I - 2uu^{*}, с изображённым u и неподвижной точкой x.
Пусть — векторы такие, что , но . Объясните, как построить элементарное отражение такое, что .
Вектор , задающий , можно определить визуально в , рассматривая картину отражения относительно плоскости из построения элементарного отражения (рисунок 5.6.2 источника).
Пусть — вектор такой, что , и разобьём на блоки , где имеет размер .
Если компоненты вещественны и , покажите, что , где , является ортогональной матрицей.
Предположим, что компоненты комплексны. Если и — число, определённое как , если вещественно, и , если не вещественно, покажите, что матрица , где , унитарна.
Эти результаты дают простой способ дополнить заданный вектор до ортонормированного базиса всего пространства или .
Выполните следующую последовательность поворотов в , начиная с .
-
Поверните против часовой стрелки на вокруг оси , получив .
-
Поверните по часовой стрелке на вокруг оси , получив .
-
Поверните против часовой стрелки на вокруг оси , получив . Найдите координаты , а также ортогональную матрицу такую, что .
Матрицы поворота против часовой стрелки вокруг каждой координатной оси на угол имеют вид , , ; поворот по часовой стрелке на угол — это .
Имеет ли значение порядок, в котором выполняются повороты в ? Например, предположим, что вектор сначала поворачивается против часовой стрелки вокруг оси на угол , а затем этот вектор поворачивается против часовой стрелки вокруг оси на угол . Будет ли результат таким же, как если сначала повернуть против часовой стрелки вокруг оси на угол , а затем выполнить поворот против часовой стрелки вокруг оси на угол ?
Для каждого ненулевого вектора докажите, что .
Матрица, удовлетворяющая условию , называется инволюцией или инволютивной матрицей, а матрица , удовлетворяющая условию , называется проектором или идемпотентной матрицей. Покажите, что между множеством инволюций и множеством проекторов в существует взаимно однозначное соответствие.
Формулы (5.6.6)-(5.6.7) показывают, что элементарный отражатель (являющийся инволюцией) строится из проектора по формуле .
При использовании компьютера для построения и отображения трёхмерного выпуклого многогранника желательно не отрисовывать те грани, которые должны быть скрыты от наблюдателя. Векторное произведение в можно использовать для того, чтобы определить, какие грани видимы, а какие нет: если и , то — это вектор, ортогональный как , так и , направление которого задаётся правилом правой руки.
Слева: наблюдатель, расположенный на положительной полуоси x и смотрящий в сторону начала координат (источник — рисунок 5.6.6). В центре: правило правой руки для u \times v (источник — рисунок 5.6.8). Справа: грань с вершинами p_0,p_1,p_2 и внешней нормалью n (источник — рисунок 5.6.9).
Предположим, что начало координат находится внутри многогранника, и рассмотрим отдельную грань и три вершины на этой грани, перечисленные против часовой стрелки, если смотреть снаружи грани. Вектор ортогонален грани и направлен наружу. Объясните, почему внешняя сторона грани видна наблюдателю, расположенному на положительной полуоси и смотрящему в сторону начала координат, тогда и только тогда, когда первая компонента внешней нормали положительна. Другими словами, грань отрисовывается тогда и только тогда, когда .
Используя приведение Хаусхолдера, вычислите QR-разложение матрицы .
Повторите пункт (а), используя приведение Гивенса.
Для предположим, что , и пусть — ортогональная матрица такая, что , где — верхняя треугольная матрица. Если разбита на блоки как , объясните, почему столбцы матрицы образуют ортонормированный базис для .
Используя приведение Хаусхолдера, найдите ортонормированный базис для , где .
Уравнение (5.7.1): для , первого столбца матрицы , положим (где определено, как в (5.6.10)) и построим элементарный отражатель , который обнуляет каждый элемент ниже первого ведущего элемента матрицы .
Используя приведение Хаусхолдера, вычислите решение методом наименьших квадратов для , где и .
Если — QR-разложение для , объясните, почему .
Найдите ортогональную матрицу такую, что имеет верхнюю форму Хессенберга, где .
Пусть — матрица верхней формы Хессенберга, и предположим, что , где — невырожденная верхнетреугольная матрица. Докажите, что , а также произведение , также должны иметь верхнюю форму Хессенберга.
Приблизительно сколько умножений требуется, чтобы привести невырожденную матрицу верхней формы Хессенберга к верхнетреугольной форме с помощью плоских вращений?
Вычислите следующие свёртки (используя свёртку двух векторов, как определено в этом разделе: для , , вектор размера , -й элемент которого равен , с дополнением при ).
.
.
.
Вычислите дискретное преобразование Фурье для .
Вычислите обратное преобразование для .
Пример 5.8.1 даёт и (используя , т.е. имеет те же элементы, что и , что в данном действительно-симметричном сопряжённом случае совпадает с с точностью до сопряжения каждого элемента).
Проверьте непосредственно, что , где определены, как в разложении матрицы Фурье (5.8.15): для , , где ( — первообразный корень -й степени из единицы, используемый на протяжении всего раздела) и — матрица перестановки чётных-нечётных индексов.
Используя следующие векторы, выполните указанные вычисления: , , , .
Вычислите , и (где — покомпонентное произведение).
Используя , приведённую в примере 5.8.1, вычислите . Сравните результат с тем, что гарантирует теорема о свёртке.
Для и вычислите произведение , используя теорему о свёртке.
Теорема о свёртке: для с дополненными нулями формами и выполняется , так что . По примеру 5.8.4, если и (коэффициенты дополнены нулями до ), то вектор коэффициентов в точности равен .
Используя свёртки, образуйте следующие произведения.
.
.
.
Интерпретация строки цифр числа по основанию как вектора коэффициентов многочлена, вычисленного в точке , сводит умножение к свёртке (пример 5.8.4), за которой следует перенос разрядов (замена всюду, где цифра достигает основания или превышает его).
Пусть и — векторы размера , где — степень двойки.
Покажите, что число умножений, необходимых для получения по определению свёртки, равно .
Покажите, что число умножений, необходимых для получения с помощью БПФ в сочетании с теоремой о свёртке, равно .
Для пункта (а): . Для пункта (б): сравните построенный график (отбросив менее значимое слагаемое ) с , чтобы увидеть масштаб преимущества БПФ при больших .
Волновая форма, заданная конечной суммой , в которой — целые числа и , отсчитывается в восьми равноотстоящих точках между и . Пусть , и пусть
Каково уравнение волновой формы?
Уравнения (5.8.7)-(5.8.8) показывают, что , так что каждая пара импульсов на индексах и в раскрывает (из суммы этих двух элементов) и (из их разности, делённой на ).
Докажите, что для всех — то есть свёртка является коммутативной операцией.
Для и корней -й степени из единицы пусть и . Объясните, почему и .
Для двух многочленов и пусть и , где теперь — корни -й степени из единицы. Объясните, почему коэффициенты произведения должны задаваться формулой
Циркулянтной матрицей называется квадратная матрица вида — то есть элементы каждого столбца совпадают с элементами предыдущего столбца, но сдвинуты на одну позицию вниз с циклическим переносом наверх; -й элемент равен .
Если — циркулянтная матрица, определённая как , и если , проверьте, что .
Объясните, почему матрица Фурье порядка диагонализует в том смысле, что , где — корни -й степени из единицы.
Докажите, что матрица Фурье порядка диагонализует любой циркулянт размера в том смысле, что , где .
Если и — произвольная пара циркулянтов размера , объясните, почему — то есть все циркулянты коммутируют друг с другом.
Для невырожденного циркулянта объясните, как использовать алгоритм БПФ для эффективного выполнения следующих операций.
Решить систему .
Вычислить .
Перемножить два циркулянта .
Для векторов , , и , пусть — циркулянтная матрица размера (упражнение 5.8.12), первый столбец которой равен .
Покажите, что операцию свёртки можно описать как произведение матрицы на вектор, продемонстрировав, что .
Используйте это соотношение, чтобы дать альтернативное доказательство теоремы о свёртке.
Кронекеровым произведением двух матриц и называется матрица размера вида , удовлетворяющая и (когда и определены).
Если , и если — матрица чёт-нечётной перестановки из разложения матрицы Фурье (5.8.15), объясните, почему является матрицей перестановки, соответствующей перестановке с обращением битов (perfect shuffle).
Пусть , и положим . Согласно (5.8.15), матрицу Фурье можно записать как . Докажите, что можно разложить как , где , а — перестановка с обращением битов из пункта (а).
Это означает, что : дискретное преобразование Фурье вектора получается сначала выполнением перестановки с обращением битов, а затем применением последовательных членов — это и есть алгоритм БПФ в разложенной форме.
Для докажите, что
где — корни -й степени из единицы.
Рассмотрим сигнал, заданный конечной суммой , в которой — различные целые числа, и пусть — вектор, содержащий значения в равноотстоящих точках между и (пример 5.8.3). Используя дискретное преобразование Фурье, докажите, что
Формула (5.8.7): .
Пусть — произвольный скаляр, и пусть и . Докажите, что .
Пример 5.8.4: если , то .
Примените алгоритм БПФ к вектору , а затем проверьте, что ваш ответ согласуется с результатом, полученным непосредственным вычислением .
Пусть и — подпространства , базисами которых служат соответственно и .
Объясните, почему и являются дополнительными подпространствами .
Найдите проектор на вдоль , а также дополнительный проектор на вдоль .
Найдите проекцию на вдоль .
Проверьте, что и оба идемпотентны.
Проверьте, что и .
(5.9.4): (с базисами ) являются дополнительными подпространствами тогда и только тогда, когда и — базис . (5.9.12): если столбцы (матриц) — базисы , то проектор на вдоль равен .
Постройте пример пары нетривиальных дополнительных подпространств и объясните, почему ваш пример подходит.
Постройте пример, показывающий, что если , но , то вектор может иметь два разных представления и , где и , но и .
Объясните, почему , где и — подпространства симметричных и кососимметричных матриц размера соответственно. Чему равна проекция на вдоль ?
Упражнение 3.2.6 показывает, что каждая матрица обладает единственным разложением — суммой симметричной и кососимметричной матриц.
Для произвольного векторного пространства пусть и — два подпространства с базисами и соответственно.
Докажите, что тогда и только тогда, когда множество линейно независимо.
Следует ли из линейной независимости , что ?
Если — линейно независимое множество, следует ли отсюда, что и являются дополнительными подпространствами? Почему?
Пусть — проектор, определённый на векторном пространстве . Докажите, что образ проектора есть множество его «неподвижных точек», т.е. .
Предположим, что , и пусть — проектор на вдоль . Докажите, что и .
Объясните, почему для любого проектора . Когда ?
Для проектора с , угол между и («минимальный угол», (5.9.16)) удовлетворяет (уравнение (5.9.18)).
Объясните, почему для всех проекторов, не равных нулю и не равных тождественному оператору.
Докажите, что если — векторы, такие что , то .
Предположим, что и — дополнительные подпространства , и пусть — невырожденная матрица, столбцы и которой образуют соответствующие базисы и . Для произвольного вектора объясните, почему проекцию на вдоль можно получить следующим двухшаговым процессом.
-
Решить систему относительно .
-
Разбить на блоки и положить .
Пусть и — проекторы.
Докажите, что тогда и только тогда, когда и .
Докажите, что тогда и только тогда, когда и .
Докажите, что если — проекторы с одним и тем же образом, а — скаляры такие, что , то является проектором.
Докажите, что для каждого проектора , определённого на .
Пусть — набор подпространств векторного пространства , и пусть обозначает базис для . Докажите, что следующие утверждения эквивалентны.
-
и для каждого .
-
Для каждого вектора существует один и только один способ записать , где .
-
, где при , является базисом для .
Если верно любое из этих утверждений, то говорят, что является прямой суммой , что записывается как . При утверждение (i) и (5.9.1) говорят одно и то же, а (ii), (iii) сводятся к (5.9.3), (5.9.4) соответственно.
Для дополнительных подпространств и пространства пусть — проектор на вдоль , и пусть , где столбцы и составляют базисы для и соответственно. Докажите, что если разбито на блоки как , то
Это означает, что если — линейный оператор на , а (базисы, составляющие столбцы ), то матричное представление относительно имеет вид , где , , , (каждая из них — матричное представление ограниченного оператора).
Предположим, что , где , и пусть — проектор на вдоль . Объясните, почему существуют матрицы и такие, что , где и .
Это факторизация полного ранга для (упражнение 3.9.8).
Для вещественного или комплексного векторного пространства пусть — проектор на вдоль , а — проектор на вдоль . Докажите, что является проектором тогда и только тогда, когда , и при этом условии докажите, что и .
Для вещественного или комплексного векторного пространства пусть — проектор на вдоль , а — проектор на вдоль . Докажите, что является проектором тогда и только тогда, когда , и при этом условии докажите, что и .
Для вещественного или комплексного векторного пространства пусть — проектор на вдоль , а — проектор на вдоль . Докажите, что если , то является проектором на вдоль .
Внутренним псевдообратным для называется матрица такая, что , а внешним псевдообратным для называется матрица , удовлетворяющая . Если является одновременно внутренним и внешним псевдообратным, называется рефлексивным псевдообратным.
Если — совместная система из уравнений с неизвестными, а — любой внутренний псевдообратный для , объясните, почему множество всех решений системы можно записать как .
Пусть и — соответствующие дополнения и , так что и . Докажите, что существует единственный рефлексивный псевдообратный для такой, что и . Покажите, что , где — любой внутренний псевдообратный для , — проектор на вдоль , а — проектор на вдоль .
Если — квадратная матрица индекса , докажите, что .
Если — нильпотентная матрица индекса , опишите компоненты разложения на невырожденную и нильпотентную части.
Докажите, что если — симметричная матрица, то .
Матрица называется нормальной, если . Докажите, что если нормальна, то .
Все симметричные матрицы нормальны, так что этот результат включает упражнение 5.10.3 как частный случай.
Найдите разложение на невырожденную и нильпотентную части, а также псевдообратную Дрэзина для .
Для квадратной матрицы любой скаляр , при котором вырождена, называется собственным значением . Индекс собственного значения определяется как . Определите собственные значения и индекс каждого собственного значения для следующих матриц:
.
.
Пусть — проектор, отличный от единичной матрицы.
Объясните, почему . Чему равен индекс ?
Определите разложение на невырожденную и нильпотентную части.
Пусть — нильпотентная матрица индекса , и пусть — такой вектор, что . Докажите, что множество линейно независимо.
Пусть — квадратная матрица индекса , и пусть .
Объясните, почему линейная система обязательно совместна.
Объясните, почему — единственное решение в .
Объясните, почему общее решение задаётся выражением .
Предположим, что — квадратная матрица индекса , и пусть — псевдообратная Дрэзина матрицы . Объясните, почему является проектором на вдоль . На что и вдоль чего проектирует ?
Алгебраическая группа — это множество вместе с ассоциативной операцией между его элементами, такой что замкнуто относительно этой операции; обладает единичным элементом (единственным); и каждый элемент имеет обратный (единственный). Матричная группа — это множество квадратных матриц, образующее алгебраическую группу относительно обычного матричного умножения.
Покажите, что множество невырожденных матриц размера является матричной группой.
Покажите, что множество унитарных матриц размера является подгруппой невырожденных матриц размера .
Покажите, что множество является матричной группой. В частности, как выглядит единичный элемент и как выглядит обратный элемента ?
Эти аксиомы по существу совпадают с (A1), (A2), (A4), (A5) в определении векторного пространства.
Для сингулярных матриц докажите, что следующие утверждения эквивалентны.
— групповая матрица (т.е. принадлежит некоторой матричной группе).
.
и — дополнительные подпространства.
.
Существуют невырожденные матрицы и такие, что , где .
Пусть для некоторой матричной группы .
Покажите, что единичный элемент является проектором на вдоль , доказав, что должен иметь вид .
Покажите, что групповой обратный к (обратный к в ) должен иметь вид .
Проверьте теорему об ортогональном разложении для .
Теорема об ортогональном разложении: для выполняется и , так что и .
Для пространства со скалярным произведением , чему равно ? Чему равно ?
Найдите базис ортогонального дополнения к .
Для любого пространства со скалярным произведением докажите, что если , то является подпространством в .
Если и — подпространства -мерного пространства со скалярным произведением, докажите, что следующие утверждения верны.
.
.
.
Объясните, почему теорема о ранге и дефекте является следствием теоремы об ортогональном разложении.
Пусть — URV-разложение матрицы размера ранга , и пусть разбита на блоки , где имеет размер . Докажите, что — проектор на вдоль .
В этом случае называется ортогональным проектором, поскольку его образ ортогонален его ядру. Чему равен ортогональный проектор на вдоль ?
Используя метод редукции Хаусхолдера, вычислите URV-разложение, а также ортонормированные базисы четырёх фундаментальных подпространств для .
Вычислите URV-разложение для матрицы из упражнения 5.11.8, используя элементарные преобразования строк вместе с ортогонализацией Грама—Шмидта. Совпадают ли результаты с результатами упражнения 5.11.8?
Для матрицы из упражнения 5.11.8 найдите векторы и такие, что , где . Существует ли более одного выбора для и ?
Постройте квадратную матрицу такую, что , но не ортогонально .
Для сингулярной объясните, почему влечёт , но не наоборот.
Докажите, что вещественно-симметричная матрица эрмитова нормальная (комплексная) RPN (т.е. ). Постройте примеры, показывающие, что ни одна из импликаций необратима.
Пусть — нормальная матрица.
Докажите, что для любого скаляра .
Пусть и — скаляры, такие что и — сингулярные матрицы (собственные значения ). Докажите, что если , то .
Следуя выводу из текста, найдите SVD для .
Если — ненулевые сингулярные числа матрицы , то можно показать, что функция задаёт унитарно инвариантную норму (упражнение 5.6.9) на (или ) для каждого . Объясните, почему 2-норма и норма Фробениуса являются крайними случаями в том смысле, что и .
Уравнение (5.12.4): .
Объясните, почему (элементы и таблицы эквивалентности матричных норм из упражнения 5.1.8/собственной ограничивающей матрицы упражнения 5.12.3).
Докажите, что если — ненулевые сингулярные числа матрицы ранга , и если , то .
(5.12.10): если — ненулевые сингулярные числа матрицы , то для каждого расстояние от до ближайшей матрицы ранга равно . Это проясняет смысл выражения «достаточно малый» в утверждении о том, что малые возмущения не могут уменьшить ранг.
Обобщите результат об образе единичной сферы, включив сингулярные и прямоугольные матрицы, показав, что если — ненулевые сингулярные числа матрицы , то образ единичной 2-сферы является эллипсоидом (возможно, вырожденным), у которого -я полуось равна , где и — соответственно левые и правые сингулярные векторы матрицы .
Докажите, что если — наименьшее ненулевое сингулярное число матрицы , то
Обобщите оценку (где — для анализа неопределённости невырожденной системы), включив сингулярные и прямоугольные матрицы, показав, что если и — соответствующие решения с минимальной 2-нормой совместных систем и , то
Можно ли использовать те же рассуждения, что и в примере с неопределённостью для невырожденного случая, чтобы утверждать, что для верхняя и нижняя границы достижимы для любой ?
Докажите, что если для наименьшего ненулевого сингулярного числа матрицы , то существует, и .
Рассмотрим систему , в которой , и предположим, что подвержен неопределённости . Используя -нормы, определите направления и , приводящие к наихудшему случаю .
Плохую обусловленность матрицы подозревают, когда при LU-разложении появляется малый ведущий элемент (поскольку тогда велик), однако это не абсолютный критерий.
Постройте пример матрицы, которая хорошо обусловлена, но имеет малый ведущий элемент.
Постройте пример матрицы, которая плохо обусловлена, но не имеет малых ведущих элементов.
Оцените относительную неопределённость решения невырожденной системы , в которой есть некоторая неопределённость в , но не в , показав, что если , где для любой матричной нормы с , то
Если используется 2-норма, то гарантирует .
Теперь оцените относительную неопределённость решения невырожденной системы , в которой есть некоторая неопределённость и в , и в , показав, что если , где для любой матричной нормы с , то
Если используется 2-норма, то гарантирует . Это упражнение подчёркивает вывод о том, что если хорошо обусловлена, а относительные неопределённости в и малы, то относительная неопределённость в также должна быть малой.
Рассмотрим матрицу .
Используя URV-разложение, вычисленное в упражнении 5.11.8, найдите .
Теперь используйте URV-разложение, полученное в упражнении 5.11.9, чтобы найти . Согласуются ли ваши результаты с результатами пункта (а)?
Для матрицы из упражнения 5.11.8 и найдите решение , имеющее минимальную евклидову норму.
Уравнение (5.12.17): когда совместна, — решение минимальной евклидовой нормы.
Пусть — URV-разложение (в частности, это может быть SVD) матрицы ранга , и пусть разбита на блоки , где имеет размер . Докажите, что — это проектор на вдоль .
В этом случае называют ортогональным проектором, поскольку его образ ортогонален его ядру. Каков ортогональный проектор на вдоль ?
Установите следующие свойства .
, когда невырождена.
.
.
для всех .
для всех .
, и .
, когда и — ортогональные матрицы, но в общем случае (закон обратного порядка не выполняется).
и .
Объясните, почему тогда и только тогда, когда — RPN-матрица (то есть ).
Пусть таковы, что .
Установите теорему Пифагора для матриц, доказав, что .
Приведите пример, показывающий, что результат пункта (а) не выполняется для матричной 2-нормы.
Покажите, что является наилучшим приближённым обратным для в том смысле, что — это матрица наименьшей нормы Фробениуса, минимизирующая .
Найдите ортогональную проекцию на , а затем определите ортогональную проекцию на , где и .
Пусть и .
Вычислите ортогональные проекторы на каждое из четырёх фундаментальных подпространств, связанных с .
Найдите точку в , ближайшую к .
Для ортогонального проектора докажите, что тогда и только тогда, когда .
Объясните, почему для всех .
Объясните, почему , если — ортонормированный базис для .
Объясните, как использовать методы ортогонального разложения для вычисления ортогональных проекторов на каждое из четырёх фундаментальных подпространств матрицы .
Опишите все ортогональные проекторы размера в .
Опишите все (косые) проекторы размера в .
Прямая в , проходящая через две различные точки и , задаётся как . Если и , то — прямая, не проходящая через начало координат, т.е. не является подпространством. Объясните, как ортогонально спроектировать вектор на .
Объясните, почему является решением по методу наименьших квадратов для тогда и только тогда, когда .
Докажите, что если , где — решение по методу наименьших квадратов для , то .
Пусть — -мерное подпространство в . Если — ортонормированный базис для , и если , то равен своему разложению Фурье относительно : . Покажите, что при эта же сумма является точкой в , ближайшей к , — т.е. покажите, что .
Определите ортогональную проекцию на , где
Является ли это порождающее множество на самом деле ортонормированным базисом?
Пусть и — подпространства векторного пространства , и рассмотрим соответствующие ортогональные проекторы и .
Докажите, что тогда и только тогда, когда .
Верно ли, что тогда и только тогда, когда ? Почему?
Пусть и — подпространства одного и того же векторного пространства, и пусть и — ортогональные проекторы на и соответственно.
Докажите, что .
Объясните, почему тогда и только тогда, когда .
Объясните, почему является ортогональным проектором тогда и только тогда, когда , и в этом случае и .
Докажите, что если и — подпространства одного и того же векторного пространства, то ортогональный проектор на задаётся формулой .
Эта формула обобщает сопротивление цепи, составленной из двух резисторов и , соединённых параллельно, ; выражение называется параллельной суммой и .
Для квадратной матрицы матричная экспонента определяется как , и её допустимо дифференцировать/интегрировать почленно, что даёт и .
Используя тот факт, что для всех , покажите, что .
Если , покажите, что , где .
Для невырожденных матриц покажите, что если , то .
Аффинное пространство , для которого , называется гиперплоскостью.
Докажите, что для заданного скаляра и ненулевого вектора множество является гиперплоскостью в .
Объясните, почему ортогональная проекция на равна .
Для таких, что , пусть и .
Объясните, почему .
Для объясните, почему косая проекция на вдоль задаётся формулой .
Для заданного скаляра пусть — гиперплоскость . Объясните, почему косая проекция на вдоль должна задаваться формулой .
Для совместной системы с отмасштабируем строки так, чтобы для каждого , и пусть — гиперплоскость, определяемая -м уравнением. Начиная с произвольного вектора , последовательность Качмажа порождается двойным циклом Для Для Докажите, что последовательность Качмажа сходится к решению системы , показав, что
Предположим, что невырожденная система отмасштабирована по строкам так, что для каждого , и пусть . Теоретически систему можно решить с помощью косых проекций (упражнение 5.13.18): произвольная точка в косо проецируется на вдоль , давая , затем проецируется на вдоль , давая , и так далее. Поскольку , как правило, неизвестно, процедура модифицируется — воспользуйтесь следующим рисунком, показывающим случай , в качестве ориентира.
Последовательные косые проекции при n=3: p_1^{(1)} проецируется через p_2^{(1)}, p_3^{(1)} на \mathcal{H}_2, давая точки в \mathcal{H}_1 \cap \mathcal{H}_2.
Шаг 0. Начните с любого набора такого, что линейно независим и для . Шаг 1. По очереди спроецируйте на через , чтобы получить . Шаг 2. Спроецируйте на через , чтобы получить , и так далее. Шаг . Спроецируйте через , чтобы получить . Тогда является решением. Объясните, почему следующий алгоритм выполняет вычисления шагов . Для до Для до (решение системы)
Пусть — подпространство , и пусть . Докажите, что ортогональное расстояние между произвольной точкой и такое же, как ортогональное расстояние между и (т.е. отражает всё относительно ).
В 1938 году итальянский математик Джанфранко Чиммино использовал следующее элементарное наблюдение для построения итерационного алгоритма решения линейных систем. Для системы вида пусть и — две прямые (гиперплоскости), задаваемые двумя уравнениями. Для произвольного приближения пусть — отражение относительно прямой , а — отражение относительно прямой . Как показано ниже, три точки , и лежат на окружности, центр которой — (решение системы).
Отражения r_1, r_2 произвольной точки r_0 относительно прямых \mathcal{H}_1, \mathcal{H}_2 лежат вместе с r_0 на окружности с центром в \mathcal{H}_1 \cap \mathcal{H}_2.
Среднее значение строго внутри окружности, так что — лучшее приближение к решению, чем . Наглядно видно, что итерация порождает последовательность, сходящуюся к решению . Докажите это в общем случае, используя следующий план.
Для скаляра и вектора такого, что , рассмотрим гиперплоскость (упражнение 5.13.17). Покажите, что отражение вектора относительно есть .
Для системы , в которой строки отмасштабированы так, что для каждого , пусть . Если произволен, а — отражение относительно , объясните, почему среднее значение отражений равно , где .
Итерирование пункта (б) даёт , где . Покажите, что если невырождена и , то .
Можно доказать, что при , так что для любого , даже если имеет неполный ранг (в этом случае последовательность сходится к решению, если система совместна, иначе — к решению методом наименьших квадратов). Метод Чиммино также работает со взвешенными средними: если , , , то сходится при параметре релаксации .
Для матрицы случайных величин — это матрица размера , у которой -элемент равен . Рассмотрим стандартную линейную модель , такую что , , , и пусть обозначает вектор случайных величин, определённый как , где . Покажите, что
является несмещённой оценкой для .
(5.14.5): в стандартной линейной модели и , если , и в противном случае. Упражнение 5.9.13: для любого проектора .
Определите углы и между следующими подпространствами .
, .
, .
Определите главные углы между следующими подпространствами .
, .
, .
Главные углы между и определяются рекурсивно: , где — единичные векторы, на которых достигается максимум в ; затем , , и — минимальный угол между и , и так далее.
Пусть — минимальный угол между ненулевыми подпространствами .
Объясните, почему тогда и только тогда, когда .
Объясните, почему тогда и только тогда, когда .
Объясните, почему тогда и только тогда, когда .
Формула (5.15.16): максимальный угол удовлетворяет .
Пусть — минимальный угол между ненулевыми подпространствами , и пусть обозначает минимальный угол между и . Докажите, что если , то .
Формула (5.15.4): если дополнительны, .
Для ненулевых подпространств пусть обозначает минимальный угол между и , а — максимальный угол между и . Докажите, что если , то .
Для подпространств докажите, что невырождена тогда и только тогда, когда и — дополнительные подпространства.
Формула (5.15.7): при U = [U1 | U2], V = [V1 | V2] — ортогональные матрицы, столбцы которых дают ортонормированные базисы для M, M-perp, N-perp, N соответственно (так что P_M = U1 U1^T, P_N = V2 V2^T), U^T (P_M - P_N) V = block-diag(U1^T V1, -U2^T V2).
Для дополнительных подпространств пусть — косой проектор на вдоль , а — косой проектор на вдоль .
Докажите, что .
Если — минимальный угол между и , объясните, почему .
Объясните, почему .
Докажите, что если — функция, определённая на пространстве такая, что для скаляров , то .
Пусть и — ненулевые дополнительные подпространства пространства .
Объясните, почему , где и — ортогональные проекторы на и соответственно, а — косой проектор на вдоль .
Если — минимальный угол между и , объясните, почему
Для дополнительных подпространств пусть — минимальный угол между и , а обозначает минимальный угол между и .
Если — косой проектор на вдоль , докажите, что .
Объясните, почему .
Пусть и — ортогональные матрицы, столбцы которых дают ортонормированные базисы для соответственно (как в доказательстве (5.15.3)-(5.15.4)).
Докажите, что если невырождена, то .
Докажите, что если невырождена, то .