15 | - [Linear Algebra Problem Book](https://www.amazon.com/Algebra-Problem-Dolciani-Mathematical-Expositions/dp/0883853221) by Paul Halmos
16 |
17 | Видео:
18 |
19 | - Gilbert Strang [lectures on Linear Algebra](https://www.youtube.com/playlist?list=PL49CF3715CB9EF31D) — здесь нет много чего, например, собственных значений, но начала разобраны
20 |
21 | # LaTeX в чате
22 |
23 | https://www.codecogs.com/latex/eqneditor.php — работает в слэке, но не в телеграме
24 |
25 | Можно еще попробовать:
26 | https://stackedit.io
27 | https://hackmd.io/
28 | http://www.texpaste.com/ — падает иногда
29 | https://www.hostmath.com
30 |
31 | Распознавание рукописной математики:
32 | https://webdemo.myscript.com/views/math/index.html
33 | https://mathpix.com
34 | http://detexify.kirelabs.org/classify.html — распознавание математических символов
35 |
36 |
37 |
38 |
39 |
40 |
41 | На ютубе таймстэмпы в комментариях кликабельные. Здесь копии на всякий случай.
42 |
43 | # Таймстэмпы — Оглавление
44 |
45 | - [ШАД prep — линал 01](#шад-prep--линал-01)
46 | - [ШАД prep — линал 02](#шад-prep--линал-02)
47 | - [ШАД prep — линал 03](#шад-prep--линал-03)
48 | - [ШАД prep — линал 04](#шад-prep--линал-04)
49 | - [ШАД prep — линал 05](#шад-prep--линал-05)
50 | - [ШАД prep — линал 06](#шад-prep--линал-06)
51 | - [ШАД prep — линал 07](#шад-prep--линал-07)
52 | - [ШАД prep — линал 08](#шад-prep--линал-08)
53 |
54 | # ШАД prep — линал 01
55 |
56 | https://www.youtube.com/watch?v=qpbDzZETNhA
57 |
58 | 00:41 пара слов про язык конкретный и язык абстрактный в линейной алгебре
59 | 03:46 вспоминаем метод Гаусса
60 | 11:53 количество решений в зависимости от количества свободных переменных
61 | 16:18 связь между Ax = b и Ax = 0
62 |
63 | 20:05 задача ДЗ-01--4: задача про любовь
64 | 31:15 вариант подзадачи, где иксы на обеих диагоналях
65 |
66 | 37:17 задача ДЗ-01--5, но мы ее пропустили — решается выписыванием mn уравнений с k неизвестными
67 |
68 | 38:12 операции над матрицами
69 | 40:48 проверка того, что (AB)^T = B^T A^T
70 |
71 | 42:04 что такое tr(A)
72 | 42:45 tr(AB) = tr(BA)
73 |
74 | 45:02 матрицы как новый вид чисел, матричное уравнение Ax = b — все три участника уравнения являются матрицами, trade off между много про простые объекты и мало про сложные
75 |
76 | 46:45 дефекты матриц, которыми надо пользоваться, когда вас просят придумать какие-нибудь примеры или сказать, бывает что-то или нет
77 | 47:22 (1) AB != BA, когда придумываете примеры, используйте как можно больше нулей
78 | 48:08 если у А в прозведении AB есть нулевая строка, то и в результате будет нулевая строка
79 | 50:06 (2) AB = 0 — это чуть более сложный пример матричного уравнения Ax = 0
80 | 51:32 диагональные матрицы перемножаются покомпонентно
81 | 51:57 (3) нильпотент A^2 = 0
82 | 52:23 это три примера, которые нужно иметь ввиду, когда просят придумать какой-нибудь контрпример
83 |
84 | 53:45 если A — диагональная, то какие X с ней коммутируют, AX = XA? Только диагональные
85 | 55:18 умножение на диагональную матрицу слева — построчное умножение на элементы ее диагонали, а справа — постолбцовое
86 | 57:32 простой пример 2x2 для иллюстрации про коммутирующие с диагональной
87 |
88 | 59:32 какие матрицы коммутируют с диагональной матрицей, когда у нее сгруппированы повторяющиеся элементы на диагонали? — блочныы матрицы, у которых вне диагонали блоки нулевые, а на диагонали блоки произвольные
89 | 1:03:08 просьба объяснить, как про только диагональные коммутируют с диагональными доказать строго — ответ: напрямую через индексы
90 | 1:04:29 что будет, если элементы повторяются на диагонали, но не сгруппированы
91 |
92 | 1:06:05 произведение на матрицу J(0), то есть на такую, у которой все нули, а на диагонали над главной единицы
93 | 1:07:43 произведение на нее слева выталкивает матрицу наверх, справа — направо
94 | 1:09:17 задача: какие матрицы коммутируют с J(0)? То есть, A J(0) = J(0) A
95 | 1:18:19 задача: какие матрицы коммутируют с J(λ)?
96 | 1:20:48 если что-то коммутирует с матрицей A, то будет коммутировать и с A + \lambda E
97 | 1:22:32 замечание: J(λ) — жорданова клетка, важная штука, и если понимать, как они устроены, и что с ними коммутирует, то сразу решается большой блок задач
98 |
99 | 1:28:30 задача: чему равно J(λ)^n?
100 |
101 | 1:38:23 если матрицы — это новый вид чисел, то не хватает деления, но нельзя придумать операцию деления для всех ненулевых матриц, например, когда для ненулевых A и B произведение AB = 0
102 | 1:40:22 определение обратной матрицы
103 | 1:42:48 примеры обратимых матриц: для единичной, для диагональной
104 | 1:43:41 примеры необратимых матриц: нулевая, с нулевой строкой, Ax = 0 с ненулевым решением
105 | 1:46:14 условия на столбцы можно переформулировать на существование решения Ax = 0, которое автоматически означает необратимость
106 |
107 | 1:49:39 блочное произведение матриц
108 | 1:52:13 произведение AB можно представить в виде A ( B_1 | B_2 | ... | B_n ) = ( A B_1 | A B_2 | ... | A B_n )
109 | 1:53:24 произведение можно превратить в сумму, X Y^t = X_1 Y_1^t + ... + X_n Y_n^t, если мы обе матрицы запишем в виде столбцов (X_1 | ..., X_n), (Y_1, ..., Y_n)
110 | 1:54:55 это можно использовать для, например, получения следа произведения: tr(A + B) = tr(A) + tr(B); или наоборот, превратить сумму в произведение для вычисления определителя
111 | 1:56:44 если в блочной форме есть нулевые блоки, то это упрощает результат
112 |
113 | 1:58:39 односторонняя обратимость
114 | 2:01:39 широкая матрица может быть обратима только справа, высокая — только слева
115 | 2:02:08 пример обратимой справа, но не слева: (1 0)
116 | 2:02:46 более того, у прямоугольных обратимых матриц обратных много: (1 0) (1 x)^t — если есть одна, то их всегда много
117 |
118 | 2:04:56 набор эквивалентных утверждений: про единственность ненулевого решения , обратимость, линейную независимость, определитель, разложение в элементарные пр-я
119 |
120 | 2:14:37 простое док-во того, что обратимая с обеих сторон матрица является квадратной: через след
121 | 2:15:53 если есть обратные слева и справа, то они равны: B_1 ( A B_2 ) = ( B_1 A ) B_2 — левая часть равна B_1, правая равна B_2
122 | 2:16:50 еще способ док-ва: широкая матрица не может быть обратима слева, высокая — справа
123 | 2:25:21 еще способ док-ва: пусть для широкой A есть обратная B, тогда матрица AB обратима, и ABx = 0 должно иметь ровно одно решение — нулевое, но у Ax = 0 всегда есть ненулевое решение
124 |
125 | 2:28:17 задача: есть нильпотент A^n = 0, найти (E - A)^{-1}
126 | 2:32:37 еще решение, через геометрическую прогрессию
127 |
128 | 2:38:47 tr( C A C^{-1} ) = tr(A)
129 |
130 | 2:39:10 задача ШАД-08-06-2014--1 — подсказка
131 |
132 | # ШАД prep — линал 02
133 |
134 | 2:05 многочлен от матриц
135 | 3:55 три утверждения про многочлены от матриц
136 | 6:07 (1) любая матрица является корнем какого-то многочлена — теорема Гамильтора-Кэли
137 | 11:18 (2) сопряжение выносится, g(C^{-1} A C) = C^{-1} g(A) C для обратимых C
138 | 15:01 (3) для мн-нов f(x), g(x) матрицы f(A), g(A) коммутируют
139 | 16:34 примеры, как этими утвержднениями пользоваться: 1) если A^n = E, существует ли обратная к E-A? 2) f(A) = 0, f(0) != 0, тогда A обратима — найдем явный вид обратной
140 |
141 | 24:26 спектр — определение через необратимость
142 | 26:42 самый простой пример: спектр диагональной матрицы есть мн-во эл-тов на диагонали
143 | 27:47 пример: spec J(λ) = {λ}, как показать это без использования определителя
144 | 36:03 пример: спектр верхнетреугольной матрицы — тоже мн-во эл-тов на диагонали
145 | 38:53 пример: матрица с пустым вещественным спектром
146 |
147 | 42:26 для чего нужен спектр: если утилитарно, то половина задач — это задачи про собственные значения и спектр, если математически, то это важный инвариант, используемый на практике
148 |
149 | 44:23 минимальный многочлен
150 | 46:44 четыре свойства:
151 | (1) мин. мн-н существует и единственный: ∃! f_min размерности deg f_min ≤ n
152 | (2) мин. мн-н делит зануляющие g(A) = 0 ⇒ f_min | g
153 | (3) спектр — это набор корней мин. мн-на: spec_{ℝ}(A) = {корни f_min в ℝ}
154 | (4) спектр — подмн-во корней зануляющего: g(A) = 0 ⇒ spec_{ℝ}(A) ⊆ {корни g в ℝ}
155 | 50:06 мин. мн-н диагональной матрицы с различными эл-тами
156 | 53:42 зачем нужен четвертый пункт: просто чтобы явно его произнести, он следует из предыдущих; обычно зануляющий довольно несложно найти A^n = E дает g(x) = x^n - 1
157 |
158 | 56:09 как искать минимальный многочлен — это не сложно, на практике вряд ли понадобится
159 |
160 | 1:09:56 диагонализуемость — сложный концепт для аудитории, много вопросов возникло
161 | 1:20:19 пример: как решить A^2 = E, ее зануляющий g(x) = x^2 - 1 = (x-1)(x+1), тогда можно диагонализовать и даже осортировать единицы, C^{-1} A C = ( E_k 0 \\ 0 -E_l ), k+l = n, т.е. таких разложений какое-то количество, а таких C вообще бесконечное количество, значит и решений таких матричных уравнений тоже бесконечное количество
162 | 1:35:08 пример, когда диагонализуемость не работает из-за кратных решений зануляющего мн-на: J(0), его зануляющий g(x) = x^2; J(λ), его зануляющий g(x) = (x - λ)^2
163 | 1:37:25 жорданова клетка J(λ) — один из главных контрпримеров, она показывает много аномалий — спектром матрица не определяется, еще важен инвариант минимальный мн-н
164 |
165 | 1:39:56 задача дз-1-9:, найти мн-во матриц, коммутирующих со всеми, AX = XA, ответ — X = λE
166 |
167 | 1:52:02 задача 18.17: д-ть, что E - AB обратима ⇔ E - BA обратима
168 | 2:01:14 важно, что здесь A и B разного размера; иногда надо проверить обратимость (E - AB), но когда обратимость (E - BA) — это вообще матрица 1x1
169 | 2:11:35 объяснение, для чего нужна абстрактная наука — она оборачивает сложные штуки в абстракции и дает к ним интерфейс
170 | 2:14:00 объяснение, что мы сначала изучаем технические вещи про матрицы, а потом начнем изучать геометрические идеи, и нам будет намного проще, потому что у нас будет накоплено много примеров
171 | 2:15:57 трюковое решение
172 | https://discourse.shad-prep-meetup-msk.ru/t/tryukovoe-reshenie-takoj-zadachi-e-ab-obratima-e-ba-obratima/48
173 |
174 | 2:23:24 сравнение спектров AB и BA — если A высокая ▯, а B широкая ▭, то spec(AB) = {0} ∪ spec{BA}, они совпадают с точностью до включения нуля, а если матрицы квадратные, то спектры полностью совпадают — здесь включение нуля означает необратимость; когда изучим определители, будет апгрейд этого полезного утверждения
175 |
176 | 2:37:13 минорная, но важная вещь: если произведение квадратных матриц A_1 ... A_n обратимо, то каждая из них обратима
177 |
178 | # ШАД prep — линал 03
179 |
180 | 00:00 концепция ориентированной площади и объема
181 | 06:43 определитель матрицы — три определения
182 | 19:50 примеры: определители матриц 1x1, 2x2, 3x3
183 |
184 | 24:07 пример: как считать определитель, используя элементарные преобразования
185 | (1) можно прибавлять строку с умножением ее на коэффициент
186 | (2) можно выносить число из строки
187 | (3) перестановки строк меняют знак определителя
188 |
189 | 28:58 эквивалентные определения невырожденности — сюда добавляется определитель
190 |
191 | 36:02 пример: определитель диагональной матрицы, определитель верхнетреугольной матрицы
192 | 38:14 пример: det(λ 1 1 \\ 1 λ 1 \\ 1 1 λ) — здесь, как во множестве других примеров, надо заметить какую-то закономерность
193 | 44:21 пример: такой же, как выше, только чуть больше лямбд, та же закономерность
194 |
195 | 47:32 св-ва определителя:
196 | det( A^t ) = det(A)
197 | det( A^{-1} ) = 1/det(A)
198 | det( AB ) = det(A) det(B)
199 | det( ( A B \\ 0 C) ) = det(A) det(C) — определитель блочной
200 | det( λE ) = λ^n — это часто забывают и пишут просто λ по привычке
201 |
202 | 53:16 пример: блочный определитель — det( A B \\ C D) = det(A) det( D - C A^{-1} B ), когда A обратима (здесь A — n×n, D — m×m). Получается умножением на матрицу элементарного преобразования (E 0 \\ -CA^{-1} E).
203 | Эта формула близка к той, которую очень хотелось бы: det( A B \\ C D) = det( AD - BC ), но во-первых, размеры A не позволяют внести ее во второй сомножитель, и во-вторых, A и C не обязательно коммутируют
204 | 1:01:44 пример: блочный определитель, когда матрица разбита на равные по размеру блоки — det( A B \\ C D) = det(AD - CB), при AC=CA
205 | 1:05:19 здесь работает принцип продолжения по непрерывности: рассмотрим не матрицу A, а матрицу A_λ = A - λE
206 | 1:07:46 важное свойство спектра: он конечен
207 |
208 | 1:22:00 в этом блочном определителе мы пользуемся тем, что A и C коммутируют. Любые две соседние сойдут на самом деле: A и C, A и B, B и D, C и D. Но не диагональные.
209 |
210 | 1:23:51 пример, как можно попробовать свернуть сумму в произведение, когда квадратная матрица X = ( X_1 | ... | X_n ): det(λ_1 X_1 X_1^t + ... + λ_n X_n X_n^t) = det( X diag(λ_1, ..., λ_n) X^t ) = det(X)^2 λ_1, ..., λ_n
211 |
212 | 1:30:59 задача ШАД-09-06-2018--5: доказать, что для ортогональных матриц A и B: det( A^t B - B^t A) = det( A+B ) det( A-B ) — матрица ортогональна, когда M M^t = M^t M = E
213 |
214 | 1:39:47 разложение по строке или столбцу
215 |
216 | 1:44:50 нахождение обратной через присоединенную матрицу, \hat{B} B = B \hat{B} = det(B) E
217 | 1:50:54 det (\hat{B}) det(B) = det(B)^n, то есть, det (\hat{B}) = det(B)^{n-1} при det(B) ≠ 0
218 | 1:52:00 формула верна и при det(B) = 0, потому что det (B) = 0 ⇒ det (\hat{B}) = 0
219 |
220 | 1:58:25 характеристический многочлен χ_A(λ) = det( λE - A )
221 | 1:59:19 (1) χ_A(λ) = λ^n - tr(A) λ^{n-1} + ... + (-1)^n det(A) — то, что скрывается за многоточием вряд ли понадобится
222 | 2:03:08 (2) спектр — это корни характеристического многочлена
223 | 2:04:35 (3) теорема Гамильтона-Кэли
224 | 2:08:24 минимальный делит характерестический — это альтернативная формулировка т. Гамильтона-Кэли
225 |
226 | 2:09:27 задача 31-05-2015--7: д-ть, что для квадратных матриц характеристические многочлены и спектр AB и BA равны, χ_{AB}(λ) = χ_{BA}(λ)
227 | 2:15:59 если матрица A высокая ▯, а B широкая ▭, то spec(AB) = {0} ∪ spec{BA} и еще det(E - λAB) = λ^{n-m} det(E - λBA)
228 | 2:23:41 пример, как пользоваться этим: det( E - αJvv^t ) = det( E - (αJv) (v^t) ) = χ_{AB}(1) = 1^{n-1} χ_{BA}(1)
229 |
230 | # ШАД prep — линал 04
231 |
232 | 0:00 конкретные векторные пространства
233 | 5:45 абстрактное векторное пространство
234 | 21:07 все хорошие векторные пространства устроены как R^n
235 | 22:23 подпространства
236 | 24:54 способы задавать: (1) через линейную оболочку < v_1, ..., v_k > = { λ_1 v_1 + ... + λ_k v_k }
237 | 28:23 (2) через ОСЛУ { y | Ay = 0 }
238 | 31:58 линейное отображение
239 | 33:41 примеры: (1) все линейные отображения из R^n в R^m выглядят как x → Ax
240 | 37:20 (2) все отображения матриц M_{nm}(R) → M_{uv}(R) выглядят как X → \Sigma A_i X B_i
241 | 41:32 (3) отображение непрерывшых функций на отрезке [0, 1] в их интегралы
242 | (4) отображение непрерывшых функций на отрезке [0, 1] в функции на отрезке [0, 1]: например, f(x) → f(x) g(x), это произведение
243 | 44:47 пояснение по пункту (2)
244 |
245 | с абстрактными штуками разобрались, к ним долго привыкать, и они выстрелят в следующий раз, теперь задачи
246 |
247 | 46:08 линейная независимость; пример: sin(x) и cos(x)
248 | 54:04 пример: sin(x), sin(2x), ..., sin(nx)
249 | 1:10:59 1, sin(x), sin^2(x), sin^3(x), ..., sin^n(x)
250 |
251 | 1:17:47 базис
252 | 1:20:16 равносильные определения:
253 | (1) v_1, ..., v _n — линейно-независимы и их достаточное число, что любой вектор через них выражается
254 | (2) v_1, ..., v _n — максимальное линейно-независимое множество
255 | (3) v_1, ..., v _n — минимальное множество, такое что любой вектор через них выражается
256 | 1:24:10 примеры базисов
257 |
258 | 1:29:35 эквивалентные определения:
259 | столбцовый ранг
260 | строковый ранг
261 | факториальный ранг
262 | тензорный ранг
263 | минорный ранг
264 | 1:43:13 замечания: случаи, когда rk A = 0 и rk A = 1
265 | элементарные пр-я строк и столбцов не меняют ранг
266 | rk(A) = rk( C A ) = rk( A D ) при обратимых C, D
267 | 1:47:13 столбцовый ранг равен строковому рангу
268 | 1:50:58 факториальный ранг равен тензорному
269 | 1:52:23 еще один пункт к списку определений невырожденности: rk A = n
270 | и ранг — это мера невырожденности матрицы: rk A = n, n-1, ..., 1, 0
271 |
272 | 1:55:22 пример: rk( A B \\ 2A -5B ) = rk A + rk B
273 | 1:58:58 пример: про rk( A B \\ 0 0 ) мы не можем ничего утвевждать, там может быть много разных ситуаций
274 | 2:01:11 пример: rk( A AB \\ B B+B^2 ) = rk A + rk B
275 |
276 | 2:02:45 верно ли, что rk( AB ) = rk( BA )? — контрпример: ( 1 0 \\ 0 0 ) ( 0 1 \\ 0 0 )
277 | 2:04:27 разложение ( 0 1 \\ 0 0 ) в произведение столбца и строки: (1 0)^t (0 1)
278 | 2:05:25 разложение матрицы в произведение двух матриц A = B C, где B — базис, набранный из столбцов A, а C — столбцы координат в этом базисе
279 | найти эти коэффициенты не сложно, есть стандартные алгоритмы, но это не очень релевантно для экзамена
280 |
281 | 2:08:57 пример: P — квадратная и P^2 = P, тогда rk P = tr P — то есть, у проекции след целый и равен размерности образа
282 | это показывается через приведение зануляющего к диагональному виду
283 | 2:12:29 пример: найти rk( P - λE )
284 |
285 | 2:16:58 оценки на ранг
286 | | rk A - rk B | ≤ rk(A+B) ≤ rk A + rk B
287 | rk A + rk B - k ≤ rk(AB) ≤ min(rk A, rk B)
288 |
289 | 2:20:30 задача: дана квадратная B, найти rk(\hat{B})
290 |
291 | # ШАД prep — линал 05
292 |
293 | 0:45 линейные отображения
294 | 3:21 пара примеров
295 | 8:30 векторные пространства
296 |
297 | 18:32 пример: матрица оператора d/dx на пр-ве мн-в степени ≤ n
298 | 24:40 пример: X -> AXB линейный оператор на пр-ве M_2 — это кронекерово произведение
299 | это то же самое, что рассматривать оператор y -> (A⊗B)y в пр-ве R^4
300 |
301 | 32:36 рассматриваем два базиса и как установить связь между ними
302 |
303 | 42:29 векторизация матриц, M -> AMB можно переписать в умножение слева на матрицу, Y = CX
304 |
305 | 44:55 пример: существует ли такое отображение, что вектор v_1 = (1 1)^t переходит в u_1 = (1 -1)^t, v_2 в u_2, v_3 в v_3, etc?
306 |
307 | 59:15 смена координат в линейном пространстве: x' = C^{-1} x
308 | 1:02:50 смена координат для линейного отображения V -> U: новая матрица будет A' = D^{-1} A C, где C — смена базиса в исходном пр-ве V, а D — смена базиса в целевом пр-ве U
309 | 1:09:07 пояснение, что в C мы укладываем координаты нового басиса по столбцам
310 | 1:11:52 как перейти из неприятного базиса сразу в неприятный за одно действие: B_1 C = B_2, тогда C = B_1^{-1} B_2
311 | 1:16:49 еще раз то же самое в координатной форме
312 |
313 | 1:22:42 линейный оператор в разных базисах, A' = C^{-1} A C
314 | 1:26:12 пример: сопряжены ли данные матрицы? ( 1 0 \\ 0 0 ) и ( 0 0 \\ 0 1 )
315 | 1:30:22 пример: сопряжены ли данные матрицы? ( 2 1 \\ 1 0 ) и ( 2 1 \\ 1 -1 )
316 | 1:31:26 можно составить и решить ситему с четыремя неизвестными, а можно посмотреть на инварианты:
317 | tr(C^{-1} A C) = tr(A)
318 | det(C^{-1} A C) = det(A)
319 | χ_{C^{-1} A C} (t) = χ_A (t)
320 |
321 | 1:40:09 ядро, образ — Im φ, Ker φ
322 | 1:42:34 пример: φ: R^2 -> R — вектор (x y)^t переходит просто в x
323 | Im φ — вся ось x, то есть R, Ker φ — вся ось y
324 | 1:46:53 пример: φ: R^3 -> R, схлопываем (x y z)^t в z
325 | пример: φ: R^3 -> R^2, схлопываем (x y z)^t в (x y)^t
326 |
327 | 1:50:14 образ и ядро в терминах матриц
328 | Im φ = { ( A_1 | ... | A_n ) (x_1, ..., x_n)^t | x \in R } = < A_1, ..., A_n > — линейная оболочка столбцов матриц
329 | Ker φ = { x | Ax=0 } — решение системы линейных уравнений
330 |
331 | 1:55:10 еще раз: столбцы A — обрацы стандартного базиса (1, 0, 0, ...), (0, 1, 0, ...), ...
332 |
333 | 1:56:09 связь между Ax = b и Ax = 0 в терминах отобажений: { x | Ax = b } = x_0 + { x | Ax = 0 }
334 | Φ^{-1}(b) = x_0 + Ker Φ — прообраз b есть какое-то решение плюс ядро
335 |
336 | 2:02:36 для неквадратных матриц мы всегда можем сменами базисов в исходном и в целевом пространствах перейти к диагональному виду, A' = D^{-1} A C, здесь C и D независимы, нет проблем, обсуждали ранее
337 | 2:06:45 когда матрицы квадратные, то есть у нас линейный оператор, из пространства в себя же, то теперь это A' = C^{-1} A C, если мы шевелим C, то меняется и C^{-1} — не всегда можно привести матрицу к диагональному виду, но зато есть жорданова нормальная форма, о ней позже
338 |
339 | 2:11:19 сюрьективность, инъективность, dim Ker Φ + dim Ker Φ = dim V
340 | 2:15:18 пример: существует ли отображение, что <(1 1)^t> = Ker Φ, < (1 0 1)^t (1 1 1)^t > = Im Φ
341 | 2:16:46 пример: дана матрица A = (1 2 3 4 \\ ... 16)_{4x4}, найдите rk(A^2019)
342 | 2:18:54 лемма о стабилизации
343 |
344 | 2:30:46 собственные значения и векторы
345 | 2:37:56 как находить собственные значения
346 | 2:42:12 кратность корней
347 | 2:43:42 как находить собственные векторы
348 | единственное место, где нужна ФСР
349 | 2:45:49 пример: J_2(λ), ее х.м. χ(t) = (t-λ)^2, собственное значение λ кратности 2
350 | собственных векторов будет от одного до двух, если их нет, то где-то ошибка в вычислениях
351 | 2:50:49 базис из собственных векторов
352 |
353 | 2:52:12 кридерий диагонализируемости
354 | матрица диагонализуется <=> (1) все с.зн. вещественные, (2) для каждого с.зн. размер базиса равен кратности
355 | 2:59:11 жорданова нормальная форма
356 | 3:02:49 над C это всегда работает, а чтобы это над R работало, надо чтобы все с.зн. были вещественными
357 | 3:03:03 геометрический смысл столбцов C в A = C A_d C^{-1}, когда она диагонализуется:
358 | в столбцах C пачками стоят собственные векторы, соответствующие собственным значениям
359 | 3:04:24 с жнф сложней, там не получится просто показать, что в C содержится, но для экзамена это не нужно
360 | 3:06:01 еще замечание: если дана какая-то случайная матрица, то у ее хар. мн-на все корни будут разные кратности 1
361 |
362 | # ШАД prep — линал 06
363 |
364 | 00:55 вспоминаем, что такое векторное пространство, отображение, базис, собственные значения, собственные векторы, спектр, кратности корней
365 | 16:12 задача: v ∈ R^n — найти собственные значения матрицы vv^t
366 | для этого вспоминаем, что если матрица A высокая ▯, а B широкая ▭, то spec(AB) = {0} ∪ spec{BA}
367 | и еще что det(E - λAB) = λ^{n-m} det(E - λBA)
368 | док-во — третье видео, 2:15:59
369 |
370 | 26:27 проекторы
371 | P^2 = P — это алгебраическое определение
372 | U+V = R^n, U ∩ V = ∅, P(V) = 0, P(u) = u — геометрическое
373 | 33:51 эквивалентность этих определений
374 | 39:32 прерываемся на вопрос: можно ли считать, что образ и ядро в некотором смысле перпендикулярны?
375 | Ответ: нет. Пример: жорданова клетка J_2(0), ее ядро Ker и образ Im совпадают и равны <(1,0)^t> — горизонтальной прямой
376 | эта матрица схлопывает всё в ось y и потом перекладывает на ось x
377 | 49:19 продолжение про эквивалентность определений
378 |
379 | 57:15 задача: P^2 = P, найти spec(P)
380 | из зануляющего следует, что это {0}, или {1}, или {0, 1}
381 | вспоминаем, что P можно диагонализовать, размер единичной матрицы внутри после диагонализации r = rk R = tr P — след целый, это также кратность единицы как с.зн.
382 |
383 | 1:09:07 пример: как решать ур-е X^2 = P — мы можем перейти к задаче Y^2 = (E 0 \\ 0 0)
384 | если интересно, как сконструировать матрицу C такую, что P = C (E 0 \\ 0 0) C^{-1}, то она состоит из базиса линейных оболочек и , это базисы образа и ядра
385 |
386 | 1:16:09 задача ШАД-26-05-2018--7: здесь неудобно ее копипастить, так что ссылка: https://efiminem.github.io/supershad/26-05-2018/
387 | TODO: разметить идеи, использованные в разборе задачи
388 |
389 | 1:52:22 задача ШАД-25-05-2014--1: Пусть A — квадратная матрица, у которой сумма матричных элементов в каждом столбце равна λ.
390 | Докажите, что λ является собственным значением матрицы A.
391 |
392 | 1:57:19 задача ШАД-02-06-2018--6: A^3 — это оператор проекции, то есть (A^3)^2 = A^3. Какие собственные значения может иметь A? Верно ли, что A будет иметь диагональную матрицу в каком-либо базисе R^n?
393 |
394 | 1:58:57 пример недиагонализуемой матрицы — J(0) — потому что diag(a, b) имеет другой спектр, он при смене базиса не меняется
395 | 2:02:55 пример матрицы, которая не диагонализуется в R, но приводится к диагональному в C: ( 0 -1 \\ 1 0 ) — ее хар. мн-н x^2 + 1
396 | 2:07:05 вспоминаем критерий диагонализуемости
397 | 2:11:14 если диагонализуется, то переход к собственному базису — матрица C выложена из собственных векторов
398 | 2:18:07 вопрос из зала: что такое собственный базис
399 |
400 | 2:27:14 продолжаем решать задачу про проектор — spec_A ⊆ {корни зануляющего x^6 - x^3} = {0, 1, e^{2pi/3 i}, e^{-2pi/3 i}}
401 | 2:32:28 ставим эти числа на диагональ и получаем матрицу, которая диагонализуется в C
402 | 2:35:08 мы можем превратить ее в вещественную — (a+bi 0 \\ 0 a-bi) = C (a -b \\ b a) C^{-1}
403 | 2:41:14 мы привели пример матрицы, которая диагонализуется в C, но не в R
404 | 2:48:28 простое решение задачи про A^3 проектор — пример, когда матрица не диагонализируется ни в C, ни в R — J(0), если нужен менее тривиальный, то diag(1, J(0))
405 |
406 | 2:52:45 жорданова нормальная форма
407 | 2:58:36 пример жнф
408 | 3:03:36 мы знаем количество клеток, а чтобы найти размеры клеток, надо рассматривать корневые подпространства, но для экзамена это не понадобится
409 | 3:06:26 но для полноты картины, вот определение: x — корневой вектор для λ, если ∃k: (A-λE)^k = 0
410 |
411 | 3:08:46 еще раз лемма о стабилизации, но на этот раз наглядно видно из жнф, когда происходит стабилизация — когда занулится самая большая клетка J(0)
412 |
413 | # ШАД prep — линал 07
414 |
415 | in progress
416 |
417 | # ШАД prep — линал 08
418 |
419 | in progress
420 |
421 | # Symbols for copypasting
422 |
423 | https://altcodeunicode.com/alt-codes-math-symbols/
424 | https://en.wikipedia.org/wiki/Mathematical_operators_and_symbols_in_Unicode
425 |
426 | Α α, Β β, Γ γ, Δ δ, Ε ε, Ζ ζ, Η η, Θ θ, Ι ι, Κ κ, Λ λ, Μ μ, Ν ν, Ξ ξ, Ο ο, Π π, Ρ ρ, Σ σ/ς, Τ τ, Υ υ, Φ φ, Χ χ, Ψ ψ, Ω ω
427 |
428 | λ χ
429 |
430 | ∀ ∃ ∄
431 | ⊆ ⊇
432 | ∩ ∪
433 | ⇒ ⇔ →
434 | ≤ ≥ ≠
435 | ∅ ∈ ∉
436 | ∑
437 |
438 |
439 |
440 |
441 |
442 |
--------------------------------------------------------------------------------
/prep_guidance.md:
--------------------------------------------------------------------------------
1 | # Методические указания
2 |
3 | Если вы хотите готовиться к семинарам эффективно и научиться как можно большему, то я бы рекомендовал следующие вещи.
4 |
5 | 1. Перечитывать материал семинара. Как минимум надо перечитывать конспект к предыдущему семинару перед началом следующего. Это позволит освежить в памяти все, что было. Так вы лучше запомните материал и будете ориентироваться, если к нему будут отсылки. В идеале еще хорошо перечитывать материал после занятия, когда вы начинаете решать задачи по этому материалу. Например, если вы в субботу после пятничного занятия стали решать задачи, то прежде всего перечитайте последний конспект. Иногда полезно проглядеть и предыдущий семинар.
6 |
7 | 2. Решайте простые задачи на посчитать. Когда вы решаете задачи на посчитать: решить СЛУ, найти обратную Гауссом, Проверить одинаковое ли множество решений у СЛУ и т.д., то вы убеждаете себя в том, что вы действительно понимаете, что происходит. Это помогает получить уверенность и избавиться от тени сомнения. Если у вас ситуация: «Вроде все понятно, но я что-то сомневаюсь, вдруг я чего-то ту не допонял, не увидел», то возьмите конкретные матрицы, конкретные примеры на посчитать. Порешайте их. Вы сразу почувствуете, что вы оказывается все понимаете. Ну или наоборот найдете то, что вы не понимали и сможете с этим разобраться (может быть с помощью окружающих, но вы хотя бы будете знать, в чем была проблема).
8 |
9 | 3. Решайте сложные задачи на подумать. Это то, что собственно и научит вас решать задачи. Но тут надо понимать, как правильно решать задачи на подумать. И тут ситуация очень простая. Задачи на подумать бывают одноходовыми и многоходовыми.
10 | - Одноходовые задачи обычно решаются внимательным просмотром определений или конструкций, которые давали на занятии. Это как в анекдоте: «Если ничего не помогло, прочтите наконец-то инструкцию». Вы не поверите, сколько задач решаются по определению. То есть достаточно просто вспомнить и выписать перед собой определения всех объектов из условия, как задача тут же решается.
11 | - Многоходовые задачи решаются сведением к другим задачам, которые вы уже умеете решать. По этому поводу есть поговорка: «Бросая камень в воду, смотри на круги на воде». Это значит, что между двумя событиями есть связь. Если вы видите подряд несколько задач на одну тему, очень может быть, что для решения одной надо использовать предыдущую. Если не получается решить задачу, старайтесь посмотреть какие еще есть задачи рядом, может быть вы сможете свести вашу задачу к другой, а потом решить ее. Вспоминайте какие задачи были на семинаре и смотрите, можете ли вы свести вашу задачу к ним. Когда у вас накопится багаж задач, которые вам доступны, вы сможете проще сводить одни задачи к другим, это все дело практики.
12 |
13 | 4. Спрашивать надо вовремя. Если вы решаете задачу и у вас затык. Вы совсем не понимаете, что делать. Очень рекомендую попросить указание, что делать. Какой смысл тратить время на сидение и осознание того, что вы не можете решить задачу? Бывает, что вам достаточно подсказать самую малость, в голове щелкнет и у вас все получится. Однако, не впадайте в крайность. Никогда не спрашивайте указание, если вы еще не пробовали решать задачу, особенно, если вы еще не поняли ее условие. Это сводит на нет пользу от решения задач. Очень важно не просто узнать ответ, а понять его. А лучший способ понять – сделать самому. Пусть вы может быть слышали когда-то решение от кого-то или прочли. Но важно сейчас его попытаться восстановить или придумать самостоятельно. Это также очень хорошо помогает запомнить решение.
14 |
15 | 5. Разбирайте решение задач с семинара. Если я разбираю задачу на семинаре, это значит, что она была либо сложной и вы не догадаетесь сами до решения, либо важной и демонстрирует какой-то метод. Потому такие задачи важно понять. Лучший способ разобраться с решением такой: вы закрываете конспект пытаетесь написать решение самостоятельно (может быть даже не читая конспект до этого). Если вы смогли написать решение, значит вы его действительно понимаете. А если не смогли, то вы найдете то самое место, где у вас проблем. Это место можно будет посмотреть в конспекте и разобраться. Так вы точно будете знать, что именно в этом месте была сложность, именно в этом месте была потеряна ключевая идея и вот оказывается какая идея вам была нужна.
16 |
17 |
18 | Дима
19 |
--------------------------------------------------------------------------------
/programmes.md:
--------------------------------------------------------------------------------
1 | # Timeline
2 |
3 | - февраль [ФКН](#ФКН)
4 | - февраль-март [Ozon Masters](#ozon-masters)
5 | - май-июнь [ШАД](#ШАД)
6 | - август [ФКН](#ФКН), [Сколково](#Сколково)
7 |
8 | TODO: Физтех, MADE
9 |
10 | # Программы поступления
11 |
12 | ## ШАД
13 |
14 | Программа:
15 | Письменные задания прошлых лет:
16 |
17 | На дне открытых дверей говорили, что для прохождения на устный экзамен надо решить четыре задачи из восьми. Иногда три, если они со сложностью переборщили.
18 |
19 | TODO: онлайн-экзамены
20 |
21 | Письменный экзамен — в конце мая.
22 |
23 | ## ФКН
24 |
25 |
26 |
27 | Траектории поступления:
28 | Программа:
29 |
30 | Программа подготовки к поступлению на продвинутый трек АИД:
31 |
32 | - Олимпиада — 14-21 февраля 2020 года, регистрация будет открыта до 15:00 часов 20 января 2020 года (UTC+3).
33 | - Экзамены — в августе.
34 |
35 | — прикладная математика и информатика.
36 |
37 | ## Сколково
38 |
39 | Apply before: March 15, 2020
40 |
41 |
42 |
43 |
44 |
45 |
46 |
47 | Онлайн-тест:
48 | Экзамен:
49 |
50 | ## Физтех
51 |
52 |
53 |
54 | TODO
55 |
56 | ## Ozon Masters
57 |
58 |
59 |
60 | Набор — февраль-март
61 |
62 | Задания:
63 |
64 | - https://yadi.sk/i/hwCmja9kb3MgVw
65 | - https://yadi.sk/i/WHbA141VSw5PLA
66 |
67 | ## MADE
68 |
69 | TODO
70 |
--------------------------------------------------------------------------------
/reviews.md:
--------------------------------------------------------------------------------
1 | # Отзывы участников курса 2019/2020:
2 |
3 | Двое поступили в ШАД на новый трэк, отзывы не оставили, но дали согласие учесть их в статистике.
4 |
5 | Еще двое поступили в Ozon Masters, вот их сообщения в чате:
6 |
7 | ## Ivan
8 |
9 | Я поступил в озон мастерс. По моим ощущениям эти занятия важную очень роль сыграли, без них сомневаюсь, что прошел бы. У меня был курс линала в экономическом вузе, но он тогда прошел мимо меня, по теорверу все было чуть лучше, курс помог больше систематизировать знания. Если задачи нарешивать и делать это вовремя и регулярно (после каждой лекции), то вообще нехило можно просветлиться))
10 |
11 | ## Руслан
12 |
13 | Привет! Я Руслан:) Я присоединился к группе в конце декабря. Мне 29. IT бэкграунд. Работаю 5/2. Закончил Бауманку. Из того, что я помнил по математике - совсем базовые знания по терверу, линалу и матану.
14 |
15 | Ботал практически всё свободное время с января по май. Дальше начались экзамены.
16 |
17 | Лекции-семинары Димы сильно помогли, очень много разных трюков показано, хороших задач разобрано. В личке Дима мне очень много всего объяснял и всячески помогал.
18 |
19 | Результатами я очень доволен.
20 |
21 | ШАД (очное, основной трек):
22 | Онлайн-тест. Тут всё просто. Знакомый прошел дальше набрав 9/12. Кажется, что нужно обязательно решить хоть одну задачу на программирование.
23 | Письменный экзамен. Мне показалось, что в этом году задачи были проще. Я решил 3/8 задачи по математике (2 тервер и 1 линал).
24 | Контест по программированию. Фиаско. На полный бал ни одной задачи (один падающий тест - 0 баллов)
25 | Для прохождения на собес нужна хотя бы одна задача.
26 |
27 | Озон Мастерс (очное):
28 | Онлайн тест по математике. Задач меньше, но они посложнее, чем в онлайн ШАД, но решаемые. Про проходной бал ничего не знаю.
29 | Контент по ML. Длился 2 недели, задача интересная. Топ 20 - и ты попадаешь на собес. Я занял 28 место, поэтому писал математику.
30 | Письменная математика. 6 задач. Я написал решение четырёх. Сколько реально решил - не знаю. Получил приглашение на собес.
31 | Собеседование. 1 задача на тервер на случайное блуждание. 2 задача - несложный алгоритм. Краем уха слышал, что кому-то давали задачи по линалу.
32 | Собеседование с HR минут на 10. Рассказать про себя и про то, как ты собираешься вывозить учёбу. Суммарно 2 часа.
33 | Успех.
34 |
35 | MADE:
36 | Тест по математике. 10 задач. Не супер сложные, но некоторые на знание малоизвестных, для меня по крайней мере, фактов. Например максимальное количество ребер в графе без треугольников.
37 | Контест по программированию. 6 задач на 24 часа. Я решил все за 8 часов. Особых проблем не возникло, по производительности жести как в ШАД не было, делал на Python.
38 | Контест по ML: 2 задачи на 2 недели. Решаются, если смотреть в них внимательно.
39 | Дальше не двигался.
40 |
41 | Академия аналитов авито:
42 | В основном тервер и статистика. Совсем базовые знания программирования. Большинство задач типовые - подставить цифры в нужные формулы.
43 | Онлайн тест прошел, письменный экзамен - нет.
44 |
45 | Что бы я сделал иначе:
46 | 1. Начал бы ботать с сентября, а не января
47 | 2. Переходил бы от простых к сложным. Нужна база всё-таки.
48 | 3. Уделил бы больше времени программированию. Делал бы задачи сразу на C++ или Java. У меня было несколько случаев, как код на Python падал по TL и тот же код, переписанный на Java, успешно работал. В ШАД очень хорошие тесты на всё. Тренироваться нужно на их платформе.
49 | 4. Надо периодически освежать пройденный материал. Потому что в мае я уже мало что хорошо помнил из того, что делал в январе.
50 |
51 | Тервер, линал и программирование - главное.
52 |
53 | @DimaTrushin супер, но, как написал сам Дима: “Тренер покажет путь, но дойти до финиша придется самому.”
54 | И спасибо большое @introstatic за организацию.
55 |
56 |
--------------------------------------------------------------------------------
/syllabus.md:
--------------------------------------------------------------------------------
1 |
2 | # Линейная алгебра
3 |
4 | 1. Системы линейных уравнений, матрицы, операции, блочные операции, обратимость и невырожденность, полиномиальное исчисление от матриц, спектр, минимальный многочлен.
5 | 2. Определители (3 подхода), ориентированные объемы, формулы разложения определителя, присоединен- ная матрица, явные формулы обратной матрицы, характеристический многочлен, теорема Гамильтона- Кэли.
6 | 3. Векторные пространства и подпространства, линейная зависимость, базисы, размерность. Ранги матриц: строчный ранг, столбцовый ранг, факториальный ранг, тензорный ранг, минорный ранг. Свойства рангов и неравенства на ранги.
7 | 4. Линейные отображения и их матричное описание, смена координат. Образ и ядро их геометрический смысл, связь на размерности. Инварианты линейного оператора: след, определитель, характеристический многочлен. Собственные значения и векторы, связь со спектром. Замечание о комплексных числах. Диагонализуемость, теорема о ЖНФ и связанные матричные разложения.
8 | 5. Билинейные формы. Квадратыичные формы и симметричные билинейные формы. Сигнатура, ее геометрический смысл, методы определения сигнатуры. Связь с LU-разложением. Скалярные произведения, углы и расстояния. Ортогонализация и QR-разложение. Линейные многообразия и линейные классификаторы, отступы.
9 | 6. Операторы в евклидовых пространствах. Движения и ортогональные матрицы их классификация. Самосопряженные операторы и симметрические матрицы, их диагонализуемость. Сингулярное разложение (SVD). Нахождение SVD.
10 |
11 | # Математический анализ
12 |
13 | 1. Пределы, ряды и их сходимость. Методы суммирования рядов и признаки сходимости. Дискретное интегрирование и дифференцирование.
14 | 2. Функции одной переменной, пределы, производные их геометрический смысл, вычисление производных, касательные, критические точки, поиск минимумов и максимумов. Интегралы и ориентированные площади, скорости и расстояния, намек на вычисление интегралов, свойства интегрирования.
15 | 3. Функции нескольких переменных, градиент, производная по направлению, линии уровня, касательная плоскость, критические точки, Гессиан и сигнатура, поиск минимумов и максимумов. Нормы, понятие непрерывности в векторном пространстве. Матричные дифференцирования.
16 | 4. Оптимизационные задачи, лагранжиан и его геометрический смысл, нахождение минимума или максимума с заданными ограничениями.
17 |
18 | # Теория вероятностей
19 |
20 | 1. Вероятностное пространство, случайные события, как их понимать. Вероятность (мера) и условная вероятность, независимость событий, геометрический смысл.Формулы Байеса и полной вероятности.
21 | 2. Случайные величины, как их понимать. Функции распределения, вероятности (меры) на прямой и как их задавать. Классы распределений, примеры дискретных и непрерывных распределений. Распределение композиции. Характеристики случайных величин: математическое ожидание, дисперсия, моменты, медиана (в хорошем случае). Нормальное или Гауссово распределение.
22 | 3. Случайный вектор или многомерная случайная величина, как их понимать и задавать. Классы распределений, примеры дискретных и непрерывных распределений. Восстановление распределений координат. Математическое ожидание и матрица ковариации. Независимость случайных величин. Свойства математического ожидания и дисперсии для независимых случайных величин.
23 | 4. Условные математические ожидания и вероятности. Формулы Байеса и полной вероятности для непрерывного случая. Распределение суммы независимых случайных величин и свертка плотностей. Многомерное гауссово распределение.
24 | 5. Основная модель математической статистики (как связать формализм теории вероятностей с измерениями сэмплов). Оценки и их свойства. Зачем нужны сходимости и предельные теоремы. Виды сходимостей и связь между ними. Законы больших чисел и неравенство Чебышева. Выборочные среднее и выборочная дисперсия, выборочная матрица ковариации, коэффициент корреляции. Метод максималь- ного правдоподобия. PCA и SVD. ЦПТ и неравенство Берри-Эссена.
25 |
26 |
--------------------------------------------------------------------------------
/timestamps.linear_algebra.md:
--------------------------------------------------------------------------------
1 | На ютубе таймстемпы в комментариях кликабельные. Здесь копии для удобства поиска сразу по всем видеозаписям.
2 |
3 | # Оглавление
4 |
5 | - [ШАД prep 2021 — линал 01](#шад-prep-2021--линал-01)
6 | - [ШАД prep 2021 — линал 02](#шад-prep-2021--линал-02)
7 | - [ШАД prep 2021 — линал 03](#шад-prep-2021--линал-03)
8 | - [ШАД prep 2021 — линал 04](#шад-prep-2021--линал-04)
9 | - [ШАД prep 2021 — линал 05](#шад-prep-2021--линал-05)
10 | - [ШАД prep 2021 — линал 06](#шад-prep-2021--линал-06)
11 | - [ШАД prep 2021 — линал 07](#шад-prep-2021--линал-07)
12 | - [ШАД prep 2021 — линал 08](#шад-prep-2021--линал-08)
13 |
14 | # ШАД prep 2021 — линал 01
15 |
16 | 0:00:00 Вступительные слова о курсе.
17 |
18 | 0:09:25 Система линейных уравнений, алгоритм Гаусса.
19 | 0:16:24 Элементарные преобразования, они не меняют пространство решений.
20 | 0:26:27 Ступенчатый вид, главные и свободные переменные.
21 | 0:32:14 Улучшенный ступенчатый вид.
22 | 0:35:45 Существование решений, три ситуации: решений нет, решение одно, решений бесконечное количество.
23 | 0:53:27 Задача про количество главных переменных в зависимости от параметра, в домашнем задании есть похожая чуть сложнее.
24 |
25 | 1:05:09 Матрицы, операции над ними.
26 | 1:12:57 Важные примеры: матрица сдвига, у которой все нули, кроме единиц над диагональю, матрица цикла.
27 | Если у B в прозведении AB есть нулевой столбец, то и в результате будет там же нулевой.
28 | Аналогично, если у А в прозведении AB есть нулевая строка, то и в результате будет нулевая строка
29 | 1:20:26 Умножение на диагональную матрицу слева или справа — строки или столбцы умножаются на диагональные элементы.
30 | 1:25:53 Связь между системами линейных уравнений и операциями над матрицами.
31 | 1:28:16 Хорошие свойства операций над матрицами: дистрибутивность, ассоциативность — чем матрицы похожи на числа.
32 | 1:33:35 Плохие свойства: коммутативности нет, разные размеры в зависимости от порядка умножения.
33 | 1:36:24 Простой пример, когда результат умножения разный в зависимости от порядка умножения.
34 | 1:38:39 Делители нуля — произведение запросто может оказаться нулевым при ненулевых сомножителях, AB = 0.
35 | 1:39:35 Произведение диагональных матриц, они коммутируют.
36 | 1:40:29 Иллюстрация для интуиции: связь между диагональными матрицами и функции над конечными множествами.
37 | 1:43:05 И еще никого не удивляет, что произведение двух ненулевых функций может оказаться нулевой функцией.
38 | 1:44:42 Тот факт, что бывают делители нуля это не плохо, иначе у системы Ax=0 было бы лишь одно нулевое решение.
39 | 1:45:37 Если матрица A широкая ▭, то у Ax=0 всегда существует ненулевое решение, за это мы их любим.
40 |
41 | 1:48:53 Еще пара слов о программе курса.
42 |
43 | 1:50:42 Нильпотенты – третий пример плохих свойств.
44 |
45 | —
46 |
47 | 1:53:50 Перерыв, обсуждаем литературу по линейной алгебре: Винберг и Linear Algebra Done Right норм, еще материалы курсов на ФКН, а Кострикин это как машинный код, для роботов.
48 | 1:57:05 Ответ на вопрос про здравое отношение взрослого человека к подробным доказательствам: прямая аналогия напрашивается про прикладных программистов и разработчиков компиляторов.
49 |
50 | —
51 |
52 | 2:03:23 Задача из ДЗ: какие матрицы коммутируют с диагональной, ответ — диагональные.
53 |
54 | По ходу дела комментарий, что формализм и строгость — вещи малосвязанные. Так что бывают доказательства строгие и неформальные, мы ими и занимаемя, все наглядно, но без пробелов. А бывают с кучей формализма и нестрогие, с набором дыр.
55 |
56 | 2:10:43 Задача из ДЗ: какие матрицы коммутируют с любыми матрицами, ответ — скалярные матрицы.
57 | 2:27:03 Задача из ДЗ: какие матрицы коммутируют с матрицей J(0).
58 |
59 | 2:42:44 Блочная формула умножения матриц.
60 | 2:48:09 Частный случай: умножение AB как умножение A на блочную матрицу ( B_1 | ... | B_k).
61 | 2:49:20 Иногда удобно произведение матриц AB рассматривать как сумму, если смотреть на них как на блочную строку A и блочный столбец B.
62 | 2:52:35 Произведение двух блочных матриц вида (A B \\ 0 C), где нулевой блок.
63 |
64 | 2:54:05 Транспонирование сложения и умножения, (AB)^t = B^t A^t и (A + B)^t = A^t + B^t.
65 | 2:57:00 След матрицы tr(A), мы его будем позже обсуждать подробнее, а пока определение и важные свойства tr(AB) = tr(BA), tr(A + B) = tr(A) + tr(B).
66 |
67 | 3:00:27 Деление и обратная матрица.
68 | Комментарий: можно потребовать любое из AB = E и BA = E, чтобы B была обратой, и доказательство не очевидно, но мы его пока не обсуждаем.
69 | 3:04:24 Единственность обратной.
70 | 3:06:27 Задача из ДЗ: пусть A прямоугольная, A B_1 = E_n и B_2 A = E_m, тогда m=n, то есть A квадратная — решается через след.
71 |
72 | 3:10:04 Шесть эквивалентных определений невырожденности, по ходу курса добавятся еще два.
73 | Это удобно, когда надо перейти с одного языка на другой. Например, с языка про системы на язык про обратимость.
74 | В следующий раз будем обсуждать подробней. Когда видишь не первый раз, уже не так страшно.
75 | 3:18:00 Задача из ДЗ: пусть A^m = 0, доказать обратимость матрицы E - A и найти ее явный вид.
76 |
77 | 3:25:48 Завершающие слова: знание — это не какпокупка автомобиля, знание — это как спорт, тренер покажет путь, но заниматься надо самому.
78 |
79 | # ШАД prep 2021 — линал 02
80 |
81 | 0:02:33 Матрицы, соответствующие элементарным преобразованиям.
82 | 0:21:19 Замечание: если надо проделать преобразование строк, а потом преобразоавние слолбцов, то результат будет тот же, что если сделать в обратном порядке, сначала над столбцами, потом над строками: (U_1 A) U_2 = U_1 (A U_2)
83 | 0:26:10 Замечание: когда мы решаем систему Ax = b, мы умножаем слева на матрицы элементарных преобразований, UAx = Ub
84 | 0:27:50 Замечание: матрицы элементарных преобразований обратимы, явный вид обратных.
85 | 0:34:37 Умножение и обратимость:
86 | (1) AB обратима ⇔ A обратима и B обратима по отдельности;
87 | (2) (AB)^{-1} = B^{-1} A^{-1}
88 |
89 | 0:41:04 Шесть эквивалентных определений невырожденности, по ходу курса добавятся еще два.
90 | 0:56:10 Важный момент: обратимость имеет смысл только для квадратных матриц. Частая ошибка бывает, когда глядя на уравнения, записанные в матричном виде, забывают про это и сокращают на какую-нибудь прямоугольную матрицу.
91 | 0:57:11 Быстрые критерии необратимости матриц.
92 | (1) Когда есть нулевая строка или столбец;
93 | (2) Если можно элементарными преобразованиеми занулить строку. Например, две строки одинаковые.
94 | 1:07:30 В явном виде отрицание всех пунктов из эквивалентных определений невырожденности, для лучшего понимания.
95 |
96 | 1:09:07 Поиск обратной матрицы: ( A | E ) ~> ( E | A^{-1} ), как это работает.
97 |
98 | 1:24:29 Рассмотрим Ax=0 и Bx=0 для квадратных матриц одинаковой ширины. Мн-ва решений совпадают ⇔ улучшенные ступенчатые виды A и B совпадают (если отбросить нули).
99 | В конспектах утверждение шире. Следующее эквивалентно:
100 | (1) Системы имеют одно и то же множество решений;
101 | (2) A приводится к B элементарными преобразованиями;
102 | (3) ∃ обратимая C: CA = B;
103 | (4) Улучшенные ступенчатые виды A и B совпадают (если отбросить нули).
104 | 1:29:49 Ответ на вопрос: если улучшенный ступенчатый вид разный, то что будет с общими решениями?
105 | Утверждение выше про полное совпадение. Если надо пересечение, то к матрице A приписывается снизу матрица B
106 |
107 | 1:31:31 Задача из ДЗ. Пусть A прямоугольная размера m×n, а B размера n×m. Утверждение: E - AB обратима ⇔ E - BA обратима.
108 | 1:33:55 Пример применения этого утверждения. Матрица A — столбец, B — строка. Тогда AB — это большая матрица, а BA — это просто число. Так можно сокращать размер матрицы для проверки обратимости.
109 | 1:37:00 Доказательство самого утверждения.
110 | 1:50:25 Трюковое доказательство.
111 |
112 | 2:12:58 Блочные элементарные преобразования.
113 | 2:22:32 Пример.
114 |
115 | 2:27:43 Подстановка матрицы в многочлен.
116 | 2:30:44 Зануляющий многочлен. Примеры.
117 | 2:32:52 Для любой матрицы существует зануляющий мн-н, причем deg p(t) ≤ n.
118 | Это сложно доказать, а вот это просто: deg p(t) ≤ n^2.
119 | 2:35:47 Задача. Сама матрица A не дана, но дан зануляющий мн-н. Нужно выразить обратную матрицу через нее.
120 | 2:39:08 Свойства подстановки в многочлен.
121 |
122 | 2:46:13 Спектр матрицы. Пример: спектр диагональной матрицы.
123 | 2:50:14 Матрицы с пустым вещественным спектром. При этом комплексный спектр всегда непуст.
124 | 2:52:40 Свойства спектра.
125 |
126 | 2:58:12 Минимальный многочлен.
127 |
128 | 3:08:43 Ответ на вопрос, как готовиться.
129 |
130 | # ШАД prep 2021 — линал 03
131 |
132 | 0:01:07 Определитель. Геометрическая интуиция про ориентированный объем.
133 | 0:20:43 Три способа определить определитель.
134 | (1) Через единственность функции, согласованной с умножением матриц;
135 | (2) Через единственность полилинейной и кососимметрической функции на столбцах;
136 | (3) Через явную формулу с перестановками — это почти никогда не нужно.
137 | 0:37:55 Пояснение, про структуру явной формулы.
138 | 0:43:50 Определители для матриц 2x2 и 3x3.
139 | 0:50:07 Как считать: табличный случай и правило по сведению произвольной матрицы к табличному случаю.
140 | Определитель матрицы в ступенчатом виде равен произведению элементов на диагонали.
141 | Простой геометрический пример со следующими матрицами:
142 | a b a 0
143 | 0 d 0 d
144 | 0:56:19 Пояснение про определение через полилинейную и кососимметрическую функцию на столбцах.
145 | 1:03:05 Как меняется определитель при элементарных преобразованиях.
146 | 1:12:52 Пара быстрых способов выянить, равен ли определитель нулю.
147 | (-) Строчка или столбец нулевой;
148 | (-) Есть одинаковые или пропорциональные строки или столбцы.
149 | 1:15:50 Еще пара свойств:
150 | (-) Транспонирование не меняет определитель;
151 | (-) Определитель единичной и скалярной матрицы;
152 | (-) det(λA) = λ^n det(A);
153 | (-) det(AB) = det(A) det(B).
154 | Определитель — единственная функция, которая уважает произведение.
155 | 1:22:22 Важно, что сам определитель и определитель произведения det(AB) работают только на квадратных матрицах.
156 | 1:24:09 Резюме по рассказанному об определителю.
157 | 1:26:36 К эквивалентным определениям невырожденности добавляется еще один пункт про определитель.
158 | 1:29:49 Определитель блочной матрицы
159 | A B
160 | 0 D
161 | 1:37:37 Ответ на вопрос и корректировка небольшого недопонимания про связь определителя верхнетреугольной матрицы и блочного определителя.
162 |
163 | 1:47:00 Задача из ДЗ про определитель матирицы, где везде единицы, а на диагонали лямбды.
164 | 1:53:33 Задача из ДЗ: определитель Вандермонда.
165 | 2:03:00 Задача из ДЗ: дана матрица X = ( X_1 | ... | X_n ), нарезанная на столбцы и набор лямбд, надо посчитать det(λ_1 X_1 X_1^t + ... + λ_n X_n X_n^t). Ответ: det( X diag(λ_1, ..., λ_n) X^t ) = det(X)^2 λ_1, ..., λ_n
166 |
167 | 2:12:03 Разложение определителя по столбцу или строке.
168 | 2:19:40 Вычисление обратной матрицы через присоединенную матрицу. Это теоретический результат, когда мы можем сказать, что мы знаем, как выражаются элементы обратной через элементы исходной матрицы.
169 | 2:25:10 Случай 2x2. Запоминается так: диагональные элементы меняются местами, у недиагональных меняется знак, все это делится на определитель.
170 |
171 | 2:28:10 Характеристический многочлен.
172 | 2:35:41 Свойства:
173 | (1) χ(λ) = λ^n - tr(A) λ^{n-1} + ... + (-1)^n det(A). Надо помнить второй и последний коэффициенты, а то, что скрывается за многоточием вряд ли понадобится;
174 | (2) Спектр — это корни характеристического многочлена;
175 | (3) теорема Гамильтона-Кэли: характеристический многочлен зануляет матрицу. Или, что то же самое, минимальный многочлен делит характеристический.
176 | 2:44:30 Пример.
177 | 2:47:54 Как быстро считать характеристический многочлен для матрицы 2x2: χ(λ) = λ^2 - tr(A) λ + det(A)
178 | 2:48:52 Характеристический многочлен блочной матрицы: χ_S(λ) = χ_A(λ) χ_D(λ)
179 | A B
180 | 0 D
181 | где A и D квадратные блоки.
182 | 2:50:30 Замечание. A-λE обратима для всех лямбд, кроме конечного числа тех, что в спектре. И если была необратимая матрица, то ее легко сделать обратимой, сдвинув ее на λE почти для всех лямбд.
183 |
184 | 2:52:18 Задача из ДЗ: принцип продолжения по непрерывности для определителя блочной матрицы, det( A B \ C D) = det(A) det( D - C A^{-1} B ), когда A обратима (здесь A — n×n, D — m×m).
185 | Получается умножением на матрицу элементарного преобразования (E 0 \ -CA^{-1} E).
186 | Эта формула близка к той, которую очень хотелось бы: det( A B \ C D) = det( AD - BC ), но во-первых, размеры A не позволяют внести ее во второй сомножитель, и во-вторых, A и C не обязательно коммутируют.
187 | 3:01:28 Но если блоки квадратные и соседние коммутируют, то такая формула и получается.
188 | 3:03:20 Решение этой задачи в два шага.
189 |
190 | # ШАД prep 2021 — линал 04
191 |
192 | 0:00:50 Вспоминаем, что E-AB обратима <=> E-BA обратима. Сегодня разеберем, что для квадратных матриц spec(AB) = spec(BA). И χ_{AB}(t) = χ_{BA}(t). Для прямоугольных будут поправки к этому факту.
193 | 0:03:12 Вспоминаем, что такое спектр.
194 | 0:04:42 Равенство характеристических многочленов матриц AB и BA через продолжение по непрерывности.
195 | 0:41:50 Минимальные многочлены матриц AB и BA не обязательно равны, пример: матрицы 2x2 заданы как A = diag(1, 0) и B = J(0), f_min(AB)=t^2, f_min(BA)=t.
196 | 0:45:28 Когда матрица A широкая ▭, B высокая ▯: характеристические матриц AB и BA различаются на множитель t^{n-m}. Из этого еще следует, что spec(BA) = {0} ∪ spec{AB} — спектры различаются на включение нуля.
197 | 0:50:06 Ответ на вопрос. Что будет, если дана квадратная матрица A с характеристическим χ_{A}(t) = t^k g(t), где g(t)≢0. Можно ли говорить, A раскладывается на произведение высокой ▯ и широкой ▭ матриц. Обсудим это позже, это про тензорный ранг.
198 | 0:53:12 Доказательство, утверждения выше, что t^{n-m} χ_{AB}(t) = χ_{BA}(t).
199 | 1:01:52 Резюме вышесказанного про AB и BA для квадратных и прямоугольных матриц.
200 |
201 | 1:07:54 Векторные пространства. Конкретные и абстрактные.
202 | 1:15:30 Определение из двух пунктов: интерфейс — множество со сложением и умножением на числа;
203 | 1:23:20 И контракт — естественные аксиомы про сложение, умножение, единицу.
204 | 1:29:47 Пара примеров векторных пространств: R^n, многочлены, функции на прямой.
205 | 1:33:39 Еще важный пример: { y | Ay=0 } — множество решений однородной системы уравнений, со сложением и умножением. То есть, если есть два решения, то их сложение и умножение на числа останется в этом множестве.
206 | 1:38:38 Подпространство. Это подмножество, которое замкнуто относительно сложения и умножения на скаляр. Важно, что оно тоже пространство. Пример выше есть подпространство в R^n, и его как пространство не сложней изучать, чем само R^n.
207 | 1:41:08 Ответ на вопрос. Умножение u на v не задается. Многочлены можно перемножать, но для пространств это лишняя информация.
208 |
209 | 1:42:25 Изоморфизм, биекция. Линейное отображние.
210 | 1:49:10 Самое важное: любое линейное отображение φ: R^n -> R^m устроено как x -> Ax. И никаких других не бывает. То есть, в R^n любое линейное отображение — это то же самое, что умножить слева на матрицу.
211 | 1:50:28 И еще важное: линейное отображение φ: R^n -> R^n из пространства в себя — это линейная деформация пространства. Это растяжения, наклоны, повороты, проекции, симметрии, etc.
212 | Все, что мы изучали про матрицы, будет важно, когда мы будем изучать линейные отображения.
213 | 1:51:55 Еще важно, что любое /конечномерное/ пространство изоморфно R^n.
214 | То есть любое конечномерное пр-во (в каком-то смысле маленькое) будет устроено так же как R^n, и его изучать конечномерные пространства — все равно что изучать R^n.
215 | 1:52:49 Ответ на вопрос: как определять одинаковость. Пример изоморфизма: нарезка матрицы вертикально в один длинный вертикальный вектор.
216 |
217 | 1:55:19 Линейная зависимость.
218 | 2:12:39 Базис — набор линейно-независимых векторов, через которые выражаются все в пространстве.
219 | Эквивалентные определения:
220 | Базис — максимально линейно-независимый набор. Добавить еще вектор не получится, поломается линейная-независимость.
221 | Базис — минимально-порождающий набор. Выкинуть вектор не получится.
222 | То есть, можно снизу вверх строить базис, а можно сверху вниз.
223 | И еще ∃! набор коэффициентов для выражения вектора в базисе. То есть, координаты вектора в базисе однозначны.
224 | 2:18:49 Пример. Стандартный базис. Он есть в R^n и нет в других векторных пространствах. Чтобы были координаты, надо ввести какой-то базис.
225 | 2:23:37 Размерность пространства — количество векторов в базисе. И если даны два базиса, то их размеры одинаковы.
226 | 2:24:32 Если в каком-то пространстве V дан базис, то это сразу задает биекцию между V и R^n.
227 | 2:27:09 Если V ⊇ U, то dim V ≥ dim U. И равенство достигается только при равенстве пространств.
228 | Это позволяет делать проверку того, что набор векторов является базисом.
229 | f_1, ..., f_m ∈ R^n
230 | Это базис или нет? Если m≠n, то нет.
231 | А если m=n, то еще проверяем: либо линейную независимость, либо то, что они порождающие. Достаточно половину определения проверить.
232 |
233 | 2:29:14 Смена координат. Матрица перехода вектора из одного базиса в другой.
234 | 2:38:31 Пример. Как искать эту матрицу в R^n.
235 | 2:42:32 Ответ на вопрос про C^{-1} B C: как избавиться от C. Ответ: никак. Это матрицы, и они не коммутируют (за редким исключенем). Путаницу вызвало, что det(C^{-1} B C) = det(C^{-1}) det(B) det(C) = det(B), но здесь числа.
236 |
237 | 2:44:16 Линейная оболочка.
238 | 2:48:09 Все пространства устроены как R^n, и мы хотим теперь понять, как задавать подпространства в R^n.
239 | (-) С помощью линейных оболочек.
240 | (-) Через систему уравнений, { y | Ay = 0 }
241 | 2:51:13 Пример A=(1 1), тогда пространство задается так: { (x y)^t | x+y=0 }, и через линейную оболочку: < (1, -1)^t >.
242 | Всегда можно пересчитать из одного способа задания в другой.
243 | Короткое замечание: rk(A) + rk(span) = n.
244 | 2:54:17 Как найти базис, если пространство задано одним из способов выше. Вот первый:
245 | Задача: Задан набор векторов, надо среди них выбрать базис и остальные через него выразить.
246 | 3:12:18 Скелетное разложение. Оно же ранговая факторизация.
247 | 3:22:44 Задача: Подпространство задано матрицей, { y | Ay = 0 }, надо найти базис. Это называется ФСР — фундаментальная система решений.
248 |
249 | 3:43:46 Обсуждение, как готовиться.
250 |
251 |
252 | # ШАД prep 2021 — линал 05
253 |
254 | 0:02:37 Ранг матрицы.
255 | Следующие определения эквивалентны. И сами числа равны.
256 | (-) Столбцовый ранг
257 | (-) Строковый ранг
258 | (-) Факториальный ранг
259 | (-) Тензорный ранг
260 | (-) Минорный ранг
261 | (-) Количество главных переменных в улучшенном ступенчатом виде
262 | 0:30:13 Как эти определения связаны. Самое главное — все эти ранги равны. То есть, это просто ранг.
263 | 0:32:18 Пояснение, что факториальный ранг равен тензорному.
264 | 0:41:02 Как считать ранг.
265 | 0:45:14 Пара свойств:
266 | rk AC = rk DA = rk A, когда C и D обратимы
267 | rk A^t = rk A
268 | 0:48:04 Пояснение, что строковый ранг равен столбцовому.
269 | 0:54:16 Задача из ДЗ: посчитать ранг матрицы, где везде единицы, а на диагонали лямбды.
270 |
271 | 1:02:52 Как искать представлеление для факториального и тензорного ранга. Вспоминаем ранговую факторизацию (скелетное разложение), а если ее раскрыть, то получается представление для тензорного ранга.
272 |
273 | 1:09:17 rk A = 0 ⇔ A=0
274 | rk A = 1 ⇔ A = x y^t — т.е. раскладывается в произведение ненулевых столбца и строки
275 |
276 | 1:10:40 Задача из ДЗ: минорный ранг. Как найти максимальный минор: для этого сначала находим базис столбцов через ранговую факторизацию, а потом вторым Гауссом находим базис строк.
277 | 1:14:50 Минорный ранг позволяет оценить ранг снизу: если видно, что какая-то подматрица невырождена, то ранг матрицы не меньше.
278 |
279 | 1:17:40 Оценки рангов суммы и произведения.
280 | (-) \| rk A - rk B \| ≤ rk(A+B) ≤ rk A + rk B
281 | Причем обе оценки достигаются. Примеры на диагональных матрицах.
282 | То есть, если есть ранги слагаемых, не получится ранг суммы автоматом вычислить, его можно лишь оценить. И это лучшая оценка, которая есть.
283 | (-) rk A + rk B - k ≤ rk(AB) ≤ min(rk A, rk B)
284 | k — общая размерность, A размера m⨯k, B размера k⨯n
285 | Причем первое неравенство совсем не очевидно. Остальные оценки простые. Если есть задача на ранги, то велика вероятность, что в одном из шагов это неравенство.
286 |
287 | 1:31:35 Количество главных переменных = rk A
288 | И dim { y | Ay=0 } = количество свободных переменных = n - rk A.
289 | 1:33:16 Еще на всякий случай. Один из двух способов задания подпространства — через линейную оболочку. Размерность линейной оболочки равен рангу матрицы, составленной из векторов.
290 | 1:34:14 Ранг квадратных матриц: rk A = n ⇔ det A ≠ 0
291 | Это восьмое эквивалентное определение невырожденности.
292 | 1:35:00 Замечание. Два случая: det A ≠ 0 и det A = 0. В первом ранг полный. В остальных ранг показывает, насколько матрица вырожденна.
293 | Еще замечание ранг блочно-диагональной матрицы равен сумме рангов блоков на диагонали.
294 | 1:38:37 Матрица A m⨯n может быть представлена в виде C F D, где C и D обратимы, а F прямоугольная с единицами на диагонали, причем их количество равно рангу A.
295 | Это достикается сначала приведением к ступенчатому виду по строкам, а потом по столбцам.
296 |
297 | 1:43:40 Линейные отображения.
298 | 1:45:57 Линейные операторы, из пространства в себя, это линейная деформация. Примеры.
299 | 1:54:36 Как задавать линейное отображение из V в U.
300 | Выбираем базис в V и говорим, куда его векторы переходят в U, это однозначно задает всё линейное отображение.
301 | Векторы могут при этом переходить в одно и то же, и в ноль, это нормально.
302 |
303 | 1:58:54 Задача. Проверить, существует ли отображение, которое переводит набор заданных векторов из V в заданные векторы U.
304 | 2:06:26 Еще одно решение этой задачи: отображение задается матрицей с неизвестными коэффициентами, записываем все условия в одну большую систему уравнений и решаем ее.
305 | Но система может получиться довольно большой, можно устать ее решать.
306 | 2:09:50 Что делать, если линейно-независимых векторов в данном нам наборе оказалось недостаточно для базиса всего пространства.
307 | Тогда берем и просто проверяем для линейной оболочки, которая представляет из себя подпространство, что есть такое отображение из него в U.
308 |
309 | 2:16:46 Как дополнить набор векторов до базиса.
310 | 2:26:55 Еще раз кратко предыдущая задача про проверку существования отображения с геометрическим пояснением и картинкой.
311 |
312 | 2:36:35 Отображение из R^n в R^m. Матрица линейного отображения.
313 |
314 | 2:55:06 Смена базиса. Матрица при замене координат.
315 |
316 | 3:08:11 Ядро и образ.
317 | Ядра естественным образом задаются с помощью систем Ker φ = { x | Ax = 0 }
318 | Образы естественным образом задаются с помощью линейных оболочек Im φ = { Ax } = { x_1 A_1 + ... + x_n A_n } = < A_1, ..., A_n >
319 | 3:13:11 dim Im Φ + dim Ker Φ = dim V
320 | Количество главных и свободных переменных.
321 | 3:14:14 Геометрический смысл ядра и образа.
322 | Прообраз есть какое-то решение плюс ядро.
323 |
324 | 3:19:45 Ответ на вопрос, что линейный оператор — отображение из R^n в R^n, в себя. Ввели отдельный термин, потому что отображение в другое пространоство и отображение в само себя по-разному себя ведут.
325 |
326 |
327 | # ШАД prep 2021 — линал 06
328 |
329 |
330 | 0:00:00 Два слова, чтобы вспомнить про линейные отображения, ядро и оброз, и про смену базиса.
331 | 0:04:03 Линейные операторы — отображения из пространства в себя, это линейные деформации пространства. Это центральный объект для изучения в линейной алгебре. Для их изучения важны собственные значения и векторы.
332 | 0:04:53 В линейной алгебре многое делается методом Гаусса и по-разному интерпретируется. Но есть черта: как только начинаются собственные значения, метод Гаусса уже не позволяет продвинуться, нужны другие методы.
333 | 0:05:52 Примеры линейных деформаций.
334 | 0:08:09 Когда мы работаем с линейным операторатором, мы пишем не R^n → R^n, а V → V, потому что сразу ясно, что это одно и то же пространоство. У нас один базис. И квадратная матрица.
335 | 0:12:04 Диагонализуемые операторы. Это когда в каком-то базисе матрица диагональна. То есть, оператор растягивает пространство вдоль каких-то осей.
336 | 0:25:08 Вспоминаем, что Im A — это линейная оболочка ее столбцов, Ker A — это ФСР.
337 | dim Im A = количество главных переменных
338 | dim Ker A = количество свободных переменных
339 | dim Im A + dim Ker A = dim V = n
340 |
341 | 0:30:50 Для отображения φ: V → V эквивалентны:
342 | (1) φ — биективно (сущ. обратн.)
343 | (2) φ — инъективно
344 | (3) φ — сюрьективно
345 | Замечание:
346 | инъективно ⇔ Ker φ = 0
347 | сюрьективно ⇔ Im φ = V
348 | Геометрический взгляд: Ker φ — прообраз ядра, прообраз точки u будет φ^{-1}(u) = v_0 + Ker φ
349 | В терминах систем уравнений
350 | Ker φ = { y | Ay = 0 }
351 | Im φ = { b | Ax = b }
352 | Если мы знаем частное решение x_0 системы Ax=b, то общее решение будет выглядеть как x_0 + y.
353 | Инъективность и сюрьективность в равенстве dim Im A + dim Ker A = dim V = n
354 | инъективность ⇔ dim Ker φ = 0
355 | сюрьективность ⇔ dim Im φ = n
356 |
357 | 0:47:25 Лемма о стабилизации.
358 | (1) Ядро при применении преобразования растет до какого-то шага, а потом после некоторого шага стабилизируется:
359 | Ker φ ⊆ Ker φ^2 ⊆ Ker φ^3 ⊆ ...
360 | И ∃k, начиная с которого стабилизируется: { 0 } ≠ Ker φ ≠ Ker φ^2 ≠ Ker φ^3 ≠ ... ≠ Ker φ^k = Ker φ^{k+1} = Ker φ^{k+2} = ...
361 | (2) Такое же поведение для образов, только вложение наоборот:
362 | Im φ ⊇ Im φ^2 ⊇ Im φ^3 ⊇ ...
363 | Начиная с того же k стабилизируется: { 0 } ≠ Im φ ≠ Im φ^2 ≠ Im φ^3 ≠ ... ≠ Im φ^k = Im φ^{k+1} = Im φ^{k+2} = ...
364 | 0:51:02 Задача. A ∈ M_n и в какой-то большой степени зануляется, A^N = 0. Тогда эта матрица в степени своей размерности зануляется, A^n = 0.
365 | 1:02:36 Задача. Дана матрица A размера 3x3. Найти базис Im A^2021.
366 |
367 | 1:08:00 Характеристики линейных операторов.
368 | tr, det, χ(t), минимальный — не зависят от выбора базиса.
369 | И не зависят от матрицы линейного оператора.
370 | 1:18:12 Задача. Даны две матрицы nxn. Существует ли оператор такой, что в одном базисе он задается матрицей A, а в другом базисе матрицей B.
371 | 1:23:24 Это было более ли менее все, что можно знать про линейные операторы до собственных значений. Если удобней думать про линейные операторы в терминах матриц, то выбираем базис и вспоминаем, что мы знаем про квадратные матрицы.
372 |
373 | 1:24:30 Мы хотели бы выбрать базис, чтобы матрица имела простой вид. В идеале, диагональный. Но не все операторы диагонализуемы.
374 | 1:29:22 План дальнейшего обсуждения: диагонализуемость и жорданова нормальная форма, ЖНФ.
375 |
376 | 1:33:28 Собственные значения и векторы: φ(v) = λv
377 | Замечание: считать нулевой вектор собственным или не считать — это вопрос определения.
378 | 1:37:46 В терминах матриц. Ax = λx ⇔ (A-λE)x=0 ⇔ A-λE необратима ⇔ det(A-λE)=0
379 | 1:44:56 Алгебраическая кратность и геометрическая кратность.
380 | 1:58:40 Пример. Какие собственные векторы у следующих матриц:
381 | (1) Диагональная матрица с разными собственными значениями;
382 | (2) C повторяющимися;
383 | (3) J(0) — это пример, когда геометриеская кратность меньше алгебраической.
384 | 2:02:36 Как действует J(0) геометрически — схлопывает в вертикаль, которая потом кладется горизонтально.
385 | Замечание: Im J(0) = Ker J(0) = ⟨e_1⟩
386 | 2:05:57 Собственные векторы, отвечающие разным собственным значениям, линейно независимы. Это пока дается как факт, оставляется без доказательства.
387 |
388 | 2:07:02 Диагонализуемость.
389 | Критерий: сумма алгебраических кратностей должна совпадать с размерностью пространства и геометрические кратности должны быть равны алгебраическим.
390 | 2:13:11 Если свалить все собственные векторы в кучу, то они линейно-независимы. И внутри наборов, отвечающих одним собственным значениям. И между наборами.
391 | 2:14:15 Собственный базис, как в нем выглядит матрица оператора.
392 | 2:18:15 Ответ на вопрос, как это все связано с рангом: ранг мало связан с собственными значениями. Все, что мы можем сказать, это rk Ker φ = количество собственных векторов, отвечающих нулевому собственному значению.
393 | 2:21:24 Признаки диагонализуемости:
394 | (-) Кратности в характеристическом многочлене все единичны.
395 | (-) Есть какой-то зануляющий с линейными множителями.
396 | 2:26:26 Задача. A^2 = A, rk(A-E)=k. Надо rk A. Решение через матрицы.
397 | 2:30:58 Решение через операторы.
398 | 2:39:55 Задача. A ∈ M_n(R), A^2 = E. A = ? — Это про корни из единицы в матрицах.
399 |
400 | 2:47:00 Жорданова нормальная форма, ЖНФ.
401 | Совет сразу рассматривать матрицу в этой форме, если в задаче не дан базис, это скорее всего задача на понимание устройства матрицы с данными условиями.
402 | 2:56:47 Ответ на вопрос: как устроена матрица перехода к ЖНФ и как ее получить, составлена ли эта матрица из собственного базиса. Пример: J(0), собственный вектор один, это e_1, из него обратимую матрицу перехода не составить.
403 | 2:59:44 На примере демонстрация, что такое алгебраическая кратность, геометрическая кратность.
404 | Максимальный размер клетки, ее связь с леммой о стабилизации.
405 | 3:05:28 Замечание: ЖНФ бывает в злобных экзаменационных задачах, а на практике нужна в основном для диффуров. Матрицы диагонализируемы с вероятностью 1, ЖНФ это скорее исключение, и в data science этот случай не учитывается.
406 | 3:06:44 Самая главная концепция: когда мы работаем с линейным оператором, если выберем базис, то пространство превращается в R^n, оператор превращается в умножение на квадратную матрицу, и решать задачи для оператора это все равно, что решать задачи для матрицы. А если дана сложная матрица, можно перейти к более удобному базису и рассматривать более простую матрицу.
407 | 3:08:33 Полный набор инвариантов для матриц.
408 | 3:16:28 Ответ на вопрос, как решать задачу. Как найти ранг для матрицы с χ(t) = (t-2)^2 (t-3)^3 и для χ(t) = t^2 (t-3)^2.
409 |
410 |
411 | # ШАД prep 2021 — линал 07
412 |
413 | 0:01:18 Билинейные формы.
414 | 0:07:58 Пример, самый главный: стандартное скалярное произведение.
415 | 0:11:04 Матрица билинейной формы.
416 | 0:21:47 Замечание: у нас есть два разных объекта, которые описываются квадратными матрицами.
417 | 0:24:30 Смена базиса для матрицы билинейной формы.
418 | 0:33:05 Симметричные и кососимметричные билинейные формы. Замечание: они не зависят от базиса.
419 | В матричной записи: B^t = B, B^t = -B.
420 | 0:36:00 Пример. Матрица стандартного скалярного произведения. B = E, симметричная.
421 | Пример, работает только на плоскости: определитель на матрицах 2x2 есть билинейная форма с матрицей
422 | 0 1
423 | -1 0
424 | 0:38:08 Замечание: в основном изучаются симметричные билинейные формы, они геометрически осмысленны. Кососимметричные приходят в основном из комплана.
425 | 0:40:13 Свойства билинейных форм, которые не зависят от базиса:
426 | (-) ранг: rk B' = rk B
427 | (-) знак определителя: det B' = det(C^t B C) = det B (det C)^2 — определитель может меняться, но знак нет. Из-за этого определитель матрицы билинейной формы лишается смысла, потому что смена базиса меняет определитель.
428 | (-) симметричность и кососимметричность
429 | Замечание: для линейных операторов симметричность зависит от базиса.
430 | 0:52:15 Дефекты матриц билинейных форм:
431 | (-) след никак не связан с билинейной формой: tr B' ≠ tr B, можно подобрать базис, чтобы это было любое число
432 | (-) И еще раз, det B' ≠ det B, только знак.
433 | (-) Характеристические многочлены меняются, χ_{B'} ≠ χ_B
434 | (-) Спектр тоже, spec_{B'} ≠ spec_B
435 |
436 | 0:55:30 Ортогональное дополнение. Левое и правое. У симметричных и кососимметричных билинейных форм они совпадают.
437 |
438 | 1:01:12 Симметричные билинейные формы, диагональный вид, сигнатура.
439 | 1:06:22 Нахождение сигнатуры.
440 | 1:17:50 Замечание. rk B = #1 + #-1 = n - #0
441 | 1:19:08 Метод якоби.
442 | 1:29:02 Продвинутый способ для симметричных билинейных форм: знаки собственных значений дают нам сигнатуру.
443 |
444 | 1:33:35 Квадратичные формы.
445 | 1:36:17 Пример, когда разные матрицы задают разные билинейные формы, но одну и ту же квадратичную форму Q(x_1, x_2) = 2 x_1 x_2
446 | B_1 =
447 | 0 2
448 | 0 0
449 | B_2 =
450 | 0 1
451 | 1 0
452 | B_3 =
453 | 0 0
454 | 2 0
455 | Но если билинейная форма симметричная, то ее всегда можно восстановить из квадратичной.
456 | То есть, взаимно-однозначное соответствие такое:
457 | β(u, v) = 1/2 ( Q(v+u) - Q(v) - Q(u) )
458 |
459 | 1:42:23 Квадратичная форма — функция от вектора, и мы можем рассмотреть график. Примеры Q(x, y) с разными сигнатурами.
460 | Замечание. Это используется в матане для определения, является ли критическая точка положением минимума или максимума, когда это сводится к подсчету сигнатуры гессиана, его матрица строится из вторых частных производных.
461 | 1:55:41 Как получить матрицу из квадратичной формы. Например, Q(x,y,z) = x^2 + xy + yz
462 |
463 | 2:02:55 Положительно-определенные и неотрицательно-определенные билинейные формы.
464 | 2:05:42 Скалярное произведение — симметричная положительно-определенная билинейная форма.
465 | 2:10:24 Стандартное скалярное произведение.
466 | 2:14:12 Замечание. B^t = B
467 | B>0 ⇔ ∃ невырожденная C, такая что B раскладывается в произведение B = C^t C
468 | B≥0 ⇔ B = C^t C — без невырожденности
469 | Доказательство для B>0.
470 | Для B≥0 оно сложное, но можно им пользоваться без доказательства.
471 |
472 | 2:22:20 Евклидово пространство — векторное пространство со скалярным произведением.
473 | Пример. Возьмем пространство матриц V = M_mn(R) и зададим скалярное произведение на нем:
474 | (A,B) = tr( A^t B )
475 | Тогда для ненулевых A будет (A,A) = tr( A^t A ) = \sum a_ij^2 > 0.
476 | Это одно и самых популярных скалярных произведений на матрицах.
477 | 2:24:41 Пример. Возьмем пространство непрерывных на отрезке функций V = C[0, 1].
478 | Зададим (f,g) = \int_0^1 f(x) g(x) dx
479 | Тогда для ненулевых (f,f) = \int_0^1 f^2(x) dx > 0
480 |
481 | 2:26:25 Изоморфизм евклидовых пространств.
482 | Утверждение: (V, .) ≃ (U, .) ⇔ dim V = dim U
483 | Здесь скалярные произведения разные для V и для U, так записано для краткости.
484 | Важность утверджения в том, что если размерности одинаковые, то все скалярные произведения устроены одинаково.
485 | 2:35:25 Пример. Школьная плоскость R^2, скалярное произведение (x,y) = x_1 y_1 + x_2 y_2. И школьное пространство R^3 со скаларным произведением.
486 | \|v\| := \sqrt(v,v) — длина вектора
487 | С таким определением длины можно доказать утверждение Коши-Буняковского: \| (v,u) \| ≤ \|v\| \|u\|
488 | Угол между векторами: cos a = (u,v) / \|u\| \|v\|
489 | 2:40:37 Мотивация для утверждения выше: если есть какая-то интуиция для школьной плоскости и пространства, то они верны и для произвольного евклидова пространства такой же размерности.
490 | То есть, можно найти удобную биекцию с R^n и спокойно пользоваться скалярным произведением для работы с расстояниями и углами.
491 | Замечание. Это соответствие, конечно, работает только для скалярного произведения. То есть, если есть какие-то свойства в векторных пространствах, то они могут запросто потеряться в этом изоморфизме.
492 | 2:49:24 Расстояние между векторами: ρ(u,v) = \| v - u \|. Неравенство треугольника.
493 | 2:52:18 Ортогональность: (v,u) = 0. Ортонормированнй базис, B = E.
494 | 2:56:31 Задача на подумать. Пространство квадратных матриц V = M_n(R). Существует ли скалярное произведение такое, что множество верхнетреугольных матриц ортогонально матрице, целиком заполненной единицами.
495 |
496 | 2:58:10 Ортонормированные базисы в R^n.
497 | Утверждение. Следующие пункты эквивалентны:
498 | (-) C^t C = E — это значит, что столбцы C образуют ортонормированный базис
499 | (-) C C^t = E — оказывается, что если нарезать C на строки, то они тоже образуют ортонормированный базис
500 | (-) C^t = C^{-1} — это значит, что обратную брать очень легко, надо просто транспонировать матрицу
501 | Если любое из этого выполнено, то матрица C называется ортогональной. Это такой класс матриц, которые часто используются в контексте стандартного скалярного произведения.
502 | Теперь мы знаем, как выглядят все ортонормированные базисы в R^n, они описываются ортогональными матрицами.
503 |
504 | 3:07:17 Ортогонализация, процесс Грама-Шмидта. Дана линейная оболочка, и задача в том, чтобы найти в ней ортонормированный базис.
505 | 3:21:57 Ответ на вопрос: в чем идея ортогонализировать пространство матриц.
506 |
507 | 3:26:12 Двойственность для подпространств. Ортогональное дополнение S^⟂ = { v | (s, v) = 0 }.
508 | Если S = ⟨u_1, ..., u_k⟩, то S^⟂ ортогонально каждому u_i.
509 | И S^⟂ = { y | Uy = 0 }, где в U уложенные по строкам векторы u_i.
510 | 3:30:00 Сумма подпространств: U + W = { u+w }, еще записывается ⟨U,W>.
511 | 3:31:02 Самые главные свойства двойственности. Пусть (V, .) — евклидово пространство, подпространство W ⊆ V, тогда
512 | (1) dim W + dim W^⟂ = dim V — например, в трехмерном пространстве ортогональным дополнением к прямой будет плоскость, и наоборот;
513 | (2) W ∩ W^⟂ = 0, W + W^⟂ = V — например, в трехмерном пространстве ортогональные плоскость и прямая пересекаются только в нуле и их сумма дает все пространство.
514 | (3) Если даны вложенные подпространства W ⊆ U ⊆ V, то их ортогональные дополнения вложены в обратном порядке, W^⟂ ⊇ U^⟂
515 | (4) W^⟂⟂ = W
516 | (5) (W + U)^⟂ = W^⟂ ∩ U⟂
517 | (6) (W ∩ U)^⟂ = W^⟂ + U⟂
518 | 3:35:40 Здесь связь с системами уравнений из S^⟂ = { y | Uy = 0 }, можно из них все это вывести.
519 | 3:36:17 Аналогия с НОК и НОД. Диаграмма, где ортогональное дополнение переворачивает отношения между подпространствами. Двойственностью удобно пользоваться, когда надо что-то доказать про подпространства, и удобней обращаться с их ортогональными дополнениями.
520 |
521 |
522 | # ШАД prep 2021 — линал 08
523 |
524 | 0:06:00 Проекторы. Возьмем разложение пространства V = U + W, U∩W=0. Оператор φ проецирует на u, φ: V -> U. Тогда эквивалентные свойства проекторов:
525 | Геометрическое — U = Im φ, W = ker φ
526 | Алгебраическое — φ^2 = φ
527 | 0:17:22 Пример. В частности, в R^n отображение φ — проектор ⇔ A^2 = A.
528 | На что мы проецируем: Im φ = линейная оболочка столбцов A.
529 | Вдоль чего: Ker φ = { y | Ay = 0 }
530 | 0:18:20 Ответ на вопрос. Что значит спроецировать на прямую вдоль плоскости. Иллюстрация.
531 | 0:22:07 Замечание. Раз φ^2 = φ, то зануляющий многочлен p(x) = x^2 - x, его корни 0 и 1. То есть, проекторы диагонализуются с единицами и нулями на диагонали.
532 | f_min(x) делит зануляющий и будет или x, или x-1, или x^2-x. Первый и второй случай тривиальны, это нулевое отображение и id.
533 | Если выбрать базис, то проекторы отправляют часть базисных векторов в ноль.
534 | 0:26:25 У проекторов tr A = dim U, целое число. То есть, если A^2=A, то tr A = rk A.
535 | 0:30:16 Задача. U дано в виде базиса, W дано в виде ФСР { y | Ay=0 }. Как в явном виде записать матрицу проектора на U вдоль W?
536 | B = (u_1 | ... | u_k), A sxn широкая ▭
537 | Ответ: P = B (AB)^{-1} A — мнемоническое правило BABA.
538 | Замечание: AB обратима.
539 | 0:43:07 Ортопроекторы. Задача: найти матрицу ортопроектора, то есть проектора на подпространства вдоль его ортогонального дополнения.
540 | Подпространство задано базисом в столбцах A. Тогда ортогональное дополнение W = { y | A^t y = 0 }
541 | Ответ: P = A (A^t A)^{-1} A^t — мнемоническое правило ATATA.
542 | 0:57:24 Метод наименьших квадратов. Геометрический смысл, решение через ортопроекцию.
543 | x = (A^t A)^{-1} A^t b
544 |
545 | 1:05:00 Матрица Грама для набора векторов, G_ij = (v_i, v_j). Если применить к базису, эта матрица будет совпадать с матрицей скалярного произведения.
546 | 1:09:50 Пример. Если взять стандартное скалярное произведение в R^n и составить матрицу A из векторов, то матрица Грама будет G(v_1, ..., v_k) = A^t A. Количество векторов может быть и меньше, и больше размерности пространства.
547 | Если в задаче где-то есть A^t A, то возможно, будет выход на объемы, и геометрическая интуиция будет помогать.
548 | 1:10:57 Свойства матрицы Грама. (1) Линейная зависимость столбцов в матрице A и в A^t A.
549 | 1:15:14 (2) rk G(v_1, ..., v_k) = dim < v1_, ..., v_k > — в терминах матриц это означает, что rk A^t A = rk A, ранг не падает.
550 | 1:16:14 (3) det G(v_1, ..., v_k) ≥ 0, то есть, det(A^t A) ≥ 0
551 | Все собственные значения ≥ 0
552 | И > 0 ⇔ v_1, ..., v_k линейно-независимы
553 | 1:17:27 (4) Процесс ортгонализации его не меняет. Это следует отсюда: если заменить набор векторов вот так: (v_1, ..., v_k) C = (f_1, ..., f_k), то det G(f_1, ..., f_k) = det C^2 det G(v_1, ..., v_k).
554 |
555 | 1:20:07 Неориентированные объемы и матрица Грама. k-мерный объем параллелепипеда будет равен Vol_k = sqrt( det G ). Если векторы линейно-зависимы, то объем нулевой.
556 | 1:21:25 Пример в R^n. Vol_k = sqrt( det A^t A ) = \| det A \|
557 |
558 | 1:25:40 Ориентированный объем.
559 | В R^n со стандартным скалярным произведением (x, y) = x^t y задается как vol_n (v_1, ..., v_n) = det A.
560 | Другие пространства с ортонормированным базисом изоморфны R^n, поэтому там задается так же.
561 | То есть, чтобы определитель задавал ориентированный объем, нужнен ортонормированный базис. Мы ради ортонормированности к определителю вернулись.
562 | 1:31:27 Объем линейного оператора.
563 | Рассматривается объем параллелепипеда и объем того, куда он переходит: vol φ(П) = det φ vol П.
564 | 1:38:35 Операторы в евклидовом пространстве. Два самых важных класса: движения (ортогональные операторы) и самосопряженные операторы (симметричные).
565 | 1:41:07 Движения. Пусть дан оператор. Тогда следующие утверждения эквивалентны:
566 | (1) ( φ(v), φ(u) ) = (u, v)
567 | (2) длины | φ(v) | = |v| и углы α_uv = α_{φ(u)φ(v)}
568 | (3) | φ(v) | = |v|
569 | Вторые два условия наглядные и геометрические, но их сложно проверять: надо для любых векторов и длины проверить, и углы.
570 | А первое непонятное алгебраическое, но им легко пользоваться.
571 | 1:46:22 Пояснение, почему из (3) следует (2): сохранение углов следует из равенства треугольников.
572 | Связь алгебраической части (1) с геометрическими: длины выражаются через скалярное произведение, и наоборот, скалярное произведение выражается через длины и углы.
573 | 1:49:40 Пример. Как выглядит матрица A движения φ в R^n со стандартным скалярным произведением (x, y) = x^t y.
574 | x^t y = (Ax)^t Ay = x^t A^t A y, то есть, A^t A = E, матрица ортогональная.
575 | В ортонормированном базисе матрица движения ортогональная.
576 | Для движений легко считать обратные матрицы.
577 | 1:54:40 Примеры движений в R^2 со стандартным скалярным произведением (x, y) = x^t y: симметрия и вращение, их матрицы.
578 | det Rotation = 1, det Symm = -1. Других вариантов нет, определитель либо 1, либо -1, потому что det A^t A = 1.
579 | Собственные и несобственные движения.
580 | Вращение в R^2 — собственное движение, симметрия в R^2 — несобственное движение.
581 | 2:00:21 Примеры движений в R^3. Все движения описываются просто вращениями или вращениями вместе с симметрией. Те, что с симметрией в R^3 — несобственные движения.
582 | 2:05:04 Ответ на вопрос, как выглядят вращения вместе с симметрией.
583 | 2:08:00 Спектр движений. Все комплексные собственные числа движений являются числами по модулю 1.
584 | 2:13:34 Утверждение. Матрица движений выглядит следующим образом: на диагонали идет блок единиц, потом блок минус единиц, а дальше блоки 2x2, состоящие из матриц вращения.
585 | Сам базис мы искать не будем, это техническая задача,
586 | 2:16:08 Обзор сказанного про движения.
587 |
588 | 2:16:52 Самосопряженные операторы, обзор.
589 | Мы любим диагонализируемые операторы.
590 | Хотим разобраться, как выглядят операторы, которые даны в евклидовом пространстве и диагонализуются в ортонормированном базисе.
591 | То есть мы хотим не просто базис, вдоль которого происходит растяжение, а ортонормированный базис.
592 | В алгебраических терминах это дает самосопряженные (симметричные) операторы. В произвольном ортонормированном базисе они будут задаваться симметричными матрицами.
593 | 2:20:34 Ответ на вопрос и корректировка недопонимания, что векторы в базисах всегда под углами 90 градусов. До введения скалярного произведения мы рассматривали базисы абстрактно, что иногда запутывает, потому что нам проще воспринимать более сложные понятия из реального мира.
594 | 2:24:24 Определение просто сопряженных операторы, пока не самосопряженных.
595 | Дан оператор φ, хотим найти φ* такой, что (φ v, u) = (v, φ* u).
596 | Оказывается, такой φ* существует и единственный.
597 | У сопряженных операторов нет никакого очевидного геометрического смысла, только алгебраический.
598 | Если не пишут в книгах об их геометрическом смысле, это не значит, что они поленились привести примеры, а просто поленились написать о том, что его нет.
599 | 2:28:17 Пример. Выберем ортонормированный базис, пространство превратится в R^n со стандартным скалярным произведением (x, y) = x^t y. Оператор φ будет задаваться матрицей A, надо найти матрицу B сопряженного оператора φ*.
600 | (φx, y) = (x, φ* y)
601 | (Ax)^t y = x^t By
602 | x^t A^t y = x^t By
603 | A^t = B
604 | В ортонормированном базисе матрица сопряженного оператора задается просто транспонированием.
605 | И важно, что B = A^t только в ортонормированном базисе. В других базисах будет сложней.
606 | 2:33:00 Редкий пример, когда мы можем понять геометрическое действие: A = J_2(0).
607 | 2:35:10 Самосопряженные операторы. Самосопряженность φ* = φ означает, что матрица симметричная, A^t = A.
608 | Изучать самосопряженные операторы в ортонормированном базисе это то же самое, что изучать симметричные матрицы. Если в задачах что-то надо сказать про симметричные матрицы, вспоминаем самосопряженные операторы.
609 | Замечание, на всякий случай, еще симметричные матрицы изучаются в билинейных формах, это другое.
610 | 2:37:30 Что нужно знать про самосопряженный оператор φ* = φ:
611 | (-) все собственные значения вещественные φx = λx
612 | (-) для разных собственных значений собственные векторы ортогональны
613 | (-) существует ортонормированный базис, где матрица диагональна
614 | 2:41:40 Переформулировка в R^n с (x, y) = x^t y. Матрица симметричная, A^t = A.
615 | (-) характеристический многочлен χ(t) имеет только вещественные корни, то есть раскладывается на линейные множители
616 | (-) для разных собственных значений будет Ax = λx, Ay = μy, тогда x^t y = 0, они ортогональны
617 | (-) ∃ C ортогональная, C^t C = E, такая что A = C D C^t — в C собственные векторы, в D собственные значения
618 | Замечание. Здесь аналогия с комплексными сопряженными числами, z* = z, когда z вещественное.
619 | 2:48:00 Диагонализация самосопряженного оператора. Хотим A = C D C^t.
620 | (1) находим корни и кратности характеристического многочлена — сумма кратностей будет равна размерности пространства и корни будут вещественные. Выкладываем группами на диагональ, это будет матрица D.
621 | (2) для каждого i решаем ФСР ( A - λ_i ) x = 0 — количество векторов будет равно кратности
622 | (3) ортогонализация Грама-Шмидта, нормируем, выставляем группами по столбцам, получаем C.
623 | 2:57:19 Ответ на вопрос, зачем мы это делаем. Для диагонализации симметричных матриц и для SVD. И еще попросили пример в числах.
624 | A =
625 | 2 1
626 | 1 2
627 | χ(t) = t^2 - 4t + 3 = (t-1)(t-3)
628 | D = diag(3, 1)
629 | И нахождение C для каждого собственного значения.
630 | 3:03:12 Ответ на вопрос: нужно ли это для возведения в степень. Любая диагонализация хороша для возведения в степень, а для диагонализации симметричных матриц еще хорошо, что обратную брать не нужно, достаточно транспонировать.
631 |
632 | 3:04:20 Сингулярное разложение, SVD: A = U Σ V^t.
633 | 3:12:35 До обсуждения алгоритмов — обзор, что дает это разложение. Усеченное разложение. Полное разложение нужно, если на V^t хочется сократить, а так пользуются усеченным.
634 | 3:18:04 Распишем SVD по блочным формулам. A = σ_1 u_1 v_1^t + ... + σ_k u_k v_k^t
635 | Эта штука похожа на тензорное разложение. k = rk A.
636 | 3:21:41 Взгляд на матрицу A как на картинку, и использование SVD для сжатия с потерями. Исходная картинка занимает O(nm) памяти, первые r слагаемых O( r(m+n+1) ).
637 | 3:28:10 Компактное разложение, в нем уже нечего отрезать из матриц U и V^t. И замечание про не единственность U и V^t.
638 |
639 | 3:33:14 Поиск SVD. План действий.
640 | Хотим A = U Σ V^t для широкой матрицы.
641 | Рассмотрим симметричную матрицу S = AA^t = U Σ V^t V Σ^t U^t = U Σ^2 U^t.
642 | Чтобы найти такое ее разложение, диагонализируем самосопряженный оператор, это даст нам Σ и U. Останется найти V.
643 | Рассматриваем AA^t, а не A^t A, потому что рассматриваем широкую матрицу A.
644 | Тогда AA^t меньше размером, меньше вычислений.
645 | Когда A высокая, алгоритм тот же, просто мы ее предварительно транспонируем в широкую, а потом разложение еще раз транспонируем.
646 |
647 | 3:37:18 Алгоритм, как искать SVD.
648 | (1) Диагонализируем симметричную матрицу S = AA^t, получаем U и Σ из S = U Σ^2 U^t.
649 | Собственные значения AA^t неотрицательны, потому что < AA^t x, x > = < Ax, Ax > ≥ 0
650 | (2a) Поиск первых r значимых столбцов V.
651 | v_i = 1/σ_i A^t u_i
652 | Это получается отсюда:
653 | A^t = V Σ^t U^t
654 | A^t u = V Σ
655 | (2b) Находим ФСР Ay=0, ортогонализация Грама-Шмидта, нормировка.
656 |
657 | 3:44:30 Еще раз обзор алгоритма.
658 | 3:46:50 Пример на маленькой матрице 2x3.
659 | 3:52:30 Обзор пары современных применений SVD: как исследователи некоторые элементы физики превращают в real-time с помощью нейронок, и как можно вырезать статический фон из изображений, отбрасывая большие сингулярные значения.
660 | Еще вернемся к SVD, когда будем обсуждать PCA, который будет в рамках тервера.
661 |
662 |
--------------------------------------------------------------------------------