Математика

Матрицы, определители

матрицы, определители, системы, собственные значения

Длина вектора в Rn

Длина вектора в евклидовом пространстве показывает, насколько далеко точка с координатами вектора находится от начала координат. Формула обобщает теорему Пифагора на любое число координат.

$\|x\|=\sqrt{x_1^2+x_2^2+\dots+x_n^2}$

Скалярное произведение векторов

Скалярное произведение складывает попарные произведения координат двух векторов и дает число. Через него находят длину, угол между векторами, ортогональность и проекции.

$a\cdot b=\sum_{i=1}^{n}a_i b_i$

Косинус угла между векторами

Косинус угла между двумя ненулевыми векторами равен скалярному произведению, деленному на произведение их длин. Формула переводит координаты в геометрический угол.

$\cos\varphi=\frac{a\cdot b}{\|a\|\,\|b\|}$

Матричное произведение

Матричное произведение строит элемент новой матрицы как скалярное произведение строки первой матрицы и столбца второй. Порядок множителей важен.

$(AB)_{ij}=\sum_{k=1}^{m}a_{ik}b_{kj}$

Определитель матрицы 2x2

Определитель матрицы 2x2 равен разности произведений диагоналей. Он показывает, во сколько раз линейное преобразование меняет ориентированную площадь.

$\det\begin{pmatrix}a&b\\c&d\end{pmatrix}=ad-bc$

Определитель матрицы 3x3 по правилу Саррюса

Правило Саррюса дает быстрый способ вычислить определитель матрицы 3x3 как сумму трех произведений по нисходящим диагоналям минус сумму трех произведений по восходящим диагоналям.

$\det A=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{13}a_{22}a_{31}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}$

Обратная матрица 2x2

Обратная матрица 2x2 существует только при ненулевом определителе. Она обращает действие исходной матрицы: A^{-1}A = I, то есть возвращает исходный вектор.

$A^{-1}=\frac{1}{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$

Решение системы 2x2 по правилу Крамера

Правило Крамера выражает решение системы двух линейных уравнений через определители. Метод работает, когда главный определитель системы не равен нулю.

$x=\frac{\Delta_x}{\Delta},\quad y=\frac{\Delta_y}{\Delta}$

Ранг матрицы через миноры

Ранг матрицы равен наибольшему порядку ненулевого минора. Он показывает, сколько строк или столбцов матрицы действительно независимы.

$\operatorname{rank}A=\max\{r:\text{существует ненулевой минор порядка }r\}$

След матрицы

След квадратной матрицы равен сумме элементов главной диагонали. Он сохраняется при замене базиса и связан с собственными значениями.

$\operatorname{tr}A=a_{11}+a_{22}+\dots+a_{nn}$

Характеристический многочлен матрицы 2x2

Характеристический многочлен матрицы 2x2 выражается через след и определитель. Его корни являются собственными значениями матрицы.

$p(\lambda)=\lambda^2-\operatorname{tr}(A)\lambda+\det(A)$

Матричная форма системы линейных уравнений

Матричная форма Ax = b записывает систему линейных уравнений как произведение матрицы коэффициентов на столбец неизвестных. Такая запись позволяет решать систему не как набор отдельных строк, а как единый линейный объект.

$Ax=b$

Расширенная матрица системы

Расширенная матрица [A|b] объединяет коэффициенты системы и правые части в одну таблицу. Она нужна для метода Гаусса, потому что при преобразовании строк меняются и коэффициенты, и правые части.

$\left[A\mid b\right]$

Элементарные преобразования строк

Элементарные преобразования строк - это три допустимые операции, которые заменяют систему на эквивалентную: перестановка строк, умножение строки на ненулевое число и прибавление кратной строки.

$R_i\leftrightarrow R_j,\quad R_i\leftarrow cR_i\ (c\ne0),\quad R_i\leftarrow R_i+cR_j$

Прямой ход метода Гаусса

Прямой ход метода Гаусса зануляет коэффициенты под ведущими элементами. В результате система приводится к ступенчатому виду, из которого решение находят обратной подстановкой.

$R_i\leftarrow R_i-\frac{a_{ik}}{a_{kk}}R_k$

Обратная подстановка в методе Гаусса

Обратная подстановка находит неизвестные после прямого хода метода Гаусса. Она идет снизу вверх по ступенчатой системе: сначала последняя ведущая переменная, затем предыдущие.

$x_i=\frac{b'_i-\sum_{j=i+1}^{n}u_{ij}x_j}{u_{ii}}$

Ступенчатый вид матрицы

Ступенчатый вид матрицы - это форма, где ведущие элементы ненулевых строк смещаются вправо при движении вниз, а под каждым ведущим элементом стоят нули.

$p_1<p_2<\dots<p_r,\quad a_{ij}=0\ \text{ниже ведущих элементов}$

Приведенный ступенчатый вид матрицы

Приведенный ступенчатый вид, или RREF, усиливает обычный ступенчатый вид: каждый ведущий элемент равен 1, а в его столбце все остальные элементы равны 0.

$\operatorname{rref}(A)$

Метод Гаусса-Жордана

Метод Гаусса-Жордана продолжает метод Гаусса до приведенного ступенчатого вида. Если система имеет единственное решение, расширенная матрица превращается в [I|x], и ответ читается сразу.

$\left[A\mid b\right]\sim\left[I\mid x\right]$

Ранг расширенной матрицы системы

Ранг расширенной матрицы показывает, добавляет ли столбец правых частей новое независимое условие к строкам матрицы коэффициентов. Это ключ к проверке совместности системы.

$\operatorname{rank}[A\mid b]$

Теорема Кронекера-Капелли

Теорема Кронекера-Капелли дает точный критерий совместности линейной системы: решение существует тогда и только тогда, когда ранги матрицы коэффициентов и расширенной матрицы равны.

$\operatorname{rank}A=\operatorname{rank}[A\mid b]$

Условие несовместности линейной системы

Линейная система несовместна, если ранг расширенной матрицы больше ранга матрицы коэффициентов. Это означает, что правые части добавляют противоречивое условие, которое нельзя получить из левых частей уравнений.

$\operatorname{rank}A<\operatorname{rank}[A\mid b]$

Условие единственного решения линейной системы

Линейная система с n неизвестными имеет единственное решение, если она совместна и общий ранг равен числу неизвестных. Тогда все переменные ведущие, свободных параметров не остается.

$\operatorname{rank}A=\operatorname{rank}[A\mid b]=n$

Число свободных переменных в линейной системе

В совместной линейной системе число свободных переменных равно числу неизвестных минус ранг матрицы коэффициентов. Эти переменные становятся параметрами общего решения.

$k=n-\operatorname{rank}A$

Общее решение линейной системы через параметры

Общее решение совместной линейной системы записывают как одно частное решение плюс линейную комбинацию направлений однородной системы. Параметров столько, сколько свободных переменных.

$x=x_p+t_1v_1+\cdots+t_kv_k$

Ядро линейного отображения

Ядро линейного отображения - это множество всех векторов, которые переходят в нулевой вектор. По ядру сразу видно, теряет ли отображение информацию и может ли оно быть инъективным.

$\ker T=\{v\in V\mid T(v)=0\}$

Образ линейного отображения

Образ линейного отображения - это множество всех векторов, которые реально могут получиться на выходе. Для матрицы это столбцовое пространство, натянутое на ее столбцы.

$\operatorname{Im}T=\{T(v)\mid v\in V\}$

Ранг линейного отображения

Ранг линейного отображения равен размерности его образа. Он показывает, сколько независимых направлений результата реально достижимо.

$\operatorname{rank}T=\dim\operatorname{Im}T$

Дефект линейного отображения

Дефект линейного отображения равен размерности его ядра. Он показывает, сколько независимых входных направлений отображение переводит в ноль.

$\operatorname{def}T=\dim\ker T$

Теорема о ранге и дефекте

Теорема о ранге и дефекте говорит, что размерность исходного пространства равна сумме размерности образа и размерности ядра линейного отображения.

$\dim V=\operatorname{rank}T+\dim\ker T$

Размерности ядра и образа матрицы

Если матрица A имеет n столбцов и ранг r, то размерность ее ядра равна n-r, а размерность образа равна r. Это матричная форма теоремы о ранге и дефекте.

$\dim\ker A=n-r,\quad \dim\operatorname{Im}A=r$

Базис векторного пространства

Базис векторного пространства - это набор векторов, который одновременно порождает все пространство и не содержит лишних зависимых направлений. Через базис любой вектор записывается единственным способом.

$B=(e_1,\ldots,e_n),\quad V=\operatorname{span}B,\quad e_1,\ldots,e_n\ \text{линейно независимы}$

Координаты вектора в базисе

Координаты вектора в базисе - это коэффициенты единственного разложения вектора по базисным векторам. Сам вектор не меняется, меняется только числовая запись относительно выбранного базиса.

$v=x_1e_1+\cdots+x_ne_n,\quad [v]_B=(x_1,\ldots,x_n)^T$

Размерность векторного пространства

Размерность конечномерного векторного пространства - это число векторов в любом его базисе. Она показывает, сколько независимых направлений нужно для описания всех элементов пространства.

$\dim V=n\quad\Longleftrightarrow\quad \text{любой базис }V\text{ содержит }n\text{ векторов}$

Критерий базиса в Rn через определитель

В Rn набор из n векторов является базисом тогда и только тогда, когда определитель матрицы из этих векторов как столбцов не равен нулю.

$A=[v_1\ \cdots\ v_n],\quad v_1,\ldots,v_n\text{ - базис }\mathbb R^n\Longleftrightarrow \det A\ne0$

Матрица базиса и стандартные координаты

Матрица базиса переводит координатный столбец в выбранном базисе в стандартные координаты. Ее столбцы - это сами базисные векторы, записанные в стандартной системе.

$v=P_B[v]_B,\quad P_B=[e_1\ \cdots\ e_n]$

Переход координат между базисами

Переход координат между базисами переводит координатный столбец одного и того же вектора из базиса B в базис C. Сам вектор не меняется, меняется только его числовое описание.

$[v]_C=P_C^{-1}P_B[v]_B$

Матрица оператора при смене базиса

При смене базиса матрица одного и того же линейного оператора меняется по формуле подобия. Это позволяет описывать один оператор разными матрицами без изменения самого действия на пространстве.

$[T]_C=S^{-1}[T]_B S,\quad [v]_B=S[v]_C$

Лемма Штейница о замене

Лемма Штейница о замене формализует идею, что независимых направлений не может быть больше, чем в порождающем наборе. Из нее следуют равенство числа векторов в любых базисах и корректность понятия размерности.

$L\text{ независим},\ G\text{ порождает }V\quad\Rightarrow\quad |L|\le |G|$

Критерий линейности отображения

Критерий линейности проверяет, сохраняет ли отображение сложение векторов и умножение на скаляр. Если равенство выполняется для любых u, v и скаляров alpha, beta, отображение линейно.

$T(\alpha u+\beta v)=\alpha T(u)+\beta T(v)$

Столбцы матрицы линейного отображения

j-й столбец матрицы линейного отображения равен образу j-го базисного вектора. Это позволяет читать действие отображения прямо по столбцам матрицы.

$A e_j=a_j=T(e_j)$

Матрица линейного отображения в произвольных базисах

Матрица отображения в базисах B и C переводит координаты входного вектора в базисе B в координаты его образа в базисе C. Ее столбцы - координаты образов базисных векторов.

$[T(v)]_C=A_{C\leftarrow B}[v]_B,\quad A_{C\leftarrow B}=\big[[T(b_1)]_C\ \cdots\ [T(b_n)]_C\big]$

Обратное линейное отображение и обратная матрица

Если линейное отображение T представлено обратимой квадратной матрицей A, то обратное отображение представлено матрицей A^{-1}. Это верно при согласованных базисах.

$T^{-1}\text{ существует }\Longleftrightarrow A^{-1}\text{ существует},\quad [T^{-1}]=A^{-1}$

Линейный оператор как квадратная матрица

Линейный оператор - это линейное отображение пространства в себя. В выбранном базисе конечномерного пространства он записывается квадратной матрицей.

$T:V\to V,\quad [T]_B=A\in M_n(F),\quad [T(v)]_B=A[v]_B$

Линейный функционал как строка матрицы

Линейный функционал - это линейное отображение из пространства в поле скаляров. В выбранном базисе он записывается одной строкой, которая умножается на координатный столбец.

$f(v)=r[v]_B,\quad r=\big(f(b_1),\ldots,f(b_n)\big)$

Собственное значение и собственный вектор

Собственный вектор матрицы A - это ненулевой вектор, который после умножения на A остается на той же прямой. Собственное значение lambda показывает, во сколько раз этот вектор растягивается, сжимается или меняет направление.

$Av=\lambda v,\quad v\ne0$

Характеристическое уравнение матрицы

Характеристическое уравнение det(A-lambda I)=0 находит те значения lambda, при которых у системы (A-lambda I)v=0 появляется ненулевое решение. Именно эти lambda являются собственными значениями матрицы.

$\det(A-\lambda I)=0$

Собственное пространство матрицы

Собственное пространство E_lambda - это множество всех векторов, которые удовлетворяют Av=lambda v, вместе с нулевым вектором. Оно равно ядру матрицы A-lambda I.

$E_\lambda=\ker(A-\lambda I)$

Геометрическая кратность собственного значения

Геометрическая кратность собственного значения - это размерность его собственного пространства. Она показывает, сколько независимых собственных направлений соответствует данному lambda.

$g(\lambda)=\dim E_\lambda=\dim\ker(A-\lambda I)$

Спектр матрицы

Спектр матрицы - это множество ее собственных значений. Для конечной квадратной матрицы он состоит из корней характеристического уравнения.

$\sigma(A)=\{\lambda:\det(A-\lambda I)=0\}$

Сумма собственных значений равна следу

Сумма собственных значений квадратной матрицы, взятых с алгебраическими кратностями, равна следу матрицы. След не меняется при смене базиса.

$\lambda_1+\cdots+\lambda_n=\operatorname{tr}(A)$

Диагонализация матрицы

Диагонализация представляет квадратную матрицу A в виде A=PDP^{-1}, где D диагональна, а столбцы P являются собственными векторами A. Это переводит действие оператора в собственный базис.

$A=PDP^{-1}$

Базис из собственных векторов

Базис из собственных векторов - это базис пространства, каждый вектор которого является собственным для оператора A. В таком базисе матрица оператора становится диагональной.

$B=(v_1,\ldots,v_n),\quad Av_i=\lambda_i v_i$

Критерий диагонализируемости через геометрические кратности

Матрица n x n диагонализируема тогда и только тогда, когда сумма размерностей всех ее собственных пространств равна n. Это означает, что собственных векторов хватает на базис.

$A\text{ диагонализируема}\Longleftrightarrow \sum_{\lambda\in\sigma(A)}\dim E_\lambda=n$

Диагонализируемость при различных собственных значениях

Если матрица n x n имеет n различных собственных значений, то она диагонализируема. Разным собственным значениям соответствуют линейно независимые собственные векторы.

$\lambda_1,\ldots,\lambda_n\text{ различны}\Longrightarrow A\text{ диагонализируема}$

Диагонализация матрицы 2x2

Матрица 2x2 диагонализируется, если для нее можно найти два линейно независимых собственных вектора. При двух различных собственных значениях это выполняется автоматически.

$A=P\begin{pmatrix}\lambda_1&0\\0&\lambda_2\end{pmatrix}P^{-1}$

Степень диагонализируемой матрицы

Если A=PDP^{-1}, то степень A^k вычисляется как PD^kP^{-1}. Диагональную матрицу D возводят в степень по диагональным элементам.

$A^k=PD^kP^{-1},\quad D^k=\operatorname{diag}(\lambda_1^k,\ldots,\lambda_n^k)$

Функция от диагонализируемой матрицы

Если A диагонализируема, функцию от матрицы можно вычислить через функцию от ее собственных значений. Для диагональной D функция применяется к каждому диагональному элементу.

$f(A)=P f(D) P^{-1},\quad f(D)=\operatorname{diag}(f(\lambda_1),\ldots,f(\lambda_n))$

Недиагонализируемая матрица с жордановым блоком

Жорданов блок 2x2 с единицей над диагональю имеет одно собственное значение lambda алгебраической кратности 2, но только одно независимое собственное направление. Поэтому он не диагонализируем.

$J=\begin{pmatrix}\lambda&1\\0&\lambda\end{pmatrix},\quad \dim E_\lambda=1<2$

Норма вектора через скалярное произведение

Длина вектора в евклидовом пространстве равна квадратному корню из его скалярного произведения с самим собой. Формула связывает геометрическую длину с алгебраической операцией над координатами.

$\|v\|=\sqrt{v\cdot v}$

Ортонормированный базис

Базис называется ортонормированным, если его векторы имеют длину 1 и попарно ортогональны. Краткая запись e_i*e_j=delta_ij объединяет оба условия в одной формуле.

$e_i\cdot e_j=\delta_{ij}$

Координаты в ортонормированном базисе

В ортонормированном базисе коэффициент при базисном векторе равен скалярному произведению x с этим вектором. Поэтому разложение вектора строится без решения системы уравнений.

$x=\sum_{i=1}^{n}(x\cdot e_i)e_i$

Ортогональная проекция на прямую

Ортогональная проекция вектора v на прямую, заданную ненулевым вектором u, равна такому кратному u, что остаток v-proj_u v перпендикулярен прямой.

$\operatorname{proj}_{u}v=\frac{v\cdot u}{u\cdot u}u$

Матрица ортогональной проекции

Если столбцы Q образуют ортонормированный базис подпространства W, то матрица P=QQ^T переводит любой вектор в его ортогональную проекцию на W.

$P=QQ^{T},\quad Q^{T}Q=I$

Ортогональное дополнение подпространства

Ортогональное дополнение W^perp состоит из всех векторов, перпендикулярных каждому вектору подпространства W. В R^n его размерность дополняет размерность W до n.

$W^{\perp}=\{x:\ x\cdot w=0\ \text{для всех }w\in W\},\quad \dim W+\dim W^{\perp}=n$

Ортогональная матрица

Квадратная матрица Q ортогональна, если ее столбцы образуют ортонормированный базис. Тогда обратная матрица равна транспонированной, а преобразование сохраняет длины и углы.

$Q^{T}Q=I,\quad Q^{-1}=Q^{T}$

Проекция вектора на ненормированный вектор

Проекция вектора v на направление u вычисляется через скалярное произведение с нормированием на длину u. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.

$\operatorname{proj}_{u}(v)=\frac{u^{\top}v}{u^{\top}u}\,u$

Разложение вектора на параллельную и перпендикулярную части

Любой вектор раскладывается на компоненту вдоль u и ортогональную остаточную часть. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.

$v=\operatorname{proj}_{u}(v)+\left(v-\operatorname{proj}_{u}(v)\right),\quad u^{\top}\left(v-\operatorname{proj}_{u}(v)\right)=0$

Первый вектор в Gram-Schmidt

Нормировка первого столбца задает первый ортонормированный вектор. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

$q_1=\frac{a_1}{\|a_1\|}$

k-й шаг алгоритма Gram-Schmidt

Для каждого нового столбца убирают вклад уже построенных ортонормированных направлений, затем нормируют остаток. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

$u_k=a_k-\sum_{j=1}^{k-1}(q_j^{\top}a_k)\,q_j,\quad q_k=\frac{u_k}{\|u_k\|}$

Коэффициенты R через скалярные произведения

После построения Q каждую колонку a_j раскладывают по уже найденным q_i. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

$R_{ij}=q_i^{\top}a_j,\quad a_j=\sum_{i=1}^{j}R_{ij}q_i,\quad R_{ij}=0\ (i>j)$

Формула QR-разложения

Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

$A = QR,\quad Q^{\top}Q=I_r,\quad R \text{ верхнетреугольная}$

Проектор на span(Q)

Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

$P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P$

Наименьшие квадраты через QR

После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

$\hat{x}=R^{-1}Q^{\top}b,\quad A=QR$

Нормальные уравнения в QR-форме

Из A=QR получаем эквивалентное равенство через R, сохраняя идею нормальных уравнений. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

$A^T A x = A^T b,\quad R^T R x = R^T Q^T b$

Остаток в задаче ЛС и его ортогональность

Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

$r=b-A\hat{x},\quad A^T r=0,\quad Q^T r=0$

Построение матрицы квадратичной формы из полинома

Любую квадратичную форму двух- и трёхпеременных можно записать через матрицу, где коэффициенты при смешанных членах делятся пополам и переносятся в симметричные ячейки.

$q(x,y,z)=a x^2+2bxy+2cxz+d y^2+2eyz+f z^2=\begin{bmatrix}x&y&z\end{bmatrix}\begin{bmatrix}a&b&c\\ b&d&e\\ c&e&f\end{bmatrix}\begin{bmatrix}x\\y\\z\end{bmatrix}.$

Квадратичная форма при смене переменных

При обратимой линейной замене x = S y матрица формы меняется по сопряжённому преобразованию, а сама квадратичная форма остаётся той же величиной.

$x=S y, \quad Q(y)=x^T A x = y^T (S^T A S) y = y^T B y.$

Снятие линейного члена через сдвиг центра

Если у квадратичной формы есть линейная часть, её удобно убрать сдвигом переменных x→x+x₀ и затем сводить оставшуюся чистую квадратичную часть к главным осям.

$x^T A x+2b^T x+c=(x+x_0)^T A (x+x_0)+c-b^T A^{-1} b, \quad x_0=-A^{-1}b, \ (A \text{ nonsingular}).$

Устранение смешанного члена в 2D

В плоскости поворот координат на θ (u,v) убирает смешанный член q. Главные оси соответствуют направлениям, где кросс-термин исчезает.

$q(x,y)=ax^2+2bxy+cy^2, \quad \tan 2\theta=\frac{2b}{a-c}, \quad q = \lambda_1 u^2 + \lambda_2 v^2.$

Ортогональная диагонализация симметричной матрицы квадратичной формы

Для симметричной A всегда существует ортогональная матрица собственных векторов, которая переводит квадратичную форму в диагональный вид и задаёт главные оси.

$A=Q\Lambda Q^T, \quad Q^TQ=I, \quad Q=[q_1\dots q_n], \; q(x)=x^T A x=(Q^Tx)^T \Lambda (Q^Tx).$

Канонический вид в главных осях

В координатах главных осей квадратичная форма становится суммой квадратов с весами-коэффициентами λ_i, что упрощает классификацию многообразий.

$q(x)=x^T A x = z^T\Lambda z = \sum_{i=1}^{n}\lambda_i z_i^2, \quad x=Qz.$

Определенность через главные миноры

Критерий Сильвестра даёт практичный способ определить знак квадратичной формы через детерминанты ведущих главных миноров симметрической матрицы.

$A\succ 0 \iff \Delta_k>0 \ \forall k, \quad \Delta_k=\det(A_k), \quad A_k \in \mathbb R^{k\times k}.$

Экстремумы квадратичной формы на сфере

На единичной сфере максимум и минимум квадратичной формы достигаются на собственных векторах, соответствующих λ_max и λ_min.

$\lambda_{\min} \le \frac{x^T A x}{x^T x} \le \lambda_{\max}, \quad A=A^T.$

Критерий наименьших квадратов

Критерий наименьших квадратов измеряет суммарную квадратичную ошибку между наблюдаемым вектором b и моделью Ax, поэтому превращает переопределенную систему в задачу минимизации.

$\hat x_{\mathrm{LS}}=\arg\min_{x\in\mathbb R^n} \|Ax-b\|_2^2 = \arg\min_x (Ax-b)^\top (Ax-b).$

Нормальные уравнения для МНК

Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.

$A^\top A\,\hat x = A^\top b.$

Ортогональность невязки

Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.

$r=b-A\hat x,\quad A^\top r=0.$

Число обусловленности для задачи МНК

При переходе к нормальным уравнениям число обусловленности фактически возводится в квадрат, поэтому ошибки округления и шум в данных могут заметно усилиться.

$\kappa_2(A^\top A)=\frac{\sigma_{\max}^2}{\sigma_{\min}^2}=\kappa_2(A)^2.$

QR-разложение для задачи МНК

QR-разложение решает задачу МНК без формирования A^T A: если A=QR, то параметры находятся из треугольной системы R x = Q^T b.

$A=QR,\quad Q^\top Q=I,\quad \|Ax-b\|_2^2=\|Rx-Q^\top b\|_2^2+\|Q_\perp^\top b\|_2^2.$

Псевдообратная для решения МНК

Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.

$\hat x=A^+b,\qquad A^+=(A^\top A)^{-1}A^\top\ (\operatorname{rank}(A)=n).$

Проекционный оператор и оценка МНК

Матрица P=A(A^T A)^{-1}A^T проецирует b на пространство столбцов A, а вектор Pb является предсказанием модели МНК. Эта запись важна не как отдельный трюк, а как часть практического языка линейных моделей и обработки измерений.

$\hat b = A\hat x = A A^+ b,\qquad P=AA^+,\ P^\top=P,\ P^2=P.$

2×2 нормальные уравнения без полной инверсии

Малую систему нормальных уравнений 2×2 можно решить вручную через определитель или исключение, не строя полную обратную матрицу.

$\begin{aligned} \begin{bmatrix}c_{11} & c_{12}\\ c_{12} & c_{22}\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}d_1\\d_2\end{bmatrix},\;\Delta=c_{11}c_{22}-c_{12}^2,\\ x_1=\frac{c_{22}d_1-c_{12}d_2}{\Delta},\quad x_2=\frac{-c_{12}d_1+c_{11}d_2}{\Delta}. \end{aligned}$

Сингулярное разложение матрицы

Сингулярное разложение представляет матрицу как произведение двух ортогональных матриц и диагональной матрицы сингулярных чисел. Это универсальная форма разложения, которая работает для прямоугольных матриц и показывает главные направления действия линейного отображения.

$A=U\Sigma V^T,\quad U^TU=I,\quad V^TV=I$

Ранг матрицы через сингулярные числа

Ранг матрицы равен количеству ненулевых сингулярных чисел. Эта формула связывает алгебраическое понятие размерности образа с численной диагностикой зависимости строк и столбцов.

$\operatorname{rank}(A)=\#\{i:\sigma_i>0\}$

Спектральная норма через сингулярные числа

Спектральная норма матрицы равна ее наибольшему сингулярному числу. Она показывает максимальный коэффициент растяжения вектора при действии линейного отображения.

$\|A\|_2=\sigma_{\max}(A)=\sqrt{\lambda_{\max}(A^TA)}$

Норма Фробениуса через след и сингулярные числа

Квадрат нормы Фробениуса равен следу матрицы A^T A, сумме квадратов всех элементов и сумме квадратов сингулярных чисел. Это удобная мера общего размера матрицы.

$\|A\|_F^2=\operatorname{tr}(A^TA)=\sum_{i,j}a_{ij}^2=\sum_k\sigma_k^2$

Циклическое свойство следа матрицы

След произведения матриц не меняется при циклической перестановке множителей, если все произведения определены. Это свойство помогает упрощать доказательства, производные матричных функций и выражения с нормами.

$\operatorname{tr}(AB)=\operatorname{tr}(BA),\quad \operatorname{tr}(ABC)=\operatorname{tr}(BCA)=\operatorname{tr}(CAB)$

Дополнение Шура

Дополнение Шура выражает эффективный блок матрицы после исключения другого блока. Оно появляется при блочном обращении матриц, решении систем, вычислении определителей и условных распределениях в статистике.

$S=D-CA^{-1}B$

Обратная блочной матрицы через дополнение Шура

Формула обращает блочную матрицу через обратный блок A и обратное дополнение Шура. Она показывает, как получить обратную матрицу без обращения всей матрицы целиком.

$\begin{pmatrix}A&B\\C&D\end{pmatrix}^{-1}=\begin{pmatrix}A^{-1}+A^{-1}BS^{-1}CA^{-1}&-A^{-1}BS^{-1}\\-S^{-1}CA^{-1}&S^{-1}\end{pmatrix},\quad S=D-CA^{-1}B$

Лемма об определителе матрицы

Лемма об определителе показывает, как меняется определитель обратимой матрицы при ранговом обновлении uv^T. Вместо пересчета всего определителя достаточно вычислить один скаляр.

$\det(A+uv^T)=\det(A)\left(1+v^TA^{-1}u\right)$

Формула Шермана-Моррисона

Формула Шермана-Моррисона дает обратную матрицу после рангового обновления A+uv^T. Она позволяет обновить уже известную обратную матрицу без полного повторного обращения.

$(A+uv^T)^{-1}=A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u}$

Формула Вудбери

Формула Вудбери обобщает обновление обратной матрицы на добавку малого ранга UCV. Она позволяет заменить обращение большой матрицы обращением меньшей матрицы.

$(A+UCV)^{-1}=A^{-1}-A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}$