Длина вектора в Rn
Длина вектора в евклидовом пространстве показывает, насколько далеко точка с координатами вектора находится от начала координат. Формула обобщает теорему Пифагора на любое число координат.
Математика
матрицы, определители, системы, собственные значения
Длина вектора в евклидовом пространстве показывает, насколько далеко точка с координатами вектора находится от начала координат. Формула обобщает теорему Пифагора на любое число координат.
Скалярное произведение складывает попарные произведения координат двух векторов и дает число. Через него находят длину, угол между векторами, ортогональность и проекции.
Косинус угла между двумя ненулевыми векторами равен скалярному произведению, деленному на произведение их длин. Формула переводит координаты в геометрический угол.
Матричное произведение строит элемент новой матрицы как скалярное произведение строки первой матрицы и столбца второй. Порядок множителей важен.
Определитель матрицы 2x2 равен разности произведений диагоналей. Он показывает, во сколько раз линейное преобразование меняет ориентированную площадь.
Правило Саррюса дает быстрый способ вычислить определитель матрицы 3x3 как сумму трех произведений по нисходящим диагоналям минус сумму трех произведений по восходящим диагоналям.
Обратная матрица 2x2 существует только при ненулевом определителе. Она обращает действие исходной матрицы: A^{-1}A = I, то есть возвращает исходный вектор.
Правило Крамера выражает решение системы двух линейных уравнений через определители. Метод работает, когда главный определитель системы не равен нулю.
Ранг матрицы равен наибольшему порядку ненулевого минора. Он показывает, сколько строк или столбцов матрицы действительно независимы.
След квадратной матрицы равен сумме элементов главной диагонали. Он сохраняется при замене базиса и связан с собственными значениями.
Характеристический многочлен матрицы 2x2 выражается через след и определитель. Его корни являются собственными значениями матрицы.
Матричная форма Ax = b записывает систему линейных уравнений как произведение матрицы коэффициентов на столбец неизвестных. Такая запись позволяет решать систему не как набор отдельных строк, а как единый линейный объект.
Расширенная матрица [A|b] объединяет коэффициенты системы и правые части в одну таблицу. Она нужна для метода Гаусса, потому что при преобразовании строк меняются и коэффициенты, и правые части.
Элементарные преобразования строк - это три допустимые операции, которые заменяют систему на эквивалентную: перестановка строк, умножение строки на ненулевое число и прибавление кратной строки.
Прямой ход метода Гаусса зануляет коэффициенты под ведущими элементами. В результате система приводится к ступенчатому виду, из которого решение находят обратной подстановкой.
Обратная подстановка находит неизвестные после прямого хода метода Гаусса. Она идет снизу вверх по ступенчатой системе: сначала последняя ведущая переменная, затем предыдущие.
Ступенчатый вид матрицы - это форма, где ведущие элементы ненулевых строк смещаются вправо при движении вниз, а под каждым ведущим элементом стоят нули.
Приведенный ступенчатый вид, или RREF, усиливает обычный ступенчатый вид: каждый ведущий элемент равен 1, а в его столбце все остальные элементы равны 0.
Метод Гаусса-Жордана продолжает метод Гаусса до приведенного ступенчатого вида. Если система имеет единственное решение, расширенная матрица превращается в [I|x], и ответ читается сразу.
Ранг расширенной матрицы показывает, добавляет ли столбец правых частей новое независимое условие к строкам матрицы коэффициентов. Это ключ к проверке совместности системы.
Теорема Кронекера-Капелли дает точный критерий совместности линейной системы: решение существует тогда и только тогда, когда ранги матрицы коэффициентов и расширенной матрицы равны.
Линейная система несовместна, если ранг расширенной матрицы больше ранга матрицы коэффициентов. Это означает, что правые части добавляют противоречивое условие, которое нельзя получить из левых частей уравнений.
Линейная система с n неизвестными имеет единственное решение, если она совместна и общий ранг равен числу неизвестных. Тогда все переменные ведущие, свободных параметров не остается.
Совместная линейная система имеет бесконечно много решений, если общий ранг меньше числа неизвестных. Тогда остаются свободные переменные, и все решения описываются параметрами.
В совместной линейной системе число свободных переменных равно числу неизвестных минус ранг матрицы коэффициентов. Эти переменные становятся параметрами общего решения.
Общее решение совместной линейной системы записывают как одно частное решение плюс линейную комбинацию направлений однородной системы. Параметров столько, сколько свободных переменных.
Размерность пространства решений однородной системы Ax = 0 равна числу неизвестных минус ранг матрицы A. Это частный и особенно важный случай подсчета свободных переменных.
Ядро линейного отображения - это множество всех векторов, которые переходят в нулевой вектор. По ядру сразу видно, теряет ли отображение информацию и может ли оно быть инъективным.
Образ линейного отображения - это множество всех векторов, которые реально могут получиться на выходе. Для матрицы это столбцовое пространство, натянутое на ее столбцы.
Ранг линейного отображения равен размерности его образа. Он показывает, сколько независимых направлений результата реально достижимо.
Дефект линейного отображения равен размерности его ядра. Он показывает, сколько независимых входных направлений отображение переводит в ноль.
Теорема о ранге и дефекте говорит, что размерность исходного пространства равна сумме размерности образа и размерности ядра линейного отображения.
Линейное отображение инъективно тогда и только тогда, когда его ядро состоит только из нулевого вектора. Ненулевое ядро означает потерю различимости входов.
Линейное отображение сюръективно, если его образ совпадает со всем пространством значений. В матричном языке это означает полный строковый ранг.
Если матрица A имеет n столбцов и ранг r, то размерность ее ядра равна n-r, а размерность образа равна r. Это матричная форма теоремы о ранге и дефекте.
Базис векторного пространства - это набор векторов, который одновременно порождает все пространство и не содержит лишних зависимых направлений. Через базис любой вектор записывается единственным способом.
Координаты вектора в базисе - это коэффициенты единственного разложения вектора по базисным векторам. Сам вектор не меняется, меняется только числовая запись относительно выбранного базиса.
Размерность конечномерного векторного пространства - это число векторов в любом его базисе. Она показывает, сколько независимых направлений нужно для описания всех элементов пространства.
В Rn набор из n векторов является базисом тогда и только тогда, когда определитель матрицы из этих векторов как столбцов не равен нулю.
Матрица базиса переводит координатный столбец в выбранном базисе в стандартные координаты. Ее столбцы - это сами базисные векторы, записанные в стандартной системе.
Переход координат между базисами переводит координатный столбец одного и того же вектора из базиса B в базис C. Сам вектор не меняется, меняется только его числовое описание.
При смене базиса матрица одного и того же линейного оператора меняется по формуле подобия. Это позволяет описывать один оператор разными матрицами без изменения самого действия на пространстве.
Лемма Штейница о замене формализует идею, что независимых направлений не может быть больше, чем в порождающем наборе. Из нее следуют равенство числа векторов в любых базисах и корректность понятия размерности.
Критерий линейности проверяет, сохраняет ли отображение сложение векторов и умножение на скаляр. Если равенство выполняется для любых u, v и скаляров alpha, beta, отображение линейно.
Если T:R^n -> R^m линейно, то оно задается матрицей A размера m x n. Столбцы A равны образам стандартных базисных векторов области определения.
j-й столбец матрицы линейного отображения равен образу j-го базисного вектора. Это позволяет читать действие отображения прямо по столбцам матрицы.
Матрица отображения в базисах B и C переводит координаты входного вектора в базисе B в координаты его образа в базисе C. Ее столбцы - координаты образов базисных векторов.
Матрица композиции линейных отображений равна произведению их матриц в том же порядке применения справа налево: сначала T, затем S.
Тождественное отображение оставляет каждый вектор без изменения. В одном и том же базисе его матрица равна единичной матрице I_n.
Если линейное отображение T представлено обратимой квадратной матрицей A, то обратное отображение представлено матрицей A^{-1}. Это верно при согласованных базисах.
Линейный оператор - это линейное отображение пространства в себя. В выбранном базисе конечномерного пространства он записывается квадратной матрицей.
Линейный функционал - это линейное отображение из пространства в поле скаляров. В выбранном базисе он записывается одной строкой, которая умножается на координатный столбец.
Собственный вектор матрицы A - это ненулевой вектор, который после умножения на A остается на той же прямой. Собственное значение lambda показывает, во сколько раз этот вектор растягивается, сжимается или меняет направление.
Характеристическое уравнение det(A-lambda I)=0 находит те значения lambda, при которых у системы (A-lambda I)v=0 появляется ненулевое решение. Именно эти lambda являются собственными значениями матрицы.
Характеристический многочлен квадратной матрицы A - это многочлен det(lambda I-A). Его корни являются собственными значениями A с учетом алгебраической кратности.
Собственное пространство E_lambda - это множество всех векторов, которые удовлетворяют Av=lambda v, вместе с нулевым вектором. Оно равно ядру матрицы A-lambda I.
Алгебраическая кратность собственного значения lambda0 - это степень, с которой множитель lambda-lambda0 входит в характеристический многочлен.
Геометрическая кратность собственного значения - это размерность его собственного пространства. Она показывает, сколько независимых собственных направлений соответствует данному lambda.
Спектр матрицы - это множество ее собственных значений. Для конечной квадратной матрицы он состоит из корней характеристического уравнения.
Сумма собственных значений квадратной матрицы, взятых с алгебраическими кратностями, равна следу матрицы. След не меняется при смене базиса.
Произведение собственных значений квадратной матрицы, взятых с алгебраическими кратностями, равно определителю матрицы. Нулевое собственное значение означает нулевой определитель.
Диагонализация представляет квадратную матрицу A в виде A=PDP^{-1}, где D диагональна, а столбцы P являются собственными векторами A. Это переводит действие оператора в собственный базис.
Базис из собственных векторов - это базис пространства, каждый вектор которого является собственным для оператора A. В таком базисе матрица оператора становится диагональной.
Матрица n x n диагонализируема тогда и только тогда, когда сумма размерностей всех ее собственных пространств равна n. Это означает, что собственных векторов хватает на базис.
Если матрица n x n имеет n различных собственных значений, то она диагонализируема. Разным собственным значениям соответствуют линейно независимые собственные векторы.
Матрица 2x2 диагонализируется, если для нее можно найти два линейно независимых собственных вектора. При двух различных собственных значениях это выполняется автоматически.
Если A=PDP^{-1}, то степень A^k вычисляется как PD^kP^{-1}. Диагональную матрицу D возводят в степень по диагональным элементам.
Если A диагонализируема, функцию от матрицы можно вычислить через функцию от ее собственных значений. Для диагональной D функция применяется к каждому диагональному элементу.
Жорданов блок 2x2 с единицей над диагональю имеет одно собственное значение lambda алгебраической кратности 2, но только одно независимое собственное направление. Поэтому он не диагонализируем.
Если B - базис из собственных векторов оператора T, то матрица T в этом базисе диагональна. На диагонали стоят собственные значения, соответствующие векторам базиса.
Два вектора ортогональны, если их скалярное произведение равно нулю. В евклидовом пространстве это означает взаимную перпендикулярность направлений и дает алгебраический способ проверять прямые углы.
Длина вектора в евклидовом пространстве равна квадратному корню из его скалярного произведения с самим собой. Формула связывает геометрическую длину с алгебраической операцией над координатами.
Базис называется ортонормированным, если его векторы имеют длину 1 и попарно ортогональны. Краткая запись e_i*e_j=delta_ij объединяет оба условия в одной формуле.
В ортонормированном базисе коэффициент при базисном векторе равен скалярному произведению x с этим вектором. Поэтому разложение вектора строится без решения системы уравнений.
Ортогональная проекция вектора v на прямую, заданную ненулевым вектором u, равна такому кратному u, что остаток v-proj_u v перпендикулярен прямой.
Если q_1,...,q_k образуют ортонормированный базис подпространства W, то проекция x на W равна сумме его компонент вдоль этих базисных направлений.
Если столбцы Q образуют ортонормированный базис подпространства W, то матрица P=QQ^T переводит любой вектор в его ортогональную проекцию на W.
Ортогональное дополнение W^perp состоит из всех векторов, перпендикулярных каждому вектору подпространства W. В R^n его размерность дополняет размерность W до n.
Квадратная матрица Q ортогональна, если ее столбцы образуют ортонормированный базис. Тогда обратная матрица равна транспонированной, а преобразование сохраняет длины и углы.
Расстояние от вектора x до подпространства W равно длине ортогонального остатка после проекции x на W. Проекция дает ближайший вектор внутри W.
Проекция вектора v на направление u вычисляется через скалярное произведение с нормированием на длину u. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.
Любой вектор раскладывается на компоненту вдоль u и ортогональную остаточную часть. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.
Нормировка первого столбца задает первый ортонормированный вектор. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
Для каждого нового столбца убирают вклад уже построенных ортонормированных направлений, затем нормируют остаток. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
После построения Q каждую колонку a_j раскладывают по уже найденным q_i. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Из A=QR получаем эквивалентное равенство через R, сохраняя идею нормальных уравнений. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Любая квадратичная форма задаётся симметричной (или эквивалентно любая) матрицей A через скалярное произведение вектора x с образом A x.
В x^T A x участвуют только симметричные коэффициенты, поэтому любую матрицу A можно заменить симметричной частью без изменения квадратичной формы.
Любую квадратичную форму двух- и трёхпеременных можно записать через матрицу, где коэффициенты при смешанных членах делятся пополам и переносятся в симметричные ячейки.
При обратимой линейной замене x = S y матрица формы меняется по сопряжённому преобразованию, а сама квадратичная форма остаётся той же величиной.
Если у квадратичной формы есть линейная часть, её удобно убрать сдвигом переменных x→x+x₀ и затем сводить оставшуюся чистую квадратичную часть к главным осям.
В плоскости поворот координат на θ (u,v) убирает смешанный член q. Главные оси соответствуют направлениям, где кросс-термин исчезает.
Для симметричной A всегда существует ортогональная матрица собственных векторов, которая переводит квадратичную форму в диагональный вид и задаёт главные оси.
В координатах главных осей квадратичная форма становится суммой квадратов с весами-коэффициентами λ_i, что упрощает классификацию многообразий.
Критерий Сильвестра даёт практичный способ определить знак квадратичной формы через детерминанты ведущих главных миноров симметрической матрицы.
На единичной сфере максимум и минимум квадратичной формы достигаются на собственных векторах, соответствующих λ_max и λ_min.
Критерий наименьших квадратов измеряет суммарную квадратичную ошибку между наблюдаемым вектором b и моделью Ax, поэтому превращает переопределенную систему в задачу минимизации.
Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.
Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.
Если столбцы A линейно независимы, решение МНК можно записать явно как x=(A^T A)^{-1}A^T b, потому что матрица A^T A становится обратимой.
Разложение Холецкого применяет положительную определенность A^T A и заменяет решение нормальных уравнений двумя треугольными системами.
При переходе к нормальным уравнениям число обусловленности фактически возводится в квадрат, поэтому ошибки округления и шум в данных могут заметно усилиться.
QR-разложение решает задачу МНК без формирования A^T A: если A=QR, то параметры находятся из треугольной системы R x = Q^T b.
Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.
Матрица P=A(A^T A)^{-1}A^T проецирует b на пространство столбцов A, а вектор Pb является предсказанием модели МНК. Эта запись важна не как отдельный трюк, а как часть практического языка линейных моделей и обработки измерений.
Малую систему нормальных уравнений 2×2 можно решить вручную через определитель или исключение, не строя полную обратную матрицу.
Сингулярное разложение представляет матрицу как произведение двух ортогональных матриц и диагональной матрицы сингулярных чисел. Это универсальная форма разложения, которая работает для прямоугольных матриц и показывает главные направления действия линейного отображения.
Ранг матрицы равен количеству ненулевых сингулярных чисел. Эта формула связывает алгебраическое понятие размерности образа с численной диагностикой зависимости строк и столбцов.
Спектральная норма матрицы равна ее наибольшему сингулярному числу. Она показывает максимальный коэффициент растяжения вектора при действии линейного отображения.
Квадрат нормы Фробениуса равен следу матрицы A^T A, сумме квадратов всех элементов и сумме квадратов сингулярных чисел. Это удобная мера общего размера матрицы.
След произведения матриц не меняется при циклической перестановке множителей, если все произведения определены. Это свойство помогает упрощать доказательства, производные матричных функций и выражения с нормами.
Дополнение Шура выражает эффективный блок матрицы после исключения другого блока. Оно появляется при блочном обращении матриц, решении систем, вычислении определителей и условных распределениях в статистике.
Формула обращает блочную матрицу через обратный блок A и обратное дополнение Шура. Она показывает, как получить обратную матрицу без обращения всей матрицы целиком.
Лемма об определителе показывает, как меняется определитель обратимой матрицы при ранговом обновлении uv^T. Вместо пересчета всего определителя достаточно вычислить один скаляр.
Формула Шермана-Моррисона дает обратную матрицу после рангового обновления A+uv^T. Она позволяет обновить уже известную обратную матрицу без полного повторного обращения.
Формула Вудбери обобщает обновление обратной матрицы на добавку малого ранга UCV. Она позволяет заменить обращение большой матрицы обращением меньшей матрицы.