Все формулы РФ

Математика / Матрицы, определители

Явная формула решения МНК через обратную матрицу

Если столбцы A линейно независимы, решение МНК можно записать явно как x=(A^T A)^{-1}A^T b, потому что матрица A^T A становится обратимой.

Опубликовано: Обновлено:

Линейная алгебра

Формула

$$\hat x=(A^\top A)^{-1}A^\top b,\qquad A^\top A\ \text{невырождена}.$$
table Явное закрытое решение

Шаги: нормальная матрица, правая часть, вычисление обратной и произведение.

Подходит для демонстрации на малых размерностях.

Обозначения

$A^\top A$
нормальная матрица, n×n матрица
$A^\top b$
правая часть нормальной системы, n×1 вектор
$\hat x$
решение МНК, вектор

Условия применения

  • rank(A)=n (полный столбцовый ранг).
  • A^\top A\succ 0.
  • n не слишком велико для устойчивого прямого инверсирования.

Ограничения

  • При плохой обусловленности матрица может быть численно нестабильной.
  • Для больших задач не рекомендуют явно вычислять матричный обратный.
  • Если A имеет почти линейно зависимые столбцы, решение может сильно шуметь.

Подробное объяснение

Нормальные уравнения имеют вид A^T A x = A^T b. Когда A имеет полный столбцовый ранг, матрица A^T A симметрична и положительно определена, значит обратима. Тогда можно умножить обе части на (A^T A)^{-1} и получить явную формулу решения. Эта формула удобна для доказательств, например для вывода матрицы проекции P=A(A^T A)^{-1}A^T. Однако вычислительно лучше решать систему A^T A x=A^T b методом Холецкого или, еще надежнее, решать исходную задачу через QR-разложение без явного формирования обратной. Важно видеть эту формулу в общей цепочке: исходные данные задают матрицу наблюдений A и правую часть b, затем выбирается способ приблизить b в пространстве столбцов A. Явная формула решения МНК через обратную матрицу отвечает за прикладная задача наименьших квадратов, поэтому она не существует отдельно от ранга матрицы, ортогональности остатка и устойчивости вычислений. Если столбцы A хорошо различимы и данные имеют умеренный шум, нормальные уравнения могут дать понятный ручной путь. Если столбцы почти зависимы, лучше пользоваться QR или SVD, потому что они меньше усиливают ошибки округления. После вычисления результата полезно проверить три вещи: размерности всех матриц, величину остатка и связь с соседними формулами раздела. Такой подход превращает формулу из механической записи в рабочий инструмент анализа данных, регрессии, инженерных измерений и численной математики.

Как пользоваться формулой

  1. Сначала вычислите A^\top A и A^\top b.
  2. Проверьте det(A^\top A)\neq 0.
  3. Найдите обратную к A^\top A и умножьте на A^\top b.
  4. Проверьте оптимальность через остаток: он должен быть ортогонален столбцам A или, в QR-записи, давать Q^T r=0.

Историческая справка

Явная матричная запись решения МНК стала естественной после развития матричного исчисления и теории ранга. Сама идея появилась из нормальных уравнений Гаусса, но компактная формула с A^T A и обратной матрицей относится к более поздней линейно-алгебраической нотации. В XX веке эта тема стала частью стандартной численной линейной алгебры: вычислительные машины сделали возможной массовую обработку переопределенных систем, но одновременно показали, что алгебраически эквивалентные формулы могут вести себя по-разному из-за округления. Поэтому учебники начали разделять теоретический вывод МНК, геометрическое объяснение через проекции и практические алгоритмы QR, Холецкого и SVD. Такой исторический сдвиг важен для пользователя: он объясняет, почему на странице рядом стоят не только “красивая формула”, но и условия применимости, ограничения и типичные ошибки.

Историческая линия формулы

Формула опирается на метод Гаусса-Лежандра и классическую теорию обратимых матриц; она является стандартной учебной записью, а не отдельным историческим открытием одного автора. Современная запись является результатом развития метода наименьших квадратов, матричной алгебры и численных методов; поэтому атрибуция здесь распределенная: классические идеи связаны с Гауссом и Лежандром, а устойчивые вычислительные формы — с более поздней численной линейной алгеброй.

Пример

Для A=[[1,0],[1,1],[1,2]] имеем A^T A=[[3,3],[3,5]], det=15-9=6, поэтому (A^T A)^{-1}=(1/6)[[5,-3],[-3,3]]. Вектор A^T b равен (5,6)^T. Умножение дает x=(1/6)([25-18, -15+18])^T=(7/6,1/2)^T. Это тот же результат, который получается из нормальных уравнений, но запись через обратную матрицу компактно показывает зависимость решения от A и b. Дополнительная проверка: после получения численного ответа всегда подставь найденный вектор обратно в Ax, вычисли остаток r=b-Ax и сравни его норму с нормой остатка для соседнего пробного решения. Если речь идет о МНК, маленькое изменение параметров не должно уменьшать критерий; если оно уменьшает сумму квадратов, значит нормальные уравнения, QR-шаг или ручное исключение выполнены с ошибкой. Такой контроль особенно полезен в учебных задачах, где итоговое число легко получить, но трудно заметить неверный знак или перепутанный порядок умножения.

Частая ошибка

Главная ошибка — воспринимать формулу как лучший вычислительный алгоритм. Явное обращение матрицы часто медленнее и менее устойчиво, чем решение системы. Если A^T A почти вырождена, маленькие ошибки в данных могут резко изменить результат. Отдельно проверяй размерности: произведения A^T A, A^T b, Q^T b и R x допустимы только при согласованных числах строк и столбцов. Ошибка размерности часто маскируется в ручной записи, но сразу ломает смысл формулы.

Практика

Задачи с решением

Найти решение через формулу

Условие. A=\begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix},\ b=(1,1,2)^\top.

Решение. Как в примере выше: \hat x=(5/6,1/2)^\top.

Ответ. x̂=(5/6,1/2)^\top.

Проверка невырожденности

Условие. A^\top A=\begin{bmatrix}4&2\\2&4\end{bmatrix}.

Решение. det=12>0.

Ответ. Матрица обратима, формула применима.

Дополнительные источники

  • Strang, Introduction to Linear Algebra
  • Axler, Linear Algebra Done Right

Связанные формулы

Математика

Нормальные уравнения для МНК

$A^\top A\,\hat x = A^\top b.$

Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.

Математика

Обратная матрица 2x2

$A^{-1}=\frac{1}{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix}$

Обратная матрица 2x2 существует только при ненулевом определителе. Она обращает действие исходной матрицы: A^{-1}A = I, то есть возвращает исходный вектор.

Математика

Число обусловленности для задачи МНК

$\kappa_2(A^\top A)=\frac{\sigma_{\max}^2}{\sigma_{\min}^2}=\kappa_2(A)^2.$

При переходе к нормальным уравнениям число обусловленности фактически возводится в квадрат, поэтому ошибки округления и шум в данных могут заметно усилиться.