Все формулы РФ

Математика / Матрицы, определители

Проекционный оператор и оценка МНК

Матрица P=A(A^T A)^{-1}A^T проецирует b на пространство столбцов A, а вектор Pb является предсказанием модели МНК. Эта запись важна не как отдельный трюк, а как часть практического языка линейных моделей и обработки измерений.

Опубликовано: Обновлено:

Линейная алгебраОртогональность

Формула

$$\hat b = A\hat x = A A^+ b,\qquad P=AA^+,\ P^\top=P,\ P^2=P.$$
diagram Проекция на Col(A)

Вектор наблюдений b разбивается на объяснимую и ортогональную части.

Поблизости решения: b=\hat b+r.

Обозначения

$P$
матрица ортогональной проекции на Col(A), m×m матрица
$\hat b$
приближённый вектор наблюдений, вектор
$A^+$
псевдообратная матрица, n×m матрица

Условия применения

  • A задана с корректной размерностью m×n.
  • Для полного ранга формула A A^+ корректно задаёт проектор.
  • Используются свойства проекторов: idempotence и симметрия.

Ограничения

  • Для прямого вычисления P может быть слишком дорого на больших размерах.
  • При плохом κ(P) лучше использовать QR-ориентированную формулировку.
  • В общем ранговом случае нужно точно понимать определение A^+.

Подробное объяснение

Оператор P=A(A^T A)^{-1}A^T возникает, если подставить явное МНК-решение x=(A^T A)^{-1}A^T b обратно в модель Ax. Получается \hat b=A x=P b. Матрица P симметрична и идемпотентна: P^T=P и P^2=P. Эти свойства характерны для ортогональных проекторов. Геометрически P оставляет векторную компоненту, лежащую в столбцовом пространстве A, а I-P выделяет остаток. В регрессии это дает разложение наблюдений на объясненную часть и ошибку модели. Важно видеть эту формулу в общей цепочке: исходные данные задают матрицу наблюдений A и правую часть b, затем выбирается способ приблизить b в пространстве столбцов A. Проекционный оператор и оценка МНК отвечает за геометрия ортогональной проекции, поэтому она не существует отдельно от ранга матрицы, ортогональности остатка и устойчивости вычислений. Если столбцы A хорошо различимы и данные имеют умеренный шум, нормальные уравнения могут дать понятный ручной путь. Если столбцы почти зависимы, лучше пользоваться QR или SVD, потому что они меньше усиливают ошибки округления. После вычисления результата полезно проверить три вещи: размерности всех матриц, величину остатка и связь с соседними формулами раздела. Такой подход превращает формулу из механической записи в рабочий инструмент анализа данных, регрессии, инженерных измерений и численной математики.

Как пользоваться формулой

  1. Найдите x̂ через любой устойчивый метод.
  2. Вычислите \hat b = A x̂ или A A^+ b.
  3. Проверьте остаток r=b-\hat b и его ортогональность к Col(A).
  4. Проверьте оптимальность через остаток: он должен быть ортогонален столбцам A или, в QR-записи, давать Q^T r=0.

Историческая справка

Проекционная трактовка МНК стала естественной частью линейной модели после развития векторной геометрии и матричной статистики. В XX веке матрица проекции стала стандартной в регрессионном анализе, где ее часто называют hat matrix, потому что она переводит наблюдения y в предсказания \hat y. В XX веке эта тема стала частью стандартной численной линейной алгебры: вычислительные машины сделали возможной массовую обработку переопределенных систем, но одновременно показали, что алгебраически эквивалентные формулы могут вести себя по-разному из-за округления. Поэтому учебники начали разделять теоретический вывод МНК, геометрическое объяснение через проекции и практические алгоритмы QR, Холецкого и SVD. Такой исторический сдвиг важен для пользователя: он объясняет, почему на странице рядом стоят не только “красивая формула”, но и условия применимости, ограничения и типичные ошибки.

Историческая линия формулы

Формула проекционного оператора вытекает из МНК и теории ортогональных проекторов; в статистической традиции она связана с развитием линейных моделей и матричного анализа. Современная запись является результатом развития метода наименьших квадратов, матричной алгебры и численных методов; поэтому атрибуция здесь распределенная: классические идеи связаны с Гауссом и Лежандром, а устойчивые вычислительные формы — с более поздней численной линейной алгеброй.

Пример

Для матрицы A с полным столбцовым рангом предсказанный вектор равен \hat b=Pb. Если b=(1,2,2)^T и найдено x=(7/6,1/2)^T, то \hat b=Ax=(7/6,5/3,13/6)^T. Остаток r=b-\hat b=(-1/6,1/3,-1/6)^T ортогонален столбцам A. Матрица P при повторном применении не меняет результат: P(Pb)=Pb. Это свойство показывает, что после проекции вектор уже находится в нужном подпространстве. Дополнительная проверка: после получения численного ответа всегда подставь найденный вектор обратно в Ax, вычисли остаток r=b-Ax и сравни его норму с нормой остатка для соседнего пробного решения. Если речь идет о МНК, маленькое изменение параметров не должно уменьшать критерий; если оно уменьшает сумму квадратов, значит нормальные уравнения, QR-шаг или ручное исключение выполнены с ошибкой. Такой контроль особенно полезен в учебных задачах, где итоговое число легко получить, но трудно заметить неверный знак или перепутанный порядок умножения.

Частая ошибка

Не путай P с единичной матрицей. Проекция сохраняет только компоненты в пространстве столбцов A, а ортогональную часть отбрасывает. Если A не имеет полного столбцового ранга, формула с (A^T A)^{-1} неприменима и нужно использовать A^+. Отдельно проверяй размерности: произведения A^T A, A^T b, Q^T b и R x допустимы только при согласованных числах строк и столбцов. Ошибка размерности часто маскируется в ручной записи, но сразу ломает смысл формулы.

Практика

Задачи с решением

Проекция векторов

Условие. A=\begin{bmatrix}1&0\\1&1\end{bmatrix},\ x=(2,1)^\top,\ b=(1,3)^\top.

Решение. \hat b=A x=(2,3)^\top,\ A^\top(b-\hat b)=(0,0)^\top.

Ответ. Проекция совпала с b; x решает задачу точно.

Идempotence

Условие. P=AA^+.

Решение. P^2 = A(A^+A)A^+ = A I A^+ = P.

Ответ. Проверка симметричного проекторного вида выполнена.

Дополнительные источники

  • Golub, Van Loan, Matrix Computations
  • Hoffman & Kunze, Linear Algebra

Связанные формулы

Математика

Псевдообратная для решения МНК

$\hat x=A^+b,\qquad A^+=(A^\top A)^{-1}A^\top\ (\operatorname{rank}(A)=n).$

Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.

Математика

Ортогональность невязки

$r=b-A\hat x,\quad A^\top r=0.$

Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.

Математика

Матрица ортогональной проекции

$P=QQ^{T},\quad Q^{T}Q=I$

Если столбцы Q образуют ортонормированный базис подпространства W, то матрица P=QQ^T переводит любой вектор в его ортогональную проекцию на W.