Метод на най-малките квадрати: определение, история и приложения

Методът на най-малките квадрати: понятие, история от Гаус и Лежандър и практични приложения в статистика, астрономия и машинно обучение — лесно обяснен и илюстриран.

Най-малките квадрати е наименованието на процедура в математиката за конструиране на функция от определен брой наблюдавани стойности. Основната идея е да се конструира функцията по такъв начин, че сумата на разликата между наблюдаваната стойност и нейната точка от данни да бъде сведена до минимум. Тъй като разликата може да е в двете посоки, стойността на разликата се изчислява на квадрат за всяка стойност.

Карл Фридрих Гаус казва, че е разработил метода през 1795 г. Използва го, за да открие изгубения астероид 1 Церера, и го публикува през 1807 г. Той използва идеи на Пиер-Симон Лаплас. Адриен-Мари Лежендър разработва същия метод независимо през 1805 г.

Определение и идея

Методът на най-малките квадрати (МНК) намира функция f (често линейна функция с параметри β) така, че да минимизира сумата от квадратите на остъпките (резидуалите) между наблюдаваните стойности y_i и предсказаните стойности f(x_i):

Минимизиране на S(β) = Σ_i (y_i − f(x_i; β))^2.

За линейни модели, където f(x)=Xβ, това води до нормалните уравнения:

(X^T X) β = X^T y.

Видове и разширения

• Линейни най-малки квадрати (OLS) — най-често използваната форма, при която моделът е линейно зависим от параметрите. Пример: линейна регресия.
• Теглови най-малки квадрати (WLS) — всеки остатък се умножава по тегло w_i, минимизира се Σ w_i (y_i − f(x_i))^2; използва се, когато наблюденията имат различни прецизнисти.
• Обобщени най-малки квадрати (GLS) — при корелирани или нееднородни по дисперсия грешки се използва ковариационната матрица на грешките за да се получи ефективна оценка.
• Нелинейни най-малки квадрати — за модели, нелинейни по параметрите; решават се итеративно чрез алгоритми като Гаус-Нютон, Levenberg–Marquardt и др.

Числени методи и стабилност

• Решаването на нормалните уравнения директно може да бъде числено нестабилно при лошо обусловени матрици X. Затова на практика често се използват QR-разлагане или SVD (сингулярно разлагане), които са по-стабилни и дават надеждни оценки.
• При големи и разредени системи се прилагат итеративни методи и алгоритми за редукция на размерността.

Свойства и предпоставки

• При класическия линеен модел с грешки, които имат средна стойност 0, еднаква дисперсия и са некорелирани, оценките чрез OLS са най-добри линейни незместени оценки (BLUE) — това е резултат от теоремата на Гаус–Марков.
• Ако грешките са нормално разпределени, OLS оценките също са максимално-правдоподобни и техните интервали и тестове са лесно формирани.
• Методът е чувствителен към аномалии (outliers); за по-робустни оценки се използват M-оценки, Least Absolute Deviations или RANSAC.

Приложения

• Статистика и иконометрика — линейна регресия, прогнози и оценка на влияние на променливи.
• Наука и инженерство — апроксимация на данни, криви и повърхнини; сглаждане на шумни измервания.
• Астрономия и геодезия — историческо и съвременно използване за определяне на орбити и обработка на наблюдения.
• Машинно обучение — основа за линейни модели (регресия) и за някои методи за обучение, когато целевата функция е квадратична.
• Обработка на сигнали и изображения — филтриране, реконструкция и калибриране на системи.

Кратък пример (линейна регресия с една променлива)

За точки (x_i, y_i) оценките за наклон b и пресечна точка a се дават от формулите:

b = Σ (x_i − x̄)(y_i − ȳ) / Σ (x_i − x̄)^2, a = ȳ − b x̄,

където x̄ и ȳ са средните стойности на x и y. Това е прост частен случай на общата форма (X^T X) β = X^T y.

Алгоритми за нелинейни задачи

При нелинейни модели функцията на грешката не е квадратична по параметрите и се налагат итеративни методи:

• Гаус-Нютон — използва линеаризация на модела и решава поредица от линеарни задачи.
• Levenberg–Marquardt — хибрид между Гаус-Нютон и метод на спускане по градиент, баланс за подобрена стабилност.

Исторически бележки

Както е посочено по-горе, понятието е свързано исторически с работата на Карл Фридрих Гаус и Пиер-Симон Лаплас, а Адриен-Мари Лежендър също е формулирал метода независимо. Въпросът кой е първи е предмет на исторически дискусии — Гаус твърдял, че е използвал метода още от 1795 г., а Лежендър публикува формулите си през 1805 г.; Гаус публикува през 1807 г. Метода се е развил и разширил значително през XIX и XX век със сирене от статистика, числени методи и изчислителна техника.

Какво да проверите при прилагане

• Коректност на модела: линейност по параметрите (за OLS), зависимости между променливите.
• Хомоскедастичност и независимост на грешките; при нарушения приложете WLS или GLS.
• Наличие на аутлайъри и влияние им — разгледайте резидуалите и използвайте диагностични тестове.
• Числена стабилност — за големи или лошо обусловени задачи използвайте QR или SVD.

Методът на най-малките квадрати остава фундаментален инструмент във всички области, където се налага съпоставяне на модели с наблюдения — от класическата астрономия до съвременните приложения в машинното обучение и обработката на данни.

Търсене по буква