Метод наименьших квадратов

Описание	Метод наименьших квадратов (МНК) (англ. Least Squares Method, Ordinary Least Squares, OLS) — это математический метод оценки параметров статистических моделей, основанный на принципе минимизации суммы квадратов отклонений между наблюдаемыми и предсказанными моделью значениями.
Область знаний	Социология, Экономика, Статистика
Авторы	Гаусс
Поясняющее видео
Близкие понятия	Регрессионный анализ
Среды и средства для освоения понятия	Urban Suite - Economic Disparity

Метод был впервые разработан Карлом Фридрихом Гауссом (1795) и независимо Адриен-Мари Лежандром (1805), который опубликовал его под современным названием (фр. Méthode des moindres quarrés). Позднее Пьер-Симон Лаплас связал метод с теорией вероятностей, а работы А.А. Маркова в начале XX века включили МНК в теорию математической статистики.

Математические основы метода

Основная формулировка задачи

Пусть у нас есть набор экспериментальных данных: [math]\displaystyle{ y_i, i = 1, ..., n }[/math] (зависимая переменная) и [math]\displaystyle{ x_i, i = 1, ..., n }[/math] (независимая переменная). Основная цель МНК заключается в минимизации функции:

[math]\displaystyle{ S = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \rightarrow \min }[/math]

где:

1. [math]\displaystyle{ y_i }[/math] — наблюдаемое значение
2. [math]\displaystyle{ \hat{y}_i }[/math] — предсказанное моделью значение
3. [math]\displaystyle{ S }[/math] — сумма квадратов остатков (англ. Sum of Squares of Residuals)

Простая линейная регрессия

Для простейшего случая линейной регрессии вида [math]\displaystyle{ y = mx + b }[/math], коэффициенты вычисляются по формулам:

Коэффициент наклона (slope)

[math]\displaystyle{ m = \frac{n\sum_{i=1}^{n} x_i y_i - \sum_{i=1}^{n} x_i \sum_{i=1}^{n} y_i}{n\sum_{i=1}^{n} x_i^2 - \left(\sum_{i=1}^{n} x_i\right)^2} }[/math]

Свободный член (intercept)

[math]\displaystyle{ b = \frac{\sum_{i=1}^{n} y_i - m\sum_{i=1}^{n} x_i}{n} }[/math]