Метод наименьших квадратов - История изменений

Patarakin: /* Математические основы метода */

2025-10-25T13:49:00Z

Математические основы метода

← Предыдущая версия		Версия от 16:49, 25 октября 2025
Строка 12:		Строка 12:
	; Основная формулировка задачи		; Основная формулировка задачи

	Пусть у нас есть набор экспериментальных данных: <math>y_i, i = 1, ..., n</math> (зависимая переменная) и <math>x_i, i = 1, ..., n</math> (независимая переменная). Основная цель МНК заключается в минимизации функции:		Пусть у нас есть набор экспериментальных данных: <math>y_i, i = 1, ..., n</math> ([[зависимая переменная]]) и <math>x_i, i = 1, ..., n</math> ([[независимая переменная]]). Основная цель МНК заключается в минимизации функции:

	<math>S = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \rightarrow \min</math>		<math>S = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \rightarrow \min</math>

Patarakin в 09:09, 13 октября 2025

2025-10-13T09:09:00Z

← Предыдущая версия		Версия от 12:09, 13 октября 2025
Строка 22:		Строка 22:

	==== Простая [[линейная регрессия]] ====		==== Простая [[линейная регрессия]] ====

			[[Файл:Least Sq.jpg]] - [[CODAP]] пример

	Для простейшего случая линейной регрессии вида <math>y = mx + b</math>, коэффициенты вычисляются по формулам:		Для простейшего случая линейной регрессии вида <math>y = mx + b</math>, коэффициенты вычисляются по формулам:

Patarakin в 09:03, 13 октября 2025

2025-10-13T09:03:12Z

← Предыдущая версия		Версия от 12:03, 13 октября 2025
Строка 4:		Строка 4:
	\|Inventor=Гаусс		\|Inventor=Гаусс
	\|similar_concepts=Регрессионный анализ		\|similar_concepts=Регрессионный анализ
	\|Environment=Urban Suite - Economic Disparity		\|Environment=Urban Suite - Economic Disparity, CODAP
	}}		}}
	Метод был впервые разработан Карлом Фридрихом Гауссом (1795) и независимо Адриен-Мари Лежандром (1805), который опубликовал его под современным названием (фр. Méthode des moindres quarrés). Позднее Пьер-Симон Лаплас связал метод с теорией вероятностей, а работы А.А. Маркова в начале XX века включили [[МНК]] в теорию математической статистики.		Метод был впервые разработан Карлом Фридрихом Гауссом (1795) и независимо Адриен-Мари Лежандром (1805), который опубликовал его под современным названием (фр. Méthode des moindres quarrés). Позднее Пьер-Симон Лаплас связал метод с теорией вероятностей, а работы А.А. Маркова в начале XX века включили [[МНК]] в теорию математической статистики.

Patarakin: /* Современные развития и вычислительные методы */

2025-10-10T19:51:44Z

Современные развития и вычислительные методы

← Предыдущая версия		Версия от 22:51, 10 октября 2025
Строка 88:		Строка 88:
	* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения		* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения

	==== Современные ~~развития и~~ вычислительные методы ====		==== Современные вычислительные методы ====

	; Регуляризованная регрессия		; Регуляризованная регрессия

Patarakin в 15:06, 5 сентября 2025

2025-09-05T15:06:03Z

← Предыдущая версия		Версия от 18:06, 5 сентября 2025
Строка 87:		Строка 87:
	* Построение кривой Лоренца с использованием МНК-аппроксимации		* Построение кривой Лоренца с использованием МНК-аппроксимации
	* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения		* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения

			==== Современные развития и вычислительные методы ====

			; Регуляризованная регрессия
			В современной статистике активно используются модификации МНК с регуляризацией:

			Ridge-регрессия (L2-регуляризация):
			<math>S_{ridge} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{k} \beta_j^2</math>

			Lasso-регрессия (L1-регуляризация):
			<math>S_{lasso} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{k} \|\beta_j\|</math>

Patarakin: /* Примеры моделей NetLogo для изучения МНК */

2025-09-05T15:03:42Z

Примеры моделей NetLogo для изучения МНК

← Предыдущая версия		Версия от 18:03, 5 сентября 2025
Строка 83:		Строка 83:

	; Модель "Wealth Distribution"		; Модель "Wealth Distribution"
	Адаптация модели Эпштейна-Акстелла "Sugarscape" для изучения неравенства доходов. Применение [[МНК]]:		Адаптация модели Эпштейна-Акстелла "[[Sugarscape model\|Sugarscape]]" для изучения неравенства доходов. Применение [[МНК]]:
	* Регрессионный анализ зависимости богатства агента от его характеристик (метаболизм, возраст, местоположение)		* Регрессионный анализ зависимости богатства агента от его характеристик (метаболизм, возраст, местоположение)
	* Построение кривой Лоренца с использованием МНК-аппроксимации		* Построение кривой Лоренца с использованием МНК-аппроксимации
	* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения		* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения

Patarakin: /* Примеры моделей NetLogo для изучения МНК */

2025-09-05T15:02:48Z

Примеры моделей NetLogo для изучения МНК

← Предыдущая версия		Версия от 18:02, 5 сентября 2025
Строка 80:		Строка 80:
	* Оценка параметров [[кривая Лоренца\|кривой Лоренца]] методом наименьших квадратов		* Оценка параметров [[кривая Лоренца\|кривой Лоренца]] методом наименьших квадратов
	* Анализ влияния правил обмена на [[коэффициент Джини]]		* Анализ влияния правил обмена на [[коэффициент Джини]]


			; Модель "Wealth Distribution"
			Адаптация модели Эпштейна-Акстелла "Sugarscape" для изучения неравенства доходов. Применение [[МНК]]:
			* Регрессионный анализ зависимости богатства агента от его характеристик (метаболизм, возраст, местоположение)
			* Построение кривой Лоренца с использованием МНК-аппроксимации
			* Оценка параметров [[закон Парето\|распределения Парето]] для богатства населения

Patarakin: /* Примеры моделей NetLogo для изучения МНК */

2025-09-05T14:52:06Z

Примеры моделей NetLogo для изучения МНК

← Предыдущая версия		Версия от 17:52, 5 сентября 2025
Строка 74:		Строка 74:
	==== Примеры моделей [[NetLogo]] для изучения [[МНК]] ====		==== Примеры моделей [[NetLogo]] для изучения [[МНК]] ====

	; Модель "Simple Economy" ~~(Простая экономика)[13]~~		; Модель "[[Simple Economy]]"

	Эта модель из библиотеки NetLogo демонстрирует распределение богатства в обществе. Применение МНК:		Эта модель из библиотеки NetLogo демонстрирует распределение богатства в обществе. Применение [[МНК]]:
	- Построение регрессионной зависимости между начальными условиями и итоговым распределением богатства		* Построение регрессионной зависимости между начальными условиями и итоговым распределением богатства
	- Оценка параметров кривой Лоренца методом наименьших квадратов		* Оценка параметров [[кривая Лоренца\|кривой Лоренца]] методом наименьших квадратов
	- Анализ влияния правил обмена на коэффициент Джини		* Анализ влияния правил обмена на [[коэффициент Джини]]

Patarakin: /* Многомерная регрессия */

2025-09-05T14:32:51Z

Многомерная регрессия

← Предыдущая версия		Версия от 17:32, 5 сентября 2025
Строка 44:		Строка 44:
	* <math>\boldsymbol{\beta}</math> — вектор параметров размерности <math>k \times 1</math>		* <math>\boldsymbol{\beta}</math> — вектор параметров размерности <math>k \times 1</math>
	* <math>\mathbf{y}</math> — вектор наблюдений размерности <math>n \times 1</math>		* <math>\mathbf{y}</math> — вектор наблюдений размерности <math>n \times 1</math>


			==== Ключевые термины и показатели ====

			; Остатки (Residuals)
			Остатками называются отклонения наблюдаемых значений от предсказанных моделью:

			<math>e_i = y_i - \hat{y}_i</math>

			; Коэффициент детерминации (R²)
			Коэффициент детерминации показывает, какую долю дисперсии зависимой переменной объясняет модель:

			<math>R^2 = 1 - \frac{SS_{res}}{SS_{tot}} = 1 - \frac{\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}{\sum_{i=1}^{n}(y_i - \bar{y})^2}</math>

			где <math>\bar{y}</math> — среднее значение зависимой переменной.[8][3]

			; Среднеквадратическая ошибка (MSE)
			MSE (Mean Squared Error) — мера точности модели:

			<math>MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2</math>

			==== Пример в образовательной сфере ====
			Рассмотрим задачу оценки влияния количества часов подготовки к экзамену (<math>x</math>) на итоговый балл студента (<math>y</math>). Если у нас есть данные по 50 студентам, [[МНК]] позволит построить регрессионное уравнение вида:

			<math>Балл = \beta_0 + \beta_1 \cdot Часы\_подготовки + \varepsilon</math>

			где <math>\beta_1</math> показывает, на сколько баллов в среднем увеличивается оценка при увеличении времени подготовки на один час.

			==== Примеры моделей [[NetLogo]] для изучения [[МНК]] ====

			; Модель "Simple Economy" (Простая экономика)[13]

			Эта модель из библиотеки NetLogo демонстрирует распределение богатства в обществе. Применение МНК:
			- Построение регрессионной зависимости между начальными условиями и итоговым распределением богатства
			- Оценка параметров кривой Лоренца методом наименьших квадратов
			- Анализ влияния правил обмена на коэффициент Джини

Patarakin: /* Простая линейная регрессия */

2025-09-05T14:22:03Z

Простая линейная регрессия

← Предыдущая версия		Версия от 17:22, 5 сентября 2025
Строка 30:		Строка 30:
	; Свободный член (intercept):		; Свободный член (intercept):
	<math>b = \frac{\sum_{i=1}^{n} y_i - m\sum_{i=1}^{n} x_i}{n}</math>		<math>b = \frac{\sum_{i=1}^{n} y_i - m\sum_{i=1}^{n} x_i}{n}</math>

			==== Многомерная регрессия ====
			Для многомерного случая [[МНК]] может быть представлен в матричной форме:

			; Нормальные уравнения:
			<math>\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^T\mathbf{y}</math>

			;Решение:
			<math>\boldsymbol{\beta} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}</math>

			где:
			* <math>\mathbf{X}</math> — матрица регрессоров размерности <math>n \times k</math>
			* <math>\boldsymbol{\beta}</math> — вектор параметров размерности <math>k \times 1</math>
			* <math>\mathbf{y}</math> — вектор наблюдений размерности <math>n \times 1</math>