Линейная регрессия

Описание	Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) с линейной функцией зависимости. Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при предположениях о вероятностных характеристиках факторов, и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. С эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.
Область знаний	Информатика, Педагогика, Социология, Образование, Большие данные
Авторы
Поясняющее видео
Близкие понятия	Регрессия, Предсказательное моделирование
Среды и средства для освоения понятия	RAWGraphs, R, Snap!, CODAP

Определение

Регрессионная модель

[math]\displaystyle{ y=f(x,b)+\varepsilon, ~E(\varepsilon) }[/math],

где [math]\displaystyle{ b }[/math] — параметры модели, [math]\displaystyle{ \varepsilon }[/math] — случайная ошибка модели; называется линейной регрессией, если функция регрессии [math]\displaystyle{ f(x,b) }[/math] имеет вид

[math]\displaystyle{ f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k }[/math],

где [math]\displaystyle{ b_j }[/math] — параметры (коэффициенты) регрессии, [math]\displaystyle{ x_j }[/math] — регрессоры (факторы модели), k — количество факторов модели

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

[math]\displaystyle{ \forall j \quad ~b_j=\frac {\partial f}{\partial x_j}=const }[/math]

Параметр [math]\displaystyle{ b_0 }[/math], при котором нет факторов, называют часто константой. Формально — это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа — это параметр при «факторе», равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот «фактор»). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов — k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

[math]\displaystyle{ f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb }[/math],

где [math]\displaystyle{ x^T=(x_1,x_2,...,x_k) }[/math] — вектор регрессоров, [math]\displaystyle{ b=(b_1,b_2, \ldots,b_k)^T }[/math] — вектор-столбец параметров (коэффициентов).

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия

В частном случае, когда фактор единственный (без учёта константы), говорят о парной или простейшей линейной регрессии:

[math]\displaystyle{ y_t=a+b x_t+\varepsilon_t }[/math]

Когда количество факторов (без учёта константы) больше одного, то говорят о множественной регрессии:

[math]\displaystyle{ Y = b_0 + b_1 x_{i1} + ... + b_j x_{ij} + ... + b_k x_{ik} + e_i }[/math]