Линейная регрессия

Описание	Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) с линейной функцией зависимости. Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при предположениях о вероятностных характеристиках факторов, и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. С эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.
Область знаний	Социология, Большие данные
Авторы
Поясняющее видео
Близкие понятия	Регрессия, Предсказательное моделирование
Среды и средства для освоения понятия

Определение

Регрессионная модель

[math]\displaystyle{ y=f(x,b)+\varepsilon, ~E(\varepsilon) }[/math],

где [math]\displaystyle{ b }[/math] — параметры модели, [math]\displaystyle{ \varepsilon }[/math] — случайная ошибка модели; называется линейной регрессией, если функция регрессии [math]\displaystyle{ f(x,b) }[/math] имеет вид

[math]\displaystyle{ f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k }[/math],

где [math]\displaystyle{ b_j }[/math] — параметры (коэффициенты) регрессии, [math]\displaystyle{ x_j }[/math] — регрессоры (факторы модели), k — количество факторов модели

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

[math]\displaystyle{ \forall j \quad ~b_j=\frac {\partial f}{\partial x_j}=const }[/math]

Параметр [math]\displaystyle{ b_0 }[/math], при котором нет факторов, называют часто константой. Формально — это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа — это параметр при «факторе», равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот «фактор»). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов — k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

[math]\displaystyle{ f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb }[/math],

где [math]\displaystyle{ x^T=(x_1,x_2,...,x_k) }[/math] — вектор регрессоров, [math]\displaystyle{ b=(b_1,b_2, \ldots,b_k)^T }[/math] — вектор-столбец параметров (коэффициентов).

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия

В частном случае, когда фактор единственный (без учёта константы), говорят о парной или простейшей линейной регрессии:

[math]\displaystyle{ y_t=a+b x_t+\varepsilon_t }[/math]

Когда количество факторов (без учёта константы) больше одного, то говорят о множественной регрессии:

[math]\displaystyle{ Y = b_0 + b_1 x_{i1} + ... + b_j x_{ij} + ... + b_k x_{ik} + e_i }[/math]