Линейная регрессия

Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) x с линейной функцией зависимости.

Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при тех или иных предположениях о вероятностных характеристиках факторов и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. Необходимо отметить, что с эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

Определение

Регрессионная модель

$y=f(x,b)+\varepsilon, ~E(\varepsilon)=0$

где $b$-параметры модели, $\varepsilon$ - случайная ошибка модели, называется линейной регрессией, если функция регрессии $f(x,b)$ имеет вид

$f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k$

где $b_j$ - параметры (коэффициенты) регрессии, $x_j$ - регрессоры (факторы модели), k- количество факторов модели.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

$\forall j ~b_j=\frac {\partial f}{\partial x_j}=const$

Параметр $b_0$, при котором нет факторов, называют часто константой. Формально - это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа - это параметр при "факторе", равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот "фактор"). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов - k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

$f(x,b)=b_1 x_1+b_2 x_2+...+b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb$

$x^T=(x_1,x_2,...,x_k)$ - вектор регрессоров, $b=(b_1,b_2,...,b_k)^T$ - вектор-столбец параметров (коэффициентов)

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия

В частном случае, когда фактор единственный (без учета константы), говорят о парной или простейшей линейной регрессии:

$y_t=a+b x_t+\varepsilon_t$

Когда количество факторов (без учета константы) больше 1-го, то говорят о множественной регрессии.

Примеры

1.Модель затрат организации (без указания случайной ошибки):

$TC=FC+VC=FC+v \cdot Q$

$TC$-совокупные затраты, $FC$-постоянные затраты (не зависящие от объема производства), $VC$-переменные затраты, пропорциональные объему производства, $v$ - удельные или средние (на единицу продукции) переменные затраты, $Q$ - объем производства.

2.Простейшая модель потребительских расходов (Кейнс):

$C=a+bY+\varepsilon$

$C$-потребительские расходы, $Y$ - располагаемый доход, $b$ - "предельная склонность к потреблению", $a$ - автономное (не зависящее от дохода) потребление.

Матричное представление

Пусть дана выборка объемом n наблюдений переменных y и x. Обозначим t - номер наблюдения в выборке. Тогда $y_t$ - значение переменной y в t-м наблюдении, $x_{tj}$ - значение j-го фактора в t-м наблюдении. Соответственно, $x^T_t=(x_{t1},x_{t2},...,x_{tk})$ - вектор регрессоров в t-м наблюдении. Тогда линейная регрессионная зависимость имеет место в каждом наблюдении:

$y_t=b_1 x_{t1}+b_2 x_{t2}+...+b_k x_{tk}=\sum^k_{j=1}b_j x_{tj}=x^T_t b+\varepsilon_t~,~E(\varepsilon_t)=0~,~t=1..n$

Введем обозначения:

$y= \begin{pmatrix} y_{1}\\ y_{2}\\ ...\\ y_{n}\\ \end{pmatrix}$ - вектор наблюдений зависимой переменой y, $X= \begin{pmatrix} x_{11}&x_{12}& ...& x_{1k}\\ x_{21}&x_{22}& ...& x_{2k}\\ ...\\ x_{n1}& x_{n2}& ...&x_{nk}\\ \end{pmatrix}$ - матрица факторов. $\varepsilon= \begin{pmatrix} \varepsilon_{1}\\ \varepsilon_{2}\\ ...\\ \varepsilon_{n}\\ \end{pmatrix}$ - вектор случайных ошибок.

Тогда модель линейной регрессии можно представить в матричной форме:

$y=Xb+\varepsilon$

Классическая линейная регрессия

В классической линейной регрессии предполагается, что наряду со стандартным условием $E(\varepsilon_t)=0$ выполнены также следующие предположения (условия Гаусса-Маркова):

1) Гомоскедастичность (постоянная или одинаковая дисперсия) или отсутствие гетероскедастичности случайных ошибок модели: $V(\varepsilon_t)=\sigma^2=const$

2) Отсутствие автокорреляции случайных ошибок: $\forall i,j,~ i \not = j ~~cov(\varepsilon_i,\varepsilon_j)=0$

Данные предположения в матричном представлении модели формулируются в виде одного предположения о структуре ковариационной матрицы вектора случайных ошибок: $V(\varepsilon)=\sigma^2 I_n$

Кроме указанных предположений в классической модели факторы предполагаются детерминированными (нестохастическими). Кроме того, формально требуется, чтобы матрица $X$ имела полный ранг ($k$), то есть предполагается, что отсутствует полная коллинеарность факторов.

При выполнении классических предположений обычный метод наименьших квадратов позволяет получить достаточно качественные оценки параметров модели, а именно, они являются несмещенными, состоятельными и наиболее эффективными оценками.

Методы оценки

• Метод наименьших квадратов
• Обобщенный метод наименьших квадратов
• Метод инструментальных переменных
• Метод максимального правдоподобия
• Метод моментов
• Обобщенный метод моментов
• Квантильная регрессия

См. также

• Регрессионный анализ

Литература