Логит-регрессия

Логит-регрессия

В статистике логит регрессия (logit model) — регрессионная модель оценки вероятности принятия биномиальной зависимой переменной одного из значений, использующая метод максимального правдоподобия (maximum likelihood estimation) логистической функции (logistic function) следующего вида:

$F(z) = P(Y=1|X)= \frac{e^{z}}{1 + e^{z}}= \frac{1}{1 + e^{-z}}\!$.

Рисунок 1. Логистическая функция, где z по оси ординат и F(z) по оси абсцисс.

Переменную z обычно определяют как

$z=\beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_3 + \cdots + \beta_kx_k,$

где β₀ — константа (intercept), а β₁, β₂, β₃ итд. — коэффициенты регрессии (parameters) при переменных x₁, x₂, x₃ соответственно.

Свойства логистической функции

1. Как видно из графика, вероятность положительного исхода в модели принимает значения из интервала от нуля до единицы.

2. Предельный эффект (marginal effect) переменной z не постоянен на всей протяженности функции и изменяется со значением z.

3. Переменная z может принимать любые значения на множестве от минус до плюс бесконечности.

Перечисленные свойства являются основными преимуществами перед моделью линейной вероятности (linear probability model), функция распределения которой линейна. Схожий метод оценки регрессии применяется в пробит модели (probit model), где используется другой вид трансформационной функции.

Математическая спецификация

Логистическая регрессия оценивает случайную величину, имеющую биномиальное распределение

$Y_i \ \sim B(n_i,p_i),\text{ for }i = 1, \dots , m,$

где n_i число испытаний Бернулли, p_i — вероятность успеха испытания.

Модель предполагает, что для каждого значения Y существует набор объясняющих переменных x₁, x₂, x₃…, которые предсказывают вероятность. В таком случае модель принимает вид:

$p_i = \operatorname{E}\left(\left.\frac{Y_i}{n_{i}}\right|X_i \right). \,\!$

Это значение определяется исходя их логистической функции:

$p_i =F(z)= \frac{1}{1+e^{-(\beta_0 + \beta_1 x_{1,i} + \cdots + \beta_k x_{k,i})}}. \,\!$

Используя метод максимального правдоподобия необходимо найти такие параметры, при которых достигается максимум значения
F(z_1)^{Y_1}×F(z_2)^{Y_2}×F(z_3)^{Y_3}×…×[1-F(z_1)]^{1-Y_1}×[1-F(z_2)]^{1-Y_2}×…×[1-F(z_n)]^{1-Y_n}

Коэффициенты в полученной регрессии не следует интерпретировать как эффект от изменения X. Для правильной трактовки следует найти производную логистической функции по параметру X и вычислить предельный эффект (marginal effect) при конкретном значении переменной X (обычно вычисляется в среднем значении):

$y' = y(1-y)\frac{\mathrm{d}f}{\mathrm{d}X}\,\!$