Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — Maximum Likelihood Estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия^[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных, и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, предположим, что вы заинтересованы ростом жителей Украины. Предположим, у вас данные роста некоторого количества людей, а не всего населения. Кроме того предполагается, что рост является нормально распределенной величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста выборки является максимально правдоподобным к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия дает уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

• линейные модели и обобщенные линейные модели;
• факторный анализ;
• моделирования структурных уравнений;
• многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
• дискретные модели выбора.

Сущность метода

Основная статья: Праводоподобие принятой последовательности

Пусть есть выборка $X_1,\ldots,X_n$ из распределения $\mathbb{P}_{\theta}$, где $\theta \in \Theta$ — неизвестные параметры. Пусть $L(\mathbf{x} \mid \theta):\Theta \to \mathbb{R}$ — функция правдоподобия, где $\mathbf{x} \in \mathbb{R}^n$. Точечная оценка

$\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta )$

называется оце́нкой максима́льного правдоподо́бия параметра $\theta$. Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия $L$ используют логарифмическую функцию правдоподобия $l=\ln L$. Так как функция $x \to \ln x,\; x > 0$ монотонно возрастает на всей области определения, максимум любой функции $L(\theta)$ является максимумом функции $\ln L(\theta)$, и наоборот. Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} l(X_1 ,\ldots, X_n \mid \theta )$,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума - равенство нулю ее градиента:

$g(\theta)=\frac {\partial l(\mathbf{x},\theta_0)}{\partial \theta}=0$

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана - матрицы вторых производных:

$H=\frac {\partial^2 l(\mathbf{x},\theta_0)}{\partial \theta \partial \theta^T}$

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

$I(\theta)=E[g(\theta)g(\theta)^T)]$

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

$I=-E(H_0)$

Свойства

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

$\sqrt {n}(\hat{\theta}-\theta) \xrightarrow d N(0,I^{-1}_{\infty})$

где $I_{\infty}=-\lim_{n \rightarrow \infty} \frac {1}{n} E(H)$ - асимптотическая информационная матрица

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица $I^{-1}_{\infty}$ является нижней границей для всех состоятельных асимптотически нормальных оценок.

• Если $\hat{\theta}$ — оценка метода максимального правдоподобия, параметров $\theta$, то $g(\hat{\theta})$ является оценкой максимального правдоподобия для $g(\theta)$, где g-непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.

Примеры

• Пусть $X_1,\ldots, X_n \sim \mathrm{U}[0,\theta]$ — независимая выборка из непрерывного равномерного распределения на отрезке $[0,\theta]$, где $\theta > 0$ — неизвестный параметр. Тогда функция правдоподобия имеет вид

$f(\mathbf{x} \mid \theta ) = \begin{cases} \frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\ 0, & \mathbf{x} \not\in [0,\theta]^n \end{cases} .$

Последнее равенство может быть переписано в виде:

$f(\mathbf{x} \mid \theta ) = \begin{cases} \frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\ 0, & \theta < \max(x_1,\ldots,x_n) \end{cases} ,$

где $\mathbf{x} = (x_1,\ldots,x_n)^{\top}$, откуда видно, что своего максимума функция правдоподобия достигает в точке $\theta = \max(x_1,\ldots,x_n)$. Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n)$.

• Пусть $X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2)$ — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия $\left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top}$ для неизвестного вектора параметров $\left(\mu,\sigma^2\right)^{\top}$. Логарифмическая функция правдоподобия принимает вид

$L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2$.

Чтобы найти её максимум, приравняем к нулю частные производные:

$\left\{ \begin{matrix} \displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt] \displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\ \end{matrix} \right. \Rightarrow \left\{ \begin{matrix} \displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt] \displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2} = 0 \\ \end{matrix} \right.,$

откуда

$\hat{\mu}_{\mathrm{M\Pi}} = \bar{X}$ — выборочное среднее, а

$\widehat{\sigma^2}_{\mathrm{M\Pi}} = S^2_n$ — выборочная дисперсия.

Условный метод максимального правдоподобия

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. также

• Метод моментов
• Обобщенный метод моментов
• Метод наименьших квадратов
• Метод инструментальных переменных

Примечания

1. ↑ Фишер — 1912 г. Математический энциклопедический словарь, М.: Советская энциклопедия, 1988.

Литература

• Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0

Для улучшения этой статьи желательно?: Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное. Добавить иллюстрации.