Информационный критерий

Информационный критерий — применяемая в эконометрике (статистике) мера относительного качества эконометрических (статистических) моделей, учитывающая степень «подгонки» модели под данные с корректировкой (штрафом) на используемое количество оцениваемых параметров. То есть критерии основаны на неком компромиссе между точностью и сложностью модели. Критерии различаются тем, как они обеспечивают этот баланс.

Информационный характер критериев связан с концепцией информационной энтропии и расстоянии Кульбака-Лейблера, на основе которой был разработан исторически первый критерий — критерий Акаике (AIC), предложенный в 1974 году Хиротсугу Акаике ^[1].

Информационные критерии используются исключительно для сравнения моделей между собой, без содержательной интерпретации значений этих критериев. Они не позволяют тестировать модели в смысле проверки статистических гипотез. Обычно чем меньше значения критериев, тем выше относительное качество модели.

Информационный критерий Акаике (AIC)

Предложен Хиротугу Акаике в 1971 году, описан и исследован им же в 1973, 1974, 1983 годах. Первоначально аббревиатура AIC, предложенная автором, расшифровывалась как "an information criterion" ("некий информационный критерий"), однако последующие авторы называли его Akaike information criterion. Исходная расчетная формула критерия имеет вид:

$AIC=2k-2l$

где $l$- значение логарфимической функции правдоподобия построенной модели, $k$-количество использованных (оцененных) параметров.

Многие современные авторы, а также во многих эконометрических программных продуктах (например в EViews) применяется несколько иная формула, предполагающая деление на объем выборки $n$, по которой строилась модель:

$AIC=2k/n-2l/n$

Данный подход позволяет сравнивать модели, оцененные по выборках разного объема.

Чем меньше значение критерия, тем лучше модель. Многие другие критерии являются модификациями AIC.

Байесовский информационный критерий (BIC) или критерий Шварца (SC)

Байесовский информационный критерий (Baesian information criterion — BIC) предложен Шварцем в 1978 году, поэтому часто он называется также критерием Шварца (Schwarz criterion - SC). Он разработан исходя из байесовского подхода и является наиболее часто используемой модификацией AIC:

$BIC=SC=k \ln n-2l$

Как видно из формулы, данный критерий налагает больший штраф на увеличение количества параметров по сравнению с AIC, так как $\ln n$ больше 2 уже при количестве 8 наблюдений

Прочие информационные критерии

Состоятельный критерий Акаике (Consistent AIC - CAIC) предложенный в 1987 году Боздоганом:

$CAIC=(1+\ln n)k-2l$

Данный критерий асимптотически эквивалентен $BIC$. Тот же автор в 1994 году предложил модификации, увеличивающие коэффициент при количестве параметров (вместо 2 - 3 или 4 для $AIC_3$ и $AIC_4$).

Скорректированный критерий Акаике (Corrected AIC-$AIC_c$), который рекомендуется применять на малых выборках (предложен в 1978 году Sugiura):

$AIC_c=AIC+\frac {2k (k+1)}{n-k-1}$

Критерий Ханнана-Куинна (Hannan-Quinn, HQ) предложен авторами в 1979 году

$HQ=2k \ln\ln n /n-2l/n$

Данный критерий, наряду с AIC и BIC выдается в результатах оценки моделей с дискретными и ограниченными зависимыми переменными в EViews.

Имеются также модификации AIC, использующие более сложные штрафные функции, зависящие от фишеровской информации и других характеристик.

Информационные критерии в частных случаях

В частном случае классической нормальной линейной регрессии логарифмическая функция правдоподобия равна

$l=-n/2(1+\ln 2\pi+\ln \hat{\sigma}^2)$

где $\hat{\sigma}^2$ — состоятельная оценка (метода максимального правдоподобия) дисперсии случайной ошибки модели, равная отношению суммы квадратов остатков к объему выборки.

Подставив значение логарифмической функции правдоподобия в формулу AIC (с делением на объем выборки), а также не учитывая постоянные слагаемые 1 и $\ln 2\pi$ (так как при сравнении моделей они не влияют на результат) получим следующую формулу:

$AIC=2k/n+\ln \hat {\sigma}^2$

Для систем эконометрических уравнений логарифмическая функция правдоподобия равна

Свойства

Применение разных критериев может привести к выбору разных моделей. Во многих работах эти критерии сравниваются, однако нет окончательного вывода о предпочтительности того или иного критерия. Поэтому программные продукты обычно приводят как минимум два критерия (AIC, BIC), для некоторых моделей также и третий (HQ). Известно, что для авторегрессионных моделей критерий AIC переоценивает порядок модели, то есть оценка порядка модели на основе этого критерия несостоятельна. Состоятельным критерием выбора порядка авторегрессионной модели является BIC.

Ссылки

1. ↑ Akaike, Hirotugu (1974). «A new look at the statistical model identification». IEEE Transactions on Automatic Control 19 (6): 716–723. DOI:10.1109/TAC.1974.1100705. MR0423716.

Литература

• Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
• Greene, William H. (1997) Econometric Analysis, 3rd edition, Prentice-Hall.