Информационный критерий


Информационный критерий

Информационный критерий — применяемая в эконометрике (статистике) мера относительного качества эконометрических (статистических) моделей, учитывающая степень «подгонки» модели под данные с корректировкой (штрафом) на используемое количество оцениваемых параметров. То есть критерии основаны на неком компромиссе между точностью и сложностью модели. Критерии различаются тем, как они обеспечивают этот баланс.

Информационный характер критериев связан с концепцией информационной энтропии и расстоянии Кульбака-Лейблера, на основе которой был разработан исторически первый критерий — критерий Акаике (AIC), предложенный в 1974 году Хиротсугу Акаике [1].

Информационные критерии используются исключительно для сравнения моделей между собой, без содержательной интерпретации значений этих критериев. Они не позволяют тестировать модели в смысле проверки статистических гипотез. Обычно чем меньше значения критериев, тем выше относительное качество модели.

Содержание

Информационный критерий Акаике (AIC)

Предложен Хиротугу Акаике в 1971 году, описан и исследован им же в 1973, 1974, 1983 годах. Первоначально аббревиатура AIC, предложенная автором, расшифровывалась как "an information criterion" ("некий информационный критерий"), однако последующие авторы называли его Akaike information criterion. Исходная расчетная формула критерия имеет вид:

AIC=2k-2l

где l- значение логарфимической функции правдоподобия построенной модели, k-количество использованных (оцененных) параметров.

Многие современные авторы, а также во многих эконометрических программных продуктах (например в EViews) применяется несколько иная формула, предполагающая деление на объем выборки n, по которой строилась модель:

AIC=2k/n-2l/n

Данный подход позволяет сравнивать модели, оцененные по выборках разного объема.

Чем меньше значение критерия, тем лучше модель. Многие другие критерии являются модификациями AIC.

Байесовский информационный критерий (BIC) или критерий Шварца (SC)

Байесовский информационный критерий (Baesian information criterion — BIC) предложен Шварцем в 1978 году, поэтому часто он называется также критерием Шварца (Schwarz criterion - SC). Он разработан исходя из байесовского подхода и является наиболее часто используемой модификацией AIC:

BIC=SC=k \ln n-2l

Как видно из формулы, данный критерий налагает больший штраф на увеличение количества параметров по сравнению с AIC, так как \ln n больше 2 уже при количестве 8 наблюдений

Прочие информационные критерии

Состоятельный критерий Акаике (Consistent AIC - CAIC) предложенный в 1987 году Боздоганом:

CAIC=(1+\ln n)k-2l

Данный критерий асимптотически эквивалентен BIC. Тот же автор в 1994 году предложил модификации, увеличивающие коэффициент при количестве параметров (вместо 2 - 3 или 4 для AIC_3 и AIC_4).

Скорректированный критерий Акаике (Corrected AIC-AIC_c), который рекомендуется применять на малых выборках (предложен в 1978 году Sugiura):

AIC_c=AIC+\frac {2k (k+1)}{n-k-1}

Критерий Ханнана-Куинна (Hannan-Quinn, HQ) предложен авторами в 1979 году

HQ=2k \ln\ln n /n-2l/n

Данный критерий, наряду с AIC и BIC выдается в результатах оценки моделей с дискретными и ограниченными зависимыми переменными в EViews.

Имеются также модификации AIC, использующие более сложные штрафные функции, зависящие от фишеровской информации и других характеристик.

Информационные критерии в частных случаях

В частном случае классической нормальной линейной регрессии логарифмическая функция правдоподобия равна

l=-n/2(1+\ln 2\pi+\ln \hat{\sigma}^2)

где \hat{\sigma}^2 — состоятельная оценка (метода максимального правдоподобия) дисперсии случайной ошибки модели, равная отношению суммы квадратов остатков к объему выборки.

Подставив значение логарифмической функции правдоподобия в формулу AIC (с делением на объем выборки), а также не учитывая постоянные слагаемые 1 и \ln  2\pi (так как при сравнении моделей они не влияют на результат) получим следующую формулу:

AIC=2k/n+\ln \hat {\sigma}^2

Для систем эконометрических уравнений логарифмическая функция правдоподобия равна

Свойства

Применение разных критериев может привести к выбору разных моделей. Во многих работах эти критерии сравниваются, однако нет окончательного вывода о предпочтительности того или иного критерия. Поэтому программные продукты обычно приводят как минимум два критерия (AIC, BIC), для некоторых моделей также и третий (HQ). Известно, что для авторегрессионных моделей критерий AIC переоценивает порядок модели, то есть оценка порядка модели на основе этого критерия несостоятельна. Состоятельным критерием выбора порядка авторегрессионной модели является BIC.

Ссылки

  1. Akaike, Hirotugu (1974). «A new look at the statistical model identification». IEEE Transactions on Automatic Control 19 (6): 716–723. DOI:10.1109/TAC.1974.1100705. MR0423716.

Литература

  • Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
  • Greene, William H. (1997) Econometric Analysis, 3rd edition, Prentice-Hall.

Wikimedia Foundation. 2010.

Смотреть что такое "Информационный критерий" в других словарях:

  • информационный критерий — Критерий, используемый при исследовании феномена НЛО по признаку необычной сложности, заключённой в нём информации, особенно среди палеофеноменов (например, памятников культуры далёкого прошлого). E. Information criterion D. Information Kriterium …   Толковый уфологический словарь с эквивалентами на английском и немецком языках

  • Информационный критерий Акаике — (AIC)  критерий, применяющийся исключительно для выбора из нескольких статистических моделей. Разработан в 1971 как «an information criterion» («(некий) информационный критерий») en:Hirotsugu Akaike и предложен им в статье 1974 года[1].… …   Википедия

  • Критерий — признак, на основе которого производится оценка состояния ядерной и радиационной безопасности ядерных установок судов и иных плавсредств. Источник …   Словарь-справочник терминов нормативно-технической документации

  • критерий безопасности информации — Показатель, характеризующий безопасность информации при воздействии различных факторов опасности. Критериями безопасности могут быть следующие показатели: для ПЭМИН абсолютный уровень ПЭМИН или соотношение информационный сигнал / помеха в эфире и …   Справочник технического переводчика

  • критерий выдачи — Совокупность признаков, по которым определяется степень соответствия поискового образа документа поисковому предписанию и принимается решение о выдаче или невыдаче данного документа в ответ на информационный запрос. [ГОСТ 7.73 96 ] Тематики поиск …   Справочник технического переводчика

  • Критерий выдачи — совокупность признаков, по которым: 1 определяется степень соответствия поискового образа документа поисковому предписанию; и 2 принимается решение о выдаче или невыдаче того или иного документа в ответ на информационный запрос. По английски:… …   Финансовый словарь

  • Критерий выдачи — 47. Критерий выдачи Ндп. Критерий смыслового соответствия D.    Kriterien der Ausgabe E.    Relevancy criterion F.    Critere de pertinence Заданные формальные правила, по которым принимается решение о выдаче документа или факта по запросу… …   Словарь-справочник терминов нормативно-технической документации

  • Критерий соответствия —         совокупность правил, по которым при информационном поиске (См. Информационный поиск) определяется степень соответствия поискового образа документа поисковому предписанию и принимается решение о выдаче или невыдаче этого документа в ответ… …   Большая советская энциклопедия

  • критерий выдачи — Rus: критерий выдачи Eng: retrieval criterion Совокупность признаков, по которым определяется степень соответствия поискового образа документа поисковому предписанию и принимается решение о выдаче или невыдаче данного документа в ответ на… …   Словарь по информации, библиотечному и издательскому делу

  • Модель бинарного выбора — Модель бинарного выбора  применяемая в эконометрике модель зависимости бинарной переменной (принимающей всего два значения  0 и 1) от совокупности факторов. Построение обычной линейной регрессии для таких переменных теоретически… …   Википедия

Книги