F-тест

F-тестом или критерием Фишера (F-критерием, φ*-критерием) — называют любой статистический критерий, тестовая статистика которого при выполнении нулевой гипотезы имеет распределение Фишера (F-распределение).

Статистика теста так или иначе сводится к отношению выборочных дисперсий (сумм квадратов, деленных на "степени свободы"). Чтобы статистика имела распределение Фишера необходимо, чтобы числитель и знаменатель были независимыми случайными величинами и соответствующие суммы квадратов имели распределение Хи-квадрат. Для этого требуется, чтобы данные имели нормальное распределение. Кроме того, предполагается, что дисперсия случайных величин, квадраты которых суммируются, одинакова.

Тест проводится путем сравнения значения статистики с критическим значением соответствующего распределения Фишера при заданном уровне значимости. Известно, что если $F \sim F(m,n)$, то $1/F \sim F(n,m)$. Кроме того, квантили распределения Фишера обладают свойством $F_{1-\alpha}=1/F_{\alpha}$. Поэтому обычно на практике в числителе участвует потенциально большая величина, в знаменателе - меньшая и сравнение осуществляется с "правой" квантилью распределения. Тем не менее тест может быть и двусторонним и односторонним. В первом случае при уровне значимости $\alpha$ используется квантиль $F_{\alpha/2}$, а при одностороннем тесте $F_{\alpha}$ ^[1].

Более удобный способ проверки гипотез - с помощью p-значения $p(F)$ - вероятностью того, что случайная величина с данным распределением Фишера превысит данное значение статистики. Если $p(F)$ (для двустороннего теста - $2p(F$)) меньше уровня значимости $\alpha$, то нулевая гипотеза отвергается, в противном случае принимается.

Примеры F-тестов

F-тест на равенство дисперсий

Две выборки

Пусть имеются две выборки объемом m и n соответственно случайных величин X и Y, имеющих нормальное распределение. Необходимо проверить равенство их дисперсий. Статистика теста

$F=\frac {\hat{\sigma}^2_X}{\hat{\sigma}^2_Y}~ \sim ~F(m-1,n-1)$

где ${\hat{\sigma}^2}$ - выборочная дисперсия.

Если статистика больше критического, то дисперсии не одинаковы, в противном случае дисперсии выборок одинаковы

Несколько выборок

Пусть выборка объемом N случайной величины X разделена на k групп с количеством наблюдений $n_i$ в i-ой группе.

Межгрупповая ("объясненная") дисперсия: $\hat{\sigma}^2_{BG}=\sum^k_{i=1} n_i (\overline {x_i}-\overline {x})^2/(k-1)$

Внутригрупповая ("необъясненная") дисперсия: $\hat{\sigma}^2_{WG}=\sum^k_{i=1}\sum^{n_i}_{j=1} (x_{ij}-\overline {x}_i)^2/(N-k)$

$F=\frac {\hat{\sigma}^2_{BG}}{\hat{\sigma}^2_{WG}}~\sim~F(k-1,N-k)$

Данный тест можно свести к тестированию значимости регрессии переменной X на фиктивные переменные-индикаторы групп. Если статистика превышает критическое значение, то гипотеза о равенстве дисперсий в выборках отвергается, в противном случае дисперсии можно считать одинаковыми.

Проверка ограничений на параметры регрессии

Статистика теста для проверки линейных ограничений на параметры классической нормальной линейной регрессии определяется по формуле:

$F=\frac {(ESS_S-ESS_L)/q}{ESS_L/(n-k_L)}=\frac {(R^2_L-R^2_S)/q}{(1-R^2_L)/(n-k_L)}~\sim ~F(q,n-k_L)$

где $q=k_L-k_S$ -количество ограничений, n-объем выборки, k-количество параметров модели, ESS-сумма квадратов остатков модели, $R^2$-коэффициент детерминации, индексы S и L относятся соответственно к короткой и длинной модели (модели с ограничениями и модели без ограничений).

Замечание

Описанный выше F-тест является точным в случае нормального распределения случайных ошибок модели. Однако F-тест можно применить и в более общем случае. В этом случае он является асимптотическим. Соответствующую F-статистику можно рассчитать на основе статистик других асимптотических тестов - теста Вальда (W), теста множителей Лагранжа(LM) и теста отношения правдоподобия (LR) - следующим образом:

$F=\frac {n-k}{q} W/n ~,~ F=\frac {n-k}{q} \frac {LM} {n-LM} ~,~F=\frac {n-k}{q}(e^{LR/n}-1)$

Все эти статистики асимптотически имеют распределение F(q,n-k), несмотря на то, что их значения на малых выборках могут различаться.

Проверка значимости линейной регрессии

Данный тест очень важен в регрессионном анализе и по существу является частным случаем проверки ограничений. В данном случае нулевая гипотеза - об одновременном равенстве нулю всех коэффициентов при факторах регрессионной модели (то есть всего ограничений k-1). В данном случае короткая модель - это просто константа в качестве фактора, то есть коэффициент детерминации короткой модели равен нулю. Статистика теста равна:

$F=\frac {R^2/(k-1)}{(1-R^2)/(n-k)}~\sim ~F(k-1,n-k)$

Соответственно, если значение этой статистики больше критического значения при данном уровне значимости, то нулевая гипотеза отвергается, что означает статистическую значимость регрессии. В противном случае модель признается незначимой.

Пример

Пусть оценивается линейная регрессия доли расходов на питание в общей сумме расходов на константу, логарифм совокупных расходов, количество взрослых членов семьи и количество детей до 11 лет. То есть всего в модели 4 оцениваемых параметра (k=4). Пусть по результатам оценки регрессии получен коэффициент детерминации $R^2=41.2366%$. По вышеприведенной формуле рассчитаем значение F-статистики в случае, если регрессия оценена по данным 34 наблюдений и по данным 64 наблюдений:

$F_1=\frac {0.412366/(4-1)}{(1-0.412366)/(34-4)}=0,70174*10=7,02$

$F_2=\frac {0.412366/(4-1)}{(1-0.412366)/(64-4)}=0,70174*20=14.04$

Критическое значение статистики при 1% уровне значимости (в Excel функция FРАСПОБР) в первом случае равно $F_{1%}(3,30)=4,51$, а во втором случае $F_{1%}(3,60)=4,13$. В обоих случаях регрессия признается значимой при заданном уровне значимости. В первом случае P-значение равно 0,1%, а во втором - 0,00005%. Таким образом, во втором случае уверенность в значимости регрессии существенно выше (существенно меньше вероятность ошибки в случае признания модели значимой).

Проверка гетероскедастичности

См. Тест Голдфелда-Куандта

См. также

• Проверка статистических гипотез
• Статистический критерий
• Тест Вальда
• Тест отношения правдоподобия
• Тест множителей Лагранжа
• Тест Голдфелда-Куандта

Примечания

1. ↑ Таблица 15х20 критических значений критерия Фишера (F-критерия) для уровня значимости 0.05

Внешние ссылки

• Testing utility of model - F-test
• F-test
• Автоматический расчет φ* критерия
• Таблица 15х20 критических значений критерия Фишера (F-критерия) для уровня значимости 0.05

Столбчатая диаграмма · Совмещённая диаграмма · Диаграмма управления · Лесная диаграмма · Гистограмма · Q-Q диаграмма · Диаграмма выполнения · Диаграмма разброса · Стебель-листья · Ящик с усами