Тест Вальда

Тест Вальда (англ. Wald test) — статистический тест, используемый для проверки ограничений на параметры статистических моделей , оцененных на основе выборочных данных. Является одним из трех базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом множителей Лагранжа. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объем выборки.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров $b$. Необходимо проверить по выборочным данным гипотезу $H_0:~g(b)=0$, где g-совокупность (вектор) некоторых функций параметров. Идея теста заключается в том, что если нулевая гипотеза верна, то и выборочный вектор $g(\hat{b})$ должен быть в некотором смысле близок к нулю. Предполагается, что оценки параметров хотя бы состоятельны и асимптотически нормальны (таковы, например, оценки метода максимального правдоподобия),то есть

$\sqrt{n}(\hat {b}-b) \xrightarrow{n \rightarrow \infty} N(0,V) ~~~\Rightarrow~~\sqrt{n}(g(\hat {b})-g(b)) \xrightarrow{n \rightarrow \infty} N(0,G(b)VG(b)^T)$

где $G(b)=\frac{\partial g(b)}{\partial b}$ - якобиан (матрица первых производных) вектора g(b) в точке b.

Тогда

$W=g(\hat {b})^T(G(b)V_{\hat b}G^T(b))^{-1}g(\hat {b})\xrightarrow [H_0]{n \rightarrow \infty} \chi^2(q)~,~~V_{\hat b}=V/n$

Это и есть статистика Вальда. Поскольку ковариационная матрица $V$, вообще говоря, на практике неизвестна, то вместо нее используется некоторая ее оценка. Также вместо неизвестных истинных значений коэффициентов $b$ используют их оценки $\hat b$. Следовательно на практике мы получаем приблизительное значение вышеуказанной величины.

Если эта статистика больше критического значения $\chi^2_{\alpha}(q)$ при данном уровне значимости $\alpha~$, то гипотеза об ограничениях отвергается в пользу модели без ограничений ("длинная модель"). В противном случае ограничения могут иметь место и лучше построить модель с ограничениями, называемую "короткой моделью".

Необходимо отметить, что тест Вальда чувствителен к способу формулировки нелинейных ограничений. Например, простое ограничение равенства двух коэффициентов можно сформулировать как равенство их отношения единице. Тогда результаты теста теоретически могут быть разными, несмотря на то, что гипотеза одна и та же.

Частные случаи

Если функции g-линейны, то есть проверяется гипотеза следующего вида $H_0:~Ab=a$, где A-некоторая матрица ограничений, a-некоторый вектор, то матрица G(b) в данном случае - это фиксированная матрица A. Если речь идет о классической линейной модели регрессии, то ковариационная матрица оценок коэффициентов равна $V_{\hat {b}}=\sigma^2 (X^TX)^{-1}$. Поскольку дисперсия ошибок $\sigma^2$ неизвестна, то используют либо ее состоятельную оценку $\hat {\sigma}^2=ESS/n$, либо несмещенную оценку $s^2=ESS/(n-k)$. Следовательно, статистика Вальда тогда имеет вид:

$W=(A\hat{b}-a)^T(A(X^TX)^{-1}A^T)^{-1}(A\hat{b}-a)/s^2$

В частном случае, когда матрица ограничений единичная (то есть проверяются равенства коэффициентов некоторым значениям), то формула упрощается:

$W=(\hat{b}-a)^T(X^TX)(\hat{b}-a)/s^2$

Если рассматривается только одно линейное ограничение $c^Tb=a$, то статистика Вальда будет равна

$W=(c^Tb-a)^2/(s^2 c^T(X^TX)^{-1}c)$

В данном случае статистика Вальда оказывается равной квадрату $t$-статистики.

Можно показать, что статистика Вальда для классической линейной модели выражается через суммы квадратов остатков длинной и короткой моделей следующим образом

$W=\frac {ESS_S-ESS_L}{ESS_L/n}$

Здесь индекс L относится к длинной модели (long), а S-к короткой (short). Если используется несмещенная оценка дисперсии ошибок, то в формуле вместо $n$ необходимо использовать $(n-k)$.

В частности, для проверки значимости регрессии в целом $ESS_S=TSS$, поэтому получаем следующую формулу для статистики Вальда

$W=\frac {TSS-ESS}{ESS/n}=n\frac {1-ESS/TSS}{ESS/TSS}=\frac {nR^2} {1-R^2}$

где $R^2$ - коэффициент детерминации.

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM)- асимптотически эквивалентные тесты ($LM=LR=W$). Тем не менее для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство $LM \leqslant LR \leqslant W$. Тем самым тест Вальда будет чаще других тестов отвергать нулевую гипотезу об ограничениях. В случае нелинейных ограничений первая часть неравенства выполняется, а вторая - вообще говоря, нет.

Вместо теста Вальда можно использовать F-тест, статистика которого рассчитывается по формуле:

$F=\frac {n-k}{q} W/n$

или еще проще $F=W/q$, если при расчете статистики Вальда использовалась несмещенная оценка дисперсии. Эта статистика имеет в общем случае асимптотическое распределение Фишера $F(q,n-k)$. В случае нормального распределения данных - то и на конечных выборках.

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
• William H. Greene Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.

Для улучшения этой статьи по статистике желательно?: Проставив сноски, внести более точные указания на источники.

Столбчатая диаграмма · Совмещённая диаграмма · Диаграмма управления · Лесная диаграмма · Гистограмма · Q-Q диаграмма · Диаграмма выполнения · Диаграмма разброса · Стебель-листья · Ящик с усами