Устранение гетероскедастичности взвешенным МНК

Пусть проверка по тестам показала, что регрессионная модель (6.17) гетероскедастична:

Y=Xb+e или yi =b0 + åbixij +ei i=1, ... , n.

(6.17)

Это означает, что дисперсии возмущений s_i² не равны между собой и сами возмущения e_i и e_k некоррелированы. Отсюда следует, что ковариационная матрица вектора возмущений å_e=W - диагональная:

.

(6.18)

Если дисперсии возмущений известны, то гетероскедастичность легко устраняется. На практике, однако, эти значения никогда не бывают известны. Если исходить из предположения (6.15), то в качестве состоятельных оценок берутся прогнозные значения регрессии (6.16).

Оценка параметров взвешенным МНК состоит в следующем.

1. Проверить с помощью одного или нескольких тестов факт наличия в исходной модели (6.17) гетероскедастичности.

2. Применить к модели (6.17) обычный МНК, найти оценочный вектор коэффициентов b, вычислить квадраты ошибок - см. выражение (6.16).

3. Найти регрессию квадратов ошибок на квадратичные функции регрессоров, т.е. найти уравнение регрессии (6.16).

4. Вычислить по уравнению (6.16) прогнозные значения и получить набор весов .

5. Ввести новые переменные и найти уравнение , которое гомоскедастично. Полученная при этом оценка - см. выражение (6.8) - и есть оценка взвешенного метода наименьших квадратов исходного уравнения (6.17).

Таким образом, неизвестные параметры уравнения регрессии находим:

- если применяем обычный метод наименьших квадратов, то минимизируя остаточную сумму квадратов:

S=e’e=å( -y_i)²;

- если применяем обобщенный метод наименьших квадратов, то минимизируя выражение:

S=e’W^-1e;

- если применяем взвешенный метод наименьших квадратов, то минимизируя взвешенную остаточную сумму квадратов:

S=å( -y_i)²/s_i.

В последнем случае мы добиваемся равномерного вклада остатков в общую сумму, что приводит к получению наиболее эффективных оценок параметров модели.

Автокорреляция остатков временного ряда

И тесты на ее наличие

В регрессионных моделях пространственных выборок отсутствует влияние предыдущих наблюдений на последующие. Как следствие - выполняется условие независимости возмущений: r(ei, ej)=0. Совсем другая картина наблюдается во временных выборках. Здесь предыдущее значение уровня ряда, как правило, оказывает значительное влияние на последующее значение. Примером может служить курс валют на завтра – основой для его формирования служит сегодняшний курс.

Соответствующие регрессионные модели называются моделями с наличием автокорреляции. Последняя может быть положительной (завтра вероятнее всего будет то же, что и сегодня - устойчивость) и отрицательной (завтра вероятнее всего будет совсем не то же, что сегодня - маятник).

Процессы с положительной автокорреляцией содержат низкочастотную периодическую составляющую (еженедельный пик торговли на рынке). Процессы с отрицательной автокорреляцией не содержат такой составляющей и больше похожи на "белый шум".

Обычный метод наименьших квадратов при наличии коррелированности ошибок регрессии дает несмещенные и состоятельные, но неэффективные оценки коэффициентов регрессии. Как итог - оценки их дисперсий несостоятельные и смещенные, что делает результаты тестирования гипотез недостоверными.

Как правило, при наличии автокорреляции наибольшее влияние на последующее значение оказывает предыдущее значение. Поэтому отсутствие корреляции между соседними членами ряда служит хорошим критерием того, что корреляция отсутствует вообще.

Тест Дарбина-Уотсона основан именно на такой идее. Нулевая гипотеза Но: автокореляция отсутствует. Критическая статистика Дарбина-Уотсона имеет вид:

.

(6.19)

Статистика d связана с выборочным коэффициентом корреляции (тем точнее, чем больше n):

d » 2(1-r).

(6.20)

При r=-1 d=4 (отрицательная автокорреляция), при r=0 d=2 (отсутствие автокорреляции), при r=+1 d=0 (положительная автокорреляция).

На рис. 6.3 изображена связь значения d-статистики с результатами тестирования для n>14 (d_н и d_в - нижняя и верхняя границы - находятся по таблицам):

1. d_н <d<4- d_в - гипотеза Н_о не отвергается (принимается).

2. d_н <d<d_в - гипотеза Н_о не отвергается и не принимается - область неопределенности критерия.

3. 0<d<d_н - принимается альтернативная гипотеза о положительной автокорреляции.

4. 4-d_н<d<4 - принимается альтернативная гипотеза об отрицательной автокорреляции.

Но отвергает­ся (положи­тель­ная авто­корреляция)

Зона не­опре­де­ленно­сти

Но принимается (отсутствие автокорреляции)

Зона не­опреде­ленности

Но отвергается (отрицательная автокорреляция)

0 d_н d_в 2 4-d_в 4-d_н 4

Рис. 6.3. Схема теста Дарбина-Уотсона

Недостатки теста Дарбина-Уотсона: наличие зон неопределенности критерия, ограниченность результата - выявление корреляции только между двумя соседними членами ряда.

Тест Бреуша-Годфри основан на выражении корреляции между соседними наблюдениями авторегрессионным уравнением первого порядка:

et = rе t-1 , t=1, 2, ... , n,

(6.21)

где e_t - остатки регрессии, полученные обычным МНК.

Тест состоит в следующем: если коэффициент регрессии r значимо отличается от нуля, то автокорреляция имеет место.

Преимущества этого теста перед тестом Дарбина-Уотсона:

- не содержит зон неопределенностей;

- может измерять наличие автокорреляции не только между смежной парой возмущений, но и с учетом других возмущений: е _t-2 , е _t-3 . Для этого в уравнение (6.21) нужно ввести эти регрессоры.

Существуют и другие тесты.