Сравнение «длинной» и «короткой» регрессии

Иногда из большого числа независимых переменных требуется отобрать наиболее существенные объясняющие переменные, влияющие на зависимую переменную. Для этого используют тест проверки «длинной» и «короткой» регрессий.

Рассмотрим два уравнения регрессии:

(короткое) y_i= b₀+ b₁x_i1+…+ b_kx_ik+u_i;

(длинное) y_i= b₀+ b₁x_i1+…+ b_kx_ik+…+ b_k+qx_ik+q+v_i

.

Какое из двух уравнений выбрать?

Проверим гипотезу H₀: b_k+1= b_k+2= b_k+q=0.

Найдем сумму квадратов остатков для «длинной» (unrestricted) модели Q^UR_ост.

Найдем сумму квадратов остатков для «короткой» (restricted) модели Q^R_ост.

Рассчитаем значение F_набл:

. (5.1)

Если F_набл> F_кр(v₁=q,v₂=n-k-q-1), гипотеза отвергается (выбираем длинную регрессию), в противном случае – выбираем короткую регрессию.

Задача 5

По данным таблицы 4.1 изучается зависимость индекса человеческого развития Y от переменных:

Х1 – ВВП 1997г., % к 1990г.;

Х2 – суточная калорийность питания населения, ккал на душу населения;

Х3 – ожидаемая продолжительность жизни при рождении 1997г., число лет;

Х4 – расходы на конечное потребление в текущих ценах, % к ВВП;

Х5 – расходы домашних хозяйств, % к ВВП;

Х6 – валовое накопление, % к ВВП.

Таблица 5.1

Данные по странам

Страна	Y	X1	X2	X3	X4	X5	X6
Австрия	0.904				75.5	56.1	25.2
Австралия	0.922			78.2	78.5	61.8	21.8
Белоруссия	0.763				78.5	59.1	25.7
Бельгия	0.923			77.2	77.7	63.3	17.8
Великобритания	0.918			77.2	84.4	64.1	15.9
Германия	0.906			77.2	75.9		22.4
Дания	0.905			75.7		50.7	20.6
Индия	0.545			62.6	67.5	57.1	25.2
Испания	0.894				78.2		20.7
Италия	0.9			78.2	78.1	61.8	17.5
Канада	0.932				78.6	58.6	19.7
Казахстан	0.74			67.6		71.7	18.5
Китай	0.701			69.8	59.2		42.4
Латвия	0.744			68.4	90.2	63.9
Нидерланды	0.921			77.9	72.8	59.1	20.2
Норвегия	0.927			78.1	67.7	47.5	25.2
Польша	0.802			72.5	82.6	65.3	22.4
Россия	0.747			66.6	74.4	53.2	22.7
США	0.927			76.7	83.3	67.9	18.1
Украина	0.721			68.8	83.7	61.7	20.1
Финляндия	0.913			76.8	73.8	52.9	17.36
Франция	0.918			78.1	79.2	59.9	16.8
Чехия	0.833	99.2		73.9	71.5	51.5
Швейцария	0.914			78.6	75.3	61.2	20.3
Швеция	0.923			78.5		53.1	14.1

Построить регрессию зависимости Y от всех независимых переменных.

Исключая незначимые переменные, определить, какую регрессию возможно применить для анализа и прогноза.

Решение

Построим длинную регрессию зависимости У от всех переменных Х. Результаты приведены на рис. 5.1.

Рис. 5.1. Результаты «длинной» регрессии

Получили следующее уравнение регрессии:

По значениям t-статистики или Р-значениям видно, что значимое влияние на зависимую переменную Y оказывают переменные Х1, Х2, Х3 и незначимое – переменные Х4, Х5, Х6.

Исключим незначимую переменную, для которой значение вероятности значимости наибольшая, то есть переменную Х6.

Результат представлен на рис. 5.2.

Рис. 5.2. Регрессия без переменной Х6

Как видно из рисунка 5.2 по сравнению с рисунком 5.1 значения коэффициентов детерминации практически не изменились. Значения коэффициентов регрессии изменилось незначительно, также незначимыми переменными остались Х4, Х5. Последовательно исключим эти незначимые переменные (проделайте это самостоятельно).

Получили «короткую» регрессию, включающую только переменные Х1, Х2, Х3 (рис. 5.3).

Рис. 5.3. Результаты «короткой» регрессии

Полученная регрессия имеет вид:

.

Как видно по Р-значениям, все коэффициенты значимы.

Определим, какая из регрессий предпочтительнее для анализа.

Рассчитаем F-статистику по формуле (5.1):

.

Так как F_набл =0,47 < F_крит=3,16, то гипотеза о не влиянии на индекс человеческого развития Y переменных Х4 (расходы на конечное потребление в текущих ценах), Х5 (расходы домашних хозяйств) и Х6(валовое накопление) принимается и для дальнейшего анализа можно использовать «короткую» регрессию.

Гетероскедастичность

В рассмотренной ранее регрессионной модели, которую часто называют классической, предполагается, что случайные составляющие eiимеют постоянную дисперсию и не коррелируют друг с другом, то есть ковариационная матрица случайного вектора имеет вид v(e)= s2In.

Это условие известно как гомоскедастичность, что означает «одинаковый разброс» (рис. 6.1).

Рис. 6.1. Модель с гомоскедастичным случайным членом

Если ошибки не являются гомоскедастичными, то имеет место гетероскедастичность, что означает «неодинаковый разброс».

Гетероскедастичность может принимать разные формы, например, непостоянство дисперсии или автокорреляция.

На рисунке 6.2 представлен пример, когда ошибки не коррелированны, но имеют неодинаковую дисперсию.

Рис. 6.2. Модель с гетероскедастичным случайным членом

При гомоскедастичности коэффициенты регрессии, полученные методом наименьших квадратов (МНК), имеют наименьшую дисперсию среди всех несмещенных оценок, являющихся линейными функциями от наблюдений y.

Если имеет место гетероскедастичность, то:

1. оценки МНК, которые мы использовали до сих пор, неэффективны. Можно найти другие оценки, которые имеют меньшую дисперсию и являются несмещенными;

2. стандартные ошибки, рассчитанные по обычной формуле (МНК), будут не верны. Они вычисляются на основе предположения, что распределение случайного члена гомоскедастично. Вполне вероятно, что стандартные ошибки будут занижены, а, следовательно, t -статистики – завышены и будет получено неправильное представление о точности уравнения регрессии.