Обобщенный метод наименьших квадратов

Проблема эффективности линейной несмещенной оценки вектора b для обобщенной ЛММР решается с помощью теоремы Айткена.

Теорема Айткена: в классе линейных несмещенных оценок вектора b для обобщенной ЛММР оценка

b* = (X’W-1X)-1X’W-1XY (6.5)

имеет наименьшую ковариационную матрицу (доказательство см. в работе [5, с.152]). При этом математическое ожидание оценки b* равно b: М(b*)=b, т.к. М(e)=0.

В случае классической модели, т.е. при выполнении требования åe=W=s2Еn , оценка b* обобщенного МНК совпадает с оценкой b обычного МНК.

Доказательство теоремы Айткена основано на утверждении матричной алгебры: если W - симметричная невырожденная матрица nxn, то она представима (хотя и неединственным способом) в виде произведения некоторых двух матриц:

W=PP’, (6.6)

где Р - невырожденная матрица nxn.

От обобщенной модели Y=Xb+e путем умножения слева на обратную матрицу Р-1 перейдем к ее некоторому образу Y*:

Y*= Р-1Y= Р-1Xb+ Р-1e=X*b+e*. (6.7)

Модель (6.7) удовлетворяет всем требованиям КЛММР. Следовательно, оценка b* по выражению (6.5) или аналогично (6.2):

b*= (X*’X*)-1X*’Y* (6.8)

наиболее эффективна в классе всех линейных несмещенных оценок, являясь точкой минимума обобщенного критерия МНК:

S*= åe*i2=e*’e*=(Y*-X*b)’(Y*-X*b)=e’We, (6.9)

где e*= Р-1e - см. выражение (6.7).

Для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации, вычисляемый в матричных обозначениях по формуле:

Обобщенный метод наименьших квадратов - student2.ru (6.10)

не является удовлетворительной мерой качества модели. Он может даже выходить за интервал [0; 1], и добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению). Поэтому коэффициент детерминации используется только как приближенная характеристика.

Для практической реализации обобщенного МНК необходимо знать ковариационную матрицу W вектора возмущений, что случается весьма редко. Поэтому приходится вводить дополнительные условия относительно структуры матрицы W. Только тогда мы приходим к практически реализуемому обобщенному МНК. Наиболее важные виды структур матрицы W рассмотрим позднее.

Сущность и последствия гетероскедастичности

Равенство дисперсий возмущений ei регрессии - гомоскедастичность - является обязательным условием линейной классической модели. Формально оно записывается в виде: åe=s2En.

Однако на практике это условие часто нарушается, и мы имеем дело с гетероскедастичностью. В парной регрессии это может проявляться так: с ростом объясняющей переменной Х растет в среднем значение результирующей переменной Y и одновременно увеличивается разброс точек относительно тренда (рис. 6.1 и 6.2).

          Обобщенный метод наименьших квадратов - student2.ru        
Обобщенный метод наименьших квадратов - student2.ru y         y        
                   
                   
                   
                   
                   
                   
                   
                   
        x         x

Рис. 6.1. Явление гомоскедастичности Рис. 6.2. Явление гетероскедастичности

Рассмотрим последствия гетероскедастичности. Пусть для оценки регрессии Y по Х1, ... , Хp мы применили обычный МНК и получили оценочный вектор b для вектора параметров b: b=(X’X)-1X’Y. Если вместо Y подставить его модель Y=Xb+e, то после несложных преобразований получим (заметим, что вектор b зависит от случайного вектора e):

b=(X’X)-1X’Y=b+(X’X)-1X’e. (6.11)

Эта оценка - несмещенная и состоятельная для обобщенной линейной модели множественной регрессии, в том числе для случая гетероскедастичности (это очевидно, если учесть М(e)=0). Следовательно, для построения регрессионной модели и использования ее в качестве прогностического инструмента обычный метод наименьших квадратов применим и в случае гетероскедастичности модели.

Неприятности начинаются, когда мы хотим оценить точность модели, ее значимость, получить интервальные оценки ее коэффициентов. Результаты оказались бы непригодными.

Дело в том, что при расчете t- и F-статистик для тестирования гипотез важное значение имеют оценки дисперсий и ковариаций оценок bi, т.е. ковариационная матрица åb. Если модель не является классической, то ковариационная матрица вектора возмущений åe¹s2En, и вместо åb=s2(X’X)-1 мы имеем существенно иную ковариационную матрицу:

åb = (X’X)-1X’WX(X’X)-1.

Добавим также, что несмещенная и состоятельная оценка в случае гетероскедастичности не будет оптимальной в смысле теоремы Гаусса-Маркова, т.е. эффективной. Это может привести к тому, что оценка b будет значительно отличаться от истинного значения b.

Наши рекомендации