Обобщенный метод наименьших квадратов

Проблема эффективности линейной несмещенной оценки вектора b для обобщенной ЛММР решается с помощью теоремы Айткена.

Теорема Айткена: в классе линейных несмещенных оценок вектора b для обобщенной ЛММР оценка

b* = (X’W-1X)-1X’W-1XY

(6.5)

имеет наименьшую ковариационную матрицу (доказательство см. в работе [5, с.152]). При этом математическое ожидание оценки b^* равно b: М(b^*)=b, т.к. М(e)=0.

В случае классической модели, т.е. при выполнении требования å_e=W=s²Е_n , оценка b^* обобщенного МНК совпадает с оценкой b обычного МНК.

Доказательство теоремы Айткена основано на утверждении матричной алгебры: если W - симметричная невырожденная матрица nxn, то она представима (хотя и неединственным способом) в виде произведения некоторых двух матриц:

W=PP’,

(6.6)

где Р - невырожденная матрица nxn.

От обобщенной модели Y=Xb+e путем умножения слева на обратную матрицу Р^-1 перейдем к ее некоторому образу Y^*:

Y*= Р-1Y= Р-1Xb+ Р-1e=X*b+e*.

(6.7)

Модель (6.7) удовлетворяет всем требованиям КЛММР. Следовательно, оценка b^* по выражению (6.5) или аналогично (6.2):

b*= (X*’X*)-1X*’Y*

(6.8)

наиболее эффективна в классе всех линейных несмещенных оценок, являясь точкой минимума обобщенного критерия МНК:

S*= åe*i2=e*’e*=(Y*-X*b)’(Y*-X*b)=e’We,

(6.9)

где e^*= Р^-1e - см. выражение (6.7).

Для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации, вычисляемый в матричных обозначениях по формуле:

(6.10)

не является удовлетворительной мерой качества модели. Он может даже выходить за интервал [0; 1], и добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению). Поэтому коэффициент детерминации используется только как приближенная характеристика.

Для практической реализации обобщенного МНК необходимо знать ковариационную матрицу W вектора возмущений, что случается весьма редко. Поэтому приходится вводить дополнительные условия относительно структуры матрицы W. Только тогда мы приходим к практически реализуемому обобщенному МНК. Наиболее важные виды структур матрицы W рассмотрим позднее.

Сущность и последствия гетероскедастичности

Равенство дисперсий возмущений e_i регрессии - гомоскедастичность - является обязательным условием линейной классической модели. Формально оно записывается в виде: å_e=s²E_n.

Однако на практике это условие часто нарушается, и мы имеем дело с гетероскедастичностью. В парной регрессии это может проявляться так: с ростом объясняющей переменной Х растет в среднем значение результирующей переменной Y и одновременно увеличивается разброс точек относительно тренда (рис. 6.1 и 6.2).

y					y
				x					x

Рис. 6.1. Явление гомоскедастичности Рис. 6.2. Явление гетероскедастичности

Рассмотрим последствия гетероскедастичности. Пусть для оценки регрессии Y по Х₁, ... , Х_p мы применили обычный МНК и получили оценочный вектор b для вектора параметров b: b=(X’X)^-1X’Y. Если вместо Y подставить его модель Y=Xb+e, то после несложных преобразований получим (заметим, что вектор b зависит от случайного вектора e):

b=(X’X)-1X’Y=b+(X’X)-1X’e.

(6.11)

Эта оценка - несмещенная и состоятельная для обобщенной линейной модели множественной регрессии, в том числе для случая гетероскедастичности (это очевидно, если учесть М(e)=0). Следовательно, для построения регрессионной модели и использования ее в качестве прогностического инструмента обычный метод наименьших квадратов применим и в случае гетероскедастичности модели.

Неприятности начинаются, когда мы хотим оценить точность модели, ее значимость, получить интервальные оценки ее коэффициентов. Результаты оказались бы непригодными.

Дело в том, что при расчете t- и F-статистик для тестирования гипотез важное значение имеют оценки дисперсий и ковариаций оценок b_i, т.е. ковариационная матрица å_b. Если модель не является классической, то ковариационная матрица вектора возмущений å_e¹s²E_n, и вместо å_b=s²(X’X)^-1 мы имеем существенно иную ковариационную матрицу:

å_b = (X’X)^-1X’WX(X’X)^-1.

Добавим также, что несмещенная и состоятельная оценка в случае гетероскедастичности не будет оптимальной в смысле теоремы Гаусса-Маркова, т.е. эффективной. Это может привести к тому, что оценка b будет значительно отличаться от истинного значения b.