Обобщенный регрессионный анализ

Обобщенная схема МНК

Данные, используемые при построении регрессионных моделей, не всегда обеспечивают выполнение условий классической регрессии. Чаще других встречаются ситуации, когда нарушается однородность (например, когда в одной выборочной совокупности присутствуют данные о малых и крупных предприятиях) или не выполняется условие некоррелированности случайных остатков (например, при использовании временных рядов для построения регрессионных моделей). И та, и другая ситуация приводит к невыполнению условия 3b. .

Рассмотрим самый общий случай нарушения этого условия и выясним, что происходит, если в основу построения множественной регрессии положены следующие предположения:

1. – спецификация модели;

2. – детерминированная матрица, имеющая максимальный ранг ;

3а. ,

3b. , где матрица положительно определена.

Модель, которая строится в предположении выполнения данных условий, называется обобщенной регрессией. Она отличается от классической только условием 3b. Если для ее построения применить МНК, то полученные оценки вектора

(3.66)

обладают следующими свойствами:

1) они в силу условия 3а несмещенные, так как

; (3.67)

2) их ковариационная матрица равна

. (3.68)

Как правило, матрица неизвестна и ковариационную матрицу заменяют оценкой

, (3.69)

где .

Проверим оценку ковариационной матрицы на несмещенность:

. (3.70)

В свою очередь,

. (3.71)

Здесь использован тот факт, что

, (3.72)

так как

, (3.73)

и матрица обладает свойствами: , , .

Таким образом, математическое ожидание ковариационной матрицы может быть записано в виде

, (3.74)

что в общем случае не совпадает с оценкой .

Следовательно, оценка матрицы ковариации вектора , полученная с помощью обычного МНК, является смещенной и требуется в данной ситуации применять модифицированный МНК. Способ модификации дает теорема Айткена. В соответствии с этой теоремой для обобщенной регрессионной модели оценка

(3.75)

имеет наименьшую матрицу ковариаций в классе линейных несмещенных оценок вектора .

Таким образом, для применения обобщенного метода наименьших квадратов (ОМНК), также как и для получения оценки ковариационной матрицы, необходимо знать матрицу , которая на практике чаще всего не известна. Самый простой способ, позволяющий справиться с этой проблемой, положен в основу так называемого доступного обобщенного метода наименьших квадратов, суть которого в том, что сначала каким либо образом получают оценку матрицы , а затем эту оценку используют вместо матрицы.