Обобщенный метод наименьших квадратов

Обобщим КЛММР вида (3.1). Пусть по-прежнему мы располагаем выборочными наблюдениями над k переменными Y_i и , j=1,..., k, i=1,2,…,n и строим регрессию:

(4.3)

Откажемся от предположения КЛММР о некоррелированности и гомоскедастичности случайной ошибки (3.3). То есть относительно переменных модели в уравнении (4.3) примем следующие основные гипотезы:

E(u_i)=0; (4.4)

(4.5)

X₁, X₃, ..., X_k – неслучайные переменные; (4.6)

Не должно существовать строгой линейной

зависимости между переменными X₁, X₃, ..., X_k. (4.7)

Суть гипотезы (4.5) в том, что все случайные ошибки u_i имеют непостоянную дисперсию, то есть не выполняется условие гомоскедастичности дисперсии – имеет место гетероскедастичность дисперсии ошибок. Кроме того, ковариации остатков могут быть произвольными и отличными от нуля (вторая строчка соотношения (4.5)).

Модель вида (4.3)-(4-7) называется обобщенной линейной моделью множественной регрессии (ОЛММР). Отличие ОЛММР от КЛММР состоит в изменении предположений о поведении случайной ошибки (4.5).

К ОЛММР может быть применен метод наименьших квадратов, однако (3.6) оказывается неприменимой к модели (4.3)-(4-7) в силу потери свойства оптимальности оценок. Но МНК к ОЛММР может быть применен.

Критерий минимизации суммы квадратов ошибок МНК в силу условия (4.5) заменяется на другой – минимизация обобщенной суммы квадратов отклонений (с учетом ненулевых ковариаций случайной ошибки для разных наблюдений и непостоянной дисперсии ошибки) и соответственно усложняется вид системы уравнений для определения оценок коэффициентов по сравнению с системой (3.6) для МНК. После решения полученной системы линейных алгебраических уравнений получим линейные несмещенные оценки коэффициентов ОЛММР, которые будут эффективными. Указанный метод получения оценок называется обобщенным методом наименьших квадратов (ОМНК) или методом Айткена.

Обозначим6:

; .

Тогда модель (4.3)-(4.7) запишется в матричном виде:

y=Xb+u,

при условиях

E(u)=0;

E(uu^T)=s²W;

X – не из случайных чисел;

rank(X)=k+1<n.

Оценки МНК получаются по формуле . Оценки ОМНК получаются по формуле .

Подчеркнем, что для применения ОМНК в (4.5) необходимо знать значения в правой части равенства (в частности элементы матрицы W), что на практике случается крайне редко. Поэтому каким-либо способом оценивают величины i, j=1,…,n. А затем используют эти оценки в расчетах коэффициентов модели. Этот подход составляет суть так называемого доступного обобщенного метода наименьших квадратов. Конкретные способы оценки неизвестных ковариаций будут рассмотрены ниже.

Линейная модель множественной регрессии