Метод взвешенных наименьших квадратов

Неоднородность дисперсии. Частным случаем обобщенного метода наименьших квадратов является метод взвешенных наименьших квадратов. Его обычно применяют для построения моделей, когда дисперсия случайных остатков неоднородна, т.е. имеет место гетероскедастичность. Предположения, лежащие в основе построения этой модели, выглядят следующим образом:

1. – спецификация модели;

2. – детерминированная матрица, имеющая максимальный ранг ;

3а. ,

3b. , где матрица диагональная с неравными элементами.

В некоторых случаях удобно считать, что элементы ковариационной матрицы представимы в виде , а весовые коэффициенты нормированы так, что . Если для всех , то модель с гетероскедастичностью сводится к классической с гомоскедастичными остатками.

Применение формулы (3.75) для расчета оценок регрессионного уравнения в условиях гетероскедастичности эквивалентно минимизации взвешенной суммы квадратов

. (3.76)

Последнее выражение позволяет понять содержательный смысл метода взвешенных наименьших квадратов. Как было показано выше, применение стандартного МНК к неоднородным данным дает неэффективные оценки. Причина в том, что не учитывается зависящий от дисперсии уровень статистического вклада каждого слагаемого. «Взвешивание» каждого отклонения с помощью величины , предусмотренное в методе взвешенных наименьших квадратов, устраняет неоднородность, причем более точным наблюдениям (с меньшей дисперсией) придается «больший вес».

В практических расчетах применяют различные приемы для устранения эффектов гетероскедастичности в зависимости от того, что принимается за оценку неизвестной дисперсии.

Пропорциональность дисперсии независимой переменной. Если есть основания считать, что дисперсия ошибки прямо пропорциональна квадрату одной из независимых переменных модели, т.е. , то путем деления на эту независимую переменную всех (зависимой и независимых) переменных модели случай гетероскедастичности сводится к классической модели.

В более сложном случае можно считать, что дисперсия зависит от нескольких независимых переменных, например и ,

. (3.77)

Тогда моделирование осуществляется в три этапа с использованием идей доступного МНК. На первом этапе с помощью стандартного МНК строится регрессия

(3.78)

и вычисляются остатки, квадраты которых принимаются за оценки .

На втором этапе для этих оценок строится регрессия, расчетные значения которой используются для получения весовых коэффициентов, применяемых в методе взвешенных наименьших квадратов на завершающем этапе построения модели.

Двухуровневая дисперсия.Встречаются ситуации, когда данные неоднородны по дисперсии, но их можно разделить на две группы однородных. Пусть, например, в первой группе наблюдение с дисперсией для ,а во второй – наблюдений с дисперсией для . Значения и неизвестны.

Для этого случая также можно предложить многоэтапную процедуру оценивания коэффициентов регрессии на основе доступного МНК.

На первом этапе стандартным МНК получают коэффициенты обычной регрессии и с ее помощью рассчитывают остатки .

На втором этапе в соответствии с группировкой данных строят оценки неизвестных значений дисперсий

, . (3.79)

На следующем этапе все переменные первых уравнений делятся на , а остальные – на . К преобразованным уравнениям применяется обычный МНК, завершающий построение модели.

Этот подход к построению регрессии в условиях гетероскедастичности с двухуровневой дисперсией допускает обобщение на случай, когда дисперсия имеет не два, а несколько различных уровней.