Взвешенный метод наименьших квадратов

В некоторых случаях при проведении регрессионного анализа желательно использовать различные веса наблюдений и вычислить оценки коэффициентов регрессии по методу взвешенных наименьших квадратов. Этот метод обычно применяется, когда дисперсия остатков неоднородна при различных значениях независимых переменных. Можно использовать веса, равные единица на дисперсию остатков и вычислить оценки по методу взвешенных наименьших квадратов. (На практике эти дисперсии обычно не известны, однако они часто пропорциональны значениям независимых переменных, и это пропорциональность может быть использована для вычисления подходящих весов наблюдений.)

40. Взвешенный метод наименьших квадратов - student2.ru Гетероскедастичность. Метод Голдфельдта-Квандта.

Рассматривая метод наименьших квадратов (см. предыдущие выпуски рассылки), мы обратили внимание на случаи, когда применение МНК ведет кразличным негативным последствиям. Эти случаи заключаются в невыполнении условий применения МНК, одним из которых является независимость остатков и постоянство их дисперсии. Пример, приведенный на рис. 1 показывает, что прогноз значения показателя в точке значительно отличается от истинного значения. Исходя из критерия минимума среднеквадратической ошибки на точках обучающей последовательности, который является базисом МНК, наилучшим приближением экспериментальной зависимости является прямая. В то же время, очевидно, что дисперсии остатков изменяются по некоторому закону (квадратическому или типа квадратного корня).

В общем случае, такое явление приводит к тому, что оценки параметров по МНК будут несмещенными, состоятельными, но неэффективными и формулу для стандартной ошибки оценки адекватно применять нельзя. Напомним, что:

- оценка параметра называется несмещенной, если , где - математическое ожидание;

- оценка параметра называется состоятельной, если (сходимость по вероятности);

- оценка параметра называется эффективной, если она имеет минимальную дисперсию в некотором классе оценок.

Если дисперсия остатков изменяется для каждого наблюдения или группы наблюдений, т.е. , где, в общем случае, - неизвестный параметр, а - известная симметричная положительно определенная матрица, то такое явление называется гетероскедастичностью. Если же , то имеем гомоскедастичность.

В случае простой однофакторной модели устранить гетероскедастичность просто. Достаточно левую и правую часть модели поделить на . Для многофакторной модели такое преобразование значительно усложняется.

Для проверки наличия гетероскедастичности используют четыре метода, в зависимости от природы исходных данных: критерий , параметрический тест Гольдфельда-Квандта, непараметрический тест Гольдфельда-Квандта, тест Глейсера. Приведем алгоритмы каждого из методов.

Параметрический тест Гольдфельда-Квандта применяется, если количество наблюдений невелико и сделано предположение о том, что дисперсия остатков возрастает пропорционально квадрату одной из независимых переменных, т.е. .

Шаг 1. Упорядочить наблюдения в соответствии с величиной элементов вектора , для которого предположительно выполняется вышеприведенное равенство.

Шаг 2. Исходя из соотношения , предложенного авторами метода, где - количество элементов , выбросить наблюдений, которые находятся в средине вектора.

Шаг 3. Согласно МНК построить две эконометрические модели по двум полученным совокупностям наблюдений размером , естественно при условии, что , где - количество независимых факторов, присутствующих в модели.