Обобщенный метод наименьших квадратов. Гетероскедастичность

Обобщенный метод наименьших квадратов

Оценки (3.13) коэффициентов линейной множественной регрессии (3.6) являются эффективными (имеющими минимальную дисперсию в классе ли-нейных несмещенных оценок) только при выполнении предпосылок п. 3.5. На-рушение второй и третьей предпосылок ведет к утере эффективности оценок (3.13), т. е. существуют оценки с меньшей дисперсией (с меньшим разбросомзначений оценок).

Следствием предпосылок 2 и 3 является диагональная структура матрицы ковариаций _ε случайного члена ε_i с одинаковыми диагональными элементами σ²(дисперсия случайного члена ε_i)

(3.43)

где E_n единичная матрица размерности n(n– количество наблюдений). При нарушении предпосылок _ε перестает иметь структуру (3.43). Обозначим ее для удобства через Ω.

В общем случае, согласно теореме Айткена, наилучшей в классе линейных несмещенных оценок является оценка

		X )				(3.44)
B (X			X	Y .

Вычисление оценок параметров уравнения множественной линейной рег-рессии по формуле (3.45) (с учетом матрицы ковариаций Ω) называется обоб-щенным методом наименьших квадратов (ОМНК).

Согласно ОМНК, уравнения регрессии предварительно преобразовывают-ся с целью получить модель, содержащую случайный член, удовлетворяющий предпосылкам регрессионного анализа (п. 3.5).

Следует сказать, что ввиду сложности определения матрицы ковариаций _ε = Ωэтот результат имеет в основном теоретический характер. Тем не менее, при определенных предположениях о структуре _ε теорема имеет практическое значение.

Обобщенный метод наименьших квадратов в случае гетероскедастичности остатков

Предположим, что нарушается только предпосылка 2 о постоянстве дис-

					, ( j i) . В этом случае говорят о ге-
персии случайного члена	i		j

тероскедастичности остатков, а сами остатки называются гетероскедастичны-ми. При выполнении предпосылки 2 говорят о гомоскедастичности остатков. Матрицы Ω и Ω^–1 в этом случае являются диагональными

											0 ...
			...
		2	...								...
						,									.
... ... ... ...
									... ... ... ...
			...
					n							0 ...
																n

Система нормальных уравнений ОМНК (3.13), (3.10) имеет вид

( X¹X )B X¹Y

или в координатной форме

...

...

...

y

i

a

b1

x

x1

b2

x

2i

bp

x pi

1i

;

i

i

i

i

i

y

x

a

x

b1

x21i

b2

x

2i

x

bp

x pi x1i

i

1i

1i

1i

;

i

i

i

i

i

.....................................................................................

yi x pi

a

x pi

b1

x1ixpi

b2

x2ixpi

bp

x2pi

.

i

i

i

i

i

(3.45)

(3.46)

(3.47)

Система уравнений (3.47) соответствует модели, определяемой соотноше-ниями

y

i

a

b1

x

b2

x

2i

... bp

x pi

ui, (i= 1, 2, …,n) (3.48)

1i

i

i

i

i

i

которые получаются, если исходное уравнение множественной регрессии (3.6), записанное для каждого наблюдения разделить на среднее квадратическое от-

клонение		случайного члена εi в i-наблюдении. Случайный член	ui			i	в
i
						i

модели (3.48) имеет постоянную для всех наблюдений дисперсию _ui²=1. Запись

модели в виде (3.48) соответствует уравнению линейной множественной рег-рессии (без свободного члена)

y

b1

b2

(3.49)

ax0

x1

x2

... bpxpu ,

записанному в новых переменных

...,

y , x0

, x1 ,

x p,значения которых опреде-

ляются по формулам

xpi

y

i

x

x

2i

, ui

i

, (i = 1, 2, …, n)

(3.50)

1i

yi

, x0i

, x1i

, x2i

, ..., xpi

i

i

i

i

i

i

Следует сказать,

что величины i2

практически никогда не известны и

вместо них следует использовать состоятельные оценки ˆ_i².

При практическом использовании ОМНК используется какое-либо пред-положение относительно зависимости дисперсии _i² случайного члена ε от на-

блюдения или величины факторов x_i.

Представим дисперсии _i² случайного члена в виде произведения некото-рой функции K_i² от факторов на постоянную величину ²

.

(3.51)

i

Ki

Тогда соотношения (3.50) принимают вид

x pi

y

i

x

x

2i

i

1i

,

, ...,

, ui

,

ui

const

.

yi

Ki

, x0i

,x1i

Ki

x2i

Ki

x pi

Ki

Ki

Ki

(i = 1, 2,…, n)

(3.52)

Часто на практике можно с достаточным основанием предположить, что

величины

σi

пропорциональны

значениям

какого-либо

фактора xα,

т. е.

i

x

(

x2

2

). В этом случае модель (3.49) принимает вид

i

i

i

y

a

b

x

... b

x

b b

x

... b

x p

u

p

(3.53)

x

x

x

x

x

x

и _ui^{2 2}.

Оценки параметров модели (3.53) являются оценками параметров исходно-го уравнения (3.6).

Если, вычислив значения новых переменных, мы запишем модель в стан-дартном виде

y		x		x			x p
	a b1		b2			... bp		u ,	(3.54)
x	x	x		x

то это будет новая модель с переменными, имеющими иной смысл. Оценки ее параметров будут отличаться от оценок параметров исходной модели.

Рассмотрим случай парной регрессии

y a b x

(3.55)

и предположим, что величины σ_i пропорциональны значениям фактора x, т. е._i x_i(_i² x_i^{2 2}).Преобразуя согласно ОМНК уравнение регрессии(3.55)

получим следующую модель

y		a	b u ,	(3.56)
x	x

оценки параметров которой будут эффективными оценками параметров исход-ной модели (5.55). Заметим, что в новой модели параметры a и b поменялись местами, т. е. свободный член стал коэффициентом и наоборот.