Основные положения регрессионного анализа

Напомним, что парная регрессионная модель представляется в виде:

Y = j(Х) + e,

(2.13)

где e - СВ - возмущение, ошибка, характеризующая отклонение СВ Y от функции регрессии j(Х) - условного математического ожидания М_х(Y). В линейном регрессионном анализе j(Х) линейна относительно оцениваемых параметров:

Мх(У) = j(Х) = b0 +b1х.

(2.14)

Пусть для оценки параметров регрессии взята выборка из n пар (x_i, y_i). Тогда линейная парная регрессионная модель имеет вид:

yi = b0 +b1хi + ei.

(2.15)

Теперь рассмотрим основные предпосылки регрессионного анализа:

1. В модели (2.15) возмущение e_i , а значит и зависимая переменная y_i, есть величина случайная, а объясняющая переменная х_i - величина неслучайная, но принимающая различные значения.

2. М(ei) = 0 и, следовательно, М(yi) = b0 +b1хi.

(2.16)

3. Условие гомоскедастичности (равноизменчивости) возмущения или, что то же самое, переменной yi:

D(ei) = s2 = D(yi) = const.

(2.17)

4. Возмущения e_i и e_j (или переменные у _i и у _j) некоррелированы:

М(eiej) = 0 (i¹j).

(2.18)

5. Возмущение e_i (или переменная у_i) есть НРСВ.

Модель, для которой выполняются все пять предпосылок, называется нормальной классической линейной регрессионной моделью (НКЛРМ). Для получения уравнения регрессии достаточно предпосылок 1-4. Предпосылка 5 необходима для оценки точности уравнения и его параметров.

2.4. Качество оценок параметров b_o, b₁ и s²: теорема Гаусса-Маркова и метод максимального правдоподобия

Оценкой модели (2.15) по выборке является уравнение регрессии (2.2): = b_o +b₁x. Оценки b_o и b₁ параметров b_o и b₁ находятся по МНК (см. выше).

Качество уравнения (2.2) оценивается по нескольким показателям. Один из них - s² - выборочная несмещенная оценка остаточной дисперсии (дисперсии возмущений) s²:

.

(2.19)

где - групповая средняя, найденная с помощью уравнения регрессии; e_{i =} ( -y_i) - выборочная оценка возмущения (остаток регрессии).

Заметим, что в уравнении (2.19) число степеней свободы k=n-m=n-2, т.к. две степени теряются (связываются) при определении двух параметров: b_o и b_1.

Вопрос: являются ли оценки b_o, b₁ и s² параметров b_o, b₁ и s² наилучшими? Ответ на этот вопрос дает теорема Гаусса-Маркова и привлечение метода максимального правдоподобия (табл. 2.3).

Теорема Гаусса-Маркова. Если регрессионная модель (2.15) удовлетворяет предпосылкам 1-4, то оценки уравнения (2.7) b_o, b₁ имеют наименьшую дисперсию в классе всех линейных несмещенных оценок, т.е. являются эффективными.

Таблица 2.3

Показатели качества оценок b_o, b₁, s²

Оцениваемый параметр	Оценка методом наименьших квадратов (МНК)	Оценка методом максимального правдоподобия (ММП)
Коэффициенты регрессии bo, b1	bo, b1 - эффективные, т.е. несмещенные и имеющие наименьшую дисперсию. Основание: МНК и теорема Гаусса-Маркова - состоятельные. Основание: тождество с оценками ММП	bo, b1 - эффективные (в точности совпадают с оценками по МНК). Основание: ММП и теорема Гаусса-Маркова. - состоятельные. Основание: свойство оценок ММП (закон больших чисел)
Остаточная дисперсия s2	s2 - см. (2.19) несмещенная. Основание: по определению. - состоятельная. Основание: тождество с оценками ММП	=åе2/n ср.с (2.19) - смещенная. Основание: следует прямо из ММП. - состоятельная. Основание: свойство оценок ММП (закон больших чисел)

Кратко охарактеризуем метод максимального правдоподобия (ММП). Для его применения допустим выполнение предпосылки 5: значения уi - независимые СВ с НЗР, математическим ожиданием М(уi) = b_o+b₁х_i и постоянной дисперсией возмущений s^2.. В основе метода лежит функция правдоподобия:

L(y₁, x₁, ... , y_n, x_n, b_o, b₁, s²) =

=

В качестве оценок параметров b_o, b₁, s² в ММП принимаются такие значения, , , , которые максимизируют функцию правдоподобия L. Для нашей функции L максимум достигается при условии минимума ее показателя степени: å (y_i - b_o - b₁x_i)² ® min , что совпадает с условием МНК для определения b_o и b₁

Оценка по ММП также находится из условия минимума L. Для ее нахождения используем уравнение ¶L/¶s = 0, откуда имеем:

.

(2.20)