Регрессионной модели МНК

Принципиальных отличий применения МНК для парной регрессии от применения его для множественной регрессии нет. Поэтому основное значение этого параграфа - освоение матричного подхода к алгебраическим преобразованиям в рамках теории множественной регрессии.

Условие минимизации суммы квадратов отклонений для множественной регрессии:

S = å( - yi)2 = å ei2 = e’e = (Y-Xb)’(Y-Xb) ® min.

(3.4)

Как и ранее, для отыскания оптимального значения вектора b составим систему уравнений, приравняв нулю частные производные от S по b_i. В матричной форме такая система уравнений будет иметь вид (читается ”набла S по b равно 0-вектору”):

bS = 0n.

(3.5)

Опустим все промежуточные преобразования (подробности см. [5, с. 84] ) и получим результат: систему нормальных уравнений в матричной форме относительно искомого вектора b:

X’Xb = X’Y.

(3.6)

Для наглядности представим данное матричное выражение графически (рис. 3.1). Полезно сравнить этот рисунок и выражение (3.6), определить размерности матриц. Напомним, что произведение матриц определяется как повторение одной и той же операции: скалярное произведение очередной строки левой матрицы на очередной столбец правой матрицы, что условно и показано на рис. 3.1.

X Y

X’ b X’

x x = x

Рис. 3.1. Графическое представление матричного выражения (3.6)

Чтобы разрешить систему (3.6) линейных уравнений относительно вектора b, нужно обе части уравнения умножить слева (умножение матриц некоммутативно) на матрицу, обратную к матрице Х’X, т.е. на (Х’X)^-1. В результате получим систему линейных уравнений, разрешенную относительно вектора b:

b = (Х’X)-1X’Y.

(3.7)

Теперь можно предпосылку-6 переформулировать более конструктивно: матрица Х’X должна быть неособенной, иначе говоря, ее определитель не должен равняться нулю: êХ’X ê¹ 0. Еще одно эквивалентное условие: матрица Х’X должна иметь обратную матрицу.

Если воспользоваться стандартным пакетом программ, то именно в матричной форме удобнее всего формулировать задание (3.7) для компьютера.

Переформулируем предпосылки специально для матричной формы множественного регрессионного анализа:

1. В модели (3.2) e - случайный вектор, Х - неслучайная матрица.

2. М(e) = 0_n, где 0_n, - вектор-столбец, состоящий из n нулей.

3. Одновременно и условие 4. å_e = М(ee‘) = s²Е_n, где Е_n - единичная матрица n x n (заметим, что квадратная матрица получается в результате умножения по правилам матричной алгебры матрицы-столбца на матрицу-строку).

5. e - случайная величина-вектор с n-мерным НЗР N_n(0, s²Е_n).

6. Ранг матрицы r(X) = p+1, причем p+1< n (неравенство требует, чтобы число наблюдений n было больше, чем число объясняющих переменных плюс 1).

Теорема Гаусса-Маркова. При выполнении предпосылок 1-4 и 6 множественного регрессионного анализа оценка по МНК b = (Х’X)^-1X’Y является эффективной, т.е. обладает наименьшей дисперсией в классе линейных несмещенных оценок.