Расчет коэффициентов множественной линейной регрессии
Представим данные наблюдений и соответствующие коэффициенты в матричной форме.
, , , .
Здесь Y - -мерный вектор-столбец наблюдений зависимой переменной Y; X - матрица размерности , в которой -я строка ( ) представляет наблюдение вектора значений независимых переменных ;единица соответствует переменной при свободном члене ; В — вектор-столбец размерности (m+1) параметров уравнения регрессии; е — вектор-столбец размерности n отклонений выборочных (реальных) значений зависимой переменной Y от значений , получаемых по уравнению регрессии
. | (6.12) |
Нетрудно заметить, что функция в матричной форме представима как произведение вектор - строки на вектор - столбец . Вектор-столбец в свою очередь может быть записан в следующем виде:
. | (6.13) |
Тогда
.
Здесь обозначение транспонированной матрицы.
При выводе последней формулы использовались известные соотношения линейной алгебры:
.
Эти соотношения легко проверить, записав поэлементно все матрицы и выполнив с ними нужные действия.
Необходимым условием экстремума функции Q является равенство нулю ее частных производных по всем параметрам , т.е.
. | (6.14) |
Отсюда, получаем систему нормальных уравнений в матричной форме для определения
. | (6.15) |
Решением уравнения (6.15) является
. | (6.16) |
Матрица представляет матрицу сумм первых степеней, квадратов и попарных произведений наблюдений объясняющих переменных:
. | (6.17) |
Матрица
. | (6.18) |
В частном случае из рассматриваемого матричного уравнения (6.15) с учетом (6.17) и (6.18) для одной объясняющей переменной (m=1) можно получить уже рассмотренную ранее систему нормальных уравнений в матричном виде:
.
Кроме того, для линейной множественной регрессии существует другой способ оценки параметров – через - коэффициенты (параметры уравнения в стандартизованном масштабе).
При построении уравнения в стандартизованном масштабе все значения переменных переводятся в стандартизованные значения по формулам:
,. . | (6.19) |
Таким образом, начало отсчета каждой стандартизованной переменной совпадает с ее средним значением, а в качестве единицы измерения принимается ее среднее квадратическое отклонение. Стандартизованные переменные будут связаны линейным соотношением:
, | (6.20) |
здесь - стандартизованные коэффициенты регрессии.
К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии ( - коэффициенты) определяются из следующей системы уравнений:
(6.21) |
Найденные из данной системы - коэффициенты позволяют определить значения коэффициентов регрессии в естественном масштабе по формулам:
. | (6.22) |
Параметр определяется из условия
. | (6.22*) |
На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии и коэффициенты эластичности ( ):
, | (6.23) |
. | (6.24) |
Стандартизованный коэффициент регрессии показывает, на сколько величин оценки своего среднего квадратического отклонения изменится в среднем зависимая переменная Y при увеличении только -й объясняющей переменной на величину оценки своего среднего квадратического отклонения при неизменном влиянии прочих факторов модели.
Коэффициент эластичности показывает на сколько процентов (от средней) изменится в среднем Y при увеличении только на 1% от своего среднего уровня при фиксированном положении других факторов модели.
Частные коэффициенты эластичности и стандартизованные частные коэффициенты регрессии можно использовать для ранжирования факторов по силе влияния на результат. Чем больше величина коэффициента, тем сильнее влияет фактор результат.
Долю влияния фактора в суммарном влиянии всех факторов можно оценить по величине дельта - коэффициентов :
, | (6.25) |
где - коэффициент парной корреляции между фактором и зависимой переменной.