Расчет коэффициентов множественной линейной регрессии

Представим данные наблюдений и соответствующие коэффициенты в матричной форме.

Расчет коэффициентов множественной линейной регрессии - student2.ru , Расчет коэффициентов множественной линейной регрессии - student2.ru , Расчет коэффициентов множественной линейной регрессии - student2.ru , Расчет коэффициентов множественной линейной регрессии - student2.ru .

Здесь Y - Расчет коэффициентов множественной линейной регрессии - student2.ru -мерный вектор-столбец наблюдений зависимой переменной Y; X - матрица размерности Расчет коэффициентов множественной линейной регрессии - student2.ru , в которой Расчет коэффициентов множественной линейной регрессии - student2.ru -я строка ( Расчет коэффициентов множественной линейной регрессии - student2.ru ) представляет наблюдение вектора значений независимых переменных Расчет коэффициентов множественной линейной регрессии - student2.ru ;единица соответствует переменной при свободном члене Расчет коэффициентов множественной линейной регрессии - student2.ru ; В — вектор-столбец размерности (m+1) параметров уравнения регрессии; е — вектор-столбец размерности n отклонений выборочных (реальных) значений Расчет коэффициентов множественной линейной регрессии - student2.ru зависимой переменной Y от значений Расчет коэффициентов множественной линейной регрессии - student2.ru , получаемых по уравнению регрессии

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.12)

Нетрудно заметить, что функция Расчет коэффициентов множественной линейной регрессии - student2.ru в матричной форме представима как произведение вектор - строки Расчет коэффициентов множественной линейной регрессии - student2.ru на вектор - столбец Расчет коэффициентов множественной линейной регрессии - student2.ru . Вектор-столбец Расчет коэффициентов множественной линейной регрессии - student2.ru в свою очередь может быть записан в следующем виде:

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.13)

Тогда

Расчет коэффициентов множественной линейной регрессии - student2.ru

Расчет коэффициентов множественной линейной регрессии - student2.ru .

Здесь Расчет коэффициентов множественной линейной регрессии - student2.ru обозначение транспонированной матрицы.

При выводе последней формулы использовались известные соотношения линейной алгебры:

Расчет коэффициентов множественной линейной регрессии - student2.ru Расчет коэффициентов множественной линейной регрессии - student2.ru Расчет коэффициентов множественной линейной регрессии - student2.ru .

Эти соотношения легко проверить, записав поэлементно все матрицы и выполнив с ними нужные действия.

Необходимым условием экстремума функции Q является равенство нулю ее частных производных по всем параметрам Расчет коэффициентов множественной линейной регрессии - student2.ru , т.е.

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.14)

Отсюда, получаем систему нормальных уравнений в матричной форме для определения Расчет коэффициентов множественной линейной регрессии - student2.ru

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.15)

Решением уравнения (6.15) является

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.16)

Матрица Расчет коэффициентов множественной линейной регрессии - student2.ru представляет матрицу сумм первых степеней, квадратов и попарных произведений Расчет коэффициентов множественной линейной регрессии - student2.ru наблюдений объясняющих переменных:

Расчет коэффициентов множественной линейной регрессии - student2.ru Расчет коэффициентов множественной линейной регрессии - student2.ru .     (6.17)

Матрица

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.18)

В частном случае из рассматриваемого матричного уравнения (6.15) с учетом (6.17) и (6.18) для одной объясняющей переменной (m=1) можно получить уже рассмотренную ранее систему нормальных уравнений в матричном виде:

Расчет коэффициентов множественной линейной регрессии - student2.ru .

Кроме того, для линейной множественной регрессии существует другой способ оценки параметров – через Расчет коэффициентов множественной линейной регрессии - student2.ru - коэффициенты (параметры уравнения в стандартизованном масштабе).

При построении уравнения в стандартизованном масштабе все значения переменных переводятся в стандартизованные значения по формулам:

Расчет коэффициентов множественной линейной регрессии - student2.ru ,. Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.19)

Таким образом, начало отсчета каждой стандартизованной переменной совпадает с ее средним значением, а в качестве единицы измерения принимается ее среднее квадратическое отклонение. Стандартизованные переменные будут связаны линейным соотношением:

Расчет коэффициентов множественной линейной регрессии - student2.ru , (6.20)

здесь Расчет коэффициентов множественной линейной регрессии - student2.ru - стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии ( Расчет коэффициентов множественной линейной регрессии - student2.ru - коэффициенты) определяются из следующей системы уравнений:



Расчет коэффициентов множественной линейной регрессии - student2.ru (6.21)

Найденные из данной системы Расчет коэффициентов множественной линейной регрессии - student2.ru - коэффициенты позволяют определить значения коэффициентов регрессии Расчет коэффициентов множественной линейной регрессии - student2.ru в естественном масштабе по формулам:

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.22)

Параметр Расчет коэффициентов множественной линейной регрессии - student2.ru определяется из условия

Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.22*)

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии Расчет коэффициентов множественной линейной регрессии - student2.ru и коэффициенты эластичности Расчет коэффициентов множественной линейной регрессии - student2.ru ( Расчет коэффициентов множественной линейной регрессии - student2.ru ):

Расчет коэффициентов множественной линейной регрессии - student2.ru , (6.23)
Расчет коэффициентов множественной линейной регрессии - student2.ru . (6.24)

Стандартизованный коэффициент регрессии Расчет коэффициентов множественной линейной регрессии - student2.ru показывает, на сколько величин оценки своего среднего квадратического отклонения Расчет коэффициентов множественной линейной регрессии - student2.ru изменится в среднем зависимая переменная Y при увеличении только Расчет коэффициентов множественной линейной регрессии - student2.ru -й объясняющей переменной на величину оценки своего среднего квадратического отклонения Расчет коэффициентов множественной линейной регрессии - student2.ru при неизменном влиянии прочих факторов модели.

Коэффициент эластичности Расчет коэффициентов множественной линейной регрессии - student2.ru показывает на сколько процентов (от средней) изменится в среднем Y при увеличении только Расчет коэффициентов множественной линейной регрессии - student2.ru на 1% от своего среднего уровня при фиксированном положении других факторов модели.

Частные коэффициенты эластичности и стандартизованные частные коэффициенты регрессии можно использовать для ранжирования факторов по силе влияния на результат. Чем больше величина коэффициента, тем сильнее влияет фактор результат.

Долю влияния фактора в суммарном влиянии всех факторов можно оценить по величине дельта - коэффициентов Расчет коэффициентов множественной линейной регрессии - student2.ru :

Расчет коэффициентов множественной линейной регрессии - student2.ru , (6.25)

где Расчет коэффициентов множественной линейной регрессии - student2.ru - коэффициент парной корреляции между фактором Расчет коэффициентов множественной линейной регрессии - student2.ru Расчет коэффициентов множественной линейной регрессии - student2.ru и зависимой переменной.

Наши рекомендации