Линейная модель множественной регрессии
ЭКОНОМЕТРИКА
Линейная модель множественной регрессии. Метод наименьших квадратов (МНК). Свойства оценок МНК. Показатели качества регрессии. Линейные регрессионные модели с гетероскедастичными и автокоррелированными остатками. Обобщенный метод наименьших квадратов (ОМНК). Регрессионные модели с переменной структурой (фиктивные переменные). Нелинейные модели регрессии и их линеаризация. Характеристики временных рядов. Модели стационарных и нестационарных временных рядов, их идентификация. Система линейных одновременных уравнений. Косвенный, двухшаговый и трехшаговый метод наименьших квадратов.
Эконометрика – это наука, которая дает количественное выражение взаимосвязей экономических явлений и процессов. Эта наука возникла в результате взаимодействия и объединения трех компонент: экономической теории, статистических и экономических методов. Становление и развитие эконометрики происходили на основе так называемой высшей статистики, когда в уравнение регрессии начали включаться переменные не только в первой, но и во второй степени. В ряде случаев это необходимо для отражения свойства оптимальности экономических переменных, т.е. наличия значений, при которых достигается минимальное или максимальное воздействие на зависимую переменную. Таково, например, влияние внесения в почву удобрений на урожайность: до определенного уровня насыщение почвы удобрениями способствует росту урожайности, а по достижении оптимального уровня насыщения удобрениями его дальнейшее наращивание не приводит к росту урожайности и даже может вызвать ее снижение.
В зависимости от количества факторов, включенных в уравнение регрессии, принято различать простую (парную) и множественную регрессии.
Простая регрессия представляет собой регрессию между двумя переменными – y и x, т.е. модель вида
,
где y – зависимая переменная (результативный признак);
x – независимая переменная (признак-фактор).
Множественная регрессия соответственно представляет собой регрессию результативного признака с двумя и большим числом факторов, т.е. модель вида
.
Простая регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Однако когда уверенности в правомерности такого допущения нет, необходимо использовать модель с большим числом факторов. Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства и целого ряда других вопросов эконометрики. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.
Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Суть этой проблемы включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Ввиду четкой интерпретации параметров наиболее широко используются линейная и степенная функции.
Линейная модель множественной регрессии
В линейной множественной регрессии
(1)
параметры при x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего параметра на единицу при неизменном значении других факторов, закрепленных на среднем уровне.
Пример.Предположим, что зависимость расходов на продукты питания по совокупности семей характеризуется следующим уравнением:
,
где y – расходы семьи за месяц на продукты питания, тыс. руб.;
x1 – месячный доход на одного члена семьи, тыс. руб.;
x2 – размер семьи, человек.
Анализ данного уравнения позволяет сделать выводы – с ростом дохода на одного члена семьи на 1 тыс. руб. расходы на питание возрастут в среднем на 350 руб. при том же среднем размере семьи. Иными словами, 35% дополнительных семейных расходов тратится на питание. Увеличение размера семьи при тех же ее доходах предполагает дополнительный рост расходов на питание на 730 руб. Первый параметр не подлежит экономической интерпретации.
Классический подход к оцениванию параметров линейной модели основан на методе наименьших квадратов (МНК).
Этот метод позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) 
минимальна:
. (2)
Чтобы найти минимум функции (2), надо вычислить производные по каждому из параметров и приравнять их к нулю, т.к. равенство нулю производной – необходимое условие экстремума. В результате получается система уравнений, решение которой и позволяет получить оценки параметров регрессии.
Так, для уравнения (1) система нормальных уравнений имеет вид:
(3)
Решение системы (3) может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.
Пример.По четырем предприятиям региона (см. табл.) изучается зависимость выработки продукции на одного работника y (тыс. руб.) от ввода в действие новых основных фондов 
(% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих 
(%). Требуется написать уравнение множественной регрессии.
| Номер предприятия | ||||
| , (%) | ||||
| , (%) | ||||
 , (тыс. руб.) |
Решение
Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:
.
На основании исходных данных составляем систему уравнений для определения коэффициентов 
и 
.
;
; 
;
;
;
; 
;
.
Решим эту систему по методу Крамера. Вычисляем определитель системы:
Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:
; 
; 
.
Коэффициенты уравнения определяются по формулам:
Таким образом, уравнение имеет вид:
.
Возможен и иной подход к определению параметров множественной регрессии, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:
, (4)
где 
- стандартизованные переменные: 
, для которых среднее значение равно нулю, а среднее квадратическое значение равно единице;
- стандартизованные коэффициенты регрессии.
Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида для определения стандартизованных коэффициентов регрессии.
. (5)
Следует отметить, что величины 
и 
называются парными коэффициентами корреляции и определяются по формулам
, 
. (6)
Решая систему (5) определяем стандартизованные коэффициенты регрессии. Сравнивая их друг с другом, можно ранжировать факторы по силе воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.
Пример. Получим для предыдущего примера уравнение регрессии в стандартизованном масштабе.
, 
, 
, 
;
;
.
Согласно (5) получаем систему нормальных уравнений в виде:
Окончательно получаем уравнение регрессии в стандартизованном масштабе в виде:
Используя формулы можно вернуться к уравнению «чистой» регрессии:
Сравнивая полученное уравнение с полученным ранее мы видим хорошее соответствие полученных разными способами результатов.