Различие между теоретическим и эмпирическим уравнениями регрессии.
Линейная регрессия (теоретическое линейное уравнение регрессии)представляет собой линейную функцию между условным математическим ожиданием зависимой переменной У и одной объясняющей переменной X (
— значения независимой переменной в
-м наблюдении,
.
(4.5)
Отметим, что принципиальной в данном случае является линейность по параметрам и
.
Для отражения того факта, что каждое индивидуальное значение отклоняется от соответствующего условного математического ожидания, необходимо ввести в соотношение (4.5) случайное слагаемое
(4.6)
Соотношение (4.6) называется теоретической линейной регрессионной моделью; и
— теоретическими параметрами (теоретическими
коэффициентами) регрессии; — случайным отклонением.
По выборке ограниченного объема мы сможем построить так называемое эмпирическое уравнение регрессии (4.8), где
— оценка условного математического ожидания
.
и
— оценки неизвестных параметров
и
, называемые эмпирическими коэффициентами регрессии. Следовательно, в конкретном случае
(4.9),отклонение
— оценка теоретического случайного отклонения
.
В силу несовпадения статистической базы для генеральной совокупности и выборки оценки и
практически всегда отличаются от истинных значений коэффициентов
и
, что приводит к несовпадению эмпирической и теоретической линий регрессии. Различные выборки из одной и той же генеральной совокупности обычно приводят к определению отличающихся друг от друга оценок. Возможное соотношение между теоретическим и эмпирическим уравнениями регрессии схематично изображено на рис 4.3
задача состоит в том, чтобы по конкретной выборке , i = 1, 2, ... , n, найти оценки
и
неизвестных параметров
и
, так, чтобы построенная линия регрессии являлась бы наилучшей в определенном смысле среди всех других прямых. Другими словами, построенная прямая
должна быть «ближайшей» к точкам наблюдений по их совокупности.
Определение теоретической линейной регрессионной модели.
(4.6)
Соотношение (4.6) называется теоретической линейной регрессионной моделью; и
— теоретическими параметрами (теоретическими коэффициентами) регрессии;
— случайным отклонением, зависимая переменная У и одна объясняющая переменная X (
— значения независимой переменной в
-м наблюдении,
.
Суть метода наименьших квадратов (МНК).
его суть состоит в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной У от ее значений У, получаемых по уравнению регрессии.
Формулы расчета коэффициентов эмпирического парного линейного уравнения регрессии по МНК.
Пусть по выборке , i = 1, 2, ... , n, требуется определить оценки
и
эмпирического уравнения регрессии (4.8). В этом случае при использовании МНК минимизируется следующая функция (рис.4.4)