Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров

Парная регрессия представляет собой уравнение, описывающее связь между двумя переменными: зависимой переменной Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru и независимой переменной Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru . Иногда переменную Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru называют результатом, а переменную Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru – фактором: Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru , при этом функция может быть как линейной, так и нелинейной. В данной главе более детально рассмотрим линейную парную регрессию. Предположим, что у нас есть набор значений двух переменных Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru Соответствующие пары Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru можно изобразить на одной плоскости:

Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru

Параметр Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru соответствует отрезку прямой, отсекаемому линией регрессии при пересечении с осью ординат, параметр b определяет наклон линии регрессии к оси абсцисс. При этом параметр a традиционно принято называть свободным членом регрессии, а параметр Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru – коэффициентом регрессии, который показывает, на сколько единиц в среднем изменится значение Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru при изменении Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru на одну единицу.

Допустим, что нашей задачей является подбор функции Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru из параметрического семейства функций Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru наилучшим образом описывающая зависимость Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru от Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru В качестве меры отклонения функции Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru от исходных наблюдений можно использовать:

- сумму квадратов отклонений;

- сумму модулей отклонений;

- другие меры отклонений.

Согласно методу наименьших квадратов (МНК) неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:

Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru

Среди преимуществ метода наименьших квадратов следует особенно отметить лёгкость вычислительной процедуры и хорошие по статистическим свойствам оценки. Данные факты объясняют широкое применение данного метода в статистическом анализе. Из недостатков наиболее существенным является – чувствительность к выбросам. Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю.

Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса – Маркова.

Условия Гаусса-Маркова:

Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru

1. Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru – условие, гарантирующее несмещённость оценок МНК.

2. Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru – условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.

3. Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru – условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.

4. Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru для всех Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.


Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова: Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru , оно очень полезно для проверки многих гипотез.


Свойства оценок, полученных с помощью МНК:

1. Линейность оценок – оценки параметров Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru и Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru представляют собой линейные комбинации наблюдаемых значений объясняемой переменной Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru .

2. Несмещённость оценок:
Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru
Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru

3. Состоятельность оценок:
Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru
Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru

4. Эффективность – данное свойство означает, что оценка имеет минимальную дисперсию в заданном классе оценок:
Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru


Теорема Гаусса-Маркова: если выполнены условия Гаусса-Маркова, тогда оценки Вопрос 3. Линейная модель парной регрессии. Смысл и оценка параметров - student2.ru , полученные с помощью метода наименьших квадратов, являются линейными, несмещёнными, эффективными и состоятельными оценками.

Наши рекомендации