Теорема Гаусса-Маркова. МНК-оценки параметров линейной регрессии обладают наименьшими дисперсиями среди

МНК-оценки параметров линейной регрессии обладают наименьшими дисперсиями среди множества всех несмещенных и линейно-зависимых от эндогенных переменных оценок в рамках модельных предположений П1-П4.

Кроме задачи оценивания параметров в эконометрике часто представляет интерес задача о значимости параметров, т.е. задача проверки отделимости параметров регрессии от нуля, которая решается проверкой статистических гипотез при выполнении всех предположений модели П1-П5 [5; 11]:

(2.13)

Решающее правило проверки гипотез (2.13) имеет вид следующего алгоритма:

если где – квантиль распределения Стьюдента с надежностью , то отклоняют гипотезу и делают вывод о существенности (значимости) параметра

Наряду с проверкой гипотезы о значимости параметров регрессии важной задачей является проверка адекватности регрессионной модели, т.е. обоснованности выбора принятой в соответствии с моделью регрессии взаимосвязи и

Мерой адекватности регрессии служит коэффициент детерминации, который вычисляется по формуле:

. (2.14)

Справедливость правой части формулы (2.14) основана на тождестве:

в котором первое слагаемое описывает вклад в левую часть (TSS) регрессионного фактора (х) в зависимости от эндогенной переменной (ESS), а второе слагаемое – вклад остальных случайных факторов (RSS).

Заметим, что в эконометрических выводах часто применяется скорректированный (с учетом степеней свободы) коэффициент детерминации вида:

(2.15)

где – число экзогенных переменных, – число наблюдений.

Решающее правило об адекватности моделей соответствует критерию проверки статистической гипотезы:

если то отвергается гипотеза о неадекватности ПЛР.

Здесь – квантиль порядка закона распределения Фишера.

С помощью коэффициента детерминации можно сделать вывод о степени адекватности модели ПЛР:

а) если , то говорят, что ПЛР полностью отражает зависимость от Геометрически это означает, что все наблюдаемые точки лежат на графике т.е. ,
(рис. 4).

Рис. 4

б) если то делают вывод о том, что информация о значениях переменной не влияет на изменение результирующего показателя (рис.5):

Рис. 5

Следовательно, в случае а) модель абсолютно адекватна, тогда как в условиях б) следует вывод о непригодности ПЛР.

По модели регрессии можно осуществить прогноз зависимой переменной вида:

где – параметр, указывающий на глубину прогноза, – планируемое в будущем моменте времени значение факторной переменной.

Доверительный интервал прогноза переменной может быть представлен в виде [1]:

(2.16)

Изобразим графически доверительные границы:

Рис. 6

Из рис.6 нетрудно видеть, что по мере увеличения горизонта прогнозирования (к >>1) увеличивается ширина доверительного интервала, что соответствует уменьшению точности прогнозируемого
значения .

II. Модель множественной линейной регрессии вида ( ) удобно представить в векторно-матричной форме:

(2.17)

где

Здесь символ «'» обозначает оператор транспортирования.МНК-оценка вектора неизвестных параметров находится как решение задачи:

(2.18)

где – вектор оценок множества неизвестных параметров

Решение задачи (2.18) сводится к нахождению решения системы «нормальных» уравнений:

и имеет вид:

(2.19)

Все статические выводы, которые имели место для модели ПЛР, сохраняются в рамках модельных предположений П1 – П5 для модели множественной линейной регрессии.

Перечислим их в матричной форме:

1) МНК-оценки вектора параметров МЛР обладают свойством несмещенности, т.е.:

2) Несмещенная оценка дисперсии для случайной переменной имеет вид:

3) Дисперсия МНК-оценок параметров имеет вид:

где символ обозначает диагональный элемент, стоящий на пересечении j-й строки и j-го столбца матрицы .

4) t-статистики для определения значимости параметров имеют вид:

5) Доверительные интервалы параметров имеют вид:

6) Доверительный интервал для прогноза :

7) Адекватность МЛР проверяется с помощью F-критерия.

Если

то гипотеза – неверна.

В противном случае – нет основания на данном уровне надежности отвергать гипотезу

8) МЛР с линейными ограничениями на параметры:

,

где (ЛОГ), В – заданная матрица полного ранга ( ), b_K – заданный вектор размерности k.

Тождество (ЛОГ) определяет систему линейных ограничений на параметры, основными частными случаями которого являются:

Случай 1. , для которого:

B=(0…010…0), b=0.

Случай 2. Два произвольных параметра совпадают:

a_i= a_j, , для которого:

B=(0…010…-10…0), b=0.

Случай 3. Сумма нескольких параметров равна единице:

a₁+…+a_q=1 (q>1) , для которого:

B=(01…10…0), b=1.

Случай 4. Подмножество коэффициентов вектора параметров а равно нулю:

a₁= a₂=…= a_l=0, k=l, для которого:

B=( I_l | O_l)_l, b= (0_l)_T

Формула оценки МНК-параметров МЛР с учетом линейных ограничений имеет вид:

,

где , .

Пример 2.1.В теории формирования инвестиционного портфеля известна модель оценки капитальных активов (CAPM – Capital Asset Pricing Model), в рамках которой ожидаемая доходность акций некоторой компании определяется по регрессионной модели:

, (CAPM)

где – ожидаемая доходность акций компании;

– доходность безрисковых ценных бумаг (государственные облигации);

– доходность в среднем на рынке ценных бумаг.

Тогда величина представляет собой рыночную премию за риск при вложении инвестируемого капитала в ценные бумаги;

– премия за риск при вложении капитала в ценные бумаги данной компании. Значение параметра (бета-коэффициента) представляет собой индекс доходности данной компании и оценивается по МНК:

,

где:

;

– средняя доходность акций на рынке ЦБ в период t;

– доходность акций в среднем на рынке ЦБ за все наблюдаемые периоды (n);

– средняя доходность акций компании e за все наблюдаемые периоды.

Тогда, если , делают вывод о равенстве средней степени риска акций данной компании риску, сложившемуся на рынке в целом; если , то ЦБ данной компании более рискованны, чем в среднем на рынке ЦБ.

Задача 2.1. Пусть эконометрическая модель зависимости зарплаты преподавателя от ряда факторов производительности труда имеет вид:

,

где – оклад i-ого преподавателя в текущем учебном году;

– число его опубликованных книг за весь период работы;

– число его опубликованных статей за весь период работы;

– число его «выдающихся» статей за весь период работы;

– число диссертаций, по которым им осуществлялось научное руководство за последние 5 лет;

– стаж его педагогической работы.

1. Проверьте соответствие знаков при коэффициентах модели вашим ожиданиям.

2. Если профессор имеет дополнительное время, чтобы написать книгу или две «солидные» статьи, или руководить тремя диссертациями, то что Вы ему порекомендуете выбрать?

3. Какие факторы кажутся Вам избыточными?

Задача 2.2. Пусть решается задача описания зависимости региональной зарплаты неквалифицированных рабочих от места работы
в определенном регионе с помощью следующей модели:

, ,

где – почасовая зарплата i-ого рабочего;

– качественная (дихотомическая) переменная;

1.Какое условие модели, на Ваш взгляд, пропущено?

2.Какое из следующих утверждений наиболее корректно?

a) модель объясняет лишь 49 % вариаций относительно средней зарплаты рабочих по стране так, что эта модель неадекватна;

б) коэффициенты региональных переменных кажутся одинаковыми, так что эта модель неадекватна.

Задача 2.3. Рассмотрим модель удельного потребления мяса в США:

, ,

где – удельное потребление мяса в t-м квартале;

– цена мяса в квартале t;

– цена заменителя мяса (соя) в квартале t;

– располагаемый доход на душу населения в t-м квартале;

– качественная переменная

1. Оцените соответствие знаков первых 3 коэффициентов при экзогенных переменных Вашим ожиданиям.

2. Объясните смысл оценок сезонных факторов , и .

3. Если цены и доход в этой модели преобразовать из номинального масштаба в реальный, то как изменится данная модель (что следует добавить в перечень переменных)?

Задача 2.4. Эконометрическая модель зависимости Y от трех экзогенных переменных , и на основе 30 наблюдений имеет вид:

95 % – дов. границы

1. Заполните пропуски.

2. Что можно сказать о значимости коэффициентов регрессии на уровне значимости ?

Задача 2.5. Рассмотрим следующие данные, описывающие зависимость общего потребления и дохода на конец периода (в млрд руб.):

Предполагая линейную зависимость между C и Y

:

1. Оцените по табличным данным неизвестные параметры автономного потребления ( ) и предельной склонности к потреблению ( ).

2. Если доход в следующем периоде ожидается на уровне , найдите ожидаемое общее потребление и доверительные границы, в которых будет содержаться этот прогноз с надежностью .

Задача 2.6. Для оценивания размера арендной платы за использование сервера была выбрана степенная модель:

,

где – ежемесячная арендная плата;

– быстродействие сервера;

– объем оперативной памяти сервера;

– скорость обмена информацией.

Собранные данные о значениях переменных модели для 5 серверов представлены в таблице:

№ сервера
	6,5		4,8
	8,3	3,5		1,75
	0,875
	22,5			0,75
	47,0	0,8		0,75

1) Укажите ожидаемые знаки параметров , и .

2) Линеаризуйте модель и оцените неизвестные параметры , , и по МНК. Проведите анализ их значимости на уровне 5 %.

Задача 2.7. Рассмотрим следующую модель удельного потребления мясопродуктов вида (продолжение задачи 2.3):

,

(0,5) (0,4) (0,08) (0,2) (0,2) (0,2)

, ,

где – удельное потребление мясопродуктов в течение периода t;

– цена мясопродуктов в период t;

– цена товара – заменителя мясопродуктов в период t;

– располагаемый доход в период t;

– переменная, выделяющая сезонный фактор в s-м квартале текущего года (s=1, 2, 3).

1. Проанализируйте адекватность модели.

2. Проведите проверку значимости полученных коэффициентов и модели в целом с надежностью .

Задача 2.8. Теорема Гаусса-Маркова утверждает, что МНК-оценки являются несмещенными и эффективными (в смысле минимизации дисперсии). Что бы Вы предпочли:

оперировать несмещенной, но неэффективной оценкой или эффективной оценкой, но обладающей смещением (обоснуйте ваш выбор).

Задача 2.9. Укажите смысл каждого из следующих терминов:

а) нулевая гипотеза;	б) альтернативная гипотеза;
в) ошибка первого ряда;	г) уровень значимости;
д) решающее правило;	е) критическое значение;
ж) t-критерий;	з) F-критерий;
и) мощность критерия.

Задача 2.10. Проверьте адекватность модели при следующих полученных значениях решающей функции:

а) ;	б) ;	в)
4;30	3;24	5;60

на уровне значимости .

Задача 2.11. Зная следующие значения выборочных коэффициентов корреляции между двумя экзогенными переменными, примените t-критерий для проверки адекватности в нижеперечисленных обстоятельствах:

а) ;	,	;	,
б) ;	,	;	,
в) ;	,	;	,
г) ;	,	;	,
д) ;	,	;	.

Задача 2.12. Произведите анализ следующих эконометрических моделей по следующим характеристикам:

а) линейность по переменным;

б) линейность по параметрам:

1) ;

2) ;

3) ;

4) ;

5) ;

6) ;

7) .

Укажите те из них, параметры которых могут быть оценены классическим методом наименьших квадратов.