Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез

Для обнаружения гетероскедастичности остатков модели регрессии необходимо провести их анализ. При этом проверяются следующие гипотезы.

Основная гипотеза H0 предполагает постоянство дисперсий случайных ошибок модели регрессии, т. е. присутствие в модели условия гомоскедастичности:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Альтернативная гипотеза H1 предполагает непостоянство дисперсиий случайных ошибок в различных наблюдениях, т. е. присутствие в модели условия гетероскедастичности:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Гетероскедастичность остатков модели регрессии может привести к негативным последствиям:

1) оценки неизвестных коэффициентов нормальной линейной модели регрессии являются несмещёнными и состоятельными, но при этом теряется свойство эффективности;

2) существует большая вероятность того, что оценки стандартных ошибок коэффициентов модели регрессии будут рассчитаны неверно, что конечном итоге может привести к утверждению неверной гипотезы о значимости коэффициентов регрессии и значимости модели регрессии в целом.

3. Тестирование на гетероскедастичность

Обнаружение гетероскедастичности. Предварительная работа 1. Нет ли очевидных ошибок спецификации? 2. Можно ли содержательно предполагать какой-то вид гетероскедастичности? 3. Рассмотрите график остатков. Способы обнаружения гетероскедастичности

Обнаружение гетероскедастичности. Тесты 1. Тест ранговой корреляции Спирмена . 2. Тест Парка (The Park test). 3. Тест Голдфелда-Квандта( Goldfeld-Quandt test) 4. Тест Уайта ( White test) Тесты на гетероскедастичность

Средства при гетероскедастичности 1) Использовать взвешенный метод наименьших квадратов - LS(w) . 2) Переопределить переменные. 3) Вычисление стандартных ошибок с поправкой на гетероскедастичность (метод Уайта) - LS(h) Что делать при обнаружении гетероскедастичности

4. Структура временного ряда

Временные ряды данных: характеристики и общие понятия.

Факторы, формирующие общую (в длительной перспективе) тенденцию в изменении анализируемого признака, называются долговременными

Модели, построенные на основе данных, характеризующих поведение исследуемого объекта за ряд последовательных моментов времени, называются моделями временных рядов

Если временной ряд представлен в виде произведения соответствующих компонент, то полученная модель носит название мультипликативной

Факторы, описывающие сезонную компоненту временного ряда, могут характеризоваться Периодическим???воздействием на экономический показатель.

Временной ряд характеризует данные, описывающие один объект за ряд последовательных моментов (периодов) времени

Временным рядом является совокупность значений

-последовательных моментов (периодов) времени и соответствующих им значений экономического показателя

-экономического показателя за несколько последовательных моментов (периодов) времени

Среди факторов, оказывающих влияние на уровень временного ряда можно назвать …

-сезонные колебания и тенденцию

-тенденцию и случайные факторы

Временной ряд содержит сезонную компоненту, если на его уровни оказывают влияние факторы только сезонного характера

Уровнем временного ряда является значение …

-экономического показателя в данный момент (период времени)

-заданного момента (периода) времени и соответствующее ему значение экономического показателя

Временным рядом является …

-совокупность значений экономического показателя за несколько последовательных моментов (периодов времени)

-значения временных характеристик и соответствующие им значения экономического показателя

Структура временного ряда.

Для обнаружения автокорреляции первого порядка используется критерий Дарбина-Уотсона

Значение коэффициента автокорреляции второго порядка характеризует связь междуисходными уровнями и уровнями этого же ряда, сдвинутыми на 2 момента времени

____________

Структуру временного ряда можно определить, рассчитав несколько последовательных коэффициентов автокорреляции. В результате данных вычислений можно выявить лаг l, для которого значение выборочного коэффициента автокорреляции rl является наибольшим.

Анализ структуры временного ряда с помощью коэффициентов автокорреляции стоится на следующих правилах:

1) исследуемый временной ряд содержит только трендовую компоненту, если наибольшим является значение коэффициента автокорреляции первого порядка rl–1;

2) исследуемый временной ряд содержит трендовую компоненту и колебания периодом l, если наибольшим является коэффициент автокорреляции порядка l. Эти колебания могут быть как циклическими, так и сезонными;

3) если ни один из коэффициентов автокорреляции

Ответы на экзаменационные билеты по эконометрике

не окажется значимым, то делается один из двух возможных выводов:

а) данный временной ряд не содержит трендовой и циклической компонент, а его колебания вызваны воздействием случайной компоненты, т. е. ряд представляет собой модель случайного тренда;

б) данный временной ряд содержит сильную нелинейную тенденцию, для выявления которой необходимо провести его дополнительный анализ.

Графическим способом анализа структуры временного ряда является построение графиков автокорреляционной и частной автокорреляционной функций.

Автокорреляционной функцией называется функция оценки коэффициента автокорреляции в зависимости от величины временного лага между исследуемыми рядами.

Графиком автокорреляционной функции является коррелограмма.

Частная автокорреляционная функция отличается от автокорреляционной функции тем, что при её построении устраняется корреляционная зависимость между наблюдениями внутри лагов.

5. Оценивание коэффициентов множественной линейной регрессии в условиях гетероскедастичности

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей iε . Они носят лишь предварительный характер.

После построения уравнения регрессии проводится проверка наличия у оценок iε (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными,

состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии ib имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельность и эффективность) обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать

поведение остаточных величин регрессии iε . Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования остатков iε предполагают проверку наличия следующих пяти предпосылок МНК:

1) случайный характер остатков;

2) нулевая средняя величина остатков, не зависящая от ix ;

3) гомоскедастичность – дисперсия каждого отклонения iε , одинакова для всех значений x ;

4) отсутствие автокорреляции остатков – значения остатков iε распределены независимо друг от друга;

5) остатки подчиняются нормальному распределению.

_____

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

------------------------------------------------

Оценка коэффициентов уравнения множественной регрессии

Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целого ряда других вопросов эконометрики. В настоящее время множественная регрессия — один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии — построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Параметры уравнения множественной регрессии оцениваются методом наименьших квадратов (МНК), т. е. минимизируется функция S (b0, b1,…, bp) по переменным b0, b1,…, bp

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru S(b0, b1,…, bp) = Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru (5.3)

На основании необходимого условия экстремума функции многих переменных S(b0, b1,..., bp), представляющей (5.3), необходимо приравнять к нулю частные производные по этим переменным или в матричной форме — вектор частных производных

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

В результате получится система p+1 линейных уравнений для неизвестных b0, b1,..., bp. После приведения подобных членов получится система нормальных уравнений, решение которой и позволяет получить оценку коэффициентов множественной регрессии.

Так для уравнения yteor(x1i, x2i, ..., хpi) = b0+b1x1i + b2x2i +…+ bpxpi система нормальных уравнений имеет вид:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

6. Стационарные процессы и стационарные ряды

Временной ряд называется детерминированным, если значения уровней временного ряда точно определены какой-либо математической функцией, являющейся реализацией исследуемого процесса.

Временной ряд называется случайным, если уровни временного ряда могут быть описаны с помощью функции распределения вероятностей.

Таким образом, уровни временного ряда могут быть детерминированными или случайными величинами.

Уровни случайного временного ряда могут быть непрерывными и дискретными случайными величинами.

Случайная величинаХ называется дискретной, если множество её возможных значений является конечным или счётным. В качестве примера случайного временного ряда с дискретными уровнями может служить временной ряд, отражающий значения ежемесячной выдачи зарплаты рабочим.

Случайная величина Х называется непрерывной, если она может принимать любое значение из конечного или бесконечного интервала. В качестве примера случайного временного ряда с непрерывными уровнями может служить временной ряд, отражающий значения температуры воздуха, зарегистрированные с определённой периодичностью.

Стохастическим процессом называется процесс, который развивается во времени в соответствии с законами теории вероятностей.

К стохастическим процессам относится класс стационарных процессов.

Стохастический процесс называется стационарным, если его основные свойства остаются неизменными во времени.

Предположим, что исследуется временной ряд Х. Обозначим через xt уровень данного временного ряда. Тогда стационарный процесс будет характеризоваться следующимичетырьмя свойствами:

1) математическое ожидание стационарного ряда E(yt) является постоянным, т. е. среднее значение временного ряда, вокруг которого изменяются уровни, является величиной постоянной:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

2) дисперсия стационарного ряда является постоянной. Она характеризует вариацию уровней временного ряда относительно его среднего значения

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

3) автоковариация стационарного ряда с лагом l является постоянной, т. е. ковариация между значениями xt и xt+l, отделёнными интервалом в l единиц времени, определяется по формуле:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

для стационарных рядов автоковариация зависит только от величины лага l, поэтому справедливо равенство вида:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

4) коэффициенты автокорреляция стационарного ряда с лагом l являются постоянными. Следовательно, автокорреляция является нормированной автоковариацией, т. к. для стационарного процесса G2(y)=const:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Таким образом, коэффициент автокорреляции порядка l определяется по формуле:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Нестационарным временным рядом называется ряд, который не удовлетворяет вышеперечисленным свойствам.

Случайный процесс, называемый белым шумом, является частным случаем стационарных временных рядов.

Белым шумом называется случайная последовательность значений y1, y2,…,yN, если её математическое ожидание равно нулю, т.е. E(Yt)=0, где

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

её элементы являются некоррелированными (независимыми друг от друга) одинаково распределёнными величинами, и дисперсия является постоянной величинойD(Yt)=G2=const.

Белый шум – это теоретический процесс, который реально не существует, однако он представляет собой очень важную математическую модель, которая используется при решении множества практических задач.

7. Проверка статистических гипотез

Поскольку статистика как метод исследования имеет дело с данным, в которых закономерности искажены различными случайными факторами, большинство статистических вычислений сопровождается проверкой некоторых предположений или гипотез об источнике этих данных.

Статистическая гипотеза – это предположение о свойствах случайных величин или событий, которое мы хотим проверить по имеющимся данным.

Нулевая и альтернативная гипотезы.

Нулевая гипотеза – это основное проверяемое предположение, которое обычно формулируется как отсутствие различий, отсутствие влияние фактора, отсутствие эффекта, равенство нулю значений выборочных характеристик и т.п. Примером нулевой гипотезы в педагогике является утверждение о том, что различие в результатах выполнения двумя группами учащихся одной и той же контрольной работы вызвано лишь случайными причинами.

Другое проверяемое предположение (не всегда строго противоположное или обратное первому) называется конкурирующей или альтернативной гипотезой. Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость проверить ее. Так как проверку производят статистическими методами, то данная проверка называется статистической.

Ошибки первого и второго уровня.

При проверке статистических гипотез возможны ошибки (ошибочные суждения) двух видов:

— можно отвергнуть нулевую гипотезу, когда она на самом деле верна (так называемая ошибка первого рода);

— можно принять нулевую гипотезу, когда она на самом деле не верна (так называемая ошибка второго рода).

Ошибка, состоящая в принятии нулевой гипотезы, когда она ложна, качественно отличается от ошибки, состоящей в отвержении гипотезы, когда она истинна. Эта разница очень существенна вследствие того, что различна значимость этих ошибок. Допустимая вероятность ошибки первого рода (Ркр) может быть равна 5% или 1% (0.05 или 0.01).

__

Пусть в (статистическом) эксперименте доступна наблюдению случайная величина , распределение которой известно полностью или частично. Тогда любое утверждение, касающееся называется статистической гипотезой. Гипотезы различают по виду предположений, содержащихся в них:

• Статистическая гипотеза, однозначно определяющая распределение , то есть , где какой-то конкретный закон, называется простой.

• Статистическая гипотеза, утверждающая принадлежность распределения к некоторому семейству распределений, то есть вида , где — семейство распределений, называется сложной.

На практике обычно требуется проверить какую-то конкретную и как правило простую гипотезу . Такую гипотезу принято называть нулевой. При этом параллельно рассматривается противоречащая ей гипотеза , называемая конкурирующей илиальтернативной.

Выдвинутая гипотеза нуждается в проверке, которая осуществляется статистическими методами, поэтому гипотезу называют статистической. Для проверки гипотезы используют критерии, позволяющие принять или опровергнуть гипотезу.

В большинстве случаев статистические критерии основаны на случайной выборке фиксированного объема из распределения . В последовательном анализе выборка формируется в ходе самого эксперимента и потому её объем является случайной величиной (см. Последовательный статистический критерий).

Пусть дана независимая выборка из нормального распределения, где — неизвестный параметр. Тогда , где — фиксированная константа, является простой гипотезой, а конкурирующая с ней — сложной.

1. Формулировка основной гипотезы и конкурирующей гипотезы .

2. Задание уровня значимости , на котором в дальнейшем и будет сделан вывод о справедливости гипотезы. Он равен вероятности допустить ошибку первого рода.

3. Расчёт статистики критерия такой, что:

• её величина зависит от исходной выборки ;

• по её значению можно делать выводы об истинности гипотезы ;

• сама статистика должна подчиняться какому-то известному закону распределения, так как сама является случайной в силу случайности .

4. Построение критической области. Из области значений выделяется подмножество таких значений, по которым можно судить о существенных расхождениях с предположением. Его размер выбирается таким образом, чтобы выполнялось равенство . Это множество и называется критической областью.

5. Вывод об истинности гипотезы. Наблюдаемые значения выборки подставляются в статистику и по попаданию (или непопаданию) в критическую область выносится решение об отвержении (или принятии) выдвинутой гипотезы .

Выделяют три вида критических областей:

• Двусторонняя критическая область определяется двумя интервалами , где находят из условий .

• Левосторонняя критическая область определяется интервалом , где находят из условия .

• Правосторонняя критическая область определяется интервалом , где находят из условия .

8. Обобщенный метод наименьших квадратов

При нарушении гомоскедастичности и наличии автокорреляции ошибок рекомендуется заменять традиционный метод наименьших квадратов (OLS) обобщенным методом (GLS).
Обобщенный метод наименьших квадратов применяется к преобразованным данным и позволяет получить оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии.

Предположим, что среднее значение остатков равно нулю, а дисперсия их пропорциональна величине Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru , т.е. Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru , где Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru - дисперсия ошибки при конкретном i-м значении фактора; Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru - постоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастичности остатков; Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru - коэффициент пропорциональности.

При этом предполагается, что Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru неизвестна, а в отношении величины K выдвигается гипотезы, характеризующие структуру гетероскедастичности.
В общем виде для уравнения y = a + b × x + e модель примет вид: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
В данной модели остаточные величины гетероскедастичны. Предположив в них отсутствие автокорреляции, перейдем к уравнению с гомоскедастичными остатками, поделив все переменные, зафиксированные в ходе i-го наблюдения, на Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru . Тогда дисперсия остатков будет величиной постоянной, т.е. Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru = Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru . Иными словами, от регрессии y по x мы перейдем к регрессии на новых переменных: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru .
Дальнейшее преобразование уравнения регрессии и затем системы нормальных уравнений, то получим коэффициент регрессии: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru .

При обычном применении метода наименьших квадратов к уравнению линейной регрессии для переменных в отклонениях от средних уровней коэффициент регрессии b определяется по формуле

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
Как видим, при использовании обобщенного МНК с целью корректировки гетероскедастичности коэффициент регрессии b представляет собой взвешенную величину по отношению к обычному методу наименьших квадратов 1/K.

9. Процедура Кохрейна-Оркатта

Обобщенный метод наименьшик квадратов, когда матричная корреляция случайоного члена отлична от стандартной.

Условия:

-Случайный член независим от параметров

Случаи возникновения

-в обясняющих переменных есть ошибки измерения

-имеет место взимосвязи

Процедура Кохрейна-Оркатта. Процедура включает следующие этапы:

1. Применяя МНК к исходному уравнению регрессии, получают первоначальные оценки параметров и ;

2. Вычисляют остатки и в качестве оценки используют коэффициент автокорреляции остатков первого порядка, т.е. полугают ;

3. Применяя МНК к преобразованному уравнению, получают новые оценки параметров и .

Процесс обычно заканчивается, когда очередное приближение мало отличается от предыдущего.

10. Автоковариационная и автокорреляционная функции

Автокорреляция — статистическая взаимосвязь между случайными величинами из одного ряда, но взятых со сдвигом, например, для случайного процесса — со сдвигом по времени.

В обработке сигналов автокорреляционная функция определяется интегралом:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru и показывает связь сигнала (функции Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru ) с копией самого себя, смещённого на величину Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru .

В теории случайных функций АКФ является корреляционным моментом двух значений одной случайной функции

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru :

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Здесь Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru , а Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru — математическое ожидание.

Автокорреляционная функция полезна в некоторых случаях, поскольку она дает наглядную картину того, как зависимость в ряде затухает с увеличением задержки или разделяющего промежутка и между точками ряда. Однако иногда автокорреляционная функция с трудом поддается интерпретации, так как соседние значения могут быть сильно коррелированы. Это означает, что выборочная автокорреляционная функция может иметь видимые искажения

При классической статистической обработке измерения некоторого физического параметра можно считать независимыми, поскольку эксперименты, порождающие эти наблюдения, физически независимы. Если связанное с этими измерениями

распределение вероятностей является нормальным, или гауссовским, то его можно полностью задать своим средним значением

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

и дисперсией

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Среднее значение определяет расположение, или центр тяжести распределения, а дисперсия характеризует его изменчивость, или разброс.

Если наблюдения образуют часть временного ряда, то только для чисто случайного ряда соседние величины будут независимы, т. е. на значение величины не влияют значения величин В общем случае соседние величины временного ряда будут Коррелированы. Поэтому в случае стационарного нормального ряда, кромесреднего значения и дисперсии необходимо задать его автоковариационную функцию

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

На практике может быть оценена с помощью

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

где

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

является средним значением наблюденного временного ряда. Функция называется выборочной автоковариационной функцией временного ряда. Иногда удобно для сравнения рядов с разными масштабами измерений нормировать (1.2.4) с помощью деления на дисперсию Таким образом, определяется выборочнаяавтокорреляционная функция

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Выборочная автокорреляционная функция для данных турбогенератора, изображенных на рис. 1.1, приведена на рис. 1.2. Видно, что напряжение имеет высокую положительную корреляцию при

сдвиге на одну точку, что соответствует сек, сохраняет некоторую положительную корреляцию после 1 сек, но в интервале от I до сек проявляет явную отрицательную корреляцию. Это означает, что если имеет место большое напряжение, превышающее среднее значение, то весьма вероятно, что примерно через 2 сек напряжение спадет ниже среднего значения, и наоборот. Выборочные оценки для сдвигов от до 10 сек очень малы, но устойчиво отрицательны; это означает, что в среднем положительное отклонение от среднего значения имеет тенденцию к последующему отрицательному отклонению с задержкой от 2 до 10 сек.

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

Рис. 1.2. Выборочная автокорреляционная функция для данных, изображенных на рис. 1.1.

Однако значения в этой области крайне малы, и поэтому выводы, основанные на них, могут быть ненадежны. При больших значениях аргумента выборочная корреляционная функция обнаруживает периодичность формы напряжения с периодом примерно 3 сек. Эта периодичность, возможно, также может давать некоторый вклад в отрицательную корреляцию для сдвига около 2 сек.

Автокорреляционная функция полезна в некоторых случаях, поскольку она дает наглядную картину того, как зависимость в ряде затухает с увеличением задержки или разделяющего промежутка и между точками ряда. Однако иногда автокорреляционная функция с трудом поддается интерпретации, так как соседние значения могут быть сильно коррелированы. Это означает, что выборочная

11. Взвешанный метод наименьших квадратов

В случае если случайные ошибки модели регрессии подвержены гетероскедастичности (но будут неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.

Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, кᴏᴛᴏᴩые равны обратным величинам ϲᴏᴏᴛʙᴇᴛϲᴛʙующих дисперсий G2i). При этом на практике значения дисперсий будут величинами неизвестными, по϶ᴛᴏму для вычисления наиболее подходящих весов используется предположение о том, что они пропорциональны значениям факторных переменных xt.

Исходя из всего выше сказанного, мы приходим к выводу, что матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины G2i) значениям факторной переменной xt:

xt=γ G(εi),

где γ – ошибка высказанного предположения или некᴏᴛᴏᴩая поправка.

В ϶ᴛᴏм случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде:

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

От точности оценки матрицы ковариаций Ω случайных ошибок модели регрессии зависит удовлетворение оценок неизвестных коэффициентов, полученных доступным обобщённым или взвешенным методом наименьших квадратов, основным статистическим ϲʙᴏйствам – несмещённости, состоятельности и эффективности.

12. Линейная регрессия

Линейная регрессия () — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) x с линейной функцией зависимости.

Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru

13. Оценивание параметров регрессии. Метод наименьших квадратов.

Метод наименьших квадратов (МНК, англ. Ordinary Least Squares, OLS) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функцией. МНК Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).
МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений
результативного признака y от расчетных (теоретических) Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru минимальна: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru .
Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
Для того чтобы найти минимум функции надо вычислить частные производные по каждому из параметров a и b и приравнять к нулю.
Обозначим Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru через S, тогда: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
Преобразую формулу, получим следующую систему нормальных уравнений для оценки параметров a и b:
Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru (система нормальных уравнений)
Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:
a = `y - b×`x.
Эта формула получена из первого уравнения системы, если все его члены разделены на n: Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru , где cov(x,y) – ковариация признаков; «знаменатель» - дисперсия признака x.
Поскольку Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru , получим следующую формулу расчета оценки параметров b:
Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru
Эта формула получается также при решении системы методом определителей, если все элементы расчета разделить на Последствия гетероскедастичности для оценок параметров регрессии методом наименьших квадратов и проверки статистических гипотез - student2.ru .
Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.
Знак при коэффициенте регрессии b показывает направление связи: при b > 0 – связь прямая, а при b < 0 – связь обратная.

14. Автокорреляция. Причины автокорреляции.

Автокорреляция — это взаимосвязь последовательных элементов временного или пространственного ряда данных.

В эконометрических исследованиях часто возникают и такие ситуации, когда дисперсия остатков постоянная, но наблюдается их ковариация. Это явление называют автокорреляцией остатков.

Автокорреляция остатков чаще всего наблюдается тогда, когда эконометрическая модель строится на основе временных рядов. Если существует корреляция между последовательными значениями некоторой независимой переменной, то будет наблюдаться и корреляция последовательных значений остатков.

Автокорреляция может быть также следствием ошибочной спецификации эконометрической модели. Кроме того, наличие автокорреляции остатков может означать, что необходимо ввести в модель новую независимую переменную.

Среди основных причин, вызывающих появление автокорреляции, можно выделить ошибки спецификации, инерцию в изменении экономических показателей, эффект паутины, сглаживание данных.

Ошибки спецификации. Отсутствие в модели какой-либо важной объясняющей переменной либо неправильный выбор формы зависимости обычно приводит к системным отклонениям точек наблюдений от линии регрессии, что может обусловить автокорреляцию.

Инерция. Многие экономические показатели (например, инфляция, безработица, ВНП и т. п.) обладают определенной цикличностью, связанной с волнообразностью деловой активности.

Эффект паутины. Во многих производственных и других сферах экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом). Например, предложение сельскохозяйственной продукции реагирует на изменение цены с запаздыванием (равным периоду созревания урожая). Большая цена сельскохозяйственной продукции в прошедшем году вызовет (скорее всего) ее перепроизводство в текущем году, следовательно, цена на нее снизится и т. д.

Сглаживание данных. Зачастую данные по некоторому продолжительному временному периоду получают усреднением данных по составляющим его интервалам. Это может привести к определенному сглаживанию колебаний, которые имелись внутри рассматриваемого периода, что в свою очередь может послужить причиной автокорреляции.

15. Влияние автокорреляции на свойства оценок МНК

Автокорреляция в остатках есть нарушение одной из основных предпосылок МНК – предпосылки о случайности остатков, полученных по уравнению регрессии. Один из возможных путей решения этой проблемы состоит в применении к оценке параметров модели обобщенного МНК.

Наши рекомендации