Множественный регрессионный анализ

В множественном регрессионном анализе исследуется зависимость математического ожидания одной случайной величины от значений множества неслучайных величин.

В этом анализе совокупность наблюдений выходной случайной величины y можно представить в виде:

Y = X*B + E ,

где X - матрица n*k значений входных переменных

Y - вектор-столбец n значений выходной переменной , B - вектор-столбец k коэффициентов регрессии , E - вектор-столбец n значений приведенных к выходу возмущений .

ПРЕДПОСЫЛКИ РЕГРЕССИОННОГО АНАЛИЗА:

1. В каждом наблюдении e_i имеет нормальное распределение с нулевым МО и конечной дисперсией.

2. Для любого i дисперсия e_i является величиной постоянной.

3. Для любого i не равного j COV(e_i,e_j)=0. Это в соответствии с пунктом 1 означает, что e_i и e_j должны быть независимыми случайными величинами.

Решение системы нормальных уравнений доставляющее оценки коэффициентов множественной регрессии имеет вид:

B_оц = ( X^т* X)^-1*X^т*Y,

где B_оц - вектор-столбец МНК-оценок коэффициентов множественной регрессии

X^т - транспонированная матрица X ;

(X^т*X)^-1 - матрица обратная матрице X^т* X.

Несмещенной оценкой дисперсии возмущений является величина:

S²_e = (Y - X*B_оц)^т_*(Y - X*B_оц)/(n - k),

где k - число оцениваемых коэффициентов в уравнении регрессии.

ПОЛУЧИВ МНК-ОЦЕНКИ B_оц КОЭФФИЦИЕНТОВ УРАВНЕНИЯ РЕГРЕССИИ НЕОБХОДИМО ПРОВЕРИТЬ ДЛЯ КАЖДОЙ ОЦЕНКИ ГИПОТЕЗУ О РАВЕНСТВЕ НУЛЮ ИСТИННОГО ЗНАЧЕНИЯ: H_o:b_j=0.

Проверка гипотезы осуществляется сравнением вычисленной T-статистики с критическим значением при заданном уровне значимости и числе степеней свободы(ЧСС) N-k:

T_j = |b_j|*[n*(1 - R²_j0)]^1/2/S_e

где R_j0 - коэффициент множественной корреляции j-той входной переменной с остальными.

Если T_j>T_кр, то данные противоречат гипотезе о равенстве нулю истинного значения коэффициента b_j (КОЭФФИЦИЕНТ ЗНАЧИМ), если нет, то b_j следует считать нулевым (КОЭФФИЦИЕНТ НЕЗНАЧИМ).

По результатам проверки гипотез о равенстве нулю истинных значений коэффициентов множественной регрессии, составляющие с незначимыми коэффициентами должны быть исключены из модели. При этом, в общем случае оценки коэффициентов, оставшиеся в модели должны быть пересчитаны! Это обусловлено коррелированностью входных переменных (матрица X^т*X - недиагональна). Только в случае отсутствия взаимной корреляции входных переменных (матрица X^т*X - диагональна) нет необходимости вновь вычислять оценки коэффициентов регрессии.

Модели авторегрессии.

Достаточно часто на практике встречаются стационарные процессы, каждое настоящее значение Y_t которых определяется предыдущими, накопленными ранее значениями Y_t-1, Y_t-2 и т.д. То есть, имеет место взаимосвязь или корреляция между этими значениями. А поскольку коррелируют друг с другом значения одного и того же ряда, такое явление называют автокорреляция.

Для того чтобы определить насколько процесс является автокоррелированным, осуществляют расчет коэффициентов парной корреляции между значениями этого ряда и ими же, сдвинутыми на некоторый шаг назад. Такие коэффициенты называются автокорреляционными. Для их вычисления в формулу расчета коэффициента парной корреляции последовательно подставляют попарно сравниваемые значения показателя Y в момент t и показатели этого же процесса Y, но сдвинутые во времени на некоторый шаг τ, то есть Y_t-τ:

Где , и .

Таким образом, в качестве двух случайных переменных, между которыми выявляется корреляция, выступают исходный ряд значений Y_t и ряд Y_t-τ. Сам шаг τ изменяется от единицы до некоторого значения τ_М. Поэтому в распоряжении прогнозиста находится некоторая зависимость коэффициента парной корреляции r от шага τ: r=f(τ). Эту зависимость называют автокорреляционной функцией. Наиболее наглядно свойства автокорреляции исходного ряда выявляются из графического анализа автокорреляционной функции. График зависимости значений коэффициента автокорреляции r_τ от шага τ называют коррелограммой.

Анализ этого графика дает прогнозисту очень много ценной информации для выявления особенностей изучаемого процесса - периодичности некоторых явлений, их цикличности и сезонности, структура этой цикличности и т.п. Очевидно, что максимальные значения автокорреляционной функции могут изменяться в пределах от минус единицы до плюс единицы, а максимальное число сдвигов τ_М не должно быть близким к числу наблюдений показателей τ_М < Т.

Типичный график автокорреляционной функции:

Для большей наглядности на график коррелограммы наносят не только значения коэффициентов автокорреляции при соответствующих сдвигах τ, но ещё и соединяют близлежащие точки отрезками прямых линий. В результате получается некоторая ломаная линия, максимумы и минимумы которой и являются предметом особого изучения, ведь они характеризуют приближение зависимости между значениями ряда Y_t и предыдущими значениями Y_t-τ к линейной, причём, чем ближе величина коэффициента автокорреляции при каком-то шаге τ к 1, тем ближе к линейной зависимость между указанными значениями.

Если при некотором сдвиге τ коэффициент автокорреляции по модулю окажется не менее чем 0,8, то говорят о наличии этой зависимости, а сдвиг во времени τ, соответствующий этому высокому значению коэффициента, называют лагом. Если автокорреляционная функция имеет несколько лагов, то говорят о том, что у этого ряда имеются распределённые лаги. Впрочем, иногда о распределённых лагах говорят, если показатель y_t находят в зависимости от другого фактора x_t. Поскольку лаг означает наличие зависимости значений самого ряда от его же значений, но сдвинутых на величину лага, то эту зависимость можно описать математически. В общем случае модель авторегрессии может описываться следующей формулой:

Применительно к графику автокорреляционной функции, на котором выделяются два лага, равные 5 и 7 соответственно, можно говорить о том, что модель авторегрессии будет содержать две переменные - Y_t-5 и Y_t-7. Поскольку при лаге, равном пяти, коэффициент автокорреляции имеет положительный знак, то коэффициент при переменной Y_t-5 будет положительным, а так как коэффициент автокорреляции при лаге, равном семи, имеет отрицательный знак, что свидетельствует об обратной линейной зависимости, то и коэффициент при переменной Y_t-7 будет отрицательным: .

Для нахождения коэффициентов модели авторегрессии используются соответствующие разделы математической статистики, в большинстве случаев для этого используется МНК.