Оценка надежности уравнения регрессии

С помощью метода наименьших квадратов мы получили лишь оценки параметров уравнения регрессии. Чтобы оценить надежность модели необходимо проверить, значимы ли ее параметры (т.е. значимо ли они отличаются от нуля в «истинном» уравнении регрессии – регрессии, построенной для генеральной совокупности). При этом используют статистические методы проверки гипотез. С помощью статистических методов проверки гипотез можно также проверить значимость коэффициента парной линейной корреляции, а также значимость коэффициента множественной корреляции (т.е. проверить значимо ли они отличаются от нуля в генеральной совокупности.

В качестве основной гипотезы (Н0) выдвигают гипотезу о незначимом отличии от нуля «истинного» параметра регрессии или коэффициента корреляции. Альтернативной гипотезой (Н1), при этом является гипотеза обратная, т.е. о неравенстве нулю «истинного» параметра или коэффициента корреляции. Мы заинтересованы в том, чтобы основная гипотеза была отвергнута. Для проверки этой гипотезы используется t-статистика критерия проверки гипотезы, имеющая распределение Стьюдента.

Найденное по данным наблюдений значение t-статистики (его еще называют наблюдаемым или фактическим) сравнивается с критическим значением t-статистики, определяемым по таблицам распределения Стьюдента (которые обычно приводятся в конце учебников и практикумов по статистике или эконометрике). Критическое значение определяется в зависимости от уровня значимости (a) и числа степеней свободы, которое равно (n-h), n-число наблюдений, h – число оцениваемых параметров в уравнении регрессии. В случае линейной парной регрессии h=2, а число степеней свободы равно (n-2).

Если фактическое значение t-статистики взятое по модулю больше критического, то основную гипотезу отвергают и считают, что с вероятностью (1-a) «истинной» параметр регрессии (либо коэффициент корреляции) значимо отличается от нуля.

Если фактическое значение t-статистики меньше критического (по модулю), то нет оснований отвергать основную гипотезу, т.е. «истинной» параметр регрессии (либо коэффициент корреляции) незначимо отличается от нуля при уровне значимости a.

Для анализа статистической значимости полученных коэффициентов необходимо проверить гипотезу Н0: b^г_j=0 (при альтернативной Н1: b^г_j≠0). Статистика критерия проверки рассчитывается по формуле: ,

где b_j - оценка коэффициента регрессии b₁, полученная по наблюдаемым данным;

m_bj – стандартная ошибка оценки коэффициента регрессии b_j (корень из дисперсии оценки коэффициента регрессии – μ²[b_j]; берется из оценки матрицы ковариаций ).

В случае парной линейной регрессии .

.

Сумму квадратов отклонений фактических значений результата от смоделированных - можно рассчитать через коэффициент детерминации и общую дисперсию признака-результата:

.

Если (п-т-1), то есть число степеней свободы, достаточно велико (не менее 8 - 10), то при 5%-ном уровне значимости и двусторонней альтернативной гипотезе критическое значение t-статистики приблизительно равно двум. Здесь, как и в случае парной регрессии, можно приближенно считать оценку незначимой, если t-статистика по модулю меньше единицы, и весьма надежной, если модуль t-статистики больше трех. Другие критерии качества полученного уравнения регрессии будут рассмотрены ниже.

Оценим значимость параметров регрессии для нашего примера (y’_x1,x2= 29,4 +4,2·x₁-0,92·x₂):

; ; .

t_{кр(α=0,05; 12-3=9)}=2,26.

Так как │t_набл│>t_кр (для всех параметров), то все параметры можно признать значимыми.

Для проверки гипотезы о незначимом отличии от нуля «истинного» коэффициента линейной парной корреляции: r_yx^г=0 (рассчитанного для генеральной совокупности) используют статистику критерия:

, где r_yx - оценка коэффициента корреляции, полученная по наблюдаемым данным (выборочный коэффициент корреляции); m_r – стандартная ошибка выборочного коэффициента корреляции r_yx.

Для линейного парного уравнения регрессии:

.

В парной линейной регрессии между наблюдаемыми значениями статистик критериев существует взаимосвязь: t _(b1=0)=t_(r=0).

Оценка значимости уравнения множественной регрессии в целом осуществляется путем проверки основной гипотезы Н0: R^{2 г}_y(x1,...,xm)=0 или δ*²≤ε*² (гипотеза о статистической незначимости уравнения регрессии). При этом альтернативная гипотеза - Н1: R^2г_y(x1,...,xm)¹0 или δ*²>ε*² (гипотеза о статистической значимости уравнения регрессии).

Для проверки основной гипотезы используют статистику, рассчитываемую по следующей формуле: , где n-число наблюдений; h – число оцениваемых параметров (в случае двухфакторной линейной регрессии h=3), R²_y(x1,...,xm) - выборочный коэффициент детерминации.

Данная статистика имеет F-распределение (Фишера-Снедоккора). Поэтому для поиска критического значения - F_кр пользуются таблицами распределения Фишера-Снедоккора, задаваясь при этом уровнем значимости a (обычно его берут равным 0,05) и двумя числами степеней свободы k1=h-1 и k2=n-h.

Сравнивая фактическое значение F-статистики критерия, вычисленное по данным наблюдений - (F_набл) с критическим - F_{кр(a;k1;k2)}. Если F_набл<F_{кр(a;k1;k2)}, то основную гипотезу о незначимости уравнения регрессии не отвергают. Если F_набл>F_{кр(a;k1;k2),} то основную гипотезу отвергают и принимают альтернативную гипотезу о статистической значимости уравнения регрессии. Для уверенных выводов отличие наблюдаемого и критического значений F-критерия должно быть по крайней мере в 4 раза.

! В случае линейной парной регрессии имеет место следующая взаимосвязь статистик: : .

Для нашего примера:

; F_{кр(0,05; 2; 9)}=4,26.

Так как F_набл>F_кр, то уравнение: y’_x1,x2= 29,4 +4,2·x₁-0,92·x₂ можно признать значимым и надежным с вероятностью 0,95.

Оценка значимости дополнительного включения фактора (частный F–критерий).Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличить долю объясненной вариации результативного признака. Это может быть связано с последовательностью вводимых факторов (т.к. существует корреляция между самими факторами).

Мерой оценки значимости улучшения качества модели, после включения в нее фактора х_j, служит частный F-критерий - F_xj:

, где h- число оцениваемых параметров.

В числителе – прирост доли вариации y за счет дополнительно включенного в модель фактора x_j.

Если наблюдаемое значение F_xj больше F_{кр(a;k1=1;k2=n-h)}, то дополнительное введение фактора х_j в модель статистически оправдано.

Допустим, что оценивается значимость фактора х₁, как дополнительно включенного в модель y=f(x₂). Тогда частный F-критерий будет вычисляться по формуле:

.

Частный F-критерий оценивает значимость коэффициентов «чистой» регрессии (b_j). Существует взаимосвязь между частным F–критерием - F_xj и t-критерием, используемым для оценки значимости коэффициента множественной регрессии при j–ом факторе: .

Для нашего примера:

=26,1; F_{кр(0,05; 1; 9)}=5,12. Так как F_набл>F_кр, то фактор х1 целесообразно включать в модель y(х2).

=7,7; F_{кр(0,05; 1; 9)}=5,12. Так как F_набл>F_кр, то фактор х2 также целесообразно включать в модель y(х1).