Статистический анализ коэффициентов регрессии

Перейдём теперь к оценке значимости коэффициентов регрессии Статистический анализ коэффициентов регрессии - student2.ru и построению доверительного интервала для параметров регрессионной модели q. В п.1.3 мы получили

Статистический анализ коэффициентов регрессии - student2.ru . (6.42)

В силу этого оценка Статистический анализ коэффициентов регрессии - student2.ru дисперсии Статистический анализ коэффициентов регрессии - student2.ru коэффициента регрессии qj определится по формуле:

Статистический анализ коэффициентов регрессии - student2.ru , (6.43)

где Bjj – диагональный элемент матрицы B. Величина Статистический анализ коэффициентов регрессии - student2.ru называется стандартной ошибкой коэффициента регрессии Статистический анализ коэффициентов регрессии - student2.ru .

В предыдущих пунктах мы показали, что вектор оценок Статистический анализ коэффициентов регрессии - student2.ru имеет нормальное распределение со средним q и ковариационной матрицей (6.46). Тогда

Статистический анализ коэффициентов регрессии - student2.ru .

Случайная величина (6.45) имеет распределение c2-распределение и оценки Статистический анализ коэффициентов регрессии - student2.ru и S2 независимы. Отсюда получаем, что величина

Статистический анализ коэффициентов регрессии - student2.ru (6.44)

имеет распределение Стьюдента с n–m степенями свободы. Поэтому qj значимо отличается от нуля на уровне значимости a, если

Статистический анализ коэффициентов регрессии - student2.ru .

Из (6.42) также следует, что доверительный интервал для параметра qj имеет вид

Статистический анализ коэффициентов регрессии - student2.ru . (6.45)

Наряду с интервальным оцениванием коэффициентов регрессии весьма важным для оценки точности определения зависимой переменной (прогноза) является построение доверительного интервала для функции регрессии или для условного математического ожидания зависимой переменной M[Y|X=x]. Ранее такой интервал был получен для парной линейной регрессии. Обобщая полученные результаты, можно получить доверительный интервал для условного математического ожидания M[Y|X=x]:

Статистический анализ коэффициентов регрессии - student2.ru , (6.46)

где

Статистический анализ коэффициентов регрессии - student2.ru (6.47)

– стандартная ошибка прогноза среднего значения. Здесь

Статистический анализ коэффициентов регрессии - student2.ru .

Аналогично строится доверительный интервал для индивидуальных значений зависимой переменной Статистический анализ коэффициентов регрессии - student2.ru :

Статистический анализ коэффициентов регрессии - student2.ru , (6.48)

где

Статистический анализ коэффициентов регрессии - student2.ru . (6.49)

Более подробное обсуждение этого вопроса см. лекцию 7.

Дополнение 2.
КРИТЕРИЙ ФИШЕРА

Как уже говорилось, в рамках линейной классической регрессионной модели общее качество уравнения регрессии оценивается при помощи методов дисперсионного анализа. Схема дисперсионного анализа, имеет следующий вид:

Компоненты дисперсии Сумма квадратов Число степеней свободы, df Средние квадраты
Регрессия Статистический анализ коэффициентов регрессии - student2.ru m–1 Статистический анализ коэффициентов регрессии - student2.ru
Остаточная Статистический анализ коэффициентов регрессии - student2.ru n–m Статистический анализ коэффициентов регрессии - student2.ru
Общая Статистический анализ коэффициентов регрессии - student2.ru n–1 Статистический анализ коэффициентов регрессии - student2.ru

Определение дисперсии на одну степень свободы приводит дисперсии к сравниваемому виду. Средние квадраты представляют собой несмещённые оценки соответствующих дисперсий.

Проверка гипотезы о значимости уравнения регрессии осуществляется на основе дисперсионного анализа сравнения объяснённой и остаточной дисперсий:

H0: (объяснённая дисперсия) = (остаточная дисперсия);

H1: (объяснённая дисперсия) > (остаточная дисперсия).

Строится F-статистика

Статистический анализ коэффициентов регрессии - student2.ru . (6.50)

В рамках нормальной линейной регрессионной модели, случайные величины Статистический анализ коэффициентов регрессии - student2.ru и Статистический анализ коэффициентов регрессии - student2.ru будут иметь c2-распределение соответственно с m и n–m степенями свободы. Сопоставляя факторную и остаточную дисперсии в расчёте на одну степень свободы, получим случайную величину, описывающуюся распределением Фишера с теми же степенями свободы:

Полученную F-статистику можно использовать для проверки нулевой гипотезы Статистический анализ коэффициентов регрессии - student2.ru . Если нулевая гипотеза справедлива, то факторная и остаточная дисперсии не отличаются друг от друга, т.е. Статистический анализ коэффициентов регрессии - student2.ru . Эмпирическое уравнение регрессии значимо на уровне a, если фактически наблюдаемое значение статистики

Статистический анализ коэффициентов регрессии - student2.ru ,

где Статистический анализ коэффициентов регрессии - student2.ru – табличное значение F-критерия Фишера, определённое на уровне значимости a при k1=1 и k2=n–2 степенях свободы.

Величина F-критерия связана с коэффициентом детерминации R2:

Статистический анализ коэффициентов регрессии - student2.ru . (6.51)

Таким образом, малым значениям F соответствуют малые значения R2.

Отметим, что критерий Фишера можно применять только обобщенной нормальной линейной классической регрессионной модели. Однако в общем случае, особенно для моделей нелинейных по параметрам, критерий Фишера применять нельзя! Иногда критерий Фишера применяют для линеаризованных моделей, однако здесь следует помнить, что исходное и линеаризованное уравнения не одно и то же, т.е. здесь нужны серьезные оговорки.

F-критерий Фишера можно использовать для сравнения двух альтернативных уравнений регрессии в рамках классической нормальной линейной модели. В данном случае его величина рассчитывается по формуле

Статистический анализ коэффициентов регрессии - student2.ru . (6.52)

где Статистический анализ коэффициентов регрессии - student2.ru , Статистический анализ коэффициентов регрессии - student2.ru – расчётные значения переменной y, полученные на основе первого и второго вариантов моделей соответственно, различающиеся, быть может, формой зависимости f и количества факторов; n1 и n2 – количества факторов в первом и втором вариантов соответственно.

Критерий (6.98) является двухсторонним. Особенности его применения состоят в следующем. Если выполняется соотношение

Статистический анализ коэффициентов регрессии - student2.ru ,

то рассматриваемые альтернативные варианты модели признаются равнозначимыми с точки зрения точности описания процесса yi.

Если

Статистический анализ коэффициентов регрессии - student2.ru ,

то выбор следует сделать в пользу первого варианта модели, а если

Статистический анализ коэффициентов регрессии - student2.ru ,

то – в пользу второго.

Здесь Статистический анализ коэффициентов регрессии - student2.ru – табличное значение критерия Фишера, выбранное для заданного уровня надёжности a и числе степеней свободы Статистический анализ коэффициентов регрессии - student2.ru и Статистический анализ коэффициентов регрессии - student2.ru .

Если сравнение производится с простой линейной регрессией, то Статистический анализ коэффициентов регрессии - student2.ru и m1=2. В результате критерий (6.94) примет вид

Статистический анализ коэффициентов регрессии - student2.ru . (6.53)

Тогда если

Статистический анализ коэффициентов регрессии - student2.ru ,

то различия между Статистический анализ коэффициентов регрессии - student2.ru и Статистический анализ коэффициентов регрессии - student2.ru не существенны, и, следовательно, возможно применение линейной регрессии, даже если есть предположения о некоторой нелинейности рассматриваемых соотношений признаков фактора и результата. Если

Статистический анализ коэффициентов регрессии - student2.ru ,

То различия между рассматриваемыми показателями корреляции существенны и замена нелинейной регрессии уравнением линейной функции неправильна.

Дополнение 3.
СПЕЦИФИКАЦИЯ МОДЕЛИ

Наши рекомендации