Значимость регрессионной модели
КОРРЕЛЯЦИОННЫЙ И РЕГРЕССИВНЫЙ АНАЛИЗ.
АНАЛИЗ ПАРНЫХ ВЗАИМОСВЯЗЕЙ
Основные понятия
• Связь как синхронность (согласованность) – корреляционный анализ.
• Связь как зависимость (влияние) – регрессионный анализ (причинно-следственные связи).
Основные понятия
• В регрессионном анализе один из признаков зависит от другого.
• Первый (зависимый) признак называется в регрессионном анализе результирующим , второй (независимый) – факторным .
• Не всегда можно однозначно определить, какой из признаков является независимым, а какой – зависимым. Часто связь может рассматриваться как двунаправленная.
Этапы анализа
• Выявление наличия взаимосвязи между признаками;
• Определение формы связи;
• Определение силы (тесноты) и направления связи (dыявление наличия связи между признаками, диаграммы рассеяния)
• Определение формы связи
Линейная связь
Форма связи
†Поскольку наиболее простой формой зависимости в математике является прямая, то в корреляционном и регрессионном анализе наиболее популярны линейные модели.
†Однако иногда расположение точек на диаграмме рассеяния показывает нелинейную зависимость либо вообще отсутствие связи между признаками.
Линия регрессии и уравнение регрессии
Диаграмма рассеяния
Линия регрессии
• Вычисляемая с помощью метода наименьших квадратов прямая линия называется линией регрессии. Она характеризуется тем, что сумма квадратов расстояний от точек на диаграмме до этой линии минимальна (по сравнению со всеми возможными линиями).
• Линия регрессии дает наилучшее приближенное описание линейной зависимости между двумя переменными.
Уравнение парной линейной регрессии
• Как известно, прямая линия описывается уравнением вида:
Y = kX + b,
где Y – результирующий признак, X – факторный признак, k и b – числовые параметры уравнения.
• Коэффициент k в уравнении регрессии называется коэффициентом регрессии.
Смысл коэффициента регрессии
• В общем случае коэффициент регрессии k показывает, как в среднем изменится результативный признак ( Y ), если факторный признак ( X ) увеличится на единицу .
Свойства коэффициента регрессии
• Коэффициент регрессии принимает любые значения.
• Коэффициент регрессии не симметричен , т.е. изменяется, если X и Y поменять местами.
• Единицей измерения коэффициента регрессии является отношение единицы измерения Y к единице измерения X
([ Y ] / [ X ]).
• Коэффициент регрессии изменяется при изменении единиц измерения X и Y .
Пример единицы измерения коэффициента регрессии
• В уравнении Y = 87610 + 2984 X
коэффициент регрессии равен 2984. В каких единицах он измеряется?
• Поскольку результативный признак Y измеряется, например, в рублях, а факторный признак X, например, в количестве рабочих (чел.), то коэффициент регрессии измеряется в рублях на человека (руб. / чел.)
Сравнение коэффициентов корреляции и регрессии
Коэффициент корреляции
• Принимает значения в диапазоне от -1 до +1
• Безразмерная величина
• Показывает силу связи между признаками
• Знак коэффициента говорит о направлении связи
Коэффициент регрессии
• Может принимать любые значения
• Привязан к единицам измерения обоих признаков
• Показывает структуру связи между признаками
• Знак коэффициента говорит о направлении связи
МНОЖЕСТВЕННАЯ КОРРЕЛЯЦИЯ И РЕГРЕССИЯ
Усложнение модели
• Обычно на зависимую переменную действуют сразу несколько факторов, среди которых трудно выделить единственный или главный.
• При этом факторы, влияющие на зависимую переменную, как правило, не являются независимыми друг от друга.
Пример
• Уравнение парной регрессии для зависимости объема производства ( Y ) от числа рабочих ( X 1 ) имеет вид:
Y = 87610 +2984 X 1
• Если построить уравнение парной регрессии для зависимости объема производства ( Y ) от мощности двигателей ( X 2 ), получим:
Y = 265300 +299,7 X 2
Пример
• Итак доход предприятия зависит одновременно от двух факторов производства – числа рабочих и энерговооруженности, однако эти факторы сами не являются независимыми друг от друга.
• Поэтому совокупная зависимость дохода от рабочих и мощности двигателей не есть простая сумма двух парных зависимостей.
Пример
• Следовательно, неверно , что суммарное влияние обоих факторов можно записать в виде суммы двух предыдущих уравнений:
Y = 3529 10 + 2 984 X 1 + 299,7 X 2
Уравнение множественной линейной регрессии
Y = a + b 1 X 1 + b 2 X 2 +…+ b k X k
X 1 , X 2 , … , X k независимые переменные (факторы);
b 1 , b 2 , … , b k соответствующие им коэффициенты регрессии
Значимость регрессионной модели
• Если коэффициент множественной корреляции вычислен на основе выборочных данных, то возможно, что его значение не отражает реальной связи между признаками, а получено в данной выборке случайно (при этом в генеральной совокупности признаки независимы).
Значимость регрессионной модели
• В основе проверки значимости регрессии лежит идея разложения дисперсии (разброса) результативного признака на факторную и остаточную дисперсии, т.е. объясненную (за счет независимых факторов) часть дисперсии и часть, оставшуюся необъясненной в рамках данной модели.
Значимость регрессионной модели
• Мерой значимости регрессии служит значение т.н. F- критерия – отношения факторной дисперсии к остаточной .
• Чем лучше регрессионная модель, тем выше доля факторной и ниже доля остаточной дисперсии.
Значимость регрессионной модели
• Для каждого значения F можно вычислить соответствующую вероятность. Если значение этой вероятности меньше принятого уровня значимости p или вероятности ошибки (в программе Statistica это 5% или 0,05), гипотеза об отсутствии линейной связи между результативным и факторными признаками отклоняется и регрессия признается значимой .