Частные коэффициенты регрессии

Чтобы понять значение частного коэффициента регрессии, расмотрим случай с двумя нез висимыми переменными:

Y =a+b,X₂+b₂X₂

Во-первых, отметим, что величина частного коэффициента регрессии независимой пер менной, в основном, отличается от коэффициента двумерной регрессии той же переменно Другими словами, частный коэффициент регрессии Ь_} отличается от коэффициента регресс Ъ, полученного при установлении зависимости Гтолько от переменной Х_}. Это происходит п тому, что Xj и Х₂ обычно взаимосвязаны. В парной регрессии Х₂ не принимают во внимание, любое изменение вариации в Y, за которую совместно отвечают Х_} и Х₂, относят на счет Х_}. О, нако в случае нескольких независимых переменных это несправедливо.

Интерпретация частного коэффициента регрессии bj заключается в том, что он представля ожидаемое изменение величины У, когда X, изменяется на единицу, а Х₂ остается постоянной, т управляемой (контролируемой) переменной. В отличие от этого, Ь₂ представляет ожидаемое изм нение Г при изменении Х₂ на единицу, когда X, остается постоянной. Поэтому названия Ь, и Ь₂ частные коэффициенты регрессии, соответствуют действительности. Кроме того, результаты с вместного влиняия X, и Х₂на К суммируются. Иначе говоря, если каждую из переменных Х₁ и изменить на единицу, то ожидаемое изменение значения Убудет равно (b_l + Ь₂).

Логически, зависимость между коэффициентом парной регрессии и частным коэффицие] том регрессии можно проиллюстрировать следующим образом. Предположим, что мы исключи; эффект от влияния Х₂из X_t. Это можно сделать, установив регрессию Х₁ по Х₂. Иначе говоря, мо> но воспользоваться уравнением X_l = a + ЬХ₂ и вычислить остаточный член Х_Г = (Х_}- X,). Тог, частный коэффициент регрессии bj станет равным коэффициенту парной регрессии /?, пол ченному из уравнения Y = a + ЬХ_Г. Таким образом, частный коэффициент регрессии Ъ₁ равс коэффициенту парной регрессии b между переменной 7 и остаточным значением переменнс Х₁₉ не учитывая эффекта от влияния переменной X_t. Частный коэффициент регрессии Ь₂ ш терпретируем аналогично.

Распространение этого примера на случай с k переменными не вызывает затруднений. Ч стный коэффициент регрессии Ь_} представляет ожидаемое изменение У, когда Х₁ изменяется i единицу, а переменные от Х₂ до X_k остаются неизменными. Это можно интерпретировать ю коэффициент парной регрессии b для регрессии переменной /от остаточных значений пер менной Xj при исключенных эффектах переменных от Х₂ до X_k.

"Бета"-коэффициенты являются частными коэффициентами регрессии, полученными п< еле того, как перед оценкой уравнения регрессии, все переменные (Y, X_h Х₂,... X_k,) нормиров ны с получением их среднего значения, равного нулю, и дисперсии, равной 1. Связь меж; нормированным и ненормированным коэффициентами та же, что и рассмотренная ранее:

Отрезок, отсекаемый на оси OY, и частный коэффициент регрессии определяют решением системы уравнений, выведенной дифференцированием и приравниванием к нулю частных троизводных. Поскольку эти коэффициенты можно вычислить с помощью разных компью­терных программ, мы не будем вдаваться в детали. Однако стоит отметить, что уравнения решить, если размер выборки п меньше или равен числу независимых переменных k\ одна независимая переменная тесно связана с другой.

Предположим, что при объяснении зависимости отношения к городу от длительности троживания в нем, мы сейчас введем вторую переменную— погодные условия. Данные, полу-1енные от 12 респондентов и касающиеся отношения к городу, длительности проживания в и погодных условий, приведены в табл. 17.1. Результаты множественного регрессионного шализа даны в табл. 17.3. Значение частного коэффициента регрессии для переменной Xj (длительность проживания), равное 0,4811, теперь отличается от значения, полученного в ана­лизе парной регрессии. Соответствующий "бета"-коэфициент равен 0,7636. Частный коэффи­циент регрессии для переменной Х₂ (погодные условия) равен 0,2887 с "бета"-коэффициентом, равным, 0,3138.

Теоретическое уравнение регрессии имеет вид:

I (f ) = 0,33732 + 0,48108 X_t + 0,28865 Х₂ или

гношение к городу = 0,33732 + 0,48108 (длительность проживания) + 0,28865 (погодные (условия)

Таблица 17.3. Множественная регрессия Коэффициент множественной корреляции Коэффициент детерминации R2 Скорректированный R2 Стандартная ошибка уравнения регрессии Дисперсионный анализ	0,97210 0,94498 0,93276 0,85974
Степени свободы Регрессия 2 Остаток 9 F = 77,29364 Значимость F = 0,0000	Сумма квадратов Средний квадрат 114,26425 57,13213 6,65241 0,73916
Переменные в уравнении Переменная Ь SEb	Бета, & Т Значимость Т
Погодные условия 0,28865 0,08608 Длительность 0,48108 0,05895 (Константа) 0,33732 0,56736	0,31382 3,353 0,0085 0,76363 8,160 0,0000 0,595 0,5668

Это уравнение можно использовать для разных целей, включая предсказание отношения к городу при заданных длительности проживания в нем и отношения респондента к погодным условиям региона.

Теснота связи

Степень тесноты связи определим, используя соответствующие показатели связи меж, переменными. Полную вариацию можно разложить (как и для парной регрессии) следу! щим образом:

се ₌ ее _j_ ее

Lj^Jy ^^ pe/peccuu ^° '° * о

где

Остаточная

Тесноту связи измеряют, возводя в квадрат коэффициент множественной корреляции, п лучая коэффициент множественной детерминации R²

Коэффициент множественной корреляции R можно рассматривать как линейный коэ( фициент корреляции г между У и Y . Следует сделать несколько замечаний относителы определения R². Коэффициент множественной детерминации R² не может быть меньше, Ч( самое высокое значение г² любой отдельной независимой переменной с зависимой переме] ной. Значение Л² больше, когда корреляция между независимыми переменными слабее. Е ли независимые переменные статистически независимы (не коррелированы), то значение представляет собой сумму коэффициентов парной детерминации каждой независимой п ременной с зависимой переменной. Значение R² не может уменьшаться при добавлении н зависимых переменных в уравнение регрессии. Однако снижение влияния зависимости к эффициента детерминации от количества переменных устанавливается таким образом, ч после введения нескольких первых переменных дополнительные независимые перемени! не вносят такой большой вклад в значение коэффициента детерминации [16]. Поэтому корректируют с учетом числа независимых переменных и размера выборки, используя ел дующую формулу:

k(\-R²}

Скорректированный R = R² -- ^ - '-

n-k-\

Для данных регрессии, приведенных в табл. 17.3, значение R² равно

_R2_

114,2643

" '

(114,2643 + 6,6524)

Это значение выше, чем значение г², равное 0,8762, полученное для парной регрессии. Зн чение г² парной регрессии представляет собой квадрат простого коэффициента корреляции м жду отношением к городу и длительностью проживания в нем. Значение R², полученное множественной регрессии, также выше, чем квадрат простого коэффициента корреляции ме; ду отношением к городу и отношением к погодным условиям (которое определено как 0,537< Скорректированный коэффициент детерминации /Допределен следующим образом:

- 0,9450-2(1,0-0,9450) Скорректированный R~ = - Ь - : - / ₌ q 9328

12-2-1

Обратите внимание, что значение скорректированного коэффициента детерминации близко к значению обычного коэффициента детерминации R²n их значение больше, чем у к эффициента детерминации г² для парной регрессии. Это означает, что добавление второй нез

{симой переменной — погодные условия, вносит определенный вклад в вариацию перемен­ой — отношение к городу.

(роверка значимости

Проверка значимости включает проверку значимости общего уравнения регрессии и кон-ретных частных коэффициентов регрессии. Нулевая гипотеза для проверки общего уравнения 1сит, что коэффициент множественной детерминации для генеральной совокупности равен нулю:

Я

. D2 — Q

J- -** совокупи

Это эквивалентно следующей нулевой гипотезе

Общую проверку можно выполнить, используя /"-статистику

оторая имеет /'-распределение с k и (п - k - 1) степенями свободы [17]. Результаты проверки аны в табл. 17.3 114,2643/2

R²/k

F=-

- = 77,2944,

6,6524/9

оторая является значимой при а = 0,05.

Если общую нулевую гипотезу отклоняют, то один или несколько частных коэффициентов егрессии в совокупности имеют значение, отличное от нуля. Чтобы определить, какие из кон-.ретных коэффициентов Д отличны от нуля, выполним дополнительные проверки. Проверку начимости Д выполним тем же способом, что и в случае парной регрессии, т.е. используя t-татистику. Значимость частного коэффициента для переменной — погодные условия — мож-ю выполнить с помощью уравнения

_t_ Ь _ 0,2887 _₃₃₅₃

SE_b 0,08608

:оторое подчиняется /-распределению с (п — k — 1) степенями свободы. Этот коэффициент ста-истически значим при уровне значимости ос = 0,05. Значимость коэффициента для перемен-•юй — длительность проживания, проверяют аналогичным образом и находят, что он стати-тически значимый. Следовательно, обе переменные: погодные условия и длительность про-кивания, имеют значение при объяснении отношения респондента к своему городу.

Ряд компьютерных программ позволяют проводить расчет /^-критерия, что зачастую назы­вается вычислением частного .Г-критерия. Такой расчет включает разложение суммы квадратов >бщей регрессии SS_pcrp на компоненты, соответствующие каждой независимой переменной. 3 обычном подходе эту процедуру осуществляют при допущении, что каждую независимую переменную добавляют в уравнение регрессии после включения в него всех других независи­мых переменных. Приращение к объясняемой сумме квадратов, получаемое после добавления независимой переменной X_i9 представляет собой компонент вариации, присущий этой пере­менной и обозначаемый 55^ [18]. Значимость частного коэффициента регрессии для этой пе-земенной (3₍ проверяют, используя .Г-статистику приращения:

F=-

SS_Xi/l

которая имеет /'-распределение с 1 и (п - k - 1) степенями свободы. В то время как высокое значение R² и значимые частные коэффициенты регрессии достаточно удобны, эффективность регрессионной модели должны быть оценена анализом остатков.

Анализ остатков

Остаток, остаточный член (residual) — это разность между наблюдаемым значением Y_f и те ретическим значением, предсказанным регрессионным уравнением Y_{ .