Проблема выбора факторов для множественной регрессии
Тема № 3. Множественная корреляция и регрессия.
Проблема выбора факторов для множественной регрессии
2. Способы линеаризации связей фактора с результативным признаком
3. Уравнение многофакторной регрессии, его построение и интерпретация
Стандартизированные коэффициенты регрессии и коэффициенты эластичности и их интерпретация
Система показателей тесноты многофакторной связи
Методы оценки степени надежности многофакторной регрессии
Корреляционно-регрессивные модели и их применение в анализе и прогнозе социально-экономических явлений.
Измерение связи неколичественных признаков. Фиктивные переменные
Предпосылки метода наименьших квадратов при нахождении параметров уравнения множественной регрессии
Проблема выбора факторов для множественной регрессии
В реальной жизни, социальных и экономических системах на результативный признак всегда влияет множество факторных признаков. Кроме того, ввиду математических свойств МНК в уравнение регрессии нельзя включать число факторов ≥ (n - 1), где n число наблюдений. А для надлежащих оценок параметров число фактов должно быть в 5 – 6 раз меньше числа наблюдений. Т.к. между самими факторами существует связь, то парная корреляция и регрессия измеряют не чистое влияние каждого фактора, но и часть влияния других факторов, не включенных в модель, но связанных с данными.
Парная регрессия может дать хороший результат, если влиянием других факторов, не включенных в модель, можно пренебречь. Однако исследователь никогда не может быть уверен в справедливости данного предположения. Поэтому, как правило, в эконометрических исследованиях для более полной и точной оценки применяется модель множественной регрессии
Множественная регрессия используется для решения проблем спроса, доходности акций при изучении функций издержек. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также их совокупное влияние на моделируемый показатель. Построение модели начинают с решения вопроса о спецификации модели. Во множественной регрессии спецификация модели включает в себя решение двух вопросов:
1. отбор факторов
2. выбор вида уравнения.
Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими жизненными явлениями.
Факторы включенные в модель должны отвечать следующим требованиям:
1. должны быть количественно измеримы; если необходимо включать качественный фактор, то ему необходимо придать количественное определение.
2. не должны быть интеркоррелированны (т.е. факторные признаки не должны находится в тесной зависимости между собой) и находится в точной функциональной связи. При включении в модель факторов с высокой интеркорреляцией ( 
) для множественной регрессии может привести к нежелательным последствиям, т.е. система норм уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если существует высокая корреляция между факторами, то нельзя установить их изолированное влияние на результативный показатель, и параметры уравнения регрессии окажутся не интерпретируемыми.
Факторы множественной регрессии должны объяснять вариацию зависимой переменной. Если строится модель с набором факторов P, то для нее рассчитывается показатель множественной детерминации R2, который фиксирует долю объяснений вариации результативного признака за счет рассмотрения в регрессии P - факторов. Влияние неучтенных факторов оценивается как 1 – R2 с соответствующей остаточной дисперсией.
При дополнительном включении в регрессию (P+1) – го фактора R2 должен возрастать, Docm уменьшаться. Если этого не происходит и данные показатели мало отличаются друг от друга, то включенный в анализ (P+1) – фактор не улучшает модель и является практически лишним фактором.
Пример. Допустим, для множественной регрессии, включающей 5 факторов, R2 = 0,85, а при включении 6-го фактора ® R2 = 0,786. Значит включение 6-го фактора нецелесообразно.
Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии, но и приводит к статической незначимости параметров регрессии по t – критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, но практически – в этом нет необходимости.
Отбор факторов производится на основе качественного теоретико-жизненного анализа и проходит в 2 стадии:
1. подбираются факторы, исходя из сущности проблемы,
2. на основе матрицы показателей корреляции определяют t–статистики для параметров регрессии. Коэффициенты интеркорреляции (т.е. корреляции между факторными признаками) позволяют исключить из модели факторы, дублирующие друг друга.
Считается, что 2 переменные являются коллинеарными, т.е. находятся между собой в линейной зависимости, если коэффициент
Поскольку одним из условий построения уравнения множественной регрессии является независимость действия факторов (в идеале коэффициент 
), то коллинеарность факторов нарушает это условие.
Если факторы явно коллинеарны, то они дублируют друг друга и один из них необходимо исключить из модели.
Правило: предпочтение отдается не фактору, который более тесно связан с результатом, а тому фактору, который при достаточной связи с результатом имеет номинальную тесноту связи с другими факторами.
Пример. Изучается зависимость между 
Построим матрицу парных коэффициентов корреляции
| y | x | z | V | |
| y | ||||
| x | 0,9 | |||
| z | 0,8 | 0,9 | ||
| v | 0,7 | 0,6 | 0,3 |
Факторы X и Z явно коллинеарны, т.е. дублируют друг друга
В модели оставляем фактор Z, т.к. несмотря на то, что коэффициенты парной корреляции
, но зато связь Z с другим фактором слабее:
По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем 2 фактора связаны между собой линейной зависимостью, т.е. наблюдается совокупность воздействия факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценивать влияние каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка параметров с помощью МНК.
Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:
1. затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов «в чистом» виде, т.к. факторы интерколлинеарны. Параметры линейной регрессии теряют жизненный смысл.
2. оценки параметров ненадежны, обнаруживаются большие стандартные ошибки и меняют с изменением объема наблюдений не только по величине, но и по знаку, что делает модель непригодной для анализа и прогноза.
2. Способы линеаризации связей фактора с результативным признаком
Для оценки параметров нелинейных уравнений используют 2 подхода:
1. основан на линеаризации модели и заключается в том, что с помощью подходящих преобразований исходных переменный исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.
2. обычно применяют в случае, когда подобрать соответствующее линеаризационное преобразование невозможно. В этом случае применяют методы нелинейной оптимизации на основе исходных переменных.
По аналогии с парной корреляцией.
3. Уравнение многофакторной регрессии, его построение и интерпретация
Как и в парной зависимости возможны различные виды множественной регрессии: линейные и нелинейные. В виду четной интерпретации параметров наиболее широко используются линейная и степенные функции.
В уравнении множественной регрессии:
Коэффициенты при х называются коэффициентами «чистой» регрессии. Они показывают среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне.
Параметр а не подлежит экономической интерпретации.
Параметры уравнения множественной регрессии оцениваются как в парной регрессии МНК, при котором строится система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии.
Т. о. для уравнения
Система нормальных уравнений будет иметь следующий вид:
Ее решение может быть осуществлено методом определителей
Где Δа, Δb – частные определители системы, при этом
Δа, Δb, … , Δbр получаются путем замены соответствующего столбца матрицы общего определителя данной системы данными левой части системы.
Пример.
у – отношение прибыли ко всем активам банка, %
х1 – Доля ГКО в активах, %
х2 – отношение непроцентных доходов к процентным доходам деятельности банка, %
х3 – коэффициент полной ликвидности банка
Построить множественную модель
Таблица 1. Исходные данные и расчетные величины для анализа.
| № банк | у,% | х1,% | х2,% | х3,% |  |  |  |
| 13,5 | 24,0 | 2,5 | 1,27 | 8,1 | 5,4 | 29,16 | |
| 25,5 | 51,0 | 4,5 | 1,97 | 20,1 | 5,4 | 29,16 | |
| 1,2 | 10,4 | 2,5 | 2,15 | 7,8 | -6,6 | 43,56 | |
| 1,3 | 14,1 | 1,6 | 1,27 | 4,8 | -3,5 | 12,25 | |
| 4,5 | 4,7 | 0,3 | 1,34 | 1,9 | 2,6 | 6,76 | |
| 2,7 | 15,8 | 0,5 | 0,97 | 3,8 | -1,1 | 1,21 | |
| 12,2 | 29,2 | 0,5 | 1,15 | 9,4 | 2,8 | 7,84 | |
| 4,2 | 31,0 | 6,6 | 1,07 | 10,1 | -5,9 | 34,81 | |
| 4,4 | 13,5 | 1,0 | 1,08 | 3,7 | 0,7 | 0,49 | |
| 2,8 | 2,2 | 0,6 | 1,36 | 1,3 | 0,8 | 0,64 | |
| 7,5 | 50,3 | 2,1 | 1,11 | 15,7 | -8,2 | 67,24 | |
| 14,4 | 28,3 | 7,2 | 1,18 | 9,7 | 4,7 | 22,09 | |
| 11,4 | 30,4 | 1,2 | 1,10 | 9,2 | 2,2 | 4,84 | |
| S | 10,49 | 304,9 | 31,1 | 1,7,02 | 105,6 | х | 260,05 |
| ср | 8,1 | 23,5 | 2,39 | 1,31 |
Ход решения
1. Рассчитать по всем показателям среднее значение ( и V. Результат занесем в таблицу 2.
Таблица 2. Характеристики ряда распределения
| Факторы | Среднее значение | Среднее квадратное отклонение | Коэффициент вариации |
| х1 | 23,5 | 14,83 | 0,632 |
| х2 | 2,39 | 2,22 | 0,929 |
| х3 | 1,31 | 0,34 | 0,261 |
| у | 8,1 | 6,80 | 0,843 |
Получим, что х1, х2, и у совокупность неоднородно, следовательно, должны исключить аномальные наблюдения
Не исключаем, т.к. важна методика !!!
2. Рассчитаем уравнение парной регрессии между результатом и каждым из факторных признаков.
Установим коэффициенты парной корреляции и детерминации (они характеризуют изолированное влияние каждого фактора на результат, т.к. другие факторы применяются на неизменном уровне).
Парные уравнения регрессии
Уравнение регрессии позволяет сделать вывод, что с увеличением доли ГКО в активах на 1% пункт, доля прибыли по всем активам увеличивается в среднем на 0,329 % пунктов.
ryx1 = 0,718 – связь прямая и достаточно сильная
r 2yx1 = 0,516 – при условии др. не считается
2) 
с увеличением отношения непроцентных доходов к процентным доходам на 1% пунктов, доля прибыли по всем активам увеличивается в среднем на 1,215%
ryx2 = 0,516
r 2yx2 = 0,158
3) 
ryx3 = 0,241 – связь непрямая и слабая
r 2yx3 = 0,058
С увеличением коэффициента полной ликвидности банка на 1 % доля прибыли по всем активам увеличивается в среднем на 4,788%
Вариация х3 объясняет вариацию у на 5,8 %
3. Построим матрицу парных коэффициентов вариации для выявления явно коллинеарных факторов.
Таблица 3. Матрица парных коэффициентов корреляции.
| Признаки | у | х1 | х2 | х3 |
| у | ||||
| х1 | 0,718 | |||
| х2 | 0,516 | 0,462 | ||
| х3 | 0,241 | 0,0053 | 0,134 |
Явно коллинеарных факторов нет, т.к. коэффициенты парной корреляции между факторными признаками не превышают 0,7.
Способы определения коэффициентов условно чистой регрессии.
Для определения данных коэффициентов рассчитаем определители
i – номер наблюдения,
j – номер фактора.
Результаты занесем в вспомогательную таблицу.
Таблица 4. Расчет многофакторной регрессии.
| № банк | Dх1 | Dх2 | Dх3 | Dу | D2х1 | D2х2 | D2х3 | D2у | DуDх1 | DуDх2 | DуDх3 | Dх1Dх2 | Dх1Dх3 | Dх2Dх3 |
| 0,5 | -0,04 | |||||||||||||
| 27,5 | 0,66 | |||||||||||||
| -13,1 | 0,84 | |||||||||||||
| -9,4 | -0,04 | |||||||||||||
| -18,1 | 0,03 | |||||||||||||
| -7,7 | -0,34 | |||||||||||||
| 5,7 | -0,16 | |||||||||||||
| 7,5 | -0,24 | |||||||||||||
| -10,0 | -0,23 | |||||||||||||
| -21,3 | 0,05 | |||||||||||||
| -26,9 | -0,20 | |||||||||||||
| 4,8 | -0,13 | |||||||||||||
| 6,9 | -0,23 | |||||||||||||
| å | - | 64,11 | 1,52 | 77,92 | 7,277 | 197,82 | 0,55 | 1,320 |
Для определения коэффициентов условно чистой регрессии рассчитаем систему нормальных уравнений
Из вспомогательной таблицы № 4 подставляем необходимые данные
Уравнение многофакторной регрессии примет вид
а = 8,01-(0б39q23,5+0,138q2,39+4,552q1,31)=5,713
Подставляя в данное уравнение значение факторов х1, х2, х3 получим теоретическое значение результативного признака.
Т.о. в отличии от коэффициентов парной регрессии, коэффициенты условно чистой регрессии измеряют влияние фактора, абстрагируясь от связей вариации этого фактора с вариациями другого фактора, включенных в модель.
Коэффициенты условно чистой регрессии, т.е. bj являются именованными числами, выраженными в различных единицах измерения, в тех же единицах, что и соответствующие им факторы. Поэтому они не сравнимы друг с другом, т.е. по их величине нельзя сделать вывод, какой из факторов в наибольшей степени влияет на результат. Для приведения их в сравнимый вид применяется то же преобразование, что и для получения парных коэффициентов. Полученную величину называют стандартизированным коэффициентом регрессии.