Статистические методы моделирования

Во всех предыдущих темах при конструировании тех или иных моделей мы предполагали наличие исходных данных, таких как производственные и транспортные затраты, прибыль от реализации; законы распределения вероятностей спроса на продукцию, параметров входного потока на обслуживание и т.п. Получить эти данные можно различными методами прогнозирования с использованием аппарата математической статистики, основы которой изучаются в курсе высшей математики, а также для ряда специальностей в отдельном курсе статистики.

В данной теме мы кратко изложим основные понятия и средства, используемые при статистическом анализе и прогнозировании экономических показателей.

Одна из наиболее общих задач статистики состоит в оценивании степени зависимости изучаемой случайной величины Y от одной или нескольких случайных (или неслучайных) величин X, называемых факторами. Зависимость может быть функциональной, статистической, либо отсутствовать вовсе.

Строгая функциональная зависимость между экономическими показателями (наличие всегда выполняющегося равенства Y=f(X)) реализуется редко, так как они подвержены влиянию случайных факторов. При статистической зависимости изменение одной из величин влечет изменение распределения другой (в частности, среднего значения; в этом случае статистическую зависимость называют корреляционной).

Примерами корреляционно, но не функционально, связанных величин являются объемы производства и себестоимость продукции, объемы продаж и прибыль, урожай зерна и количество внесенных удобрений. Действительно, в последнем примере с одинаковых по площади участков земли при равных количествах внесенных удобрений снимают различный урожай, т.е. отсутствует функциональная связь. Это объясняется влиянием случайных факторов (осадки, температура, качество семян и др.). Вместе с тем, как показывает опыт, средний урожай меняется с изменением количества удобрений, т.е. прослеживается корреляционная зависимость.

Если имеется n пар наблюдений (x_i,y_i), i=1,2,…,n, над такими случайными величинами, то наблюдения можно представить точками на плоскости с координатами (x_i,y_i), получая так называемую диаграмму рассеяния. Затем необходимо подобрать некоторую кривую (график соответствующей функции) таким образом, чтобы она располагалась как можно “ближе” к этим точкам. Такого рода кривую называют эмпирической или аппроксимирующей кривой. Весьма часто тип эмпирической кривой определяется экспериментальными или теоретическими соображениями (исходя из законов экономической теории), в противном случае выбор кривой осуществить довольно трудно. Иногда точки на диаграмме рассеяния располагаются таким образом, что не наблюдается никакого их группирования, и, соответственно, нет никаких оснований предполагать наличие в наблюдениях какой-либо взаимозависимости.

Исследование статистической взаимозависимости на основе выборочных данных и построение уравнений регрессии вида

y_x=f(x),

где y_x есть арифметическое среднее наблюдавшихся значений Y, соответствующих значению Х=х (условная средняя признака Y), и составляет предмет корреляционного анализа.

В самом простом случае предполагается, что f задает уравнение прямой f(x)=b₀+b₁х. Модель в этом случае имеет вид

Y_i=b₀+b₁х_i+e_i (i=1,2,…,n).

Здесь e_i являются вертикальными уклонениями точек (x_i,y_i) от аппроксимирующей прямой. Выбирают такие значения b₀ и b₁, которые минимизируют сумму квадратов этих уклонений, т.е. ищется минимум å _ie_i² = å _i(Y_i-b₀-b₁х_i)² по отношению к параметрам b₀ и b₁. Заметим, что указанный принцип наименьших квадратов может быть применен к любой кривой регрессии f(x).

Для отыскания минимума берутся частные производные по искомым параметрам (в данном случае по b₀ и b₁) и приравниваются к нулю. После выполнения элементарных преобразований получают так называемую систему нормальных уравнений, из которой и находятся искомые параметры. Для линейной регрессии получаем:

b₁=(ху – х·у)/(х² – (х)²), (1)

b₀= ((х)²·у– х· ху)/(х² – (х)²),

где ху=åx_iy_i/n, x=åx_i/n, y=åy_i/n, х² =åх_i²/n.

Угловой коэффициент b₁ прямой линии регрессии Y на X называют коэффициентом регрессии Y на X и обозначают r_yx.

Выражение, стоящее в (1) в знаменателе, есть выборочная дисперсия (или квадрат выборочного среднего квадратического отклонения) Х: х² –(х)²=s_х².

Выборочный коэффициент корреляции определяется равенством

r_yx =(ху – х·у)/(s_хs_y), (2)

значит с коэффициентом регрессии он связан соотношением

r_yx =r_yx (s_х/s_y). (3)

Коэффициент корреляции измеряет силу (тесноту) линейной связи между Y и X. Для него всегда выполняется 0£|r_yx|£1, и чем ближе его значение к ±1, тем сильнее линейная связь.

Если выборка имеет достаточно большой объем и хорошо представляет генеральную совокупность (репрезентативна), то заключение о тесноте линейной зависимости между признаками, полученными по данным выборки, в известной степени может быть распространено и на генеральную совокупность.

При большом размере выборки повторяющиеся пары наблюдений группируются в виде корреляционной таблицы. Если n_yx–количество наблюдений одинаковых пар (х,у), то для вычисления коэффициента корреляции в формуле (2) необходимо брать ху=ån_yxx_iy_i/n.

Для оценки тесноты любой корреляционной связи вводится корреляционное отношение Y к Х как отношение межгруппового среднего квадратического отклонения к общему среднему квадратическому отклонению признака Y:

h_yx=s_Yx/s_y. (4)

Здесь s_Yx = √(Sn_x(y_x – y)²)/n,

s_y = √Sn_y(y – y)²)/n,

где n – объем выборки (сумма всех частот); n_x – частота значения х признака Х; n_y – частота значения у признака Y; y – общая средняя признака Y; y_x – условная средняя признака Y.

Чем ближе корреляционное отношение к 1, тем теснее связь между признаками, однако оно не задает вида этой связи и не позволяет судить о степени близости наблюдений к какой-либо кривой.

Пример 1. Найти уравнение прямой линии регрессии Y на Х, коэффициент корреляции и корреляционное отношение по данным корреляционной табл. 1.

Таблица 1

Y	Х
			ny
		–
nх				n =50
ух

Вычислим сначала все средние и дисперсии:

у=(38*15+12*25)/50=17.4,

х=(10*10+28*20+12*30)/50=20.4,

х²=(10*100+28*400+12*900)/50=460,

ху=(4*10*15+28*20*15+6*30*15+6*10*25+6*30*25)/50=354,

s_х = Öх² – (х)² =Ö460 – 20.4² =Ö43.84=6.62,

s_y =Ö(38*(15 – 17.4)² +12(25 – 17.4)²)/50=4.27,

s_Yx =Ö(10(21 – 17.4)²+28(15 – 17.4)²+12(20 – 17.4)²)/50=Ö7.44=2.73.

Тогда коэффициент корреляции из (15.2):

r_yx =(354 – 20.4·17.4)/(6.62*4.27)=-0.034,

коэффициент регрессии из (15.3)

r_yx =-0.034*4.27/6.62=-0.022,

уравнение прямой регрессии имеет вид:

у_х – 17.4=-0.022(х – 20.4) или у_х =-0.022х + 17.85

и корреляционное отношение из (15.4):

h_yx=2.73/4.27=0.64.

Из вычисленных показателей можно сделать вывод:

Линейной связи между признаками нет, но какая-то связь есть, причем весьма существенная. Диаграмма рассеяния и прямая линия регрессии построены на рис. 1. (В кружках проставлены n_yx).

Для определения криволинейной функции регрессии по расположению точек на диаграмме рассеяния делают заключение о примерном виде этой функции, при этом необходимо учитывать особенности конкретной экономической задачи, в рамках которой анализируется взаимосвязь признаков.

25

у_х =-0.022х+17.85

15

10 20 30

Рис 1. Диаграмма рассеяния

Неизвестные параметры уравнения криволинейной регрессии также находятся методом наименьших квадратов. Например, глядя на рис.15.1, можно предположить, что имеет место параболическая корреляция второго порядка, т.е. следует искать уравнение регрессии вида

у_х =Ах²+Вх+С,

где А, В, С – неизвестные коэффициенты.

Пользуясь методом наименьших квадратов, получаем систему линейных уравнений относительно неизвестных параметров:

х⁴А+х³В+х²С=ух²,

х³А+х²В+хС=ух, (5)

х²А+х В+С=у.

Пример 2. По данным корреляционной таблицы 1 построить параболическую функцию регрессии.

Подставляя данные в (5), получаем систему:

286000А+11160В+460С=8100,

11160А+460В+20.4С=354,

460А+20.4В+С=17.4.

Решив эту систему, найдем А=0.055, В=-2.26, С=38.2.

Искомое параболическое уравнение регрессии принимает вид:

у_х =0.055х² – 2.26х+38.2 (Пунктирная линия на рис. 1).

Легко убедиться, что условные средние, вычисленные по данному уравнению, незначительно отличаются от условных средних корреляционной таблицы:

у₁₀ =0.055*10² – 2.26*10+38.2=21.1,

у₂₀ =0.055*20² – 2.26*20+38.2=15,

у₃₀ =0.055*30² – 2.26*30+38.2=19.9.

Найденное уравнение хорошо согласуется с данными наблюдений.

Значения экономических переменных определяются обычно влиянием не одного, а нескольких объясняющих факторов. Задача оценки статистической взаимосвязи переменных у и х=(х₁,х₂,…,х_m) формулируется аналогично случаю парной регрессии. Ищется функция у=f(a,х)+e, где a– вектор параметров, e– случайная ошибка.

В простейшем случае анализируется линейная зависимость у от х. Уравнение множественной линейной регрессии имеет вид:

у=a₀+a₁х₁ +a₂х₂ +…+a_mх_m+e. (6)

Если имеется n наблюдений факторов х и переменной у, то отклонение зависимой переменной у в j-м наблюдении от линии регрессии e_j= у_j – a₀ – a₁х_j1 – a₂х_j2 – … – a_mх_jm (j=1,2,…, n).

Метод наименьших квадратов предполагает поиск коэффициентов a_i таких, что Q=åe_j²®min. Оцененное уравнение описывает как общий тренд (тенденцию) изменения зависимой переменной у, так и отклонения от этого тренда. Проблема здесь состоит не только в том, чтобы объяснить возможно большую долю колебаний переменной у, но и отделить влияние каждого из факторов.

Для анализа статистической значимости полученных коэффициентов множественной линейной регрессии оценивают дисперсию D(a_i) и стандартные отклонения S(a_i)=ÖD(a_i) коэффициентов a_i. Величина t=a_i/S(a_i), называемая t–статистикой, имеет распределение Стьюдента с (n-m-1) степенями свободы. Если число степеней свободы достаточно велико (не менее 10), то при 5%-ном уровне значимости можно приближенно считать оценку незначимой, если t–статистика по модулю меньше 1, и весьма надежной, если модудь t–статистики больше 3.

Имеется много других критериев значимости коэффициентов уравнения линейной регрессии; в практике наиболее часто пользуются критериями Стьюдента, Фишера, Дарбина-Уотсона.

Уравнение (6) называют аддитивным, тогда как уравнение вида

у=a₀х₁^a1х₂^a2 ´…´х_m^am (7)

называется мультипликативным. Логарифмируя (7), приходим опять к линейному уравнению регрессии. Пусть, например, требуется оценить параметры производственной функции Кобба-Дугласа Y=AK^aL^b. Логарифмируя обе части, получаем

ln Y=lnA+alnK+blnL. (8)

Полученная формула линейна относительно логарифмов выпуска Y, капитала K и труда L, и она может быть оценена как множественная линейная регрессия.

В частном случае, когда a+b=1, делается преобразование

Y/L =A(K/L)^a Þ ln (Y/L) =lnA+aln(K/L). (9)

Далее оценивается парная линейная регрессия логарифма производительности труда Y/L от логарифма капиталовооруженности К/L. Если зависимость оценивается по данным временных рядов, то часть тренда зависимой переменной может объясняться действующими во времени факторами, например, в производственной функции Кобба-Дугласа нейтральный технический прогресс учитывают с помощью множителя е^gt:

Y=AK^aL^bе^gt Þ ln Y=lnA+alnK+blnL+ gt (10)

и опять приходим к модели линейной регрессии.

Для оценки степени связи качественных признаков вводят коэффициенты ранговой корреляции Спирмена и Кендалла. Упорядочение объектов выборки по ухудшению качества по разным признакам (ранжирование), вычисление и анализ коэффициентов ранговой корреляции, проверка гипотез об их значимости, составляет предмет теории экспертных оценок.

Второй областью использования математической статистики является проверка статистических гипотез.

Статистической называют гипотезу о виде неизвестного распределения, или о параметрах известных распределений.

Наряду с выдвинутой (основной, нулевой) гипотезой рассматривают и противоречащую ей (конкурирующую, альтернативную) гипотезу. В итоге статистической проверки гипотезы могут быть допущены ошибки двух родов.

Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза.

Ошибка второго рода состоит в том, что будет принята неправильная гипотеза.

Статистическим критерием называют случайную величину К с известным распределением, которая служит для проверки основной гипотезы. Эту величину обозначают через U или Z, если она распределена нормально, F или v² – по закону Фишера-Снедекора, Т – по закону Стьюдента, χ² – по закону «хи квадрат» и т.д.

Например, если проверяют гипотезу о равенстве дисперсий двух нормально распределенных величин, то в качестве критерия К принимают отношение выборочных дисперсий:

F =s₁²/s₂².

Эта величина распределена по закону Фишера-Снедекора.

Наблюдаемым значением К_набл называют значение критерия, вычисленное по выборочным данным частных значений входящих в критерий величин.

Критической областью называют совокупность значений критерия, при которых основную гипотезу отвергают.

Областью принятия решений называют совокупность значений критерия, при которых основную гипотезу принимают.

Основной принцип проверки статистической гипотезы заключается в следующем: если наблюдаемое значение критерия принадлежит критической области – гипотезу отвергают, если наблюдаемое значение критерия принадлежит области принятия решений – гипотезу принимают.

Критическими точками (границами) называют точки, разделяющие критическую область и область принятия решений.

Различают одностороннюю (с левой или правой границей) и двустороннюю критическую область.

Для нахождения критической области задаются достаточно малой вероятностью – уровнем значимости a (в практике используют a=0.05, a=0.01). Затем ищутся критические точки k_кр, исходя из требования, чтобы при условии справедливости основной гипотезы вероятность того, что значение критерия К выйдет за границы области принятия решения, была равна принятому уровню значимости. Например, правая граница должна удовлетворять соотношению:

Р(К > k_кр)= a. (11)

Для каждого критерия имеются соответствующие таблицы, по которым и находят критическую точку, удовлетворяющую этому требованию. Когда критическая точка найдена, вычисляют по данным выборок наблюденное значение критерия и, если К_набл > k_кр, то основную гипотезу отвергают, в противном случае говорят, что «данные наблюдений согласуются с основной гипотезой и нет оснований ее отвергать». Итак, пользуясь требованием (11) мы с вероятностью a рискуем совершить ошибку первого рода. При контроле качества продукции вероятность признать негодной партию годных изделий называют «риском производителя», а вероятность принять негодную партию – «риском потребителя».

На практике для большей уверенности принятия гипотезы ее проверяют другими критериями или повторяют эксперимент, увеличив объем выборки.

Отвергают гипотезу более категорично, чем принимают. Если оказалось, что наблюдаемое значение критерия принадлежит критической области, то этот факт и служит примером, противоречащим основной гипотезе, что позволяет ее отклонить.

Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что справедлива конкурирующая гипотеза, то есть вероятность того, что не будет допущена ошибка второго рода. Чем меньше вероятности ошибок первого и второго рода, тем критическая область «лучше». Поэтому при заданном уровне значимости критическую область следует строить так, чтобы мощность критерия была максимальной.

Единственный способ одновременного уменьшения вероятностей ошибок первого и второго рода (и, следовательно, возрастания мощности критерия) состоит в увеличении объема выборок.

Пусть генеральные совокупности Х₁,Х₂,…,Х_р распределены по нормальному закону и имеют одинаковую, хотя и неизвестную, дисперсию; математические ожидания также неизвестны, но могут быть различными. Требуется по выборочным средним проверить основную гипотезу о равенстве всех математических ожиданий. Для этого пользуются методом, который основан на сравнении дисперсий и поэтому назван дисперсионным анализом.

На практике дисперсионный анализ применяют, чтобы установить, оказывает ли существенное влияние некоторый качественный показатель (фактор) F, который имеет р уровней F₁,F₂,…,F_р, на изучаемую величину Х. Например, если требуется выяснить, какой вид инвестиций наиболее эффективен для получения наибольшей прибыли, то фактор F – инвестиция, а его уровни – виды инвестиций.

Основная идея дисперсионного анализа состоит в сравнении “факторной дисперсии”, порожденной воздействием фактора, и “остаточной дисперсии”, обусловленной случайными причинами. Если различие между этими дисперсиями значимо (применяется критерий Фишера), то фактор оказывает существенное влияние на Х. Если уже установлено влияние фактора и требуется выяснить, какой из уровней оказывает наибольшее воздействие, то дополнительно производят попарное сравнение средних значений.

Последовательность вычислений при дисперсионном анализе следующая (пусть х_ij – значение признака Х при i–м испытании (i=1,2,…,q) j–го уровня (j=1,2,…,p)):

Сначала вычисляется общая сумма квадратов отклонений наблюдаемых значений от общей средней х=( å_ijх_ij)/(рq):

S_общ=å_jå _i(х_ij – х)²,

затем факторная сумма квадратов отклонений групповых средних х_грj=(å_iх_ij)/q от общей средней, которая характеризует рассеяние “между группами”:

S_факт= q å_j(х_грj – х)²,

и остаточная сумма, которая характеризует рассеяние “внутри групп”, то есть отражает влияние случайных причин:

S_ост= S_общ – S_факт.

Разделив суммы квадратов отклонений на соответствующее число степеней свободы, получают факторную и остаточную дисперсии:

s²_факт= S_факт /(p – 1), s²_ост= S_ост /p/(q – 1).

В итоге гипотеза о равенстве средних отвергается, если отношение F_набл = s²_факт /s²_ост окажется больше F_кр (по критерию Фишера).

Пример 3. Имеется 4 варианта инвестиций по трем видам (табл.2). При уровне значимости 0.05 проверить гипотезу о равенстве групповых средних.

Таблица 2

вариант	Виды инвестиций (уровни фактора Fj)
i	F1	F2	F3
хгрj

Здесь р=3, q=4, х=(14+15+7)/3=12.

S_общ=(-1)²+0²+4²+5²+0²+2²+4²+6²+(-10)²+(-8)²+(-2)²+0²=266,

S_факт=4(2²+3²+(-5)²)=152,

S_ост=266 – 152=114,

s²_факт=152/(3 – 1)=76,

s²_ост=114/3/(4 – 1)=12.67.

Находим наблюдаемое значение критерия:

F_набл =76/12.67=6.

Учитывая, что число степеней свободы числителя равно 2, а знаменателя равно 9, по соответствующей таблице критерия Фишера находим критическую точку:

F_кр(0.05; 2; 9)=4.26.

Так как F_набл > F_кр, то основную гипотезу о равенстве групповых средних отвергаем.

Иногда дисперсионный анализ применяют, чтобы установить однородность нескольких совокупностей (совпадение и дисперсий и средних), т.к. однородные совокупности можно объединять в одну и тем самым получить о ней более полную информацию и сделать более надежные выводы.

В более сложных случаях исследуют воздействие нескольких факторов на нескольких уровнях и выясняют влияние отдельных уровней и их комбинаций (многофакторный дисперсионный анализ).

Методы математической статистики широко применяются для анализа экономических временных рядов.

В общем случае временной ряд содержит детерминированную и случайную составляющие:

у_t=f(t,х_t)+e_t, t=1,…,Т,

где у_t – значения временного ряда; f(t,х_t) – детерминированная составляющая; х_t – значения факторов, влияющих на детерминированную составляющую в момент t; e_t – случайная составляющая; Т – длина ряда.

Получив оценки детерминированной и случайной составляющих, решают задачи прогноза будущих значений как самого временного ряда, так и его составляющих.

Если детерминированная составляющая зависит только от времени и линейна относительно своих параметров, то задача сводится к задаче множественной линейной регрессии, рассмотренной выше.

Действительно, в этом случае

у_t=a₀+a₁j ₁(t) +a₂j ₂(t) +…+a_mj _m( t)+e_t, t=1,…,Т. (12)

В частном случае,

у_t=a₀+a₁t¹ +a₂t² +…+a_mt^m + e_t, t=1,…,Т. (13)

Детерминированная составляющая в свою очередь представляется тремя составляющими:

Долговременная эволюторно изменяющаяся составляющая является результатом действия факторов, приводящих к постепенному изменению экономического показателя. Так, в результате научно-технического прогресса, совершенствования системы управления производством показатели эффективности производства растут, а удельные расходы на единицу полезного эффекта снижаются.

Долговременная циклическая составляющая проявляется на протяжении длительного времени в результате действия факторов, обладающих большим последействием или циклически изменяющихся во времени. Например, кризисы перепроизводства или периодичность солнечной активности, влияющая на урожайность.

Сезонная циклическая составляющая легко просматривается в колебаниях продуктивности сельскохозяйственных животных, а также в колебаниях розничного товарооборота в зависимости от времени года.

Многие исследователи первую составляющую называют трендом, другие трендом называют все три составляющие.

Эволюторно изменяющуюся долговременную составляющую во многих практических случаях представляют как полиномиальный тренд, тогда как долговременная и сезонная циклические составляющие представляются тригонометрическими трендами.