Нелинейная регрессия (линеаризация, оценка параметров)

Линеаризация модели заключается в том, что с помощью подходящих преобразований исходных переменных исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.

Для линеаризации модели в рамках первого подхода могут использоваться как модели, не линейные по переменным, так и не линейные по параметрам.

Если модель нелинейна по переменным, то введением новых переменных ее можно свести к линейной модели, для оценки параметров которой использовать обычный метод наименьших квадратов.

Так, например, если необходимо оценить параметры регрессионной модели

y ₌ β₀+ β₁*X1² + β₂√X2 + ε

то, вводя новые переменные Z1 = X1², Z2=√X2 получим линейную модельy = β₀ + β₁* Z1 + β₂*Z2 + ε параметры которой находятся обычным методом наименьших квадратов.

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций. Все нелинейные регрессии можно разделить на 2 класса:

1) Регрессии, нелинейные по объясняющим переменным, но линейные по оцениваемым параметрам:

- полиномы разных степеней y=a+b₁x+b₂x²+b₃x³ + ε

-равносторонняя гипербола y=a+b/x+ε

2) Регрессии, нелинейные по оцениваемым параметрам:

Степенная y = a*x^b*ε

Показательная y = a*b^x*ε

Экспоненциальная y = e^a+bx

Более сложной проблемой является нелинейность модели по параметрам, так как непосредственное применение метода наименьших квадратов для их оценивания невозможно. К числу таких моделей можно отнести, например, мультипликативную модель.

Оценка параметров нелинейной регрессии по объясняющим переменным (первого класса) проводится также методом наименьших квадратов, так как эти функции линейны по параметрам.

Для любого полинома (многочлена) к-го порядка

y = a + b₁x + b₂x²+…+b_kx^k + ε

c помощью замены переменных х1 = х, х2 = х², х_к=х^к получим линейную модель множественной регрессии

у = а + b₁x₁ + b₂x₂ +… +b_kx_k + ε

Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания и проверки гипотез.

31. Ожидаемое значение случайной переменной, её дисперсия и среднее квадратическое отклонение.

Переменная величина x с множеством возможных значений A_x называется случайной, если ее возможные значения t_i появляются в некотором опыте со случайными элементарными исходами u_i вида: u_i: x= t_i, где t_i.

Для описания случайных величин часто используются их числовые характеристики – числа, в сжатой форме выражающие наиболее существенные черты распределения СВ. Наиболее важными из них являются математическое ожидание, дисперсия, среднее квадратическое отклонение и др. Обращаем внимание на то, что в силу определения, числовые характеристики случайных величин являются числами неслучайными, определёнными.

Математическим ожиданием, или средним значением, М(Х) дискретной случайной величины Х называется сумма произведений всех её значений на соответствующие им вероятности:

Свойства мат. ожидания:

1) M(C)=C, где C – постоянная величина;

2) M(kX)=kM(X);

3)M(X±Y)=M(X)±M(Y);

4) M(XY)=M(X)·M(Y), где X,Y – независимые случайные величины;

5) M(X±C)=M(X)±C

6) M(X-a)=0, где a=M(X).

Дисперсией D(X) случайной величины Х называется математическое ожидание квадрата её отклонения от математического ожидания: D(X)=M[X-M(X)]² или D(X)=M(X-a)² где a=M(X).

(Для дисперсии СВ Х используется также обозначение Var(X).)

Дисперсия характеризует отклонение (разброс, рассеяние, вариацию) значений СВ относительно среднего значения.

Если СВ Х – дискретная с конечным числом значений, то

.

Дисперсия D(X) имеет размерность квадрата СВ, что не всегда удобно. Поэтому в качестве показателя рассеяния используют также величину .

Свойства дисперсии СВ:

1) D(C)=0, где C – постоянная величина;

2) D(kX)=k²D(X);

3) D(X)=M(X²)-a² где a=M(X);

4)D(X+Y)=D(X-Y)=D(X)+D(Y), где X и Y – независимые случайные величины.

Средним квадратическим отклонением (стандартным отклонением или стандартом)σ_х случайной величины Х называется арифметическое значение корня квадратного из её дисперсии:

.