Метод наименьших квадратов

Парная регрессия – уравнение связи двух переменных y и x

y=f(x)

y – зависимая переменная; x – независимая, объясняющая переменная.

Различают линейные и нелинейные регрессии.

Линейная регрессия: y=a+bx+ε

Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.

Регрессии, нелинейные по объясняющим параметрам:

² полиномы разных степеней y=a+b₁x+b₂x²+b₃x³+ε

² равносторонняя гипербола

Регрессии, нелинейные по оцениваемым параметрам:

² показательная

² степенная

² экспоненциальная

Построение уравнения регрессии сводится к оценке ее параметров. Для оценки параметров регрессий, линейных по параметрам, применяют метод наименьших квадратов (МНК). В МНК подбирают параметры искомой формулы таким образом, чтобы сумма квадратов отклонений фактических значений зависимой переменной y от теоретических значений y_f, вычисленных по формуле, минимальна, т.е.

Если величину F рассматривать как функцию нескольких переменных

F(a, b,...) и воспользоваться теорией экстремумов, то при предположении о дифференцируемости f получаются необходимые условия для определения параметров a, b...:

Если, в частности, выбрать в качестве y=f(x) линейную зависимость y=a+bx, то задача сводится к нахождению точки минимума функции . Если точка минимума существует, то она является критической, т.е.

.

Таким образом, для нахождения параметров линейной регрессии y=a+bx получена система уравнений (n – число заданных пар значений x_i;y_i)

.

Легко получить и другую форму записи решения. Очевидно, что совокупность равенств y_i=a+bx_i может быть записана в виде AZ=Y, где первый столбец матрицы А есть столбец исходных данных y_i, Z – столбец искомых параметров регрессии a, b, столбец Y –столбец исходных данных x_i:

Тогда легко показать, что Z=(A^TA)^-1A^TY.

В некоторых случаях для оценки параметров уравнений нелинейной регрессии можно использовать систему уравнений для получения параметров линейной регрессии. Рассмотрим подробнее некоторые случаи:

² построению степенной модели предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:

где

² построению уравнения показательной кривой предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:

где

² уравнение равносторонней гиперболы линеаризуется при замене Тогда

² уравнение гиперболы линеаризуется при замене . Тогда .

² уравнение линеаризуется при замене . Тогда .

Множественная регрессия – уравнение связи с несколькими независимыми переменными

y=f(x₁, x₂,, ..., x_p ),

y – зависимая переменная; x_i – независимые, объясняющие переменные.

Для построения уравнения множественной регрессии чаще используются следующие функции:

² линейная y=a+b₁x₁+b₂x₂+...+b_px_p

² степенная

² экспонента

² гипербола .

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов. Для линейных уравнений и нелинейных уравнений, приводимых к линейным, составляется система линейных уравнений, решение которой позволяет получить коэффициенты уравнения регрессии: