Линейная регрессия

Пусть изучается система количественных признаков . В результате независимых опытов получены пар чисел

Найдем по данным наблюдений выборочное уравнение прямой линии среднеквадратичной регрессии. Для определенности будем искать уравнение регрессии на :

.

Поскольку различные значения признака и соответствующие им значения признака наблюдались по одному разу, то группировать данные нет необходимости. Также нет надобности использовать понятие условной средней, поэтому искомое уравнение можно записать так:

.

Угловой коэффициент прямой линии регрессии на называют выборочным коэффициентом регрессиинаи обозначают через ; он является оценкой коэффициента регрессии .

Итак, будем искать выборочное уравнение прямой линии регрессии на вида

(2.1)

Подберем параметры и b так, чтобы точки , построенные по данным наблюдений, на плоскости лежали как можно ближе к прямой. Уточним смысл этого требования. Назовем отклонением разность

, ,

где – вычисленная по уравнению (2.1) ордината, соответствующая наблюдаемому значению – наблюдаемая ордината, соответствующая .

Подберем параметры и b так, чтобы сумма квадратов отклонений была минимальной (в этом состоит сущность метода наименьших квадратов). Так как каждое отклонение зависит от отыскиваемых параметров, то и сумма квадратов отклонений есть функция этих параметров (временно вместо будем писать ):

, или .

Для отыскивания минимума приравняем нулю соответствующие частные производные:

, .

Выполнив элементарные преобразования, получим систему двух линейных уравнений относительно и :

; (2.2)

Решив эту систему, найдем искомые параметры:

(2.3)

Аналогично можно найти выборочное уравнение прямой линии регрессии на :

,

где – выборочный коэффициент регрессии на .

Пример 1. Найти выборочное уравнение прямой линии регрессии на .

Опытные данные представлены в таблице:

x	-2	-1
y	-0,4	0,2	0,7	1,6	2,0	3,5

Проверить адекватность полученной модели.