Линейный множественный регрессионный анализ

Парный регрессионный анализ рассматривали при помощи графической иллюстрации. При изучении множественного регрессионного анализа такой возможности нет, так как нет графической интерпретации многомерного пространства. Ясно, что р-мерное пространство – это только математическая модель, экстраполяция свойств двумерного пространства на р-мерное. Если при этом не стараться наглядно представить себе р-мерное пространство, то никаких затруднений для понимания множественного регрессионного анализа не возникает. При проведении экспериментов в такой множественной ситуации исследователь фиксирует значения функции отклика (у) и всех факторов, от которых она зависит (х_j). Результатами исследования являются уже не два вектор-столбца как при парном регрессионном анализе, а матрица результатов наблюдений:

где х_ij – значение j-го фактора в i-м исследовании; у_i – значение функции отклика в i-м исследовании; n – число исследований; ; р – число факторов.

Задача линейного множественного регрессионного анализа состоит в построении такого уравнения плоскости в (р + 1)-мерном пространстве, отклонение результатов наблюдений у_i от которой были бы минимальными. Другими словами, следует вычислить значения коэффициентов b₀, b₁, …, b_p в линейном полиноме

, (11)

Таким образом, чтобы минимизировать выражение

, (12)

где – предсказанные значения функции отклика по модели (11).

Для отыскания минимума указанного выражения необходимо найти частные производные по всем неизвестным коэффициентам b₀, b₁,…, b_p и приравнять их к нулю. Полученные уравнения образуют систему нормальных уравнений

(13)

Введем обозначение

, и ,

тогда систему (13) можно записать в матричной форме

, (14)

где X^T – матрица, транспонированная к матрице Х. Для решения системы нормальных уравнений в матричной форме следует умножить ее слева на матрицу, обратную матрице системы нормальных уравнений, если она существует т.е.

,

но , следовательно, столбец коэффициентов можно найти по выражению

(15)

После определения коэффициентов b₀, b₁, …, b_p и построения уравнения регрессии необходимо проверить его статистическую значимость при помощи критерия Фишера и статистическую значимость каждого b_i ( ) при помощи критерия Стьюдента. При необходимости можно построить доверительные интервалы истинных значений коэффициентов регрессии.

Адекватность регрессионной модели можно повысить, увеличивая степень полинома. Однако для полиномов высоких степеней при проведении матричных операций на вычислительной машине накапливаются столь значительные вычислительные погрешности округления, что решение становится практически невозможным. Поэтому обычно ограничиваются построением полинома второго порядка и проведением пошагового регрессионного анализа с включением или исключением переменных.