Линейный множественный регрессионный анализ

Парный регрессионный анализ рассматривали при помощи графической иллюстрации. При изучении множественного регрессионного анализа такой возможности нет, так как нет графической интерпретации многомерного пространства. Ясно, что р-мерное пространство – это только математическая модель, экстраполяция свойств двумерного пространства на р-мерное. Если при этом не стараться наглядно представить себе р-мерное пространство, то никаких затруднений для понимания множественного регрессионного анализа не возникает. При проведении экспериментов в такой множественной ситуации исследователь фиксирует значения функции отклика (у) и всех факторов, от которых она зависит (хj). Результатами исследования являются уже не два вектор-столбца как при парном регрессионном анализе, а матрица результатов наблюдений:

Линейный множественный регрессионный анализ - student2.ru

где хij – значение j-го фактора в i-м исследовании; уi – значение функции отклика в i-м исследовании; n – число исследований; Линейный множественный регрессионный анализ - student2.ru ; р – число факторов.

Задача линейного множественного регрессионного анализа состоит в построении такого уравнения плоскости в (р + 1)-мерном пространстве, отклонение результатов наблюдений уi от которой были бы минимальными. Другими словами, следует вычислить значения коэффициентов b0, b1, …, bp в линейном полиноме

Линейный множественный регрессионный анализ - student2.ru , (11)

Таким образом, чтобы минимизировать выражение

Линейный множественный регрессионный анализ - student2.ru Линейный множественный регрессионный анализ - student2.ru , (12)

где Линейный множественный регрессионный анализ - student2.ru – предсказанные значения функции отклика по модели (11).

Для отыскания минимума указанного выражения необходимо найти частные производные по всем неизвестным коэффициентам b0, b1,…, bp и приравнять их к нулю. Полученные уравнения образуют систему нормальных уравнений

Линейный множественный регрессионный анализ - student2.ru (13)

Введем обозначение

Линейный множественный регрессионный анализ - student2.ru , Линейный множественный регрессионный анализ - student2.ru и Линейный множественный регрессионный анализ - student2.ru ,

тогда систему (13) можно записать в матричной форме

Линейный множественный регрессионный анализ - student2.ru , (14)

где XT – матрица, транспонированная к матрице Х. Для решения системы нормальных уравнений в матричной форме следует умножить ее слева на матрицу, обратную матрице системы нормальных уравнений, если она существует т.е.

Линейный множественный регрессионный анализ - student2.ru ,

но Линейный множественный регрессионный анализ - student2.ru , следовательно, столбец коэффициентов можно найти по выражению

Линейный множественный регрессионный анализ - student2.ru (15)

После определения коэффициентов b0, b1, …, bp и построения уравнения регрессии необходимо проверить его статистическую значимость при помощи критерия Фишера и статистическую значимость каждого bi ( Линейный множественный регрессионный анализ - student2.ru ) при помощи критерия Стьюдента. При необходимости можно построить доверительные интервалы истинных значений коэффициентов регрессии.

Адекватность регрессионной модели можно повысить, увеличивая степень полинома. Однако для полиномов высоких степеней при проведении матричных операций на вычислительной машине накапливаются столь значительные вычислительные погрешности округления, что решение становится практически невозможным. Поэтому обычно ограничиваются построением полинома второго порядка и проведением пошагового регрессионного анализа с включением или исключением переменных.



Наши рекомендации