Линейная множественная регрессия

При изучении множественной регрессии не существует графической интерпретации многофакторного пространства. При проведении экспериментов в такой ситуации исследователь записывает показания приборов о состоянии функции отклика у и всех факторов ^ , от которых она зависит. Результат исследований - это матрица наблюдений.

У1 ^х11 ^х12 •••xlj •••xlk

У2 ^х21 ^х22 •••x 2i •••x 2k

У1x ilx i2 •••x ii •••x ik

(4.29)

Упx nlx n2 •••xm--^nk

Здесь n - число опытов; k - число факторов; x_y - значение j-го фактора в i-м опыте; у - значение выходного параметра для i-ro опыта.

Задача линейной множественной регрессии состоит в построении гиперплоскости в (к+1)-мерном пространстве, отклонения результатов наблюдений у от которой были бы минимальными при использовании метода наименьших квадратов. Или, другими словами, следует определить значения коэффициентов bo, ..., bj, ..., bk в линейном полиноме

ку = bo + Xb jXi, j=l

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

минимизирующие выражение

Ф = У](у( -Уг)² = У][Уг -{bo +b_xx_x +... + bjX_iJ +... + b_kx_nk)]² -»mill. (4.30)

г i ^J

Процедура определения коэффициентов bo, ..., bj, ..., bk в принципе не отличается от одномерного случая, рассмотренного ранее, и поэтому здесь не приводится.

Для оценки тесноты связи между функцией отклика у и несколькими факторами х_ь х₂, ..., Xj, ..., x_k используют коэффициент множественной корреляции R, который всегда положителен и изменяется в пределах от 0 до 1. Чем больше R, тем качественнее предсказания данной моделью опытных данных с точки зрения близости ее к функциональной. При функциональной линейной зависимости R=1.

Расчеты обычно начинают с вычисления парных коэффициентов корреляции, при этом вычисляются два типа парных коэффициентов корреляции:

1) г_ух. - коэффициенты, определяющие тесноту связи между функцией отклика у и одним из факторов Xj;

2) iv _Y - коэффициенты, показывающие тесноту связи между одним из

^Aj^Au

факторов Xj и фактором x_u (j, u =Uk).

Если один из коэффициентов г_хх окажется равным 1, то это означает, что факторы Xj и х_и функционально связаны между собой. Тогда целесообразно один из них исключить из рассмотрения, причем оставляют тот фактор, у которого коэффициент г_ух. больше.

После вычисления всех парных коэффициентов корреляции можно построить матрицу коэффициентов корреляции следующего вида:

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

1 ^Гух, V, -^Г^ -^Гух_к

^Х\У xix2 '" xixJ '" ^х\^хк

х₂у х₂х_х " x₂xj " х₂х_к

(4.31)

г „ г _v г _v ... 1 ...г

SjJ Xjl; XjX₂

X у X Xi X Хт X

J**

Г „ г _т г _т ...г _т ... 1

^хк.» ^хк-*-1 ^хк-*-2 xj-*-£

Однако парные коэффициенты корреляции не характеризуют тесноту связи, так как они вычисляются при случайно изменяющихся значениях других факторов. Действительно, при рассмотрении трех и более случайных величин коэффициенты корреляции любой пары из этих случайных величин могут не дать правильного представления о степени связи между всеми случайными величинами. Это объясняется тем, что на закон распределения вероятностей исследуемой пары случайных величин могут оказывать влияние и другие рассматриваемые случайные величины. Это обстоятельство делает необходимым введение показателей стохастической связи между парой случайных величин при условии, что значения других случайных величин зафиксированы. В этом случае говорят о статистическом анализе частных связей. Используя матрицу (4.31), можно вычислить частные коэффициенты корреляции, которые показывают степень влияния одного из факторов Xj на функцию отклика у при условии, что остальные факторы остаются на постоянном уровне. Формула для вычисления частных коэффициентов корреляции имеет вид

ryxi,X2,.">xjv>xk ~ ^1}/л1^И '^jj

(4.32)

где Dij - определитель матрицы, образованной из матрицы (4.31) вычеркиванием 1-й строки и j-ro столбца. Определители D-ц и Djj вычисляют аналогично. Как и парные коэффициенты, частные коэффициенты корреляции изменяются от -1 до +1.

Значимость и доверительный интервал для коэффициентов частной корреляции определяются так же, как для коэффициентов парной корреляции, только число степеней свободы вычисляют по формуле

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

m = п -к*-2, (4.33)

где к*=к-1 - порядок частного коэффициента парной корреляции.

Для вычисления коэффициента множественной корреляции R yx₁,x₂,...,x_j,...,x_k используют матрицу (4.31):

R yx₁,x₂,...,x_j,...,x_k =V1"D/Dlb (4-34)

где D - определитель матрицы (4.31).

Множественный коэффициент корреляции дает оценку тесноты связи между у и совокупностью всех переменных х^ х₂, ..., Xj, ..., x_k .

Если число опытов п сравнимо с числом коэффициентов l=k+1, связи оказываются преувеличенными. Поэтому следует исключить систематическую погрешность, физический смысл которой состоит в следующем. Если разность п и I будет уменьшаться, то коэффициент множественной корреляции R будет возрастать и при n-l=0 окажется равным R=+1, а уравнение регрессии превратится в функциональное уравнение гиперплоскости, которая пройдет через все п экспериментальных точек. Однако ясно, что случайный характер переменных процесса при этом не может измениться. В связи с этим требуется оценка значимости коэффициента множественной корреляции.

Значимость коэффициента множественной корреляции проверяется по критерию Стьюдента:

R .

t = =>t_a._m; m = n-k-l,

где Sr - среднеквадратичная погрешность коэффициента множественной корреляции, рассчитываемая по выражению

Sr = (1 -R )Vn-к-1. (4.35)

Значимость R можно проверить также по критерию Фишера

R (п - к -1) (1-R²)k

F =----------------- . (4.36)

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

Если расчетное значение F превышает теоретическое F_a;mi_;m2, то гипотезу о равенстве коэффициента множественной корреляции нулю отвергают и связь считают статистически значимой. Теоретическое (табличное) значение критерия Фишера определяется для выбранного уровня значимости а и числа степеней свободы m₁ = n-k-1 и т₂=к .

Если коэффициент множественной корреляции оказался неожиданно малым, хотя априорно известно, что между выходом у и входами xi,...,x_k должна существовать достаточно тесная корреляционная связь, то возможными причинами такого явления могут быть следующие:

а) ряд существенных факторов не учтен, и следует включить в рассмот
рение дополнительно эти существенные входные параметры;

б) линейное уравнение плохо аппроксимирует в действительности нели
нейную зависимость y = f(x_l,...,x_k), и следует определить коэффициенты уже
нелинейного уравнения регрессии методами регрессионного анализа;

в) рабочий диапазон рассматриваемых факторов находится в районе
экстремума функции отклика - в этом случае следует расширить диапазон из
менения входных переменных, а также перейти к нелинейной математической
модели объекта.

Нелинейная регрессия

Используя подходы, изложенные ранее, можно построить практически любые формы нелинейной связи. С этой целью в инженерной практике очень часто используют линеаризующие преобразования.

В табл. 4.1 приведены часто встречающиеся парные зависимости и линеаризующие преобразования переменных. Качество преобразования результатов проверяют с помощью уравнения у = bo'+bi'-x\

Таблица 4.1 Функции и линеаризующие преобразования

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

№ п/п	Функция	Линеаризующие преобразования
Преобразование переменных	Выражения для величин bo и bi
У'	х'	bo'	bi'
	у = Ьо +Ъ\/х	у	1/х	bo	bi
	у = 1 /(bo + Ь\х)	1/у	X	bo	bi
	у = x/(bo +bjx)	х/у	X	bo	bi
	у = b()bix	lg(y)	X	lg(bo)	ig(bi)
	у = Ьп -е I^х	In (у)	X	ln(bo)	bi
	у = l/(bQ + b]e^_x )	1/у	е"^х	bo	bi
	y = bQXb^l	1д(у)	1д(х)	lg(bo)	bi
	у = bo + Ъ\ lg(x)	у	1д(х)	bo	bi
	у = bg /(Ъ\ + x)	1/у	X	b-i/bo	1/bo
	у = bQX /(Ъ\ + x)	1/у	1/х	bi/bo	1/bo
	y = bQeb^l/x	In (у)	1/х	ln(bo)	bi
	у = bQ +b^xn	у	х^п	bo	bi

После вычисления коэффициентов b₀' и bi', так же как в случае линейной зависимости от одного фактора, выполняют обратные преобразования, т.е. по bo' и Ь-Г определяют bo и Ь-i. Аналогичный подход обычно используют и при множественном нелинейном регрессионном анализе.

Контрольные вопросы

1. В чем заключаются сущность и основные задачи корреляционного, регрессионного и дисперсионного анализа?

2. Какие подходы используют при нахождении коэффициентов уравнения регрессии?

3. Сформулируйте исходные положения метода наименьших квадратов.

4. С помощью какого параметра оценивается теснота связи между случайными величинами? Поясните физическую суть этого параметра.

5. Как оценивается адекватность статистической модели?

6. Что называется частным коэффициентом корреляции?

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

7. Что называется множественным коэффициентом корреляции?

8. Какими свойствами обладают коэффициенты корреляции?

9. Каким образом производится проверка значимости коэффициентов уравнения регрессии?

10. В чем заключается постановка задачи линейной множественной регрессии?