Проверка гипотез о значимости регрессионных коэффициентов

Проверка гипотезы о значимости регрессионных коэффициентов основывается на выражении (25) . С целью проверки значимости коэффициента истинное значение коэффициента приравнивается к нулю (незначим). С учетом этого, формула (25) принимает вид (28).

(28)

Посчитав выражение (28) для и определив критическое значение по таблице распределения Стьюдента делаются следующие выводы:

1. Если , то коэффициент значим.

2. Если , то коэффициент незначим.

Используя выражение (28) для проверки значимости коэффициентов следует помнить о том, что она может оказаться не слишком точной из-за возможной коррелированности оценок коэффициентов регрессии , так как проверка осуществляется по индивидуальным доверительным интервалам. Идеальным условием для проведения подобной оценки является некоррелированность коэффициентов между собой, то есть все недиагональные элементы матрицы равны нулю.

Пример реализации регрессионного анализа.

Для демонстрации процедуры регрессионного анализа воспользуемся примером, взятым из книги авторского коллектива Вучков B., Бояджиева Л., Солаков Е. «Прикладной линейный регрессионный анализ». В результате эксперимента получены опытные данные (табл. 4), по которым влияние на выход химической реакции , оказывают влияние два фактора (время реакции (часы) и температура ). С целью упрощения вычислений, данные факторов были закодированы следующим образом:

- .

- .

Табл. 4. Опытные данные

№ п/п	(часы)
				-1
		-1
		-1		-1
	3,5		107,5
	3,5
			107,5
	3,5			-1
		-1	107,5

Необходимо найти оценки коэффициентов регрессионной модели, представленной в следующем виде:

Введя обозначения регрессоров: осуществляется переход к функции предсказанного отклика:

%ИСХОДНЫЕ ДАННЫЕ

x1=[1, 1,-1, -1, 0, 0, 1, 0, -1];

x2=[1, -1, 1, -1, 0, 1, 0, -1, 0];

y=[72, 63, 57, 49, 61, 67, 64, 56, 52];

n=9; %число измерений

Ysr=0; %среднее значение истинного отклика

Ysrp=0; %среднее значение предсказанного отклика

k=6; %число регрессоров

Sy=0; %сумма откликов истинного y

Syp=0; %сумма откликов предсказанного y

Q=0; %полная сумма квадратов ошибки

Qr=0; %сумма квадратов ошибки, обусловленная регрессией

Qost=0; %остаточная сумма квадратов ошибки

S2ost=0; %несмещенная оценка дисперсии случайного возмущения

S2r=0; %оценка дисперсий регрессии

MF=0; %матрица регрессоров

MFT=0; %транспонированная матрица регрессоров

MC=0; %обратная информационная матрица MC=(MFT*MF)^-1

b=0; %матрица коэффициентов b

%ПОИСК КОЭФФИЦИЕНТОВ УРАВНЕНИЯ РЕГРЕССИИ

%формируется матрица регрессоров

%mf1=1; mf2=x1; mf3=x2; mf4=x1*x2; mf5=(x1)^2; mf6(x2)^2

for i=1:n

for j=1:k

if j==1 MF(i,j)=1;

elseif j==2 MF(i,j)=x1(i);

elseif j==3 MF(i,j)=x2(i);

elseif j==4 MF(i,j)=x1(i)*x2(i);

elseif j==5 MF(i,j)=(x1(i))^2;

else MF(i,j)=(x2(i))^2;

end

end

end

disp('матрица регрессоров MF');

disp(MF); disp(' ');

%MF =

% 1 1 1 1 1 1

% 1 1 -1 -1 1 1

% 1 -1 1 -1 1 1

% 1 -1 -1 1 1 1

% 1 0 0 0 0 0

% 1 0 1 0 0 1

% 1 1 0 0 1 0

% 1 0 -1 0 0 1

% 1 -1 0 0 1 0

MFT=MF';

MC=inv((MFT*MF));

b=MC*MFT*y'; %b1=60.2222; b2=6.8333; b3=4.6667; b4=0.25; b5=-1.8333; b6=1.6667

%вывод коэффициентов

disp('коэффициенты уравнения:');

for i=1:k

number=num2str(i); %преобразуем i в строку

koef=num2str(b(i)); %преобразуем b(i) в строку

X=['b', number, '=', koef]; %массив строк

disp(X);

end

disp(' ');

%ДИСПЕРСИОННЫЙ АНАЛИЗ

%рассчитываются средние значения откликов

i=1;

while i<=n

yp(i)=b(1)+b(2)*x1(i)+b(3)*x2(i)+b(4)*x1(i)*x2(i)+b(5)*x1(i)^2+b(6)*x2(i)^2;

Syp=Syp+yp(i);

Sy=Sy+y(i);

i=i+1;

end

Ysr=Sy/n; %Ysr=60.1111

Ysrp=Syp/n; %Ysrp=60.1067

%оценка дисперсий

i=1;

while i<=n

Q=Q+(y(i)-Ysr)^2; %Q=428.8889

Qr=Qr+(yp(i)-Ysr)^2; %Qr=422.6462

Qost=Qost+(y(i)-yp(i))^2; %Qost=5.5284

i=i+1;

end

S2ost=Qost/(n-k); %S2ost=1.8428

S2r=Qr/(k-1); %S2r=84.5292

%вывод дисперсий

disp('полная сумма квадратов ошибки Q:');

disp(Q);

disp('ошибки, обусловленная уравнением регрессии Qr:');

disp(Qr);

disp('оценка дисперсии регрессии S2r:');

disp(S2r);

disp('ошибки, которые не может объяснить регрессия Qost:');

disp(Qost);

disp('оценка дисперсии случайного возмущения S2ost:');

disp(S2ost);

disp(' ');

%ПРОВЕРКА АДЕКВАТНОСТИ МОДЕЛИ

%yp=60.22+6.83*x1+4.66*x2+0.25*x1*x2-1.83*x1^2+1.66*x2^2

%S2ost=1.8428. Для вычисления дисперсии случайной ошибки проведены дополнительные опыты % nd5=10 в одном и том же режиме №5 табл.4 (x1=0 и x2=0).

Получены следующие результаты отклика y51=61.5, y52=60, y53=61, y54=63.1, y55=60.5, y56=63, y57=61.5, y58=59.9, y59=61.2, y510=62.

y5=[61.5, 60, 61, 63.1, 60.5, 63, 61.5, 59.9, 61.2, 62];

nd5=10; %число дополнительных наблюдений (параллельных опытов) для 5го наблюдения

S5y=0; % сумма откликов истинного y для 5го наблюдения

Y5sr=0; %среднее значение истинного отклика для 5го наблюдения

Qe=0; % сумма квадратов ошибки для 5го наблюдения

S25=0; %оценка дисперсии случайного возмущения для 5го наблюдения S25=Qe/(nd5-1)

F=0; %дисперсионное отношение F=S2ost/S25

i=1;

while i<=nd5

S5y=S5y+y5(i);

i=i+1;

end

Y5sr=S5y/nd5; % Y5sr=61.37

i=1;

while i<=nd5

Qe=Qe+(y5(i)-Y5sr)^2; %Qe=11.0410

i=i+1;

end

S25=Qe/(nd5-1); %S25=1.2268

F=S2ost/S25; %F=1.5021

%Примем уровень значимости a=0,05, тогда доверительная вероятность 1-a=0.95 при числах степеней свободы vост=n-k=6 и ve=nd5-1=9 в таблице %распределения Фишера находим FT1=3.86.

%Так как F<FT, то модель адекватна

FT1=3.86;

if F<FT1 disp('заключение проверки адекватности: Модель Адекватна')

else disp('заключение проверки адекватности: Модель Не Адекватна')

end

disp(' ');

%ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТА МНОЖЕСТВЕННОЙ КОРРЕЛЯЦИИ

R2=0; %коэффициент множественной корреляции R2=Qr/Q

F1=0; %дисперсия отношения F1=[R2*(n-k)]/[(1-R2)*(k-1)]

R2=Qr/Q; %R2=0.9854

F1=(R2*(n-k))/((1-R2)*(k-1)); %F1=40.6214

%Примем уровень значимости a=0,05, тогда доверительная вероятность 1-a=0.95 при числах степеней свободы vr=k-1=5 и vост=n-к=3 в таблице распределения Фишера находим FT=9.01.

%Так как F1>FT2, то R2 значим и его значение нельзя объяснить только случайными возмущениями.

FT2=9.01;

if F1>FT2 disp('R2 значим и его значение нельзя объяснить только случайными возмущениями')

else disp('R2 не значим и объясняется только случайными возмущениями')

end

disp(' ');

%ПОСТРОЕНИЕ ИНДИВИДУАЛЬНЫХ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ И ИНТЕРВАЛОВ БОНФЕРРОНИ

%построим интервалы в модели yp=b1+b2*x1+b3*x2+b4*x1*x2+b5*x1^2+b6*x2^2 для коэффициента b2=6.83

%b2-tt*s*sqrt(c22) <=B2<= b2-tt*s*sqrt(c22) где tt величина из таблицы распределения Стьюдента, с22 элемент матрицы МС, В2 истиностное знаение %коэффициента, s=sqrt(s25)

%Примем уровень значимости a=0,05 и ve=9, тогда по таблице распределения Стьюдента находится значение tt=2,26.

tt=2.26;

s=sqrt(S25);

min=0; %значение нижней границы доверительного интервала

max=0; %значение верхней границы доверительного интервала

min=b(2)-tt*s*sqrt(MC(2,2)); %min=5.8114

max=b(2)+tt*s*sqrt(MC(2,2)); %max=7.8553

%Таким образом, индивидуальный доверительный интервал для b2 при уровне значимости a=0.05 равен 5,8114 <=B2 <=7.8553

%определим доверительный интервал Бонферрони. Примем уровень значимости a=0,05 при этом вместо a берется a/k=00.5/6=0.0083, что примерно равно 0,01 и ve=9, тогда по таблице распределения Стьюдента находится значение ttb=3,25.

ttb=3.25;

minb=0; %значение нижней границы доверительного интервала Бонферрони

maxb=0; %значение верхней границы доверительного интервала Бонферрони

minb=b(2)-ttb*s*sqrt(MC(2,2)); %minb=5.3638

maxb=b(2)+ttb*s*sqrt(MC(2,2)); %maxb=8.3029

%Таким образом, индивидуальный доверительный интервал Бонферрони для b2 при уровне значимости a=0.05 равен 5,3638 <=B2 <=8.3029

%ПРОВЕРКА ГИПОТЕЗ О ЗНАЧИМОСТИ РЕГРЕССИОННЫХ КОЭФФИЦИЕНТОВ

%проверка значимости коэффициента b2=6,83

t2=0;

t2=abs(b(2))/(s*sqrt(MC(2,2))); %t2=15.1121

%При уровне значимости a=0,05 и числе степеней свободы ve=9, по таблице распределения Стьюдента находится значение tt=2,26.

%Так как t2>tt, то коэффициент b2 значим

tt=2.26;

if t2>tt disp('коэффициент b2 значим')

else disp('коэффициент b2 не значим')

end

Выполнение работы

Необходимо подобрать и обосновать регрессионную модель с учетом факторов, оказывающих влияние на зависимую переменную. При этом необходимо выполнить следующие итерации:

- выбор вида модели регрессии;

- определение оценочных коэффициентов модели ;

- проведение дисперсионного анализа результатов оценивания;

- проверка адекватности регрессионной модели;

- построить доверительные интервалы для коэффициентов регрессии;

- упростить модель посредством оценки значимости регрессионных коэффициентов;

- применение уравнения регрессии в реальных условиях.

1. При прокладке силовых коммуникаций основной возникающий вопрос – выбор сечения проводника, который нужно использовать. В таблице ниже имеются значения мощности тока (кВт) и сечения алюминиевого провода ( ), а также силы тока (A) в сетях переменного тока с напряжением 220 Вт. Требуется вычислить зависимость силы тока от сечения проводника и мощности тока.

№				№
		1,2	1,0			11,0	6,0
		2,2	1,0			13,9	10,0
		2,9	1,0			17,6	16,0
		3,5	2,5			20,1	25,0
		4,4	2,5			22,8	27,0
		5,5	2,5			26,2	29,0
		7,0	4,0			29,3	31,0
		8,8	4,0			32,6	33,0

2. По 20 предприятиям региона изучается зависимость выработки продукции на одного работника (тыс. руб.) от ввода в действие новых основных фондов (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих (%). Требуется вычислить зависимость выработки продукции на одного работника от ввода в действие новых основных фондов и удельного веса рабочих высокой квалификации в общей численности рабочих.

Номер предприятия				Номер предприятия
		3,7				6,3
		3,7				6,4
		3,9				7,2
		4,1				7,5
		4,2				7,9
		4,9				8,1
		5,3				8,4
		5,1				8,6
		5,6				9,5
		6,1				9,5

3. Изучается зависимость цены на нефть в мировом масштабе ($) от мирового спроса на нефть (млн. барр. в день) и мирового предложения (млн. барр. в день). При этом не учитываются политические и экономические факторы. Требуется определить зависимость цены на нефть от мирового спроса и предложения.

Квартал				Квартал
1 кв 2013	112,3167	90,79	90,42	3 кв 2015	51,5767	96,05	97,19
2 кв 2013	101,64	91,55	91,31	4 кв 2015	43,8167	95,64	97,38
3 кв 2013	110,0267	92,66	91,81	1 кв 2016	36,77	95,4	96,6
4 кв 2013	109,7767	93,04	91,87	2 кв 2016	49,1667	95,6	96,1
1 кв 2014	107,7433	92,53	92,23	3 кв 2016	46,1867	96,7	96,9
2 кв 2014	109,9467	92,58	93,15	4 кв 2016	51,8633	96,8	98,2
3 кв 2014	101,2933	93,52	94,37	1 кв 2017	54,7067	96,6	96,6
4 кв 2014	71,1133	94,32	95,57	2 кв 2017	49,9867	97,8
1 кв 2015	56,8933	94,01	95,21	3 кв 2017	54,19		97,8
2 кв 2015	65,31	94,47	96,47	4 кв 2017	62,8533	98,2	98,1

4. При проектировании и изготовлении летательных аппаратов используется зависимость числа Маха от динамического давления (Па) и температуры торможения воздуха (К). В таблице ниже представлены значения числа Маха, динамического давления и температуры торможения воздуха на высоте 1000 метров. Требуется получить уравнение зависимости числа Маха от динамического давления и температуры торможения воздуха на высоте 1 км.

№				№
	0,01	6,29136	281,656		0,16	1,62088	283,092
	0,02	2,51673	281,673		0,17	1,83133	283,278
	0,03	5,66336	281,701		0,18	2,05491	283,475
	0,04	1,007	281,74		0,19	2,2917	283,681
	0,05	1,57378	281,791		0,20	2,54175	283,903
	0,06	2,26687	281,853		0,21	2,80514	284,134
	0,07	3,08647	281,926		0,22	3,08197	284,376
	0,08	4,03282	282,011		0,23	3,37229	284,63
	0,09	5,1062	282,106		0,24	3,67621	284,893
	0,10	6,30695	282,213		0,25	3,99383	285,171
	0,11	7,63541	282,332		0,26	4,32521	285,458
	0,12	9,092	282,461		0,27	4,67018	285,756
	0,13	1,06771	282,602		0,28	5,02974	286,066
	0,14	1,23913	282,754		0,29	5,40308	286,387
	0,15	1,4235	282,917		0,3	5,79063	286,72

5. На предприятии зафиксированы значения производительности труда , среднесписочной численности работников (человек) и выпуска продукции (млн. руб.). Требуется получить зависимость производительности труда от среднесписочной численности работников и выпуска продукции.

№				№
	0,225		36,45		0,228		36,936
	0,15		23,4		0,284		53,392
	0,26		46,540		0,25		41,0
	0,308		59,752		0,29		55,680
	0,251		41,415		0,14		18,2
	0,17		26,86		0,2		31,8
	0,36		79,2		0,242		39,204
	0,288		54,720		0,296		57,128
	0,248		40,424		0,18		28,44
	0,19		30,21		0,258		43,344
	0,254		42,418		0,34		70,720
	0,315		64,575		0,252		41,832
	0,276		51,612		0,335		69,345
	0,22		35,42		0,223		35,903
	0,12		14,4		0,27		50,220

6. Для изготовления электрических нагревателей или проволочных резисторов, используется высокоомный провод. В данном случае был взят нихромовый провод. Его электрическое сопротивление (Ом) зависит от длины (м) и диаметра ( ) проводника. Требуется получить уравнение зависимости сопротивления проводника от его длины и диаметра.

№				№
			0,1			1,8	0,9
	5,5	1,1	0,2		1,9	1,9
		1,2	0,3		1,81		1,1
	3,25	1,3	0,4		1,75	2,1	1,2
	2,8	1,4	0,5		1,7	2,2	1,3
	2,5	1,5	0,6		1,64	2,3	1,4
	2,28	1,6	0,7		1,6	2,4	1,5
	2,125	1,7	0,8		1,56	2,5	1,6

7. При изготовлении датчиков температуры ( ) для управления микроклиматом используются чувствительные элементы из никеля (ОМ) и платины (Ом). Необходимо получить уравнение зависимости температуры датчика от сопротивления его элементов.

№				№
	-50	74,0	80,1			129,0	119,0
	-40	79,0	84,7			135,0	123,4
	-30	84,0	88,2			141,0	127,0
	-20	89,0	92,6			148,0	130,9
	-10	94,0	96,9			154,0	134,0
		100,0	100,0			161,0	138,0
		105,0	103,0			168,0	142,0
		111,0	107,9			176,0	146,0
		114,0	109,4			188,0	149,2
		117,0	111,7			190,0	153,8
		123,0	115,4

8. Изучаются свойства воды при температурах от до .Даны значения таких свойств воды как плотность ( ), температура ( ) и давление (кПа). Необходимо получить уравнение зависимости плотности воды от температуры и давления.

№				№
	0,99984		0,6113		0,9832		19,932
	0,9997		1,2281		0,97778		31,176
	0,99821		2,3388		0,97182		47,373
	0,99565		4,2455		0,96535		70,117
	0,99222		7,3814		0,9584		101,325
	0,98803		12,344

9. Изучаются свойства водорода , который является самым легким газом на планете. При высоких температурах его плотность чрезвычайно мала. При нагревании водород становится менее плотным, его плотность снижается. Однако при росте давления, плотность водорода будет увеличиваться пропорционально давлению. В таблице представлены значения плотности водорода ( ), давления (бар) и температуры ( ). Необходимо получить уравнение зависимости плотности водорода от температуры и давления.

№				№
	0,0870				0,0308
	0,8654				0,3068
	1,720				0,612
	3,398				1,219
	5,033				1,82
	6,627				2,416
	8,181				3,007
	0,0637				0,0244
	0,6342				0,2439
	1,232				0,487
	2,499				0,97
	3,712				1,45
	4,9				1,927
	6,064				2,4
	0,0415				0,0187
	0,4136				0,1865
	0,824				0,373
	1,637				0,743
	2,431				1,111
	3,229				1,478
	4,009				1,842

10. Изучаются свойства насыщенного водяного пара В таблице представлены значения плотности водяного пара ( ), абсолютного давления ( ) и температуры ( ). Необходимо получить уравнение зависимости плотности водяного пара от температуры и давления.

№				№
	0,00484	0,0062			1,715	3,192
	0,00680	0,0089			1,962	3,685
	0,00940	0,0125			2,238	4,238
	0,01283	0,0174			2,543	4,855
	0,01729	0,0238			3,252	6,303
	0,02304	0,0323			4,113	8,08
	0,03036	0,0433			5,145	10,23
	0,03960	0,0573			6,378	12,8
	0,05114	0,0752			7,840	15,85
	0,06543	0,0977			9,567	19,55
	0,0830	0,1258			11,600	23,66
	0,1043	0,1605			13,98	28,53
	0,1301	0,2031			16,76	34,13
	0,1611	0,255			20,01	40,55
	0,1979	0,3177			23,82	47,85
	0,2416	0,393			28,27	56,11
	0,2929	0,483			33,47	65,42
	0,3531	0,59			39,60	75,88
	0,4229	0,715			46,93	87,6
	0,5039	0,862			55,59	100,7
	0,5970	1,033			65,95	115,2
	0,7036	1,232			78,53	131,3
	0,8254	1,461			93,98
	0,9635	1,724			113,2	168,6
	1,1199	2,025			139,6	190,3
	1,296	2,367			171,0	214,5
	1,494	2,755			322,6

Контрольные вопросы к защите

1. Для чего предназначен регрессионный анализ?

2. С какой целью в регрессионном анализе используется МНК?

3. Каким образом составляется уравнение зависимости?

4. Назовите условия проведения классического регрессионного анализа?

5. Охарактеризуйте каждый возможный вид регрессии?

6. Укажите основные этапы проведения регрессионного анализа?

7. Каким образом осуществляется выбор вида регрессионной модели?

8. В чем заключается суть дисперсионного анализа?

9. Что такое сумма квадратов ошибки?

10. Как определяется полная сумма квадратов ошибки?

11. Как проводится оценка адекватности регрессионной модели?

12. С какой целью вводится коэффициент множественной корреляции?

13. Зачем используют коэффициент частной корреляции?

14. О чем говорят доверительные интервалы?

15. Каким образом реализуется проверка гипотез о значимости регрессионных коэффициентов?