Проверка гипотезы о распределении. Критерий Пирсона.

При проверке статистических гипотез о соответствии отдельных параметров закона распределения случайных величин предполагалось, что законы распределения этих величин известны. Однако при решении практических задач (особенно экономических) модель закона распределения в общем случае заранее неизвестна, поэтому возникает необходимость выбора модели закона распределения, согласующейся с результатами выборочных наблюдений.

Пусть x₁, x₂ ,...,x_n – выборка наблюдений случайной величины Х с неизвестной непрерывной функцией распределения F(x). Проверяется гипотеза Н₀, утверждающая, что Х распределена по закону, имеющему функцию распределения F(x), равную функции F₀(x), т.е. проверяется нулевая гипотеза .

Критерии, с помощью которых проверяется нулевая гипотеза о неизвестном распределении, называются критериями согласия. Рассмотрим критерий согласия Пирсона.

Схема проверки нулевой гипотезы :

1. По выборке x₁ , x₂ ,..., x_n строят вариационный ряд; он может быть как дискретным, так и интервальным. Рассмотрим для определенности дискретный вариационный ряд

xi	x1	x2	...	xk-1	xk
mi	m1	m2	...	mk-1	mk

2. По данным предыдущих исследований или по предварительным данным делают предположение (принимают гипотезу) о модели закона распределения случайной величины Х.

3. По выборочным данным проводят оценку параметров выбранной модели закона распределения. Предположим, что закон распределения имеет r параметров (например, биномиальный закон имеет один параметр p; нормальный – два параметра (a₀ , σ_x) и т.д.).

4. Подставляя выборочные оценки значений параметров распределения, находят теоретические значения вероятностей

, i=1, 2,..., k.

5. Рассчитывают теоретические частоты , где .

6. Рассчитывают значение критерия согласия Пирсона

.

Эта величина при стремится к распределению с степенями свободы. Поэтому для рассчетов используют таблицы распределения .

7. Задаваясь уровнем значимости α, находят критическую область (она всегда правосторонняя) ; значение определяют из соотношения . Если численное значение попадает в интервал , то гипотеза отклоняется и принимается альтернативная гипотеза о том, что выбранная модель закона распределения не подтверждается выборочными данными, при этом допускается ошибка, вероятность которой равна α.

Задача 6. Экзаменационный билет по математике содержит 10 заданий. Пусть Х – случайная величина числа задач, решенных абитуриентами на вступительном экзамене. Результаты сдачи экзамена по математике для 300 абитуриентов таковы:

i
xi
mi

Оценить закон распределения случайной величины Х.

Решение. Для составления гипотезы о модели закона распределения случайной величины Х сделаем следующие предположения:

· вероятность решения задачи не зависит от исхода решения других задач;

· вероятность решить любую отдельно взятую задачу одна и та же и равна p, а вероятность не решить задачу равна q=1-p.

При этих допущениях можно предположить, что Х подчинена биномиальному закону распределения (нулевая гипотеза), т.е. вероятность того, что абитуриент решит x задач, может быть подсчитана по формуле

. (1)

Найдем оценку параметра p, входящего в модель (1).

Здесь p – это вероятность того, что абитуриент решит задачу. Оценкой вероятности p является относительная частота p^*, которая вычисляется по формуле

,

где – среднее число задач, решенных одним абитуриентом;

v – число задач, решаемое каждым абитуриентом.

Тогда оценку для p получим в виде

Подставим значения p^*=0,6 и q^*=1-0,6=0,4 в выражение (1) и при различных x_i получим теоретические вероятности и частоты (табл. 1).

Таблица 1

Номер группы i	xi
		0,0001	0,03
		0,0016	0,48
		0,0106	3,18
		0,0425	12,75
		0,1115	33,45
		0,2007	60,21
		0,2508	75,24
		0,2150	64,50
		0,1209	36,27
		0,0403	12,09
		0,0060	1,80

Из таблицы видно, что для групп 1, 2, 3 и 11 теоретическая частота . Такие группы обычно объединяются с соседними. Значения для групп 1, 2 и 3 можно объединить с . Это представляется естественным, потому что за 0, 1, 2 и 3 решенные задачи на экзамене обычно ставится неудовлетворительная оценка. Объединим так же группу 11 с группой 10 и составим табл. 2.

Таблица 2

Номер группы i
xi	0-3						9-10
mi

По данным табл. 2 рассчитываем величину критерия согласия:

.

Зададимся уровнем значимости α=0,05, тогда для степеней свободы .

Величина , следовательно, нулевая гипотеза должна быть отвергнута.

Задача 7. Результаты взвешиваний 50 случайным образом отобранных пачек чая приведены ниже (в граммах):

150, 147, 152, 148, 149, 153,. 151, 150,149, 147, 153, 151, 152, 151, 149, 152, 150, 148, 152, 150, 152, 151, 148, 151, 152, 150, 151, 149, 148, 149, 150, 150, 151, 149, 151, 150, 151, 150, 149, 148, 147, 153, 147, 152, 150, 151, 149, 150, 151, 153.

Оценить закон распределения случайной величины Х – массы пачки чая – для уровня значимости α=0,05.

Решение. Масса пачки чая – непрерывная случайная величина, но в силу того, что взвешивание проведено с дискретностью 1 г и размах составляет 147÷153 г, непрерывная величина может быть представлена дискретным вариационным рядом:

Таблица 1.

Значение случайной величины Х	xi
Частота появления	mi

В качестве модели закона распределения выберем нормальный закон , число параметров которого r=2: a₀ – математическое ожидание, σ_x – среднее квадратичное отклонение.

По выборочным данным получим оценки параметров нормального закона распределения:

;

, s=1,68.

Для рассчета теоретических частот воспользуемся табличными значениями функции Лапласа Ф(z). Алгоритм вычисления состоит в следующем:

• находим по нормированным значениям случайной величины Z значения Ф(z), а затем F_N(x):

, .

Например,

x₁=147; z₁=(147–150,14)/1,68= –1,87; Ф(–1,87)= –0,46926; F_N(147)=0,03074;

• находим ;

• находим , и если некоторое , то соответствующие группы объединяются.

Результаты вычисления , и приведены в табл. 2.

По таблице находим по схеме: для уровня значимости и числа степеней свободы . Следовательно критическая область .

Величина не входит в критическую область, поэтому гипотеза о том, что случайная величина Х – масса пачки чая – подчинена нормальному закону распределения, согласуется с выборочными данными.

Таблица 2

i	xi+xi+1	mi	Ф(zi)	FN(xi)	FN(xi+1)	= FN(xi+1)– – FN(xi)
	–∞÷147		–0,50000	0,00000	0,03074	0,03074	1,537	—
	147÷148		–0,46926	0,03074	0,10204	0,07130	3,563	0,237
	148÷149		–0,39796	0,10204	0,24825	0,14621	7,31	0,730
	149÷150		–0,25175	0,24825	0,46812	0,21987	10,99	0,813
	150÷151		–0,03188	0,46812	0,69497	0,22685	11,34	0,010
	151÷152		0,19497	0,69497	0,86650	0,17153	8,58	0,683
	152÷153		0,36650	0,86650	0,95543	0,08893	4,45	2,794
	153÷∞		0,45543	0,95543	1,00000	0,04457	2,23	—
	Σ=50		Σ=1,00000		Σ=5,267

Цель занятий: Привить студентам навыки проверки статистических гипотез. Обратить особое внимание на усвоение понятий, связанных с проверкой гипотез (статистический критерий, ошибки 1 и 2 рода и т.д.). После решения каждой задачи обсудить другие варианты выводов с разными и разными уровнями значимости.

К занятию по данной теме должны быть подготовлены ответы на следующие вопросы:

1. Как изменяются вероятности совершения ошибки первого и второго рода при увеличении объема выборки?

2. Зависят ли вероятности совершения ошибок первого и второго рода от вида альтернативной гипотезы, от применяемого критерия?

3. В чем состоит односторонность действия статистических критериев значимости?

4. Можно ли, применяя статистический критерий значимости, сделать вывод: «Проверяемая нулевая гипотеза верна»?

5. В чем состоит различие между построением двусторонней критической области и построением доверительного интервала для одного и того же параметра?

Задача 1.Были исследованы 200 готовых деталей на отклонение истинного размера от расчетного. Сгруппированные данные исследований приведены в табл.5.

Таблица 5

Границы интервалов	–20 ÷ –10	–10 ÷ – 0	0 ÷ 10	10 ÷ 20	20 ÷ 30
Число деталей с данной величиной отклонения

По данному статистическому ряду построить гистограмму. По виду гистограммы выдвинуть гипотезу о виде закона распределения (например, предложить, что исследуемая величина имеет нормальный закон распределения). Подобрать параметры закона распределения (равные их оценкам на основе опытных данных). На том же графике построить функцию плотности вероятности, соответствующую выдвинутой гипотезе. С помощью критерия согласия проверить, согласуется ли гипотеза с опытными данными. Уровень значимости взять, например, равным 0,05.

Решение.Для того чтобы получить представление о виде закона распределения изучаемой величины, строим гистограмму. Для этого над каждым интервалом построим прямоугольник, площадь которого численно равна частоте попадания в интервал

(рис.8.)

По виду гистограммы можно выдвинуть предположение о том, что исследуемая величина имеет нормальный закон распределения. Параметры нормального закона распределения (математическое ожидание и дисперсию) оценим на основе опытных данных, считая в качестве представителя каждого интервала его середину:

;

.

Итак, выдвигаем гипотезу, что исследуемая величина имеет нормальный закон распределения N(5;111,6), т.е. имеет функцию плотности вероятности

.

График её удобнее строить с помощью таблиц функции

.

Например, точка максимума и точки перегиба имеют ординаты соответственно

,

Вычислим меру расхождения между выдвинутой гипотезой и опытными данными, т.е. . Для этого сначала вычисляем вероятности, приходящиеся на каждый интервал в соответствии с гипотезой

Аналогично ,

, .

Вычисление удобно вести, оформляя запись следующим образом:

	0,069 0,242 0,362 0,242 0,069	13,8 48,4 72,4 48,4 23,8	5,2 -6,4 -1,4 7,5 -1,8	-27,04 40,96 1,96 57,76 3,24	1,96 0,85 0,02 1,19 0,23

Итак, вычислено значение . Построим критическую область для уровня значимости . Число степеней свободы для равно 2 (число интервалов , а на наложено три связи: , и . В результате ). Для заданного уровня значимости и числа степеней свободы находим из таблицы, распределения такое значение , чтобы .

В нашем случае , и критической областью будет интервал [5,99;¥). Значение в критическую область не входит. Вывод: гипотеза опытным данным не противоречит (что не означает, конечно, что гипотеза верна).

Задача 2. В виде статистического ряда приведены сгруппированные данные о времени безотказной работы 400 приборов:

Время безотказной работы в часах	от 0 до 500	500 - 1000	1000- 1500	1500-2000
Число приборов

Согласуются ли эти данные с предположением, что время безотказной работы прибора имеет интегральную функцию распределения ? Уровень значимости взять, например, равным 0,02.

Решение. Подсчитаем вероятности, приходящиеся в соответствии с гипотезой на интервалы:

p =P(0<X<500)=F(500)-F(0)=1-e -1+e =1- » 0,6324;

p =P(500<X<1000)=1-e -1+e =0,3676-0,1351»0,2325;

p =P(1000<X<1500)=1-e -1+e =0,1351-0,0499=0,0852;

p = P(1500<X<2000)=1-e -1+e =0,0499-0,0182=0,0317;

Вычисляем c .

ni	pi	npi	ni- npi	(ni- npi)2	(ni-npi) / npi
	0,6324 0,2325 0,0852 0,0317	252,96 34,08 12,68	4,04 -15 14,92 3,32	16,32 222,6 11,02	0,06 2,42 6,53 0,87

S=9,88=c ;

Число степеней свободы равно трём, так как на 4 величины n наложена только одна связь Sn = n (r =4 -1=3). Для трех степеней свободы и уровня значимости b=0,02 находим из таблицы распределения c критическое значение c =9,84. Значение c =9,88 входит в критическую область. Вывод: гипотеза противоречит опытным данным. Гипотезу отвергаем и вероятность того, что мы при этом ошибаемся, равна 0,02.

Задача 3. Монету подбросили 50 раз. 32 раза выпал герб. С помощью критерия согласия “хи-квадрат ” проверить, согласуются ли эти данные с предположением, что монета была симметричной.

Решение.Выдвигаем гипотезу, что монета была симметричной, т. е. вероятность выпадания герба равна 1/2. В нашем опыте герб выпал 32 раза и 18 раз выпала цифра Вычисляем значение c_в .

ni	pi	npi	ni- npi	(ni- npi)	(ni- npi) / npi
	1/2 1/2				1,96 1,96

c =3,92

Число степеней свободы для c равно r = 2–1=1; так как слагаемых два, а на n наложена одна связь ν +ν =50.

Для числа степеней свободы r =1 и уровня значимости, например, равного β=0,05 находим из таблицы распределения c , что P(c 3,84)=0,05, т.е. областью критических значений c при уровне значимости β=0,05 будет интервал [3.84; ). Вычисленное значение c =3,92 попадает в критическую область, гипотеза отвергается. Вероятность того, что мы при этом ошибаемся равна 0,05.

Задача 4. Изготовитель утверждает что в данной большой партии изделий только 10% изделий низкого сорта.Было отобрано наугад пять изделий и среди них оказалось три изделия низкого сорта. С помощью леммы Неймана-Пирсона построить критерий и проверить гипотезу о том, что процент изделий низкого сорта действительно равен 10 (p =0,1) против альтернативы, что процент не низкосортных изделий больше 10 (p=p >p ). Вероятность ошибки первого рода выбрать »0,01, т.е. включить в критическую область столько точек, чтобы вероятность отвергнуть проверяемую гипотезу, если она верна, была 0,01. Эта вероятность назначается приблизительно, чтобы не прибегать к рандомизации, о которой студенты не имеют представления. Если p =0,6, то какова вероятность ошибки второго рода?

Решение.Согласно гипотезе p₀=0,1 при альтернативном значении p >p . По лемме Неймана-Пирсона в критическую область следует отнести те значения k, для которых

= >C,

где С- некоторая постоянная,

,

k + (5 -k) ,

или

.

Так как , то выражение в скобке неотрицательно. Поэтому

Значит в критическую область следует включить те из значений {0,2,1,3,4,5}, которые больше некоторого , зависящего от уровня значимости (от вероятности ошибки первого рода). Для определения в предположении, что гипотеза верна, вычисляем вероятности

,

,

,

.

Если к критической области отнести значения {3,4,5}, то вероятность ошибки первого рода будет равна

.

В условиях задачи оказалось, что среди пяти проверенных три бракованных изделия. Значение входит в критическую область. Гипотезу отвергаем в пользу альтернативы и вероятность того, что мы это делаем ошибочно, меньше 0,01.

Вероятностью ошибки второго рода называется вероятность принять гипотезу, когда она не верна. Гипотеза будет принята при . Если вероятность изготовления бракованного изделия на самом деле равна , то вероятность принять ложную гипотезу равна

Задача 5. Известно, что при тщательном перемешивании теста изюмины распределяются в нём примерно по закону Пуассона, т.е. вероятность наличия в булочке изюмин равна приблизительно , где - среднее число изюмин, приходящееся на булочку. При выпечке булочек с изюмом полагается по стандарту на 1000 булочек 9000 изюмин. Имеется подозрение, что в тесто засыпали изюму меньше, чем полагается по стандарту. Для проверки выбирается одна булочка и пересчитываются изюмины в ней. Построить критерий для проверки гипотезы о том, что против альтернативы . Вероятность ошибки первого рода взять приблизительно 0,02.

Решение.Для проверки гипотезы: против альтернативы по лемме Неймана-Пирсона в критическую область следует включить те значения для которых

,

где - некоторая постоянная.

Тогда

,

,

так как , то

и .

Итак, в критическую область следует включить значения {0,1,2,…, }, где значение зависит от ошибки 1-го рода.

При

.

Отсюда следует, что если мы включим в критическую область значения для числа изюмин , то вероятность ошибки первого рода равна

.

Дополнительные задачи.

Задача 1. Для проверки эффективности новой технологии были отобраны две группы рабочих: в первой группе численностью n₁=50 чел., где применялась новая технология, выборочная средняя выработка составила (изделий), во второй группе численностью n₂=70 чел. выборочная средняя – (изделий). Предварительно установлено, что дисперсии выработки в группах равны соответственно и . На уровне значимости α=0,05 выяснить влияние новой технологии на среднюю производительность.

Решение. Проверяемая гипотеза , т.е. средние выработки рабочих одинаковы по новой и старой технологиям. В качестве конкурирующей гипотезы можно взять или (В данной задаче более естественна гипотеза Н₁, так как ее справедливость означает эффективность применения новой технологии).

Фактическое значение статистики критерия

.

При конкурирующей гипотезе Н₁ критическое значение статистики находится из условия , т.е. , откуда t_кр=t_0,95=1,96.

Так как фактически наблюдаемое значение t=4,00 больше критического значения t_кр (при любой из взятых конкурирующих гипотез), то гипотеза Н₀ отвергается, т.е. на 5%-ом уровне значимости можно сделать вывод, что новая технология позволяет повысить среднюю выработку рабочих.

Задача 2. Произведены две выборки урожая пшеницы: при своевременной уборке урожая и уборке с некоторым опазданием. В первом случае при наблюдении 8 участков выборочная средняя урожайность составила 16,2 ц/га, а среднее квадратическое отклонение – 3,2 ц/га; во втором случае при наблюдении 9 участков те же характеристики равнялись соответственно 13,9 ц/га и 2,1 ц/га. На уровне значимости α=0,05 выяснисть влияние своевременой уборки урожая на среднее значение урожайности.

Решение. Проверяемая гипотеза , т.е. средние значения урожайности при своевременной уборке урожая и с некоторым опозданием равны. В качестве альтернативной гипотезы берем гипотезу , принятие которой означает существенное влияние на урожайность сроков уборки.

Фактически наблюдаемое значение статистики критерия

.

Критическое значение статистики для односторонней области определяется при числе степеней свободы l=n₁+n₂-2=9+8-2= =15 из условия θ(t,l)=1–2·0,05=0,9, откуда по таблице t-распределения (Приложение 6) находим, t_кр=1,75. Так как , то гипотеза Н₀ принимается. Это означает, что имеющиеся выборочные данные на 5%-ом уровне значимости не позволяют считать, что некоторое запаздывание в сроках уборки оказывает существенное влияние на величину урожая. Еще раз подчеркнем, что это не означает безоговорочную верность гипотезы Н₀. Вполне возможно, что только незначительный объем выборки позволил принять эту гипотезу, а при увеличении объемов выборки (числа отобранных участков) гипотеза Н₀ будет отвергнута.

Задача 3. Имеются следующие данные об урожайности пшеницы на 8 опытных участках одинакового размера (ц/га): 26,5; 26,2; 35,9; 30,1; 32,3; 29,3; 26,1; 25,0. Есть основание предполагать, что значение урожайности третьего участка x^*=35,9 зарегистрировано неверно. Является ли это значение аномальным (резко выделяющимся) на 5%-ном уровне значимости?

Решение. Исключив значение x^*=35,9, найдем для оставшихся наблюдений и . Фактически наблюдаемое значение больше табличного , следовательно, значение x^*=35,9 является аномальным, и его следует отбросить.

Задача 4. На двух токарных станках обрабатываются втулки. Отобраны две пробы: из втулок, сделанных на первом станке n₁=15 шт., на втором станке – n₂=18 шт. По данным этих выборок рассчитаны выборочные дисперсии (для первого станка) и (для второго станка). Полагая, что размеры втулок подчиняются нормальному закону распределения, на уровне значимости α=0,05 выяснить, можно ли считать, что станки обладают различной точностью.

Решение. Имеем нулевую гипотезу , т.е. дисперсии размера втулок, обрабатываемых на каждом станке, равны. Возьмем в качестве конкурирующей гипотезу (дисперсия больше для первого станка).

.

По таблице P-распределения (Приложение 5) определяем критическое значение F-критерия на уровне значимости α=0,05 при числе степеней свободы l₁=n₁ –1=14 и l₂=n₂ –1=17, т.е. . Так как F<f_кр, то гипотеза Н₀ не отвергается, т.е. имеющиеся данные не позволяют считать, что станки обладают различной точностью.

Замечание. Если в качестве конкурирующей гипотезы в данной задаче взять гипотезу , то следовало взять дыустороннюю критическую область и найти и соответственно из условий и . При этом гипотеза Н₀ отвергается, если полученное значение или .

Однако непосредственно по таблицам F-критерия можно найти лишь правую границу (бóльшую единицы), левую же границу (меньшую единицы) находят из соотношения, доказанного для F-критерия:

.

В данном случае при α=0,05 в задаче следовало найти

и .

Задача 5. На основании сделанного прогноза средняя дебиторская задолженность однотипных предприятий региона должна составить а₀=120 ден. ед. Выборочная проверка 10 предприятий дала среднюю задолженность ден. ед., а среднее квадратическое отклонение задолженности s=20 ден. ед. На уровне значимости α=0,05 выяснить, можно ли принять данный прогноз.

Решение. Проверяемая гипотеза . В качестве альтернативной возьмем гипотезу . Так как генеральная дисперсия σ² неизвестна, то используем t-критерий Стьюдента. Статистика критерия равна . Критическое значение статистики t_кр=1,83.

Так как |t|>t_кр (2,25>1,83), то гипотеза Н₀ отвергается, т.е. на 5%-ном уровне значимости сделанный прогноз должен быть отвергнут.

Задача 6. Для эмпирического распределени