Практическое занятие №3. Отсев грубых погрешностей.

3.1 Основные понятия и определения

Любые, даже тщательно поставленные, эксперименты могут давать неоднородные данные, поскольку могут измениться условия проведения опытов в процессе эксперимента. В этом случае наблюдения, соответствующие разным уровням факторов, будут принадлежать к разным генеральным совокупностям. Данные, соответствующие изменившимся условиям, называют грубыми погрешностями (ошибками) или резко выделяющимися (аномальными) значениями.

Грубая погрешность может возникнуть также при неправильной организации процесса измерения (например, из-за неправильной эксплуатации измерительных приборов, неправильного отсчета показаний, выхода из строя какого- либо элемента).

Как правило, экспериментальные данные могут содержать ~ 10% аномальных значений. Эти аномальные значения могут дать сильное смещение при оценке параметров распределения, особенно для дисперсии, так как ошибки заметно отклоняются от основной группы значений, а на дисперсию особенно сильно влияют крайние члены вариационного ряда (вариационный ряд – результаты наблюдений, расположенные в возрастающей последовательности x₁≤ x₂≤ x₃ ... ≤ x_i …≤x_n).Обычно экспериментаторы имеют дело с выборками небольшого объема (т.е. когда генеральная дисперсия σ_x² неизвестна и оценивается по опытным данным через выборочную дисперсию S_x²), причем именно в этом случае аномальные данные имеют большой вес.Известен ряд методов отсева грубых погрешностей. Общим моментом для всех методов является построение вариационного ряда x₁≤ x₂≤ x₃ ... ≤ x_i …≤x_nпо имеющейся выборке значений x₁, x₂, …, x_n. Затем вычисляют значения специфических для каждого метода статистик, которые сравнивают с соответствующими критическими значениями. Рассмотрим некоторые методы отсева грубых погрешностей.

1. Метод максимального относительного отклонения для выборок объемом 3 ≤ n ≤ 25:

а) вычисляем среднее значение выборки по формуле:

, где (3.1)

- значение наблюдаемого признака;

n - объем выборки.

б) вычисляем среднеквадратичное отклонение по формуле:

(3.2)

в) определяем статистику по формуле:

, где (3.3)

– крайний (наибольший или наименьший) элемент выборки, по которой рассчитывалось среднее значение и среднеквадратичное отклонение.

г) сравниваем найденное значение статистики с табличным значением статистики, вычисленные при доверительной вероятности (p - 0,90; 0,95; 0,975; 0,99) или уровнях значимости α - 0,10; 0,05; 0,025 и 0,01. На практике обычно используют уровень значимости α = 0,05 (результат получается с 95 % - й доверительной вероятностью)

(3.4)

Если выполняется условие , то наблюдение не отсеивается, в противном случае - исключается.

Процедуру отсева повторяют для следующего по абсолютной величине максимального относительного отклонения, но предварительно необходимо пересчитать характеристики эмпирического распределения по данным сокращенной выборки.

2. Другой способ отсева грубых погрешностей для выборок малых объемов заключается в следующем:

а) вычисляем по формуле :

, где (3.5)

- уточняющий коэффициент

б) полученный результат сравниваем с критическим значением, взятым из таблицы (квантили распределения при соответствующей доверительной вероятности (0,95)) при соответствующих n и (1-p).

3. Если выборка большого объема, то для отсева грубых погрешностей лучше использовать таблицы распределения Стьюдента:

а) из таблицы выбираем наблюдения, имеющие наибольшие отклонения:

(3.6)

б) вычисляем:

(3.7)

Так как критическое значение (p- процентная точка нормированного выборочного отклонения) выражается через критическое значение распределения Стьюдента t_{p, n-2} , по таблице (Приложение ).

Находим процентные точки t -распределения Стьюдента для 5% и 0,1% и соответствующем n (объем выборки) и вычисляем соответствующие точки критического значения по формуле (3.8) и (3.9).

(3.8)

(3.9)

д) полученное (3.7) сравниваем с соответствующими точками критического значения .

Если => наблюдение отсеивать нельзя;

Если => от отсева выделяющегося наблюдения лучше воздержаться, но можно и отсеять, если в пользу этой процедуры имеются еще и другие соображения экспериментатора (например, заключения, сделанные на основе изучения физических, химических и других свойств изучаемого явления);

Если => наблюдения отсеиваются всегда.

Если то или иное наблюдение будет отсеяно, необходимо пересчитать выборочные характеристики для нового массива данных (без отсеянного значения ) при объеме выборки и повторить процедуру отсева для следующего по абсолютной величине наибольшего (наименьшего) отклонения.

3.2 Отсев грубых погрешностей на примере

Для выборки, представленной в таблице 1.1 (n = 20), необходимо провести отсев грубых погрешностей.

1. Отсев грубых погрешностей методом максимального относительного отклонения:

а) вычисляем среднее значение выборки:

б) вычисляем среднеквадратичное отклонение:

в) определяем статистику для крайних (наибольшего или наименьшего) элементов выборки:

- для наибольшего элемента выборки

- для наименьшего элемента выборки

г) определяем табличное значение статистики (Приложение ) при доверительной вероятности q= 0,95 или уровне значимости 0,05

д) сравниваем найденные значения статистики с табличным значением

2,06 < 2,62 - наблюдение отсеивать нельзя

1,42 < 2,62 - наблюдение отсеивать нельзя

2 Отсев грубых погрешностей для выборок малых объемов. Возьмем выборку n=10 и представим ее в виде вариационного ряда (таблица 3.1).

Таблица 3.1 – Значения выборки

№
xi	0,15	0,34	0,99	1,11	1,57	2,23	2,34	2,34	2,48	4,15

По формуле 3.5 вычислим значение τ. Для этого необходимо вычислить

среднеквадратичное отклонение по формуле 3.2.

Данные необходимые для вычисления приведем в таблице 3.2.

Таблица 3.2 - Данные для вычисления

№	xi
	0,15	-1,62	2,624
	0,34	-1,43	2,045
	0,99	-0,78	0,608
	1,11	-0,66	0,436
	1,57	-0,2	0,04
	2,23	0,46	0,212
	2,34	0,57	0,325
	2,34	0,57	0,325
	2,48	0,71	0,504
	4,15	2,38	5,664
∑	17,7		12,783

Определяем статистику для крайних (наибольшего или наименьшего) элементов выборки по формуле:

- для наибольшего элемента выборки

- для наименьшего элемента выборки

г) определяем табличное значение статистики (Приложение ) при доверительной вероятности q= 0,95 или уровне значимости 0,05

д) сравниваем найденные значения статистики с табличным значением

1,315 < 2,29 - наблюдение отсеивать нельзя

0,895 < 2,29 - наблюдение отсеивать нельзя.

3 Отсев грубых погрешностей для выборок большого объема (использование таблиц распределения Стьюдента).

Для выборки, представленной в таблице 1.1 (n = 20), необходимо провести отсев грубых погрешностей с использованием таблиц распределения Стьюдента.

Определяем среднее значение для данной выборки, отклонение от среднего для каждого члена выборки и среднеквадратичное отклонение. Все результаты вычисления сведем в таблицу 3.3.

Таблица 3.3 - Данные для вычисления ,

№				№
	9,81	5,734	32,879		6,72	2,644	6,991
	2,34	-1,736	3,0137		5,15	1,074	1,153
	6,55	2,474	6,121		0,34	-3,736	13,958
	0,15	-3,926	15,413		2,23	-1,846	3,408
	8,63	4,554	20,739		4,85	0,774	0,599
	7,11	3,034	9,205		5,01	0,934	0,872
	1,57	-2,506	6,280		4,15	0,074	0,005
	2,34	-1,736	3,014		1,11	-2,966	8,797
	5,55	1,474	2,173		2,48	-1,596	2,547
	0,99	-3,086	9,523		4,44	0,364	0,132
∑	81,52		146,824

Из таблицы 3.3 выберем наблюдения, имеющие наибольшее и наименьшее отклонения:

Вычисляем τ для по формуле (3.7).

По таблице (Приложение ) находим процентные точки t -распределения Стьюдента для 5% и 0,1% и соответствующем объеме выборки (n=20).

t_{(0,1; 18)} = 3,6105 t_{(5; 18)} = 1,7341

Вычисляем соответствующие точки критического значения по формуле (3.8) и (3.9):

Полученные сравниваем с и делаем соответствующие выводы.

Тогда, для максимального значения выборки выполняется условие

1,6491<2,061<2,825 – решение об отсеве данного наблюдения принимается экспериментатором.

Для минимального значения выборки выполняется условие 1,412<1,6491 – наблюдение отсеивать не нужно.