Оценивание с помощью доверительного интервала

В отличие от точечной оценки, интервальная оценка позволяет получить вероятностную характеристику точности оценивания неизвестного параметра.

Идея оценивания с помощью доверительного интервала заключается в том, чтобы в окрестности точечной оценки попытаться построить такой интер-

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

вал (доверительный интервал), который с некоторой, отличной от нуля, вероят­ностью (доверительной вероятностью) накрыл бы оцениваемый параметр рас­пределения.

Доверительный интервал - интервал, который с заданной вероятностью накроет неизвестное значение оцениваемого параметра распределения.

Доверительная вероятность - вероятность того, что доверительный ин­тервал накроет действительное значение параметра, оцениваемого по выбо­рочным данным.

Оценивание с помощью доверительного интервала - способ оценки, при котором с заданной доверительной вероятностью устанавливают границы до­верительного интервала.

Предположим, что для оценки параметра 0 удалось найти две функции 01*(х-|, х₂, ..., х_п) и 02*(xi, х₂, ..., х_п), такие, что при всех (x-i, х₂, ..., х_п) и при любых значениях 0 выполняется условие

01 < ©2 ;

/ *( \ *( \ (3.17)

PJ0l(x1 ,x2 ,...,x_n)<0<02(x1 ,x2 ,...,x_n)j=l-a.

Это означает, что действительное значение параметра 0 находится в ин­тервале значений (01*;02*) с вероятностью Р.

Интервал (01*;02*) как раз и называют доверительным интервалом для неизвестного параметра 0, а соответствующую ему вероятность Р{01*<0<0₂*} -доверительной вероятностью (или надежностью) Р=1-а, где а - уровень значи­мости. Если, к примеру, a = 0,05, то строится доверительный интервал с дове­рительной вероятностью 0,95 (или 95-процентный доверительный интервал).

Часто доверительный интервал находится как интервал, симметричный относительно точечной оценки параметра. Для симметричного доверительного интервала его ширина 25 определяется условием

р|е-ё1*а}=.-«.₍₃,8,

где 0 * - точечная оценка параметра 0.

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

При фиксированном значении а (вероятности того, что доверительный интервал не накроет действительного значения параметра) чем меньше б, тем точнее оценивается 0.

Вероятностное утверждение Р{0₁*<0<0₂*} не следует понимать таким образом, что параметр 0 есть случайная величина, которая с вероятностью Р попадет в интервал между 01* и 0₂*.

Любой параметр распределения 0 (в отличие от его оценок) - это детер­минированная величина, неизвестная нам, но имеющая строго определенное, фиксированное значение (которое, по крайней мере, теоретически, может быть найдено при исследовании всей генеральной совокупности). Границы в:* и 0₂* (как некоторые функции от результатов наблюдений) есть случайные величи­ны. Поэтому утверждение P{01*<0<0₂*} = Р означает, что для данного довери­тельного интервала (01*;0₂*) вероятность содержать значение 0 равна Р.

Рассмотрение способов получения интервальных оценок для основных параметров распределения начнем с построения доверительного интервала для математического ожидания, так как именно такие задачи наиболее часто встречаются в инженерной практике.

3.2.1. Построение доверительного интервала для математического ожида­ния

Как уже было отмечено, наилучшей (состоятельной, несмещенной и эф­фективной) точечной оценкой математического ожидания случайной величины X с нормальным законом распределения является ее выборочное среднее

арифметическое x . Поэтому за основу построения доверительного интервала для математического ожидания обычно выбирается именно эта точечная оцен­ка данного параметра. Задача получения интервальной оценки в этом случае

заключается в поиске границ (x—S; x+S)такого интервала, который с заданной доверительной вероятностью Pм_х накроет действительное значение математи­ческого ожидания M_х (рис.3.1).

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

8 б

-L_______ с^ -^

М_х x ^х

Рис.3.1. Построение доверительного интервала для математического ожидания

При построении любой интервальной оценки, в том числе и для матема­тического ожидания, необходимо знать распределение той точечной оценки (случайной величины), которая берется за основу для построения доверитель­ного интервала.

В математической статистике доказано, что выборочное среднее ариф­метическое x из п независимых результатов наблюдений случайной величины, распределенной нормально с параметрами М_х и сг_х², также подчиняется нор­мальному закону распределения с параметрами:

М(x) = М_х, (3.19)

a^z(x) = a_x² /n. (3.20)

Подтвердить справедливость равенства (3.19) можно хотя бы тем, что выборочное среднее арифметическое - это несмещенная оценка математиче­ского ожидания, следовательно, по определению (см. (3.2)), математическое ожидание этой оценки (выборочного среднего арифметического) равно значе­нию оцениваемого параметра (математическому ожиданию).

Соотношение (3.20) не должно, интуитивно, вызывать ни каких серьезных возражений: ведь если подсчитать выборочное среднее арифметическое по нескольким выборкам одного и того же объема, а затем найти дисперсию полу­ченных значений, то вероятнее всего предположить, что разброс (дисперсия) выборочных средних арифметических будет меньше, чем разброс (дисперсия) самих опытных данных.

Прокомментируем это положение следующим иллюстративным число­вым материалом (в продолжение примера 3.1). На каждом двадцатом по ходу технологического процесса рельсе Р65 (по ГОСТ 18267-82) получены следую­щие значения твердости на поверхности катания головки:

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

первый рельс - 351, 370, 365 (хнв = 362 , S_m = 97);

двадцать первый рельс - 375, 369, 345 (хнв = 363 , S²_HB = 252);

сорок первый рельс - 348, 363, 369 (хт = 360 ,s²_HB = 117 ).

Если теперь по (3.8) оценить дисперсию такой случайной величины, как ИВ, то получим

2 1 S----------- нв 3 —1

2,33.

(362² +363² +360²)—(362 +363 +360²

Как видно из этого числового примера, выборочная дисперсия средних арифметических - 2,33 по трем выборкам (объемом 3) почти на порядок мень­ше тех выборочных дисперсий (97, 252 и 117), которые имеют сами опытные данные.

Для более строгого обоснования соотношения (3.20) напомним, что если случайная величина У = Х-\ ± Х₂ - является суммой или разностью двух незави­симых случайных величин Х^ и Х₂, то справедливо равенство

² _² .²

у *₁ x₂ (3.21)

Кроме того, дисперсия произведения случайной переменной X и посто­янной величины (константы) С равна

^ '^х. (3.22)

Закон сложения дисперсий справедлив при любом числе слагаемых.

Учитывая, что х = ^х_; и а\ - дисперсия случайной величины X, а также со-отношения (3.21) и (3.22), получаем:

_a(x)_=a2 1±_Xi)J1\_a(±_Xi)₌₂L₌zL

п _/=1 \П)

что и требовалось доказать, причем сг(x) = а_х

У/п

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

Если заранее известна дисперсия а_x², то доверительный интервал для математического ожидания М_x рассчитывается достаточно просто. Его границы можно найти, например, следующим образом.

Поскольку случайная величина X подчиняется нормальному закону рас-пределения с параметрами М(х) = М_x и (^(х) = а_х²/п , то соответствующая ей приведенная случайная величина

Х-М(х) Х-М^
Z =--------- ^ =------- =>, (3.23)

а(х)

а_х Ып

имеет нормированный стандартный нормальный закон распределения [см.(2.27)].

Квантиль х_Р порядка Р такой случайной величины, как X, определяется аналогично (2.32а) и с учетом соотношений (3.19) и (3.20) равна:

х_р = М(х) +z Ых) = М_х +z -р

Далее, в соответствии с (2.20)

Р (Хр\ <Х< Хр2) = Р

K+^p_l-r<x<M_x+z_P2-^

= Р -Р

^I2 ¹V

Если в последнем соотношении неравенство, стоящее под знаком веро­ятности, разрешить относительно М_x, то получим

P

x-z_P2^<M_x<x-z_pl-_r

Р -Р

(3.24)

Если ~*<M_x+z_nZk, _то -м_х<-х_+2р2^ следовательно, ^х > *-*«-7=

•V" Л/И Л/"

ст* : ст.

и, аналогично, если ^Х>М* ⁺z"it, то "^М* >-x+z_n^

и, следовательно, ^М*^<х"^7?.

Таким образом, вероятность того, что выполняется неравенство

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

x-_Zp2^<M_x<x-z_p1^

л/ YI л.1 Yl ' Iv/.tOJ

будет Р = Р₂ - Р\ = 1 - а.

Если для примера принять Р-\= 0,025 и Р₂ = 0,975 (Р=0,975-0,025 =0,95; а=0,05), то, поскольку (см. (2.32)) zo,o25 = z-i-0,975 = - zo,975 ,a zo,975 = 1,96 (по табли­цам [11], табл. П.2 или используя НОРМСТОБР(0,975) =1,959961), получим

а _ а

Дх-1,96—=<М <х+1,96—:=) =0,95,

л/и л/и (3.26)

т.е. при многократном извлечении выборок (объемом п каждая) из нор­мально распределенной генеральной совокупности (с параметрами М_х и а_х²) можно построить последовательность соответствующих данным выборкам ин­тервалов (3.26), причем примерно 95% этих интервалов будут включать в себя (накрывать) истинное значение математического ожидания М_х.

При построении доверительного интервала для математического ожида­ния обычно принимают Р₁=а/2иР₂ = 1 - а/2, т.е. рассматривают симметричные границы относительно выборочного среднего арифметического. В инженерных приложениях для значений а обычно выбирают а = 0,1 или а = 0,05, реже а = 0,01, т.е. строят такие доверительные интервалы, которые в 90 или 95% (реже 99%) случаев накрывают математическое ожидание.

С учетом соотношения (2.32) z _а/2= - zi._a/2, по (3.25) получаем, что вероят­ность выполнения неравенства

^X~1-^a/2Tn^< x^<X+1-^a/2^ (3-27)

v

равна Р = 1 - а/2 - а/2 = 1 - а.

Следовательно, интервал (3.27) является доверительным интервалом для математического ожидания М_х случайной величины с нормальным законом распределения, построенным с доверительной вероятностью Р= 1- а. Границы

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

x-z -^- х+z -^-
этого интервала равны ¹~^a/2 J~^ и ¹~^a/2 J~^ , а половина его ширины

S = ¹ -^ (см. рис.3.1) ^Z^^a/24n-

Пример 3.2.При проектировании системы управления базой данных было проведено исследование характеристик файлов ряда действующих и раз­рабатываемых информационных систем. В процессе исследования рассмотре­ны п = 49 файлов и получены следующие данные: средняя величина файла

^х"55 Кбайт, а(х) =11. Необходимо определить доверительный интервал М_х; объем выборки п, который необходимо выполнить, чтобы точность статистиче­ских выводов б < 2, и величину записи R на физическом уровне хранения дан­ных, обеспечивающую размещение файлов с надежностью Р=0,95.

Воспользовавшись соотношением (3.26), рассчитаем доверительный ин­тервал:

11 ,, 11

55-1,96-== <М_Х < 55+1,96-==,

л/49 л/49

51,9< М_х< 58,1.

Длина записи R = 55 + 1,96 *11 « 77 кбайт. Необходимый объем выборки для б = 2 составит

f 11\2

п

1,96

На практике, как правило, число измерений (например, отбора проб ших­ты, чугуна, стали и других материалов) конечно и не превышает 10...30. При та­ком малом числе наблюдений фактическая дисперсия а_х² неизвестна, поэтому при построении доверительного интервала для математического ожидания M_х используют выборочную дисперсию S_x².

В этом случае приведенная случайная величина, аналогичная (3.23),

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

(х — М )
S 14п (3.27а)

где S_x - выборочное среднее квадратичное отклонение, определяемое по формуле (3.10), имеет распределение, отличное от нормального. Функция рас­пределения случайной величины t (3.27) имеет вид

Г

т + \

2 t

m } \ m

I-./ \ 2 J Г 1 '
г ( ) ⁼------------ — I "^|---

■4тип -Г

dt,

(3.28)

где Г(у) - гамма-функция, являющаяся обобщением понятия факториала и обладающая рекуррентным свойством: Г(у + 1) = уГ(у) (для целых чисел п справедливо Г(л + 1) = л! см. [1]); m - число степеней свободы, определяемое разностью между объемом выборки л и числом параметров, оцениваемых по выборке; в данном случае m = л-1 (поскольку при определении t по (3.27) необ­ходимо оценить один параметр S_x).

Число степеней свободы m - это понятие, которое учитывает в статисти­ческих ситуациях связи, ограничивающие свободу изменения случайных вели­чин. Поэтому число степеней свободы вычисляется как разность между числом экспериментальных точек л и числом связей f, ограничивающих свободу изме­нения случайной величины.Так, при вычислении выборочной дисперсии по

формуле (3.6) S²_X =Y__l\x_l:-х² (п-Х) наблюдается одна связь, определяемая

уровнем выборочного среднего * = £*,, поэтому число степеней свободы выборочной дисперсии будет равно m = л - 1, а, например, для выборочной дисперсии, найденной из соотношения (3.7) 5*_х² =^(х, -М_х)² п, число степе-

f'-l /

ней свободы равно числу испытаний m = л, так как М_х определено независимым способом.

Понятие о степени свободы поясним еще на примере решения системы линейных алгебраических уравнений. Допустим, что мы имеем систему из л ли­нейных алгебраических уравнений с л неизвестными *,, х₂, ..., х_п. Очевидно,

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

решение такой системы (при линейной независимости уравнений) будет един­ственным, т.е. такая система не будет иметь ни одной степени свободы. Но ес­ли для л неизвестных переменных мы имеем только одно уравнение, то для однозначного определения х^, х₂, ..., х_п должно быть наложено еще т = л - 1 условий (уравнений), т.е. число степеней свободы такой системы уравнений будет равно л - 1.

Наконец, если по выборке объемом л будут сделаны оценки ровно для л (линейно независимых) параметров распределения, то расчет л + 1 оценки не будет нести никакой дополнительной информации о распределении случайной величины (все л выборочных значений х^, х₂, ..., х_п будут однозначно определе­ны через л оценок параметров), поскольку после оценки л параметров число степеней свободы т = п - п уже окажется равным нулю.

Распределение (3.28), зависящее только от числа степеней свободы (од-нопараметрическое), называют распределением Стьюдента, или t-распределением.

Плотность распределения Стьюдента выражается формулой

Г f(t) =

^т +1^

m+l

\ Z. J

(3.29)

т

t^2V~
1 +--

-Jnm -Г

V ^ J

M ,

причем множители при

f

1+---

V ^m7

m+l

в f(t) выбраны так, чтобы площадь под

любой кривой f(t) равнялась единице.

Стьюдент - псевдоним У.С. Госсета (1876-1937) - химика, работавшего в одной из пивоваренных фирм Великобритании. Он самостоятельно разработал статистику малых выборок. Поскольку в современной технике чаще всего ис­следуются небольшие по объему выборки (менее 30), то работа Стьюдента имеет большое практическое значение.

На рис. 3.2 приведено распределение Стьюдента для различных значе­ний т. При п->оо (практически при п>30) распределение Стьюдента переходит в стандартное нормальное распределение с единичной дисперсией.

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

Для случайной величины t (3.27), в соответствии с (2.20), можно записать,

что

(х - Мх) 5*v Ып

P(t_pl <t<t_p2) = P(t_pl <-------------- т^-<t_p2) = P₂-P_l, (3.30)

где tci и t_P2 - значения квантилей случайной величины t порядка pi и p₂ соответственно.

Если в соотношении (3.30), аналогично (3.24), разрешить относительно M_х неравенство, стоящее под знаком вероятности, и при построении довери­тельного интервала для математического ожидания принять симметричные границы Pi= а/2 и P₂ = 1 - а/2, то получим, что вероятность выполнения нера­венства

^ХЧ»А^<Ц<Х+1-Л(3.31)

равна P = 1 - а , где t_a,_m - так называемый коэффициент Стьюдента (значение квантили статистики t (3.27) порядка P = 1 - a /2 для числа степеней свободы m = n -1).

Следовательно, интервал (3.31) является доверительным интервалом для математического ожидания M_х случайной величины с нормальным законом распределения, построенным с доверительной вероятностью P = 1- а, при не­известном значении генеральной дисперсии а_х².

Значения t_a,_m табулированы (см., например, [11] или табл. П.6), их можно определить также, воспользовавшись статистической функцией СТЬЮДРАС-ПОБРиз электронных таблиц Microsoft Excel, причем при m > 30 t_a,_m ~ z-i. _a/₂. Так, при a = 0,05 и m = 31 СТЬЮДРАСПОБР(0,05;31) = 2,039515 , а НОРМ-СТОБР(1-0,05/2) = 1,959961.

Если в примере 3.1 по трем ( n = 3, m = n-1=3 -1=2) выборочным значени­ям 351, 370 и 365 (первый рельс -хт = 362 ; S_HB = 9,85) было бы необходимо при a = 0,05 построить доверительный интервал для математического ожидания твердости на поверхности катания головки рельса, то, если предположить, что твердость не противоречит нормальному закону распределения, и поскольку to,05,2 ~ 4,3 (СТЬЮДРАСПОБР(0,05;2) = 4,302656), он оказался бы равным

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ

9,85 _лг 9,85 ,,

362-4,3—^< М_нв < 362 + 4,3—^, или М_нв = 362 ±24,45 .

л/3 л/3

Следовательно, интервал [337,55; 386,45] с вероятностью 1 - 0,05 = 0,95 накрывает математическое ожидание твердости на поверхности катания голов­ки рельса.

2 3 t

а

f(t) к	0,4	т=10
		т=4 , __-— т=1
	■0,2 N
^^ 1 1	"0,1	i i ^^^	—►

t -3 -2 -1

т=4 т=1

t

б

4 -3 -2 -1

О

t

Рис. 3.2. Плотность (а) и функция (б) t-распределения Стьюдента

3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ