Условные законы распределения

Рассмотрим сначала случай, когда вектор имеет дискретное распределение

Где пробегает конечное или счетное множество возможных значений .

Пусть имеется функция Условным распределением при условии назовем совокупность условных вероятностей при фиксированном

(3.8)

Не более, чем счетное число вероятностей (3.8) отличны от нуля; t выбираем такими, чтобы знаменатель в (3.8) не был равен нулю.

Если – числовая функция от векторного аргумента будет случайной величиной. Ее математическое ожидание равно

Условное математическое ожидание определим с помощью условного распределения (3.8):

= = . (3.9)

Как видно из (3.9), условное математическое ожидание есть функция от . Обозначим ее Подставляя вместо случайную величину мы получаем, что условное математическое ожидание есть случайная величина Вычислим математическое ожидание от

= .

Таким образом, мы показали, что

(3.10)

т.е. при вычислении математического ожидания от сначала можно вычислить условное математическое ожидание при условии а затем усреднить это условное математическое ожидание по вероятностям условий.

Формула (3.10) сохраняет смысл и в том случае, когда ξ имеет не дискретное распределение, а, например, имеет плотность P(x)=P(x₁, …, x_n). Пусть плотность непрерывна в точке , тогда при

=

Вычислим условную вероятность

= .

Переходя к пределу по ∆_i→0 , получаем

P{x_i<ξ_i<x_i + ∆₁, …, x_m<ξ_m<x_m + ∆_m │ x_i<ξ_i<x_i +∆_i, i= } → , (3.11)

где

Предел левой части (3.11) называют условной плотностью ξ₁,…, ξ_m при заданныхξ_m+1,…, ξ_n:

Математические ожидания

можно вычислять по формуле (3.10), вычислив сначала математическое ожидание

и осредняя его затем по :

(3.12)

Формулу (3.12) можно вывести и в более общем случае. Пусть имеются дифференцируемые функции t₁=t₁(x), t₂=t₂(x),…, t_m=t_m(x). Предположим, что к ним можно подобрать функции y_j=y_j(x), j=1,…,n-m, такие, что преобразование С, задаваемое функциями

t_i=t_i(x), i=1,…,m,

y_j=y_j(x), j=1,…,n-m, (3.13)

взаимно однозначно в соответствующей области. Тогда плотности Р_ξ(х) и Р_τ,η(t,y), где τ_i = t_i(ξ), η_j = y_j(ξ), τ=(τ₁,…,τ_m), η=(η₁,…, η_n-m), t=(t₁,…,t_m), y=(y₁,…,y_n-m), будут связаны равенством

Р_ξ(х)=Р_τ,η(t,y)│J│, (3.14)

где J – якобиан преобразования С. Пусть имеется функция g(ξ₁,…, ξ_n). Вычислим условное математическое ожидание g(ξ₁,…, ξ_n) при условии τ=t. Обозначим x_k(t,y)=x_k, k= , x(t,y)= (x₁(t,y),…, x_n(t,y)) функции, задающие обратное преобразование С^-1. Тогда

и

(3.15)

(Здесь мы воспользовались равенством (3.14)).

Достаточные статистики

Определение 1. Пусть ξ=(ξ₁,…, ξ_n) - векторная случайная величина, распределение которой Р(x; ) зависит от параметра и t(x)=(t₁(x),…,t_m(x)) - векторная функция (набор m статистик) от х=(х₁, …, х_n). Мы будем называть t(х) достаточной статистикой, если условное распределение ξ=(ξ₁,…, ξ_n) при условии t(ξ)=t не зависит от параметра .

Мы будем далее иметь в виду два случая: либо Р_ξ(x; ) - дискретное распределение вероятностей, либо Р_ξ(x; ) n-мерная плотность и существует взаимно однозначное преобразование С: х=(х₁, …, х_n) в (t;y), задаваемое формулами (3.13).

Оценки, зависящие только от достаточных статистик, обладают преимуществами по сравнению с другими оценками. Во-первых, они используют не всю информацию, содержащуюся в выборке (3.1), а лишь ту ее часть, которая существенна для оценки параметра. Во-вторых, каждой несмещенной оценке с конечной дисперсией соответствует другая несмещенная оценка , зависящая от достаточной статистики, с D < D .

Прежде всего, докажем критерий факторизации, позволяющий легко находить достаточные статистики.

Теорема 2. Если распределение Р(x; ) представлено в виде

Р(x; ) =g(t(x); )h(x) (3.16)

то t(х) есть достаточная статистика.

Доказательство. Рассмотрим сначала дискретное распределение Согласно формуле (3.8) условная вероятность ξ=х при условии t(ξ)=t равна

(3.17)

Если выполнено (3.16), то из (3.17) получаем

т.е. t(х) – достаточная статистика.

Если, наоборот, условная вероятность = не зависит от параметра , то из теоремы умножения вероятностей имеем

Р(x; ) =

где - распределение t, т.е. имеет представление (3.16).

Если Р(x; ) - плотность, то будем предполагать, что имеется преобразование (3.13) и плотности Р_ξ(x; ) и P_τ,η(t;y; ) связаны соотношением (3.14).

Тогда условная плотность η при условии τ=t, равная

и, следовательно, не зависят от . Так как

не зависит от , то, взяв g(x)=1 для х В и g(х)=0 для х В, где В Вⁿ – борелевское множество из Rⁿ, получаем, что Р{ξ B|τ=t} не зависит от при любом В Вⁿ, то есть t - достаточная статистика. Пусть наоборот не завит от .

Тогда из

и (3.14) имеем

т.е. плотность представлена в виде (3.16).

Теорема 3. (Колмогорова-Блекуэлла)

Пусть t - достаточная статистика семейства распределений Р(x; ), а (x) - несмещенная оценка параметра с конечной дисперсией, построенная по выборке (3.1). Тогда условное математическое ожидание при фиксированном t

будет несмещенной оценкой с дисперсией

D D .

Доказательство. Из свойства (3.15) имеем

M

т.е. оценка несмещена ( действительно является оценкой,

так как не зависит от , поскольку - достаточная статистика).

Вычислим D :

D =M( - )² = M( - + - )² =

= M( - )² + M( - )² + 2M( - ) ( - ). (3.18)

Так как

M( - ) ( - )= M[M( - ) ( - )|t]= M[( - ) M{( - )|t}],

а M{( - )|t}=0, то из (3.18) D D . Теорема доказана.

Пример 1. Пусть выборка (3.1) взята из схемы Бернулли (х_i=1, если в i-м испытании был успех, х_i=0 в противоположном случае). Параметром в этом случае служить вероятность p. Вероятность появления выборки (3.1) равна

откуда по критерию факторизации следует, что число успехов х₁+…+х_n есть достаточная статистика.

Пример 2. Пусть (3.1) – независимая выборка из нормального распределения с параметрами (а,ξ). Тогда по критерию факторизации

т.е. и - достаточные статистики.

Эффективность оценок

Как мы видели в п.3.3, несмещенные оценки параметра с меньшей дисперсией предпочтительней остальных оценок. Естественно поставить вопрос о нахождении оценок с наименьшей дисперсией. Некоторый подход к решению этого вопроса дает неравенство Рао-Крамера. Пусть p(x; )=p(x₁,…,x_n; ) - плотность, зависящая от параметра , а =φ(x)=φ(x₁,…,x_n) - оценка параметра по выборке x₁,…,x_n не обязательно несмещенная. Обозначим g( )=M = . Предположим, что выполнены некоторые условия регулярности, при которых интегралы

можно дифференцировать по параметру . В этом случае справедливы равенства

(3.19)

(3.20)

Величина, равная математическому ожиданию (здесь ξ имеет распределение P(ξ; ))

(3.21)

называется информацией Фишера относительно семейства p(х; ).

Теорема 4. (Неравенство Рао-Крамера). Если семейство плотностей p(х; ) и оценка =φ(х) таковы, что выполнены условия (3.19) и (3.20), то имеет место неравенство:

(3.22)

Доказательство. Условия (3.19) и (3.20) перепишем в эквивалентном виде:

. (3.23)

Умножим первое из тождеств (3.23) на g( ) и вычтем его из второго:

(3.24)

Полагая в (3.24) φ₁(х)=φ(х)- g( ), φ₂(х)= , применим неравенство Коши-Буняковского

Имеем отсюда:

а это равносильно неравенству (3.22).

Замечание 1. Теорема 4 остается справедливой, если под

p(х; ) понимать вероятности дискретного распределения, а под интегралами – суммы.

Замечание 2. Если тождества (3.19) можно еще раз дифференцировать по :

то информацию Фишера (3.21) можно записать в другом виде:

(3.25)

В самом деле, обозначая имеем

откуда

что и утверждалось.

Замечание 3. Из первого тождества (3.23) следует M , поэтому информацию Фишера (3.21) можно записать иначе:

Замечание 4. Если х₁,…,х_n независимы, то их совместная плотность p_n(х₁,…,х_n; ) есть произведение одномерных плотностей:

p_n(х₁,…,х_n; ) = .

В этом случае информация Фишера зависит от n линейно:

(3.26)

где - информация Фишера одного наблюдения х_k, а (3.22) превращается в неравенство следующего вида:

(3.27)

Формула (3.26) следует из

.

Замечание 5. Если оценка несмещенная, то , и в неравенствах (3.22) и (3.27) числитель равен . В условиях теоремы 4 неравенства (3.22) и (3.27) дают оценку снизу дисперсии оценок . Ниоткуда не следует, что эта оценка достигается, однако во многих важных случаях, как мы увидим ниже, она является нижней границей дисперсии хотя бы в асимптотическом смысле при n→∞.

Пример 3. Пусть х₁,…,х_n- независимая выборка из нормального распределения с параметрами (а, σ), σ - известно. Так как

, ,

то

Для оценки имеем

т.е. в этом случае в (3.27) достигается равенство.

Ниже мы всегда будем полагать, что условия теоремы 4 выполнены.

Определение 2. Назовем эффективностью оценки отношение

Оценка с эффективностью е( )=1 называется эффективной.

Оценка в примере 1 эффективна. Если неравенство в (3.22) или (3.27) для некоторой оценки превращается в равенство, то эффективность оценки - это отношение минимально возможной дисперсии к дисперсии данной оценки:

Эффективность всегда удовлетворяет неравенствам 0≤е( )≤1. Конечно, при нарушении условий теоремы 4 равенства (3.22) и (3.27) могут не выполняться и могут существовать “сверхэффективные” оценки с дисперсией D , убывающей при n→∞ быстрее, чем .

Пример 4. Пусть х₁,….,х_n – независимая выборка из распределения с плотностью

В этом случае нарушается условие теоремы (3.19) и оценка

=min x_k обладает “сверхэффективностью”, так как

1≤ k<n

.

Важным понятием в теории статистических оценок является также асимптотическая эффективность. Будем предполагать условия теоремы 4 выполненными.

Определение 3. Асимптотической эффективностью е₀( _n) оценки _n= _n(х₁,….,х_n)_, построенной по независимой выборке х₁,…,х_n, назовем предел

если он существует. Оценка _n называется асимптотически эффективной, если е₀( _n)=1. Таким образом, если - несмещенная оценка с асимптотической эффективностью е₀( ), то ее дисперсия при больших n асимптотически равна [е₀( )·n·J₁ ]^-1.

Для асимптотически нормальных при n→∞ оценок _n полезно другое определение асимптотической эффективности.

Определение 4. Если оценка _n при n→∞ асимптотически нормальна с параметрами , то ее асимптотической эффективностью называется отношение:

,

т.е. в этом случае за математическое ожидание и дисперсию оценки мы принимаем математическое ожидание и дисперсию аппроксимирующего нормального закона распределения. Аналогично, если е₀( )=1, то оценка будет называться асимптотически эффективной.

Методы нахождения оценок

Метод моментов

Пусть х₁,…,х_n - независимая выборка из распределения с плотностью р(х; ), зависящей от r параметров . предположим, что все моменты

конечны, и что система уравнений

,

однозначно разрешима, причем её решение

,

выражается при помощи непрерывных обратных функций .

При этих условиях имеет место

Теорема 5. Оценки , получаемые как решение системы:

, (3.28)

где

- выборочные моменты, состоятельны.

Доказательство. Согласно нашим предположениям, система (3.28) имеет единственное решение:

причем - непрерывные функции. По усиленному закону больших чисел сходятся п.н. к m_k , а из непрерывности функций отсюда следует, что _k при n→∞ п.н. (почти наверное , т.е. с вероятностью, равной 1) сходятся к .

Метод моментов дает состоятельные оценки, но часто их эффективность и асимптотическая эффективность меньше 1.