Эффективность точечной оценки.

Опр. Несмещенная оценка параметра называется эффективной, если её дисперсия минимальна по сравнению со всеми возможными оценками

Замечания:

1) В отличие от несмещенности и состоятельности, эффективность зависит от закона распределения

2) Для проверки эффективности можно использовать неравенство Крамера-Рао: , где ) – информация Фишера

Если выполняется, как равенство, то данная – эффективна.

45. Метод максимального правдоподобия.

Пусть снова . Требуется оценить векторный параметр .

Выборочный вектор – вектор (Х₁,Х₂…Х_n), где Х_i одинаково распределены и независимы (х₁,х₂…х_n) – реализация выборочного вектора.

Функция правдоподобия выборки:

- для непрерывного генерального – плотность распределения выборочного вектора, взятая в точке его реализации;

- для дискретного генерального – вероятность реализации данного выборочного вектора.

Обозначение

Оценками максимального правдоподобия (ММП-оценками) называются такие значения параметров ( ), которые доставляют максимум функции правдоподобия выборки.

Обозначим ММП-оценку вектора через . Пусть - внутренняя точка некоторого компакта S, функция L_x( ) дифференцируема в S. Тогда необходимым условием экстремума является равенство нулю всех производных первого порядка. Удобнее рассматривать экстремум не самой функции, а ее логарифма.

Метод моментов.

Пусть з-н распределения интервальной совокупности Х известен с точностью до параметров . Выберем m каких-либо начальных и центральных моментов , найдем теоретически их зависимость от

и приравняем эти зависимости к соответствующим выборочным моментам

Получим систему m уравнений, для нахождения оценок:

Пример. Пусть (равномерное распределение)

Найти ММ оценки параметров а и b :

Находим:

Общее: и для 47 и 48:

Пусть неизвестная функция генеральной совокупности зависит от некоторого параметра . Нужно по наблюдениям оценить параметр. Для построения оценок используются статистики – функции от выборочных значений.

Примеры статистик. .

Эта оценка .

Будет рассматриваться, как приближенное значение параметра .Замечание. Как правило, для оценки параметра можно использовать несколько статистик, получая при этом различные значения параметра . Как измерить «близость» оценки к истинному значению ? Как определить качество оценки? Комментарий: Качество оценки определяется не по одной конкретной выборке, а по всему мыслимому набору конкретных выборок, т.е. по случайному выборочному вектору , поэтому для установления качества полученных оценок моментов , следует во всех этих формулах заменить конкретные выборочные значения на СВ X_i.

; ; .

Качество оценки устанавливают, проверяя, выполняются ли следующие три свойства (требования).Требования, предъявляемые к точечным оценкам:

1. Несмещенность, т.е. .

Это свойство желательно, но не обязательно. Часто полученная оценка бывает существенной, но ее можно поправить так, что она станет несмещенной.

Иногда оценка бывает смещенной, но асимптотически несмещенной, т.е. .

2. Состоятельность, т.е. .

Это свойство является обязательным. Несостоятельные оценки не используются.

3. Эффективность.

а) Если оценки и – несмещенные, то и .

Если , то оценка более эффективна, чем .

б) Если оценки и – смещенные, тогда и .

Если , то оценка более эффективная, чем .

Где – средний квадрат отклонения оценки.

Рассмотрим использование этих свойств на примерах выбора оценок МО и дисперсии:

47. Выборочная дисперсия Докажем, что выборочная дисперсия является смещенной оценкой для дисперсии генеральной совокупности.

Выполним следующие преобразования

; .

Найдем МО для дисперсии:

.

.

МО не совпадает с s², а отличается на –s²/n – смещение. Таким образом эта оценка занимает в среднем истинное значение дисперсии на величину s²/n, правда это смещение сходит на нет при n ® ¥.

Чтобы устранить это смещение надо «исправить» дисперсию.

;

;

.

Можно доказать, что статистика S² является и состоятельной оценкой для дисперсии генеральной совокупности.Замечание. К сожалению, на практике при оценке параметров не всегда оказывается возможным одновременное выполнение требований: несмещенности, эффективности и состоятельности.

48. Выборочное среднее: является несмещенной и состоятельной оценкой МО генеральной совокупности (X₁ ,…, X_n ), причем каждое X_i совпадает с m и s².

а) Несмещенность. По определению выборочного вектора

, причем X_i – независимые в совокупности СВ, тогда вычислим

M[X^сред]=M[(1/n)åX_i]=(1/n)M[åX_i]=

(1/n)åM[X_i]=(1/n)nm g.

D[X^сред]=D[(1/n)åX_i]=(1/n²)D[åX_i]=

(1/n²)åD[X_i]=(1/n)ns²=s²/n

б) Состоятельность Воспользуемся неравенством Чебышева:

Применим это неравенство к

При n®¥ ,что и доказывает состоятельность .