Методы получения оценок: метод моментов и метод наибольшего правдоподобия, функция правдоподобия( дискретный и непрерывный случаи), примеры

Метод моментов

Пусть x , x … x – независимая выборка из распределения с плотностью p(x; θ ,…, θ ), зависящей от параметров θ ,…, θ .

Определение: Интеграл вида

m ( θ ,…, θ )= называется теоретическим моментом порядка k, а статистика называется выборочным моментом порядка k.

Предположим, что при k=1,2….r, все теоретические моменты m ( θ ,…, θ ) конечны и что система уравнений m ( θ ,…, θ ), k=1,2,…,r однозначна разрешима, причем решение m ( b ,…, b ), k=1,2,…r дается непрерывными обратными функциями m . При этих условиях имеет место

Теорема о методе моментов. Оценки , получаемые как решения системы уравнений m ( b ,…, b ), k=1,2,…r состоятельны.

Пример 1. Найти методом моментов по выборке x , x … x точечную оценку неизвестного параметра λ показательного распределения с плотностью p(x)= λe (x >0).

Решение. Здесь неизвестный параметр один, поэтому вычисляем теоретический и выборочный моменты: m = = ,

Искомая оценка имеет вид .

Метод наибольшего правдоподобия

Случай непрерывных распределений

Пусть x , x … x – независимая выборка из непрерывного распределения с плотностью p(x; θ).

Определение 1: Функция вида L(x , x … x ; θ)=p(x ; θ)…p(x ; θ) называется функцией правдоподобия.

Определение 2: Оценкой наибольшего правдоподобия параметра θ называют число , которое находится из условия L(x , x … x ; )=max L(x , x … x ; θ)

При выполнении некоторых условий, смысл которых состоит в том, что p(x; θ) – достаточно гладкая функция, а интеграл =1 достаточно быстро сходится, оценка максимального правдоподобия обладает следующими свойствами:

1. она состоятельна

2. она асимптотически нормальна, т.е при больших n можно рпиближенно считать, распределение приближенно нормельным.

3. она асимптотически эффективна, т.е при больших n оценку можно считать близкой к эффективной.

Недостатком метода является то, что иногда оценки получаются смещенными.

Случай дискретного распределения

Определение 1: Пусть P( )=P , где – число из выборки, а – та случайная величина, которая приняла значение . Функция вида L(x , x … x ; θ)=P(x ; θ)…P(x ; θ) называется функцией правдоподобия в дискретном случае.

Оценкой наибольшего правдоподобия параметра θ называют число , которое находится из условия L(x , x … x ; )=max L(x , x … x ; θ).

Пример: Методом наибольшего правдоподобия найти оценку параметра λ распределения Пуассона P = , λ>0, – целые неотрицательные числа.

Решение. Составляем функцию правдоподобия L(x , x … x ; λ)=

И находим, что ее максимум достигается в точке = .

№22. Доверительные интервалы, доверительная вероятность. Построение доверительных интервалов для математического ожидания нормального распределения (с известной и неизвестной дисперсией).

Пусть x_1, x_2,…,x_n — выборка из некоторого распределения с плотностью распределения p(x; θ), зависящей от параметра θ. Задача состоит в том, чтобы построить для θ доверительный интервал.

Опр: Интервал называется доверительным, если с вероятностью (1-α) неизвестный параметр θ попадает в этот интервал. Тогда (1-α) — доверительная вероятность.