Методы нахождения оценок

Метод моментов (К.Пирсон)

Этот метод заключается в том, что определенное количество выборочных моментов (начальных или центральных) приравнивается к соответствующим моментам теоретического распределения, являющимся функциями от неизвестных оцениваемых параметров. Решая полученную систему уравнений относительно этих параметров, находим искомые оценки.

Рассматриваемое количество моментов должно быть равно числу подлежащих оценке параметров.

Этот метод не требует сложных вычислений, он даёт состоятельные оценки, но зачастую малоэффективные.

Пример.Найти по выборке x₁; х₂;…; x_n точечную оценку неизвестного параметра λ показательного распределения.

Решение.

Начальный теоретический момент 1-ого порядка (математическое ожидание):

M(x) = f(x) dx =

Выборочный начальный момент 1-ого порядка:

(x) = => = =>

= (искомая оценка равна величине, обратной выборочному среднему).

Метод максимального правдоподобия

Имеется независимая выборка значений величины X: x₁; х₂;…; x_n.

Предположим, что вид закона распределения X задан, но неизвестен параметр t, от которого зависит этот закон.

В качестве оценки берется функция (функция правдоподобия), которая приводит к наибольшей вероятности появления именно той выборки, которая получена.

Пусть X –дискретная случайная величина.

L(x₁; х₂;…; x_n; t) = p(x₁; t)∙ p(x₂; t)∙…∙p(x_n; t) - функция правдоподобия (где p(x_i ,t) - вероятность того, что в результате испытания X= x_i).

В качестве оценки принимается такое значение t, при котором функция правдоподобия достигает максимума.

=0 – уравнение правдоподобия.

Замечание. В случае, когда имеется несколько параметров распределения, дифференцируют функцию правдоподобия по каждому из параметров, приравнивают все частные производные к 0 и, решая полученную систему уравнений, находят искомые оценки параметров.

Функции L и достигают максимума при одном и том же значении t, поэтому рассматривают логарифмическую функцию правдоподобия:

; t) + ; t)+…+ ; t)

Пусть X –непрерывная случайная величина.

L(x₁; х₂;…; x_n; t) = f(x₁; t)∙ f(x₂; t)∙ …∙ f(x_n; t) - функция правдоподобия

(где f(x,t)-плотность вероятности).

Важность метода максимального правдоподобия связана с его оптимальными свойствами. Оценки являются состоятельными, несмещенными. Основной недостаток - трудность вычислений.

Пример. Найти оценку для вероятности p наступления некоторого события A по данному числу m появления этого события в n независимых испытаниях.

Решение.

Составим функцию правдоподобия:

L(x₁; х₂;…; x_n; p) = =

= + = m + (n-m) - логарифмическая функция правдоподобия.

Уравнение правдоподобия:

= + (-1) = = 0

= . Оценка .

Метод наименьших квадратов

Оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки. Это один из наиболее простых приемов.

Пример.

Над системой (X;Y) произведено n-независимых опытов, в результате которых получены данные: (x₁; y₁), (х₂, у₂), …, (х_n; у_n).

Требуется найти такие a,b, чтобы y=ax+b.

Решение.

Ф (а; b) = ²

После преобразований можно получить:

=

= (y) – (x)

y= x + - эмпирическое (или выборочное) уравнение регрессии Y на X.

Метод наименьших квадратов получил самое широкое применение в практике статистических исследований, так как, во-первых, не требует знания закона распределения выборочных данных, во-вторых, достаточно хорошо разработан в плане вычислительной реализации.