Способы построения оценок

Метод наибольшего правдоподобия. Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения . Предположим, что известен закон распределения этой величины, определяемый параметром , но неизвестно численное значение этого параметра. Найдем его точечную оценку.

Обозначим через – вероятность того, что в результате испытания величина Х примет значение . Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента , определяемую по формуле:

Тогда в качестве точечной оценки параметра принимают такое его значение при котором функция правдоподобия достигает максимума. Оценку называют оценкой наибольшего правдоподобия.

Так как функции L и достигают максимума при одном и том же значении , удобнее искать максимум логарифмической функции правдоподобия: . Для этого:

1) находят производную ;

2) приравнивают ее нулю (получают так называемое уравнение правдоподобия) и находят критическую точку;

3) находят вторую производную ; если она отрицательна в критической точке, то это – точка максимума.

Достоинства метода наибольшего правдоподобия заключается в следующеми. Полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками. Если для оцениваемого параметра существует эффективная оценка , то уравнение правдоподобия имеет единственное решение метод наиболее полно использует данные выборки и поэтому особенно эффективен в случае малых выборок.

Недостатком метода наибольшего правдоподобия является сложность вычислений.

Для непрерывной случайной величины с известной плотностью распределения и неизвестным параметром функция правдоподобия имеет вид:

Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.

Метод моментов. Метод моментов основан на том, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов, поэтому можно приравнять теоретические моменты соответствующим эмпирическим моментам того же порядка.

Если задан вид плотности распределения определяемой одним неизвестным параметром , то для оценки этого параметра достаточно иметь одно уравнение. Например, можно приравнять начальные моменты первого порядка:

,

откуда получается уравнение для определения . Его решение будет точечной оценкой параметра, которая является функцией от выборочного среднего и, следовательно, функцией от вариант выборки:

Если известный вид плотности распределения определяется двумя неизвестными параметрами и , то составляют два уравнения, например

Отсюда получают систему двух уравнений с двумя неизвестными и :

Ее решениями будут точечные оценки и - функции вариант выборки:

Метод наименьших квадратов. Если требуется оценить зависимость величин у и х, причем известен вид связывающей их функции, но неизвестны значения входящих в нее коэффициентов, то их величины можно оценить по имеющейся выборке с помощью метода наименьших квадратов. Для этого функция выбирается так, чтобы сумма квадратов отклонений наблюдаемых значений от была минимальной:

При этом требуется найти стационарную точку функции т.е. решить систему:

где - известный вид функции.

Рассмотрим в качестве примера подбор параметров линейной функции методом наименьших квадратов.

Для оценки параметров а и b в функции , находим Тогда

Следовательно,

Разделив оба полученных уравнения на п и вспомнив определения эмпирических моментов, можно получить выражения для а и b в виде:

.

Таким образом, связь между х и у можно задать в виде: