Способы построения оценок
Метод наибольшего правдоподобия. Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения . Предположим, что известен закон распределения этой величины, определяемый параметром
, но неизвестно численное значение этого параметра. Найдем его точечную оценку.
Обозначим через – вероятность того, что в результате испытания величина Х примет значение
. Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента
, определяемую по формуле:
Тогда в качестве точечной оценки параметра принимают такое его значение
при котором функция правдоподобия достигает максимума. Оценку
называют оценкой наибольшего правдоподобия.
Так как функции L и достигают максимума при одном и том же значении
, удобнее искать максимум логарифмической функции правдоподобия:
. Для этого:
1) находят производную ;
2) приравнивают ее нулю (получают так называемое уравнение правдоподобия) и находят критическую точку;
3) находят вторую производную ; если она отрицательна в критической точке, то это – точка максимума.
Достоинства метода наибольшего правдоподобия заключается в следующеми. Полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками. Если для оцениваемого параметра существует эффективная оценка
, то уравнение правдоподобия имеет единственное решение
метод наиболее полно использует данные выборки и поэтому особенно эффективен в случае малых выборок.
Недостатком метода наибольшего правдоподобия является сложность вычислений.
Для непрерывной случайной величины с известной плотностью распределения и неизвестным параметром
функция правдоподобия имеет вид:
Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.
Метод моментов. Метод моментов основан на том, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов, поэтому можно приравнять теоретические моменты соответствующим эмпирическим моментам того же порядка.
Если задан вид плотности распределения определяемой одним неизвестным параметром
, то для оценки этого параметра достаточно иметь одно уравнение. Например, можно приравнять начальные моменты первого порядка:
,
откуда получается уравнение для определения . Его решение
будет точечной оценкой параметра, которая является функцией от выборочного среднего и, следовательно, функцией от вариант выборки:
Если известный вид плотности распределения определяется двумя неизвестными параметрами
и
, то составляют два уравнения, например
Отсюда получают систему двух уравнений с двумя неизвестными и
:
Ее решениями будут точечные оценки и
- функции вариант выборки:
Метод наименьших квадратов. Если требуется оценить зависимость величин у и х, причем известен вид связывающей их функции, но неизвестны значения входящих в нее коэффициентов, то их величины можно оценить по имеющейся выборке с помощью метода наименьших квадратов. Для этого функция выбирается так, чтобы сумма квадратов отклонений наблюдаемых значений
от
была минимальной:
При этом требуется найти стационарную точку функции т.е. решить систему:
где - известный вид функции.
Рассмотрим в качестве примера подбор параметров линейной функции методом наименьших квадратов.
Для оценки параметров а и b в функции , находим
Тогда
Следовательно,
Разделив оба полученных уравнения на п и вспомнив определения эмпирических моментов, можно получить выражения для а и b в виде:
.
Таким образом, связь между х и у можно задать в виде: