Метод максимума правдоподобия при нормальном распределении ошибок измерений

Пусть вектор Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru подчиняется нормальному закону рас­пределения с нулевым математическим ожиданием и диагональной корреляционной матрицей Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru . В таком случае

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

С учетом (3.177), (3.178) получаем функцию правдоподобия:

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Исследуем функцию правдоподобия на максимум, следуя [6]. Пе­репишем (3.179) в виде

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

где через С обозначен множитель перед экспонентой, не завися­щий от yN и а.

Поскольку функция L(yN, а) всюду не отрицательна, то для нее существует логарифм, а так как логарифм — монотонная функция, то максимум ln L(yN, а) совпадает с максимумом L(yN, а).

Поэтому исследуем на максимум In L (yN, a):

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Из (3.180) следует, что максимум ln L(yN, а) достигается при ми­нимуме по а положительно определенной квадратичной формы

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Поэтому имеем

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Это уравнение совпадает с (3.138) при Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru . Отсюда следует, что метод наименьших квадратов можно рассматривать как част­ный случай метода максимума правдоподобия: при аддитивных и независимых ошибках измерений, подчиняющихся нормальному закону распределения, оценки, получаемые по методу наименьших квадратов, определяются из тех же условий, что и оценки макси­мального правдоподобия. Поэтому все алгоритмы оценивания и ре­зультаты, касающиеся метода наименьших квадратов, приведен­ные выше, справедливы и в данном случае. С другой стороны, при­веденные в данном разделе рассуждения можно рассматривать как теоретическое обоснование тех условий, когда оценки, полученные по методу наименьших квадратов, будут обладать свойствами оце­нок максимального правдоподобия, т. е. будут состоятельными.

При нахождении оценок максимального правдоподобия так же, как и при использовании метода наименьших квадратов, может учитываться дополнительная информация, содержащаяся в апри­орной плотности вероятностей вектора оцениваемых параметров, если таковая имеется в нашем распоряжении [37]. Пусть задана априорная плотность вероятностей Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru вектора а. В соответствии с формулой Байеса (1.9) имеем

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

где

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

В этой формуле p(a/yN) —апостериорная плотность вероятно­стей вектора а. Как указывалось в разд. 3.1, метод максимума апостериорной вероятности заключается в выборе в качестве оцен­ки Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru такого значения вектора а, при котором достигается макси­мум p(a/yN).

Так как множитель C1 в правой части (3.182) не зависит от а, то задача сводится к отысканию максимума функции p0(a)p(yN/a)=p0(a)L(yN/a). Необходимые условия экстремума по а этой функции имеют вид

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Уравнение (3.183) отличается от условия Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru первым слага­емым, учитывающим имеющуюся априорную информацию. Необ­ходимые условия (3.183) приводят к системе нелинейных алгебра­ических уравнений относительно а, которые необходимо решать численными методами.

Пусть априорная плотность вероятностей p0(а) определяет не­которую априорную оценку вектора а, которую обозначим Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru ; ошиб­ку априорной оценки обозначим Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru . Тогда p0(а) = p0(а- Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru ) = = p0( Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru ). В то же время имеем L(yN, a)=p(yN/a)=p[yN- Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru (a)]. В результате получаем p0(а)р(уN/а)=ра(а- Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru ) p[yN- Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru (a)]. Это же выражение может быть получено непосредственно из определения функции правдоподобия L(yN, a)=L[yN- Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru (а)]. Для этого доста-

точно рассматривать компоненты вектора Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru как дополнительные измерения и сформировать блочный вектор измерений в виде Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru .

Тогда, считая ошибки Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru и Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru независимыми, получаем функцию правдоподобия в виде

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

где Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru — плотность вероятностей вектора Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru .

Таким образом, метод максимума апостериорной вероятности представляет собой обобщение метода максимума правдоподобия при условии, что априорные оценки рассматриваются как допол­нительные измерения, а ошибки априорной оценки и ошибки изме­рений считаются независимыми.

Соответствующая модификация может быть осуществлена и в алгоритме наименьших квадратов. Эта модификация уже была ис­пользована в разд. 3.3.4. при построении аналитического алгорит­ма априорной оценки точности определения орбиты ИСЗ.

Вернемся к задаче отыскания максимума функции р0(а)×p(yN/a). Рассмотрим случай, когда векторы Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru и а подчиняются нормальному закону распределения:

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

В таком случае

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Для исследования на максимум функции p(a/yN) перейдем к ее логарифму:

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Максимум Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru по а достигается при минимуме по а двух последних слагаемых в правой части (3.185). Вследствие положи­тельной определенности соответствующих квадратичных форм име­ем условие минимума в виде

Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru

Формула (3.186) совпадает с формулой для нахождения оценки по методу наименьших квадратов (3.138) при Метод максимума правдоподобия при нормальном распределении ошибок измерений - student2.ru или максиму­ма правдоподобия (3.181) при условии, что вектор а рассматрива­ется как вектор дополнительных измерений, проведенных с точно­стью, определяемой элементами матрицы Ро.

Таким образом, соотношение (3.186), определяющее оценки максимума апостериорной вероятности при нормальном законе распределения ошибок измерения и нормальной априорной плот­ности вероятностей оцениваемого вектора, можно рассматривать как соотношение, определяющее оценки метода наименьших квад­ратов или оценки максимума правдоподобия, вычисленные с уче­том априорной информации, содержащейся в Р0(a).

ГЛАВА

Наши рекомендации