Метод максимального правдоподобия

Метод максимального правдоподобия базируется на критерии (принципе), согласно которому оптимальные оценки параметров обеспечивают максимум так называемой “функции правдоподобия”. Эта функция может быть интерпретирована как условная плотность совместного распределения j(a|y, х) п+1-го неизвестного параметра модели a₀, a₁,... a_n при заданных исходных значениях зависимой переменной y_t и независимых факторов х_it, i=1,..., п; t=1,..., Т, с учетом того, что эти переменные взаимосвязаны между собой эконометрической моделью с функционалом f(a, x) в общем случае. Оптимальные оценки a₀^*, a₁^*,..., a_n^*параметров этого функционала характеризуются в такой ситуации максимальной вероятностью, равной значению функционала правдоподобия в точке (п+1)-мерного пространства оценок с координатами a₀^*, a₁^*,..., a_n^*. Такие оценки и называют оценками максимального правдоподобия.

При их нахождении обычно учитывается, что каждому набору значений оценок параметров соответствуют свои собственные ряды расчетных значений зависимой переменной и фактической ошибки модели е_t, это позволяет сформировать функцию правдоподобия на основе плотности совместного распределения значений ошибки модели e_t в моменты t=1,2,..., Т, и оценки максимального правдоподобия находить, максимизируя эту функцию.

В целом, в основе ММП лежат следующие рассуждения.

1. Выбранная модель адекватна процессу изменения (распределению) зависимой переменной y_t , в том смысле, что ее форма и состав факторов “правильно” выражают причинно-следственные связи, определяющие его закономерности. Таким образом, истинная ошибка e_t является ”абсолютно” случайной переменной. Ее закон распределения выражает закон распределения значений y_t относительно расчетных значений , рассматриваемых при известных значениях параметров a₀, a₁,..., a_n, как выборочные математические ожидания M[y_t]= =a₀+a₁х_1t+...+a_nх_nt . Отклонение значения y_t от его математического ожидания объясняется влиянием на этот процесс каких-либо случайных воздействий, которые невозможно учесть в рамках данной модели и т. п.

2. Закон распределения значений y_t известен. Чаще всего выдвигается естественное предположение о его нормальном характере. Плотность условного совместного распределения значений y_t при известных значениях независимых факторов х_it определяется следующим выражением: j (y_t х_t )~ N ( , ), где – дисперсия значения y_t , определяемая относительно его математического ожидания .

Для совокупности случайных величин y_t, t=1, 2,..., T этот закон можно выразить путем задания их совместной плотности распределения, в общем случае имеющей следующий вид:

j (y₁,..., y_Т / Х )= N (M[y],W_y), (2.103)

где M[y] – вектор математических ожиданий наблюдаемых значений y₁,..., y_Т,

W_y – ковариационная матрица значений y_t, определяемая следующим выражением:

W_y =

где значения и следует интерпретировать как дисперсии и ковариации случайных переменных y_t и y_t и y_t+j соответственно*.

В “классическом” варианте ММП в отношении зависимой переменной y_t выдвигается предположение о независимости распределений значений y_t, рассматриваемых в разные моменты времени t=1, 2,..., T,и о постоянстве их разновременных дисперсий относительно математических ожиданий .

В этом случае матрица W_y имеет следующий вид:

W_y = × Е = ×

где – постоянная дисперсия переменных y₁,..., y_T; Е – единичная матрица Т´Т.

3. Функция плотности закона распределения ошибки e_t эквивалентна функции плотности закона распределения переменной y_t , т. е. j (e_t )=j (y_t ), и в общем случае j(e_t )~N(0, W_e ).

В основе метода максимального правдоподобия лежит исходное предположение о том, что “лучшим” оценкам a₀^*, a₁^*,..., a_n^*“истинных” значений параметров эконометрической модели a₀, a₁,..., a_n должен соответствовать наиболее вероятный набор “фактических” значений ошибки е₁^*, е₂^*,..., е_T^*, рассматриваемых как “своего рода оценки” ее истинных значений e₁, e₂,..., e_T и поэтому удовлетворяющих вышеприведенным предположениям.

Таким образом, максимум произведения р(е₁)×р(е₂)×...×р(е_Т) соответствует наиболее вероятному сочетанию значений e_t, t=1, 2,..., T, обеспечиваемому “наилучшими” оценками параметров модели. При этом имеется в виду, что для произвольного набора значений фактической ошибки е₁, е₂,..., е_T произведение вероятностей р(е₁)×р(е₂)×...×р(е_Т ) в данном случае выражает вероятность совместного распределения их значений, соответствующих определенному набору оценок параметров a₀, a₁,..., a_n.

С учетом этого, решение задачи оценки параметров линейной эконометрической модели может быть получено в результате максимизации целевой функции следующего вида:

по неизвестным параметрам a₀, a₁,..., a_n и s_e² при заданных массивах исходных данных, выражаемых вектором известных значений зависимой переменной у_t и матрицей значений независимых факторов Х размера Т´(п+1).

y = Х = , (2.110)

в которой столбец, состоящий из единиц, соответствует коэффициенту модели a₀.

Целевая функция типа (2.109) называется функцией максимального правдоподобия. Несложно заметить, что оптимальные значения оценок параметров a₀^*, a₁^*,..., a_n^*и дисперсии фактической ошибки s_e², соответствующие ее максимуму, должны обеспечивать и максимум ее логарифма. Иными словами, при определении значений этих оценок можно решать задачу максимизации В таком случае в условиях независимости разновременных ошибок e_t и e_t–i

Не принимая во внимание первое постоянное слагаемое в правой части выражения (2.111), заметим, что оптимальные значения a₀^*, a₁^*,..., a_n^*и s_e² в этом случае могут быть найдены путем решения следующей системы из п+2-х дифференциальных уравнений в частных производных по этим параметрам:

Для получения более компактной векторно-матричной формы записи решения системы (2.112) представим линейную эконометрическую модель в векторно-матричной форме:

у=Х×a+e, (2.113)

где вектор у и матрица Х определены выражением (2.110) и вектор ошибки e имеет такой же вид, как и вектор у; вектор параметров a=(a₀, a₁,..., a_n)¢.

На основании (2.113) вектор ошибки можно представить в следующем виде:

e=у –Х×a, (2.114)

и последнее слагаемое в выражении (2.111) записать как скалярное произведение вектора ошибки строки на ее столбец. С учетом этого выражение (2.111) приобретает следующий вид:

(2.115)

Дифференцируя выражение (2.115) по неизвестному вектору параметров a и по неизвестной дисперсии ошибки s_e², получим следующую векторно-матричную форму записи системы (2.112):

¶l/¶a = (– Х¢×у+ Х¢×Х×a)=0;

¶l/¶s_e²= (у –Х×a)¢×(у –Х×a)=0. (2.116)

Поскольку s_e²¹0, из первого уравнения системы (2.116) непосредственно получаем вектор оценок ММП коэффициентов линейной эконометрической модели в следующем виде:

a^*=a=(Х¢Х )^–1×Х¢×у, (2.117)

а из второго – оценку ММП дисперсии ошибки эконометрической модели:

s_е² = (у –Х×a)¢×(у –Х×a)=

Выражение (2.117) ничем не отличается от своего аналога (2.8), полученного с использованием МНК, а оценка дисперсии ошибки модели, полученная на основании выражения (2.118), является смещенной. Вследствие этого на практике используют несмещенную оценку дисперсии, определяемую следующим образом:

Таким образом, при предположении о нормальном законе распределения ошибки эконометрической модели и ее свойствах, определенных выражениями (2.20)–(2.24), оценки ее коэффициентов, полученные с использованием методов максимального правдоподобия и наименьших квадратов совпадают. Аналогичное совпадение отмечается и у ковариационных матриц этих оценок.

Если же ошибки модели распределены по другому закону (например, Гаусса с тяжелыми хвостами, Стьюдента и т. п.), то вообще говоря, выражения для оценки коэффициентов, полученные на основе ММП, будут отличаться от их аналогов, полученных с использованием МНК.