Характеристические функции и моменты

До сих пор мы задавали случайные величины законом распределения. Характеристическая функция – ещё один способ представления случайных величин.

Пусть X – случайная величина. Её характеристической функцией f(t) назовём математическое ожидание случайной величины e^itX:

f(t)=Me^itX,

где под комплекснозначной случайной величиной e^itXмы понимаем комплексное число e^itX=costX+isintX, а

M(e^itX)=M(costX)+iM(sintX);

независимая переменная t имеет размерность X^-1.

Характеристическая функция – преобразование Фурье-Стилтьеса функции распределения:

f(t)= e^itxdF(x).

В непрерывном случае f(t) – преобразование Фурье плотности вероятности:

f(t)= e^itxp(x)dx.

Если f(t) абсолютно интегрируема, то обратное преобразование Фурье позволяет восстановить плотность p(x) по характеристической функции:

p(x)= e^-itxf(t)dt.

В дискретном случае:

f(t)= e^itxkp_k.

Особо отметим дискретные случайные величины с целочисленными значениями, например, при x_k=k:

f(t)= e^itkp_k;

здесь f(t) – ряд Фурье в комплексной форме, вероятности p_kиграют роль коэффициентов Фурье и легко восстанавливаются по f(t):

p_k= e^-iktf(t)dt.

В общем случае восстановление закона распределения по характеристической функции тоже возможно, но более сложно.

Важнейшим свойством характеристической функции, сделавшим её одним из главных инструментов современной теории вероятностей, оказалось то, что при суммировании независимых случайных величин их характеристические функции перемножаются: если X и Y независимы, то для случайной величины Z=X+Y: f_Z(t)=f_X(t)×f_Y(t).

Действительно,

f_Z(t)=M(e^itZ)=M(e^it(X+Y))=M(e^itX×e^itY)=M(e^itX)×M(e^itY)=f_X(t)×f_Y(t).

Законы распределения при суммировании независимых слагаемых ведут себя гораздо сложнее. Например, в непрерывном случае по свойству преобразования Фурье произведению характеристических функций соответствует свёртка плотностей:

p_Z(z)= p_X(x)×p_Y(z-x)dx.

Если Y=aX+b, то

f_Y(t)=M(e^it(aX+b))=e^itb×M(e^itaX)=e^itb×f_X(at).

Другим важным свойством характеристических функций является их простая связь с моментами.

   Начальным моментом порядка k называется m_k=M(X^k).

   Центральным моментом порядка k называется m_k=M[(X-MX)^k].

В частности, MX=m₁, DX=m₂. Отметим также, что m₀=1, m₀=1, m₁=0.

Предполагая возможность дифференцирования под знаком математического ожидания в равенстве f(t)=Me^itX, получим: f^(k)(t)=i^kM(X^k×e^itX).

При t=0: f^(k)(0)=i^kM(X^k)=i^km_k Û m_k= f^(k)(0).

Таким образом, характеристическая функция позволяет заменить интегрирование при вычислении моментов дифференцированием.

В частности,

MX=m₁= f^¢(0), DX=m₂-m₁²=-f^¢¢(0)+[f^¢(0)²].

Если характеристическая функция f(t) разлагается в ряд Маклорена, то

f(t)= f^(k)(0)t^k= (it)^k,

и, если моменты существуют, то они однозначно определяют f(t), т. е. закон распределения случайной величины X. Таким образом, совокупность начальных моментов также может задавать случайную величину.

   Центральные моменты просто связаны с начальными:

          m_k=M[(X-MX)^k]= (-1)^k-j m_jm₁^k-j, k=2, 3, ¼ .

   Обратно: начальные моменты m_kможно вычислять, зная центральные мо-
менты m_kи математическое ожидание m₁:

          m_k=M{[(X-MX)+MX]^k}= m_jm₁^k-j, k=2, 3, ¼ .

Характеристическую функцию определяют также и для n-мерной случайной величины (X₁, X₂, , ¼ , X_n):

f(t₁, t₂, , ¼ , t_n)=M(expi(t₁X₁+t₂X₂+¼+t_nX_n)).

Например, для n-мерного нормального закона:

f(t₁, ¼ , t_n)= exp[i(t₁X₁+¼+t_nX_n)- (x-a)^TD^-1(x-a)]dx₁¼dx_n=
=exp(ia^Tt- t^TDt),

где a и t задаются как столбцы, в чём можно убедиться, осуществляя преобразования, описанные в теореме 18°.

Вычисление f(t), MX и DX для основных распределений

1°. X~B(n, p).

f(t)= e^ikt p^kq^n-k=(pe^it+q)ⁿ.

Небольшое упражнение на дифференцирование даёт:

MX= f^¢(0)=np, DX=-f^¢¢(0)+[f^¢(0)²]=npq.

2°. X~P(l).

f(t)= e^ikt =e^-l (le^it)^k=exp[l(e^it-1)].

Отсюда сразу найдём: MX=l, DX=l.

3°. X~R(a, b).

f(t)= e^itxdx= (e^itb-e^ita).

Отсюда находим: MX= , DX= .

4°. X~Exp(m).

f(t)=m e^itx-mxdx= .

Из этого равенства: MX= , DX= .

5°. X~N(0, 1).

f(t)= dx.

Примем во внимание, что e^itx=costx+isintx:

f(t)= costxdx+ sintxdx.

Второй из этих интегралов равен нулю, так как его подынтегральная функция нечётна. Ввиду чётности подынтегральной функции первого интеграла:

f(t)= costxdx.

Обозначим: J(t)= costxdx.

Очевидно,

J^¢(t)=- x sintxdx= sintx ;

интегрируем по частям:

J^¢(t)=sintx× -t costxdx=-tJ(t).

Таким образом, J^¢(t)=-tJ(t), причём J(0)= .

Решение этого дифференциального уравнения находится без труда:

J(t)= costxdx= .

Окончательно: f(t)= .

Отсюда для X~N(a, s): f(t)=  и сразу же находим: MX=a, DX=s².

По поводу характеристической функции нормального закона можно заметить интересное его свойство:

сумма независимых нормально распределённых случайных величин распределена по нормальному закону.

Действительно. Пусть X и Y независимые случайные величины, причём, X~N(a₁, s₁), Y~N(a₂, s₂), а Z=X+Y.

Характеристические функции X и Y: f_X(t)= , f_Y(t)= .

Для характеристической функции Z имеем:

f_Z(t)=f_X(t)×f_Y(t)=exp[i(a₁+a₂)t- t²],

но это означает, что Z~N(a₁+a₂, ).

Аналогичным свойством обладают и независимые пуассоновские случайные величины:

сумма независимых случайных величин, распределённых по закону Пуассона, распределена по закону Пуассона.

В самом деле, если X~P(l₁), X~P(l₂), то

f_X(t)=exp[l₁(e^it-1)], f_Y(t)=exp[l₂(e^it-1)],

поэтому характеристическая функция случайной величины Z=X+Y:

f_Z(t)=f_X(t)×f_Y(t)=exp[(l₁+l₂)(e^it-1)],

но это значит, что Z~P(l₁+l₂).

Законы, сохраняющиеся при сложении независимых случайных величин, называются безгранично делимыми. Нормальный и пуассоновский – примеры таких законов.

p(x)=

6°. X~G(l, m). Здесь:

m^lx^l-1e^-mx, если x>0,
0, если x£0.

Найдём характеристическую функцию гамма-распределения. Имеем:

f(t)= m^l x^l-1e^-x(m-it)dx.

Положим в интеграле x= :

f(t)= z^l-1e^-zdz,

где интегрирование проводится по бесконечному лучу L, выходящему из начала координат и проходящему через точку m-it. Можно доказать, что этот интеграл равен G(l). Поэтому: f(t)= .

Сравнивая характеристические функции гамма-распределения и экспоненциального распределения, можно сделать следующий вывод:

сумма k независимых экспоненциальных слагаемых X_i~Exp(m) распределена по закону G(k, m).

––²––

Иногда в сокращённых курсах теории вероятностей тему "характеристические функции" исключают. Принимая это во внимание, дадим независимый от этой темы вывод значений MX и DX основных распределений.

1°. X~B(n, p).

Xi=

Введём вспомогательные случайные величины:

1, если в i-ой попытке произошёл "успех",
0, если в i -ой попытке произошла "неудача".

Очевидно,

MX_i=p, M(X_i²)=1²×p+0²×q=p, DX_i=pq.

Кроме того, X= X_i, причём слагаемые здесь независимы. Поэтому:

MX= MX_i=np, DX= DX_i=npq,

2°. X~P(l).

Продифференцируем по l тождество  e^-l=1:  k e^-l- e^-l=0, откуда:

k e^-l=l.                       (*)

Продифференцируем (*) по l ещё раз:  k² e^-l- k e^-l=1, или:

k² e^-l=l²+l.                           (**)

Из (*): MX=l; из (*) и (**): DX=M(X²)-M(X)²=(l²+l)-l²=l.

3°. X~R(a, b).

MX= xdx= ; DX= (x- )²dx= .

4°. X~Exp(m).

Рассмотрим интеграл: I= e^-mxdx= . Дважды продифференцируем его по параметру m:  =- xe^-mxdx=- ,  = x²e^-mxdx= .

Поэтому:

MX=m xe^-mxdx=- , M(X²)=m x²e^-mxdx= , DX=M(X²)-M(X)²= .

5°. X~N(a, s).

Найдём математическое ожидание X:

MX= x dx.

Положим в интеграле  =y и представим его как сумму двух интегралов:

MX= dy+ y dy Û MX=a.

Вычислим дисперсию:

DX= (x-a)² dx.

Замена переменной  =y приводит интеграл к виду

DX= y² dy=x + dy  Û DX=s².

Предельные теоремы

1°. Локальная теорема Муавра-Лапласа.

Теорема Муавра-Лапласа устанавливает условия, при которых биномиальную случайную величину можно приближённо рассматривать как нормальную.

  Пусть X~B(n, p). При n®¥ и любых фиксированных a и b, a£b:

           p^mq^n-m~ exp[- ] *)

для любых m, удовлетворяющих неравенствам: a£ £b.

Доказательство. ƒ Доказательство теоремы основывается на формуле Стирлинга: при n®¥: n!~ nⁿe^-n.

Введём величину y=  Û m=np+y  Û n-m=nq-y .

Величина y по условию оказывается ограниченной. Пусть n®¥, а m рассматриваем лишь такие, при которых a£y£b. Тогда:

p^mq^n-m= p^mq^n-m~ =
= = (1+y )^-m- (1-y )^-n+m- =
= exp[-(m+ )ln(1+y )-(n-m+ )ln(1-y )]=
= exp[-(np+y + )(y - y²+¼)-
                        -(nq-y + )(-y - y²+¼)]~

отбрасываем в показателе экспоненты бесконечно малые величины выше второго порядка:

~ exp(-y + y²-qy²+y + y²-py²)= ,

что и требовалось доказать. ‚

Таким образом, при больших n, умерено больших m и фиксированном p (0<p<1) можно приближённо заменять биномиальное распределение нормальным: B(n, p)»N(np, ).

Ошибка приближения зависит от того, достаточно ли велико n, не слишком ли близко p к 0 или к 1 и каково интересующее нас значение m. Эта ошибка в настоящее время хорошо изучена и оценена; при необходимости всю нужную информацию можно найти в литературе.

2°. Интегральная теорема Муавра-Лапласа.

  Пусть X~B(n, p). Тогда при n®¥ и любых фиксированных a и b, a£b:

           P{a£ £b}= dy.

Доказательство. á Обозначим: y_m= . Имеем:

P{a£ £b}= p^mq^n-m~

но для всех m, по которым нужно суммировать, выполнена локальная теорема Муавра-Лапласа, так что:

~ =

соседние точки суммирования y_mнаходятся друг от друга на расстоянии Dy_m=
=y_m+1-y_m= . Поэтому, в соответствии с определением определённого интеграла:

= Dy_m dy. à

Теорема Муавра-Лапласа позволяет уточнить связь относительной частоты и вероятности. Поскольку абсолютная частота m события A, имеющего вероятность p, распределена по биномиальному закону B(n, p), то

P{| -p|£e}=P{-e£ -p£e}=P{-e £ £e }»
» dy=F(e ).

По этой формуле можно приближённо находить вероятность a заданного отклонения относительной частоты от вероятности, вычислять необходимое число опытов n, при котором с данной вероятностью a указанное отклонение не превышает e. Исходное уравнение выглядит так: F(e )=a.

3°. Центральная предельная теорема.

Переформулируем интегральную теорему Муавра-Лапласа, введя вспомогательные случайные величины, связанные со схемой Бернулли:

Xi=

1, если в i-ом испытании произошёл "успех",
0, если в i-ом испытании произошла "неудача".

Тогда S_n= X_i=m, и MS_n= MX_i=np, DS_n= DX_i=npq, и теорему Муав­ра-Лапласа можно сформулировать так:

P{a£ £b}= dy,

т. е. центрированная и нормированная сумма S_nдостаточно большого числа случайных величин X_iприближённо распределена по стандартному нормальному закону. Оказалось, что аналогичное утверждение верно для весьма широкого класса слагаемых, и центральная предельная теорема указывает точные ограничения (оказавшиеся весьма слабыми), которые нужно наложить на слагаемые, чтобы их центрированная и нормированная сумма в пределе была распределена по стандартному нормальному закону. Грубо говоря, смысл этих ограничений состоит в том, что слагаемые случайные величины должны быть бо­лее или менее равноправны. Именно центральная предельная теорема приводит, например, к тому, что большинство физических измерений приводят к нормально распределённым результатам: на результат отдельного измерения накладываются многие мелкие факторы, и суммарная ошибка по центральной предельной теореме оказывается нормально распределенной случайной величиной.

В качестве примера изложим здесь центральную предельную теорему в наиболее простом варианте: для одинаково распределённых слагаемых, имеющих дисперсию. Пусть X_i, i=1, 2, ¼ – независимые случайные величины с одной и той же функцией распределения F(x). Характеристическая функция их равна f(t)= e^itxdF(x).

Очевидно, если существует k-й начальный момент m_k:

m_k= x^kdF(x),

то существует и производная k-го порядка характеристической функции:

f^(k)(t)=i^k x^ke^itxdF(x),

ибо |e^itx|=1. Если существует момент второго порядка m₂(т.е. дисперсия), то по формуле Тейлора, отсюда следует, что можно при t®0 представить характеристическую функцию в форме

f(t)=f(0)+ f^¢(0)t+ f^¢¢(0)t²+o(t²)=1+m₁it+ m₂(it)²+o(t²).

Рассмотрим сумму S_n= X_i. Её центрирование и нормирование даёт:

= ,

где a=MX_i, s²=Dx_i. Случайная величина   имеет моменты m₁=0, m₂=1. Её характеристическая функция представляется в виде: f(t)=1- t²+o(t²), а характеристическая функция f_n(t) центрированной и нормированной суммы S_n, очевидно, равна:

f_n(t)=[1- t²+o( t²)]ⁿ=exp[nln(1- t²+o( t²)]

и при n®¥: f_n(t)® .

Характеристическая функция центрированной и нормированной суммы сходится к характеристической функции стандартного нормального закона. Отсюда можно вывести, что и функция распределения центрированной и нормированной суммы сходится к функции распределения нормального закона.

4°. Теорема Пуассона.

Теорема Пуассона устанавливает условия, при которых биномиальную случайную величину можно приближённо считать пуассоновской.

Докажем сначала чисто аналитический факт:

  При любом фиксированном l>0, любом фиксированном целом m³0 и   при n®¥:  = e^-l.

á Действительно,

= [ ]=
= [ ¼ ] = e^-l. à

Для достаточно больших n величина становится как угодно близкой к своему пределу. Обозначая =p, Û l=np, можем записать приближённое равенство:

p^mq^n-m» e^-l,

т. е. биномиальные вероятности можно считать пуассоновскими: B(n, p)»
»P(l), причём l=np. Поскольку в точной формулировке m и l фиксированы, а n®¥, то можно рассчитывать на малую погрешность приближения при большом n, малом p и умеренном np.

*) Знак "~" означает, что левая и правая части являются эквивалентными величинами, т. е. предел их отношения равен 1. При конечном и достаточно большом n этот знак можно понимать как знак приближённого равенства.