Лекции по теории вероятностей

Основные случайные величины

Любой сходящийся интеграл от неотрицательной функции порождает непрерывное распределение. Именно, если  j(x)dx=I, то роль плотности играет

p(x)=

j(x), если xÎA,
0, если xÏA.

Любая конечная сумма или сходящийся ряд с неотрицательными слагае­мыми порождает дискретное распределение. Именно: если q_k=S, то роль дискретных вероятностей играют p_k= q_k, а в качестве x_kможно взять любые числа; наиболее простой выбор: x_k=k.

Рассмотрим конкретные примеры.

1°. Равномерное распределение. Его порождает интеграл dx=b-a.

p(x)=

, если xÎ[a, b],
0, если xÏ[a, b].

Этот закон распределения будем обозначать R(a, b); числа a и b называются параметрами распределения. Тот факт, что случайная величина X равномерно распределена на отрезке [a, b], будем обозначать следующим образом: X~R(a, b).

В частности, плотность случайной величины X~R(0, 1) имеет наиболее простой вид:

p(x)=

1, если xÎ[0, 1],
0, если xÏ[0, 1].

Функция распределения такой случайной величины равна:

F(x)=

0, если x<0,
x, если 0£x£1,
1, если x>0.

Если мы наугад выбираем точку на отрезке [0, 1], то её абсцисса x является конкретным значением случайной величины X~R(0, 1). Слово ''наугад" имеет в теории вероятностей терминологическое значение и говорится с целью подчеркнуть, что соответствующая непрерывная случайная величина распределена равномерно, или дискретная случайная величина имеет конечное число N возможных равновероятных значений.

2°. Экспоненциальное распределение.

Его порождает интеграл e^-mxdx= , m>0.

p(x)=

Плотность вероятности, очевидно, равна

me^-mx, если x³0,
0, если x<0,

F(x)=

а функция распределения:

1-me^-mx, если x³0,
0, если x<0.

То обстоятельство, что случайная величина распределена по экспоненциальному закону, будем записывать так: X~Exp(m), m называется параметром распределения (m>0).

3°. Распределение Коши. Его порождает интеграл dx=p.

Плотность вероятности: p(x)= , -¥<x<+¥.

4°. Гамма-распределение. Его порождает интеграл, который определяет гамма-функцию: G(l)= e^-tt^l-1dt, l>0. Выполним в этом интеграле замену переменной, положим: t=mx, m>0:

G(l)=m^l e^-mxx^l-1dx.

p(x)=

Соответствующая плотность вероятности равна:

x^l-1e^-mx, если x>0,
0, если x£0.

Будем обозначать это распределение G(l, m), l и m – параметры распределения (l>0, m>0).

5°. Нормальное распределение. Его порождает интеграл Пуассона:

I= dx= .

Докажем это равенство. Интеграл бы легко вычислялся, если бы подынтегральное выражение содержало множитель x. Такой множитель можно ввести под знак интеграла с помощью следующего остроумного приёма.

Запишем квадрат интеграла в следующем виде:

I²= dx× dy,

а теперь представим произведение интегралов как двойной интеграл:

I²= dxdy.

Перейдём в этом интеграле к полярным координатам. Положим: x=rcosj, y=
=rsinj, и ещё вспомним, что абсолютная величина якобиана при переходе от декартовых координат к полярным равна r. Заметим, наконец, что областью интегрирования двойного интеграла является вся плоскость, так что границы изменения переменных r и j, соответственно, таковы: rÎ[0; +¥), jÎ[0; 2p). Поэтому:

I²= dj rdr.

Теперь легко убедиться, что rdr=1, а потому I²=2p.

Распределение с плотностью

p(x)= , xÎ(-¥; +¥)

называется стандартным нормальным законом и обозначается N(0, 1).

Ему соответствует функция распределения:

F₀(x)= dx.

Обычно принято табулировать интеграл

F(x)= dx,

называемый интегралом ошибок или интегралом Лапласа. Функция распределения стандартного нормального закона просто выражается через этот интеграл:

F₀(x)= + F(x).

Если в интеграл Пуассона ввести параметры масштаба и сдвига с помощью замены переменной, заменив x на , то он примет вид:

dx=1.

Случайную величину с плотностью вероятности

p(x)= , xÎ(-¥; +¥),

называют нормально распределённой случайной величиной или просто нормальной. Соответствующий ей закон распределения обозначают N(a, s), a и s – параметры распределения (s>0, a – любое вещественное число).

График p(x) представлен на рис. 1.

p(x) x a O Рис. 1.

a – точка максимума p(x), его значение равно . Так как площадь под кривой всегда равна единице, то чем меньше s, тем больше вероятности сосредоточивается вблизи максимума. Таким образом, устанавливаем вероятностный смысл параметров нормального закона: областью наиболее вероятных значений нормальной случайной величины является окрестность точки a, а s указывает на степень концентрации вероятности в окрестности точки a – чем меньше s, тем менее вероятны заметные отклонения X от a.

Функцию распределения произвольного нормального закона легко выразить через интеграл Лапласа. Для этого нужно в выражении для функции распределения

F(x)= dx

выполнить замену переменной, положив =y:

F(x)= dy= + F( ).

6°. Геометрическое распределение. Его порождает геометрическая прогрессия:  = q^k-1, 0<q<1.

Соответствующая дискретная случайная величина имеет возможные значения x_k=k, k=1, 2, ¼ с вероятностями p_k=(1-q)q^k-1. Обозначение геометрического распределения: G(q), q – параметр распределения (0<q<1).

7°. Пуассоновское распределение. Его порождает разложение в ряд показательной функции: e^l= , l>0, которому отвечает дискретная случайная величина, принимающая целые неотрицательные значения x_k=k, k=0, 1, 2, ¼ с вероятностями p_k= .

Будем обозначать это распределение через P(l), l – параметр распределения (l>0).

8°. Биномиальное распределение. Его порождает формула бинома Ньютона: (p+q)ⁿ= p^mq^n-m.

Чтобы сумма вероятностей распределения p_kравнялась единице и все они были положительными, возьмём p>0, q>0, p+q=1, т. е. q=1-p. Возможными значениями будем считать x_k=k, k=0, 1, 2, ¼ , n, а их вероятностями – p_k= p^kq^n-k. Обозначим это распределение B(n, p), n и p – параметры распределения (0<p<1, nÎN, т. е. n – натуральное число).

Биномиальная случайная величина появляется, например, в схеме Бернулли, называемой также схемой последовательных независимых испытаний. Состоит она в следующем: осуществляется некоторый комплекс условий, при котором мы имеем одно и только одно из двух событий: либо "успех", либо "не­удачу", причём вероятность "успеха" равна p, вероятность "неудачи" равна q=
=1-p; эта попытка независимым образом повторяется n раз. Считая опытом все n попыток, можем считать элементарным событием опыта цепочку длины n, полученных в результате опыта "успехов" (У) и "неудач" (Н): УУУННУ
Н¼У.

Определим случайную величину X, задав её как число успехов в одном опыте. Событию {X=k} благоприятствуют те элементарные события, которые содержат "успех" ровно k раз, а "неудачу" – остальные n-k раз. Число таких благоприятствующих событию {X=k} элементарных событий, равно, очевидно, , а вероятности всех их одинаковы и по теореме умножения для независимых событий равны p^kq^n-k. Окончательно получаем: P{X=k}= p^kq^n-k, а возможными значениями случайной величины X оказываются числа x_k=k, k=
=0, 1, 2, ¼ n. Таким образом, число успехов X в схеме Бернулли – биномиальная случайная величина: X~B(n, p).

Пусть имеется вероятностное пространство (W, Å, P(×)) и рассматривается некоторое событие A. Обозначим его вероятность P(A)=p. Пусть испытание независимым образом повторяется n раз, причём событие A в этих n последовательных попытках наблюдалось k раз. Число k называется абсолютной частотой события A. Оно является конкретным значением случайной величины X, определённой на серии из n независимых испытаний. Ничто не мешает объявить событие A "успехом", а событие – "неудачей". Это превращает последовательность из n испытаний в схему Бернулли, а абсолютная частота события A оказывается распределённой по закону Бернулли.

Геометрическое распределение также просто связано со схемой Бернулли: будем повторять попытку до появления первого "успеха". Элементарным событием в таком опыте является цепочка, у которой "успех" расположен только на последнем (k-м) месте, а на всех предыдущих местах (а их k-1) – только "не­удачи": ННННН¼НУ. Свяжем с этим опытом случайную величину X – общее число попыток в опыте. Очевидно, значениями этой случайной величины могут быть x_k=k, k=1, 2, 3, ¼ , а их вероятности p_k=q^k-1p, что и совпадает с геометрическим распределением G(p).

C– распределение

При y>0:

F_cⁿ(y)=P{c_n<y}=P{c_n²<y²}= dx.

Отсюда:

p_cⁿ(y)= F_cⁿ(y)= y^n-1, при y>0, и p_cⁿ(y)º0, при y£0.

и, следовательно,

F_cⁿ(x)= y^n-1dy, при y>0 и F_cⁿ(x)º0, при y£0.

Распределение Стьюдента

Пусть даны две независимые случайные величины X~N(0, 1), и c_n.

Определим случайную величину T_n равенством: T_n=  и найдём закон её распределения.

Совместная плотность вероятности двумерной случайной величины (X, c_n) равна:

p(x, y)= y^n-1, для -¥<x<+¥, 0<y<+¥.

Функция распределения дроби T_n равна:

F_Tⁿ(t)=P{T_n<t}=P{ <t}=P{X<tc_n}.

Неравенству X<tc_n благоприятствуют точки, занимающие область, заштрихованную на Рис. 3:

y Рис. 3. x

Этой области досталась вероятность:

F_Tⁿ(t)=P{T_n<t}= dy p(x, y)dx= dy y^n-1dx.

Отсюда находим плотность вероятности:

p_Tⁿ(t)= F_Tⁿ(t)= y^n-1 ydy.

Отметим, что в интеграле t играет роль параметра и сделаем замену переменной:

u= y² Þ y=  Þ dy= .

Имеем:

p_Tⁿ(t)= × × e^-u du

и, выражая интеграл через гамма-функцию, мы можем записать плотность распределения Стьюдента в следующем – окончательном виде:

p_Tⁿ(t)= × .

Отметим, что при n=1 из этой формулы получается плотность распределения Коши:

p_T¹(t)= ,

т. е. случайную величину, распределенную по закону Коши, можно считать отношением двух независимых случайных величин, X= , где X_i~N(0, 1), i=1, 2.

Замечание. Часто случайную величину T_nопределяют с дополнительным множителем: T_n= × . В этом случае плотность вероятности имеет вид:

p_Tⁿ(t)= ×(1+ ) .

Дополнительные множители появляются и в выражении для функции распределения.

Числовые характеристики случайных величин:
математическое ожидание, дисперсия,
коэффициент корреляции

Наиболее полная информация о случайной величине содержится в законе её распределения. Более бедную, но зато и более конкретную информацию о ней дают её числовые характеристики. Простейшей из них является математическое ожидание, которое интерпретируется как среднее значение случайной величины. Если посмотреть на закон распределения как на распределение единичной вероятностной массы между значениями случайной величины, то в качестве среднего значения можно взять координаты центра тяжести этой массы. По известным из анализа и механики формулам получаем формулы для вычисления абсциссы центра тяжести:

xp(x)dx – в непрерывном случае,
x_kp_k– в дискретном случае.

Для того, чтобы дать определение, пригодное и для общего случая, необходимо обобщить понятие риманова интеграла.

Сделаем поэтому небольшое математическое отступление.

––²––

Интеграл Стилтьеса

Интеграл Стилтьеса определяется для двух функций: одна из них j(x) – называется интегрируемой, другая F(x) – интегрирующей. Разобьём всю ось на интервалы Dt_k: [t_k, t_k+1), относя для определённости к интервалу левый конец и исключая правый. В каждом интервале выберем произвольно точку x_kи составим интегральную сумму

j(x_k)[F(t_k+1)-F(t_k)].

Перейдём к пределу, устремив наибольший из интервалов к нулю. Если предел существует и не зависит ни от способа разбиения оси на интервалы, ни от способа выбора точек x_kна них, то он называется интегралом Стилтьеса от функции j(x) по функции F(x) и обозначается:  j(x)dF(x).

Легко убедиться в том, что обычные свойства интеграла сохраняются: постоянный множитель можно выносить за знак интеграла, интеграл от суммы равен сумме интегралов.

Интеграл Римана является частным случаем интеграла Стилтьеса для F(x)=x.

Рассмотрим два частных случая:

a. F(x) – ступенчатая функция, имеющая в точках x_iскачки величины p_iи постоянная между этими точками. Приращения F(t_k+1)-F(t_k) на тех интервалах Dt_k, которые не содержат точек разрыва функции F(x), равны нулю; если же точка x_iявляется единственной точкой разрыва F(x), содержащейся в интервале Dt_k, то разность F(t_k+1)-F(t_k) равна p_i. Считая, что все точки разрыва изолированные, при переходе к пределу получим:  j(x)dF(x)= j(x_i)p_i.

b. F(x) – дифференцируемая функция: существует производная F^¢(x)=p(x). В интегральной сумме для интеграла Стилтьеса  j(x_k)[F(t_k+1)-F(t_k)] каж­дую из разностей [F(t_k+1)-F(t_k)] заменим по формуле Лагранжа: на каждом промежутке Dt_kнайдётся такая точка h_k, в которой F(t_k+1)-F(t_k)=F^¢(h_k)=
=p(h_k)Dt_k; пользуясь произволом в выборе точек x_kиз промежутка Dt_k, возьмём в каждом слагаемом интегральной суммы x_k=h_kи тогда сумма примет вид:

j(h_k)p(h_k)Dt_k,

а это – ни что иное, как риманова интегральная сумма для функции j(x)p(x). Поэтому:

j(x)dF(x)= j(x)p(x)dx.

В теории вероятностей интеграл Стилтьеса оказался удобным средством объединения случаев непрерывного и дискретного распределений в общем случае.

––²––

Вернёмся к изучению числовых характеристик случайных величин.

1°. Выше мы ввели понятие математического ожидания для дискретной и непрерывной случайных величин.

Пусть теперь X – случайная величина с функцией распределения F(x). Возьмём произвольную функцию j(x).

Назовём математическим ожиданием функции j от случайной величины X число Mj(X), определяемое равенством:

Mj(X)= j(x)dF(x).

В частности, для непрерывной случайной величины с плотностью вероятности p(x) получаем:

Mj(X)= j(x)p(x)dx,

а для дискретной случайной величины с распределением p_k=P{X=x_k}:

Mj(X)= j(x_k)p_k.

В случае, когда j(x)=x, последние три формулы принимают вид:

MX= xdF(x) – в общем случае,
MX= xp(x)dx – в непрерывном случае,
MX= x_kp_k– в дискретном случае.

Формулы для непрерывного и дискретного случаев совпали с формулами для абсциссы центра тяжести распределения вероятностной массы, и тем самым оправдывается истолкование математического ожидания случайной величины X как среднего значения.

Для корректности определения математического ожидания следует обсудить вопрос о его существовании и единственности.

Вопрос о единственности Mj(X) возникает потому, что j(X) сама является случайной величиной со своей функцией распределения F_j(x) и в соответствии с нашим определением её математическое ожидание равно xdF_j(x).

Для однозначности определения необходимо выполнение равенства

j(x)p(x)dx= xdF_j(x)

и такое равенство действительно можно доказать: оно даёт правило замены переменных в интеграле Стилтьеса. Мы здесь вынуждены принять его без доказательства.

Вопрос о существовании математического ожидания: ясно, что в непрерывном и дискретном случае любая ограниченная случайная величина имеет математическое ожидание. Если же X может принимать сколь угодно большие значения, то в дискретном случае сумма, определяющая MX, становится бесконечным рядом, а в непрерывном – интеграл становится несобственным, причём оба могут расходиться. Очевидно, в непрерывном случае достаточным условием существования среднего значения у случайной величины является

p(x)=O( ) при x®±¥ (e>0),

а в дискретном случае:

x_kp_k=O( ) при k®¥ (e>0).

Однако оба эти условия не являются необходимыми.

Легко также придумать примеры случайных величин, не имеющих среднего. Для непрерывного случая таким примером может служить распределение Коши. В дискретном подобный пример придумать ещё проще, если учесть, что вероятность p_kможно приписать сколь угодно большим числам x_k.

Если дана двумерная случайная величина (X, Y), то математическое ожидание функции j(X, Y) определяется равенствами

Mj(X, Y)= j(x, y)p(x, y)dxdy – в непрерывном случае
(интеграл берётся по всей плоскости),

Mj(X, Y)= j(x_i, y_j)p_ij– в дискретном случае
(сумма берётся по всем возможным значениям
двумерной случайной величины).

2°. Второй по важности числовой характеристикой случайной величины X служит её дисперсия DX. Дисперсией называется

DX=M[(X-MX)²]= (x-MX)²dF(x),

т. е. среднее значение квадрата отклонения случайной величины от её среднего. Эта формула в непрерывном случае переходит в

DX= (x-MX)²p(x)dx,

а в дискретном в:

DX= (x_k-MX)²p_k.

Если среднее есть не у всех случайных величин, то дисперсия и подавно. В дальнейшем все теоремы о MX и DX без особых оговорок формулируются лишь для тех X, которые их имеют.

Размерность дисперсии равна квадрату размерности случайной величины X. Поэтому иногда удобно вместо DX рассматривать величину s_X= , называемую средним квадратичным отклонением случайной величины X или просто стандартом.

Дисперсия и стандарт мыслятся как меры разброса значений случайной величины вокруг её среднего.

3°. Докажем несколько простых утверждений:

Математическое ожидание постоянной C равно C: MC=C.

Постоянный множитель можно выносить за знак математического ожидания:

              M(CX)=CMX.

Дисперсия постоянной равна нулю: DC=0.

Постоянный множитель выносится за знак дисперсии в квадрате:

              D(CX)=C²DX.

Постоянную C можно рассматривать как частный случай дискретной случайной величины, принимающей единственное значение C с вероятностью, равной 1. Поэтому MC=C×1=C.

Свойство M(CX)=CMX следует из определения математического ожидания как предела интегральных сумм: постоянный множитель можно выносить за знак суммы и знак интеграла.

О дисперсии:

DC=M[(C-MC)²]=M[(C-C)²]=M0=0;

D(CX)=M[(CX-M(CX))²]=M[(CX-CM(X))²]=
=M[C²(C-MC)²]=C²×M[(X-MX)²]=C²DX.

4°. Математическое ожидание суммы случайных величин равно сумме их математических ожиданий:

M(X+Y)=MX+MY.

Докажем эту теорему отдельно для непрерывного и дискретного случая.

a. Непрерывный случай. Пусть p(x, y) – двумерная плотность вероятности.

Согласно определению математического ожидания функции от двумерной случайной величины:

M(X+Y)= (x+y)p(x, y)dxdy.

Представляя двойной интеграл как сумму двух повторных и выбирая соответствующий порядок интегрирования в слагаемых, имеем:

M(X+Y)= xdx p(x, y)dy+ ydy p(x, y)dx=
= xp_X(x)dx+ yp_Y(y)dy=MX+MY.

b. Дискретный случай.

M(X+Y)= (x_i+y_j)p_ij.

Представляем двойную сумму как две повторные:

M(X+Y)= x_i p_ij+ y_i p_ij= x_ip_i+ y_jp_j=MX+MY.

Аналогично эту теорему можно доказать для смешанного случая. Общая же формулировка потребовала бы введения двумерного интеграла Стилтьеса.

5°. Предыдущая теорема естественно обобщается на сумму n слагаемых:

M = MX_i.

Как частный случай применения этой формулы отметим следующую задачу: имеются события A₁, A₂, ¼ , A_n, их вероятности соответственно равны p₁, p₂, ¼ , p_n. Спрашивается, чему равно ожидаемое число событий A₁, A₂, ¼ , A_n, которые произойдут в опыте? Определим вспомогательные случайные величины X_iравенствами:

Xi=

1, если событие A_iпроизошло,
0, если событие A_iне произошло.

Всего в опыте происходит  X_i событий, а ожидаемое число равно

M = MX_i= p_i.

6°. Ещё одна формула для дисперсии: DX=M(X²)-M²(X).

Действительно, в силу теорем 3° и 4° имеем:

DX=M[(X-MX)²]=M(X²)-MX×MX+M[M(X)²]=
=M(X²)-2.M²(X)+M²(X)=M(X²)-M²(X).

В частности, если MX=0, то DX=M(X²).

7°. Нормированной случайной величиной X^*назовём:

X^*= .

Это – безразмерная случайная величина, причём:

a) MX^*=0, b) M(X^*2)=1, c) DX^*=1.

Действительно, по теореме 3° и 4°:

MX^*=M( )= (MX-MX)=0,
M(X^*2)=M[ ]= M[(X-MX)²]= DX=1,
DX^*=M(X^*2)-(MX^*)²=1-0=1.

8°. Если DX=0, то почти наверное X=const. Действительно,

DX= (x-MX)²dF(x).

Интегрируемая функция (x-MX)² неотрицательна, причём обращается в ноль, только в точке x=MX. Интегрирующая функция F(x) монотонно неубывающая, причём её наименьшее значение ³0, а наибольшее £1. Очевидно, равенство DX=0 возможно лишь в том случае, когда весь рост функции F(x) сосредоточен в точке MX,  а это и означает, что X=const почти наверное.

9°. Пусть дана двумерная случайная величина (X, Y). Назовем коэффициентом корреляции двумерной случайной величины число

r=r(X, Y)=M(X^*, Y^*)= .

Числитель здесь называется ковариацией случайных величин X и Y:

cov(X, Y)=M[(X-MX)(Y-MY)]=M(XY)-MX×MY.

Из определения коэффициента корреляции следует, что

cov(X, Y)=r× × .

Очевидно, коэффициент корреляции не меняется при линейном преобразовании случайных величин; в частности, r(X, Y)=r(X^*, Y^*).

Коэффициент корреляции – числовая характеристика пары случайных величин, определённых на одном и том же вероятностном пространстве, –заслу­жил репутацию меры линейной связи величин X и Y.

Основанием к этому служат последующие теоремы о коэффициенте корреляции.

10°. M(XY)=MX×MY+cov(X, Y) или M(XY)=MX×MY+r× × .

Действительно:

M(XY)=M{[(X-MX)+MX]×[(Y-MY)+MY]}=
=M[(X-MX)×(Y-MY)