Ковариация (корреляционный момент) и коэффициент корреляции

Условные законы распределения

Для дискретных величин были введены условные вероятности по формулам

и .

Для непрерывных величин аналогично вводятся плотности для условных законов распределения

и .

Числовые характеристики составляющих и двумерной случайной величины можно найти по формулам

,

,

,

.

Аналогичные характеристики можно ввести и для условных распределений, например, условные математические ожидания

, .

Условное математическое ожидание будет функцией от :

, (1)

и наоборот, условное математическое ожидание будет функцией от :

. (2)

Функции (1) и (2) называются функциями регрессии: (1) − на , а (2) − на . Графики этих функций называются линиями регрессии или кривыми регрессии.

Зависимые и независимые случайные величины

Определение. Случайные величины и называются независимыми, если условные законы любой из них совпадают с безусловными:

для дискретных случайных величин

, т.е. ,

для непрерывных

, т.е. .

Таким образом, плотность вероятности совместного распределения системы равна произведению плотностей распределения составляющих. Это условие является не только необходимым, но и достаточным для непрерывных случайных величин. Точнее, имеет место следующая теорема.

Теорема (критерий независимости случайных величин). Для того, чтобы случайные величины и были независимыми необходимо и достаточно, чтобы функция распределения системы была равна произведению функций распределения составляющих:

.

Кроме того, для непрерывных величин это условие равносильно следующему

.

(Доказательство см. в [1].)

Для независимых случайных величин , т.е. функция регрессии , , т.е. функция регрессии , а значит, линии регрессии −прямые, параллельные координатным осям.

Пример. Задана плотность вероятности совместного распределения системы

Найдем

.

.

Мы видим, что , т.е. случайные величины и являются независимыми.

Ковариация (корреляционный момент) и коэффициент корреляции

Для двумерной случайной величины характеристики ее составляющих и , , , никак не отражают зависимости между и или ее отсутствия. Поэтому вводится еще одна числовая характеристика − корреляционный момент или ковариация.

Определение. Ковариацией или корреляционным моментом случайных величин и называется математическое ожидание произведения отклонений этих величин от их математических ожиданий:

.

Используя формулы для математических ожиданий, получаем

для дискретных величин ,

для непрерывных величин .

Ковариация характеризует зависимость величин.

Свойства корреляционного момента

1. Для независимых случайных величин и .

2. Если , то случайные величины и зависимы.

3. . (Для доказательства достаточно раскрыть скобки под знаком математического ожидания в определении.) В частности

для дискретных величин ,

для непрерывных величин .

4. . (Свойство сразу вытекает из 3.)

5. . (Выразите дисперсию через математические ожидания.)

6. .

7. . (Доказательство этого свойства можно найти в [1, гл.14, § 17].)

Ковариация имеет размерность произведения размерностей случайных величин и и зависит от того, в каких единицах измерялись величины. Для получения безразмерной характеристики вводится понятие коэффициента корреляции.

Определение. Коэффициентом корреляции случайных величин и называется отношение корреляционного момента к произведению средних квадратических отклонений этих случайных величин:

.

Свойства коэффициента корреляции

1. Для независимых случайных величин и .

2. . Коэффициент корреляции по абсолютной величине не превосходит единицы.

3. Если , то случайные величины и связаны линейной зависимостью, т.е. .

Определение. Случайные величины и называются некоррелированными, если , и коррелированными, если .

Следует помнить, что понятия некоррелированности и независимости не совпадают, несмотря на внешнее сходство. Независимые величины − некоррелированные, но обратное неверно. Коррелированные величины − зависимые, но обратное неверно. Любые коррелированные величины всегда зависимые, любые независимые величины всегда некоррелированные. Это можно отразить на двудольном графе.

Пример. У случайных величин и , , , , . Найдите и .

Решение. .

.

Ответ. , .

В заключение рассмотрим пример на вычисление всех характеристик системы случайных величин.

Пример. Задан закон распределения системы случайных величин :

Найдите значение параметра . Найдите законы распределения составляющих и . Найдите условные законы распределения составляющих. Найдите , , , , , , .

Решение. а) Согласно свойству совместной плотности вероятности системы случайных величин (свойство 4 из §10) для заданной плотности также

, т.е. . Вычислим интеграл:

. Следовательно, .

Итак, плотность вероятности имеет вид

б) Законы распределения составляющих и найдем по формулам:

− плотность вероятности составляющей и

− плотность вероятности составляющей .

Если , то , а при

, поэтому

Аналогично, если , то , а при

, поэтому

в) Условные законы распределения составляющих и найдем по формулам:

и .

при , т.е.

при , т.е.

г) Математическое ожидание найдем по формуле

, а т.к. отлична от 0 только в области , то

.

Аналогично, .

Для вычисления дисперсии найдем . А т.к. отлична от 0 только в области , то

.

.

Аналогичные вычисления для дают .

Средние квадратические отклонения и .

д) Математическое ожидание найдем по формуле

. А т.к. отлична от 0 только в области , то

.

е) Корреляционный момент найдем по формуле .

.

Коэффициент корреляции вычисляется по формуле .

.

Так как коэффициент корреляции отличен от 0, случайные величины и коррелированные, а значит, зависимые.

Ответ. ,

,

, , , ,

, , .

Замечание. Симметричные значения для составляющих в данном примере получились благодаря симметричности плотности совместного распределения и области . В общем случае таких совпадений не будет.

Закон больших чисел

В 1913 г. В России был отмечен необычный юбилей − двухсотлетие закона больших чисел. В 1913 г. Была переведена на русский язык «Часть четвертая сочинения Я. Бернулли», опубликованного в 1713 г. через 8 лет после его смерти. Само название «закон больших чисел» принадлежит Пуассону (1781 − 1840).

Что такое «закон больших чисел»?

Под «законом больших чисел» в широком смысле слова понимается общий принцип, согласно которому (по словам А.Н. Колмогорова) совокупное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая.

В узком (математическом) смысле слова закон больших чисел – это ряд теорем, в которых при тех или иных условиях устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным.

Для каждой случайной величины нельзя предвидеть, какое она примет значение в итоге испытания. Но поведение суммы большого числа случайных величин почти утрачивает случайный характер и становится закономерным, здесь необходимое прокладывает себе дорогу сквозь множество случайностей.

Исторически первой формулировкой больших чисел считается теорема Бернулли, опубликованная в 1713 г. В дальнейшем были получены более простые её доказательства, основанные на неравенстве Чебышева[1].

Теорема Бернулли(современная формулировка).

При неограниченном числе испытаний в схеме Бернулли относительная частота (частость) появления события стремится по вероятности к вероятности события :

.

Теорема(неравенство Чебышева). Для любого и любой случайной величины , имеющей математическое ожидание и дисперсию , вероятность того, что случайная величина отклонится от не меньше чем на меньше либо равна :

. (1)

Доказательство(для непрерывной случайной величины): ○

. ●

− это верхняя граница вероятности, она может быть достаточно большой, существенно больше 1.

Так как события и противоположные, то другая форма неравенства Чебышева

. (2)

Здесь дается нижняя оценка вероятности рассматриваемого события.

Пример.Для любой случайной величины по неравенству Чебышева получаем

, в то время как для нормально распределённой величины , т. е. оценка по неравенству Чебышева менее точная, но применимая для всех без исключения случайных величин.

Теорема Чебышева.Если − попарно независимые случайные величины с равномерно ограниченными дисперсиями, т.е. , то при неограниченном увеличении их среднее арифметическое стремится по вероятности к среднему арифметическому их математических ожиданий: ,

т.е. для любого .

Доказательство. ○ По неравенству Чебышева , т.к. . ●

Таким образом, при большом числе случайных величин их среднее арифметическое − случайная величина, сколь угодно мало отличающаяся от постоянной величины , т.е. практически перестает быть случайной. В частности, если величины одинаково распределены , то .

Теорема Чебышева имеет важное практическое значение: при измерении некоторой величины , истинное значение которой неизвестно, проводят независимых измерений . Тогда . Этим обосновывается выбор среднего арифметического в качестве меры истинного значения .

Смысл теоремы Чебышева заключается в том, что хотя отдельные независимые величины могут принимать значения, далекие от своих математических ожиданий среднее арифметическое большого числа случайных величин с большой вероятностью принимает значение, близкое к некоторой константе, а именно к . Например, при измерении физической величины проводят несколько независимых измерений и их среднее арифметическое принимают в качестве истинного размера.

К числу теорем закона больших чисел относится и центральная предельная теорема Ляпунова[2]

Теорема(центральная предельная теорема Ляпунова). Распределение суммы попарно независимых случайных величин приближается к нормальному, если:

1. все эти величины имеют конечные математические ожидания и дисперсии

2. ни одна из величин по своим значениям резко не отличается от остальных.

Пример.В университете, куда ежедневно приходят 6400 студентов, имеется 2 входа. Каждый студент с вероятностью 0,5 заходит в любой из них и сдает пальто в соответствующий гардероб. Сколько вешалок должно быть в каждом гардеробе, чтобы с вероятностью, большей 0,997 их хватило?

Решение. С каждым студентом свяжем случайную величину , которая примет значение 1, если студент заходит с первого входа и 0 в противном случае. Тогда количество студентов, зашедших с первого входа и сдающих пальто в соответствующий гардероб, равно . Законы распределения составляющих, очевидно, таковы

	0,5	0,5

Так как сумма большого числа одинаково распределенных величин по теореме Ляпунова подчиняется нормальному закону распределения, то , поэтому достаточно вешалок в промежутке , т.е. .

Ответ. 3320 вешалок.

[1] Пафнутий Львович Чебышёв (1821 −1894) − русский математик и механик, его работы по теории вероятностей имели огромное значение для развития математики.

[2] Александр Михайлович Ляпунов (1857 − 1918) − русский математик и механик, выдающийся представитель петербургской математической школы, созданной П.Л. Чебышевым.