Случайные функции. Цепи Маркова

Пусть Т – некоторое множество действительных чисел. Если каждому значению поставлена в соответствие случайная величина X(t),то на множестве Т задана случайная функция X(t).

Если t – время, то случайная функция называется случайным процессом. Значение случайной функции X(t₀)при t=t₀, где ,называется сечением. Каждое испытание дает конкретную функцию x(t), которая называется реализацией (траекторией) случайной функции.

При зафиксированном значении аргумента t случайная функция X(t) превращается в случайную величину – сечение случайной функции или процесса. Тогда X(t) в данный момент времени t определяется плотностью распределения р(x;t). Однако одномерные законы распределения и их числовые характеристики, вычисленные для одного момента времени (для одного сечения семейства реализаций) не могут оценивать характер изменения процесса во времени. Для этой цели используют характеристики связи между ординатами, взятыми в различные моменты времени. Наиболее полно эти связи характеризуются многомерной плотностью распределения f(x_l,x₂,..,x_n; t_l,t₂,..,t_n) п произвольных сечений процесса. Однако многомерная плотность распределения не всегда известна, поэтому для практических приложений случайные процессы характеризуются математическим ожиданием, дисперсией и корреляционной функцией.

Математическиможиданием случайной функции X(t)называют неслучайную функцию т_х(t),которая при каждом значении аргумента t равна математическому ожиданию соответствующего сечения семейства реализаций случайной функции: и является средней траекторией для всех возможных реализаций.

Дисперсией случайной функции X(t)называют неслучайную функцию D_x(t),значение которой для каждого t равно дисперсии соответствующего сечения случайной функции: и характеризующей возможный разброс реализаций случайной функции относительно средней траектории.

Корреляционнойфункцией случайной функции X(t)называют неслучайную функцию двух аргументов K_x(t,t'),которая при каждой паре значений t, t' равна корреляционному моменту соответствующих сечений случайной функции:

Корреляционная функция характеризует степень зависимости между сечениями случайной функции, относящихся к различным t. Положительное значение корреляционной функции свидетельствует о том, что при увеличении (уменьшении) ординат процесса в сечении t всреднем увеличиваются (уменьшаются) ординаты при t'.Отрицательная корреляция означает увеличение (уменьшение) в среднем ординат в сечении t при их уменьшении (увеличении) в сечении t'.

Корреляционная функция является симметричной функцией своих аргументов, а ее ординаты по абсолютному значению не могут быть больше произведений среднеквадратичных отклонений в моменты времени t и t':

Процесс считается стационарным,если его многомерная плотность распределения не изменяется при сдвиге соответствующих моментов времени на любую величину. В рамках корреляционной теории, процесс считается стационарным, если его ковариационная функция M[X(t)·X(t')] не зависит от времени, а зависит только от разности ,

Корреляционная функция стационарного процесса по модулю не превосходит дисперсию:

Стационарный процесс у которого корреляционная функция стремится к нулю при называют эргодичным.Эргодические процессы представляют наибольший интерес для практических приложений, поскольку их характеристики, определяемые по семейству и по одной реализации совпадают:

Марковскимислучайными процессами называют такие процесса, у которых плотность совместного распределения произвольных двух сечений полностью определяют характер процессов, т.е. дальнейшее поведение процесса зависит только от значений, принятых процессом в настоящий момент времени, и не зависит от ранее принятых. Марковский случайный процесс, в котором сама функция принимает счетное множество возможных состояний (дискретные состояния) x_l,x₂,x₃,..,x_n,...,переход из одного состояния в другое происходит скачком под влиянием случайных факторов, называют цепями Маркова. Если переход из состояния в состояние происходит в дискретные моменты времени t₁,t₂,t₃,...,t_n,..., тo такой процесс называют дискретными цепями Маркова.Если переходы возможны в любой момент времени, то процесс называют непрерывными цепями Маркова.

Вероятность того, что дискретная цепь Маркова в момент времени t_i примет значение х_п при условии, что в момент времени t_i-1, она имела значение х_т, называют вероятностью переходаиз состояния в состояние Р_тп(t_i-1, t_i). Если эта вероятность зависит от длины промежутка времени и не зависит от начала отсчета времени, т.е. не зависит от номера шага, то такую цепь Маркова называют однородной:

Дискретные цепи Маркова однозначно определяются либо матрицей переходов

или графом состояний

Вектором вероятностей(безусловной вероятностью) состояния цепи Маркова называют вероятности р_п(t_i) того, что в момент времени t_i цепь примет значение х_п,которая представляет собой матрицу-строку:

, где

Вектор вероятностей состояния однородной цепи Маркова после i этапов однозначно определяется вектором вероятностей P(t₀) в начальный момент времени и матрицей переходов :

.

Если в цепи Маркова , то вектор вероятностей состояния превращается в вектор финальной (стационарной) вероятности [р₀,p₁,...,p_n], определяемый из однородной системы (n+1)-го уравнения:

Учитывая, что р₀+p_l+...+p_n = 1 и заменяя этим соотношением одно из вышеприведенных уравнений в системе, находим искомые финальные (стационарные) вероятности однородной цепи Маркова.

Для непрерывных цепей Маркова возможности перехода из состояния х_m в состояние х_п за время Δt оценивается плотностью вероятностей перехода λ_тп:

; при условии, что .

Если λ_тп не зависит от времени, то непрерывная цепь Маркова называется однородной.

Для непрерывных цепей Маркова вектор вероятностей состояния есть функция времени и определяется путем решения системы дифференциальных уравнений, которые составляются по графу состояния цепи Маркова по следующим правилам:

- в левой части каждого уравнения стоят производные по времени вероятностей состояния цепи;

- правая часть этих уравнений содержит столько членов, сколько переходов (стрелок на графе) связанно с данным состоянием;

- каждый член правой части уравнений равен произведению плотности вероятностей перехода, соответствующей данной стрелки графа состояния, умноженной на вероятность того состояния из которого исходит стрелка;

- каждый член правой части уравнений имеет знак «минус», если стрелка графа состояния входит в данное состояния и знак «плюс», если стрелка выходит из данного состояния.

Например:Имеем граф состояния однородной непрерывной цепи Маркова:

Для этого графа составляем систему уравнений по вышеуказанным правилам:

Учитывая, что p_l(t)+p₂(t)+p₃(t)=1, известными методами находят p_l(t), p₂(t), p₃(t).

В случае, когда нас интересуют вероятности состояния непрерывных цепей Маркова по истечению длительного промежутка времени (установившейся процесс ), то решение системы получают путем записи в левой части системы дифференциальных вместо производных нулей, т.е.

Задачи

10.1.Имеются три конкурирующих изделия х₁,х₂,х₃.Для определения спроса на эти изделия произведен в некоторый момент времени опрос 1000 человек. Оказалось, что x₁ покупают 500 человек, х₂ – 200, х₃ – 300. По истечению месяца оказалось, что из 500 человек, покупавших изделие х₁, 450 человек продолжали покупать это изделие, 40 человек стали покупать изделие х₂,10 человек – изделие х₃.Из 200 человек, покупавших изделие х₂, 80 стали покупать изделие х₁, 60 – изделие х₃, 60 продолжали покупать изделие х₂.Из 300 человек, покупавших изделие х₃, 60 продолжали покупать это изделие, 210 стали покупать изделие х₁, а 30 – изделие х₂. Определить какое изделие по истечению месяца, двух и пяти лет будет пользоваться наибольшим спросом.

Решение: Предположим, что поведение покупателей в каждый следующий месяц обусловлено их поведением в предыдущий месяц, то мы можем представить эту задачу в виде дискретной однородной цепи Маркова с тремя состояниями.

В момент времени t₀(проведение опроса) вероятности состояния системы (вероятности спроса на изделия) имели следующие значения:

P(t₀)=|0,5;0,2;0,3|.

Определим параметры матрицы переходов (вероятности перехода из состояния в состояние):

; ; ;

; ; ;

; ;

Найдем вектор вероятностей состояния цепи по истечению одного месяца:

Т.е. наибольшим спросом по истечению одного месяца будет пользоваться изделие x₁, (p₁(t_l) = 0,74), изделия х₂, х₃ одинаковым спросом (p₂(t₁) = p₃(t₁) = 0,13).

По истечению двух месяцев:

наибольшим спросом так же будет пользоваться изделие x₁. По истечению более длительного срока, оценку спроса можно произвести исходя из того, что для данной цепи условия эргодичности выполняется. При получаем следующую систему уравнений:

p₁=0,9 p₁+0,4p₂+0,7p₃;

p₂=0,08p₁+0,3p₂+0,1p₃;

p₃=0,07p₁+0,3p₂+0,2p₃.

Заменив одно из уравнений вышеуказанной системы уравнением p₁+p₂+p₃=1, получим искомые финишные (стационарные) вероятности нашей цепи Маркова p₁=0,84; p₂=0,1; p₃=0,06.

10.2.В городе N три местных супермаркета А, В, С,конкурируют между собой и относительно их фирма по изучения рынка выявила следующие факты. На 1 января каждый магазин имел равное число покупателей. За предыдущие 12 месяцев в среднем за месяц:

- Магазин А сохранил 80% своих покупателей и получил 10%
покупателей магазина В и 2% покупателей магазина С;

- Магазин В сохранил 70% своих покупателей и получил 14%
покупателей магазина А и 8% покупателей магазина С;

- Магазин С сохранил 90% своих покупателей, получил 6% покупателей магазина А и 20% покупателей магазина В.

Составьте матрицу перехода для средних ежемесячных изменений. Если предположить, что общее число покупателей в городе N постоянно, то какую долю от их числа имеет каждый магазин с 1 февраля, учитывая, что составленная матрица переходов верна в течение января.

10.3.Компания по прокату автомобилей выдает автомобили в трех аэропортах. Клиенты возвращают автомобили в эти аэропорты в соответствии с таблицей вероятностей:

Куда Откуда	А	В	С
А	0,8	0,2
В	0,2		0,8
С	0,2	0,2	0,6

а) Вычислить вектор X' Марковской цепи, удовлетворяющий равенству X'=Х'Р, . Представляет ли этот вектор стационарные вероятности?

б) В каком аэропорту следует построить авторемонтную станцию?

10.4.Некоторая фирма находиться в одном из двух состояний: «получает прибыль» или «нуждается в диверсификации своей деятельности». Если фирма получает прибыль сегодня, вероятность того, что она будет получать прибыль завтра, равна 0,7, а вероятность того, что она завтра будет нуждаться в диверсификации своей деятельности, равна 0,3. Если же фирма нуждается в диверсификации своей деятельности сегодня, то вероятность того, что она будет работать с прибылью завтра равна 0,6, а вероятность того, что она будет нуждаться в диверсификации своей деятельности, равна 0,4. Определить вероятность работы фирмы с прибылью через три дня.