Однородные дискретные цепи Маркова с непрерывным временем

Для однородных дискретных цепей Маркова с непрерывным временем переходные вероятности задаются матрицей P(t):

P(t, i, {j}) = Pij(t)

Введем понятие плотности вероятности перехода l_ij.

- если существует этот предел, то отсюда следует, что за малое время Dt вероятность P_ij(Dt)=l_ijDt+o(Dt) - бесконечно малая величина более высокого порядка

Предположим, что мы знаем плотности вероятностей перехода l_ij для всех пар состояний Si, Sj.

Пример.

Построим граф состояний системы S и против каждой стрелки проставим сооответствующую плотность вероятностей перехода. Такой граф с проставленными у стрелок плотностями вероятностей перехода, будем называть размеченным графом состояний.

Оказывается, зная размеченный граф состояний, можно определить вероятности состояний:

p₁(t), p₂(t), ..., p_n(t)

как функции времени. Например, найдем вероятность события p₁(t). Дадим малое временное приращение Dt и посмотрим, как система попадет в состояние S₁.

1) В момент времени t система была в состоянии S₁ и осталась в нем. Вероятность этого p₁(t)(1-l₁₂Dt)+o(Dt).

2) Система была в состоянии S₃ и за время Dt перешла в состояние S₁ - вероятность этого события есть p₃(t)l₃₁Dt+o(Dt).

3) Вероятность других событий - любых двух и более переходов за время Dt имеют вероятность o(Dt).

В итоге получаем:

p₁(t+Dt)= p₁(t)(1-l₁₂Dt)+p₃(t)l₃₁Dt+o(Dt).

отсюда имеем

Переходя к пределу, имеем

В результате имеем правило:

В левой части каждого уравнения стоит производная вероятностей состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак "минус"; если в состояние - "плюс". Каждый член равен произведению плотности вероятностей перехода, соответствующей данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

Пример. В начальный момент времени система находится в состоянии S₀.

Пользуясь правилом, получаем следующую систему обыкновенных дифференциальных уравнений:

Имеем условие нормировки p₁(t)+p₂(t)+p₃(t)+p₄(t)+p₅(t)=1

При t=0 p₁=1, p₂=p₃=p₄=p₅=0.