Важные классы неоднородных марковских процессов

1) Марковский процесс, определенный на множестве Т, состоящем только из целых чисел, - т.е. марковская последовательность xn - называется, согласно традиции, цепью Маркова (или марковской цепью).

2) Особенно просты дискретные цепи Маркова, т.е. те, для которых Х - конечное или счетное множество.

3) Среди дискретных цепей выделяются конечные цепи, для которых фазовое пространство конечно.

Для дискретных цепей Маркова достаточно задать счетный (или конечный) набор чисел - меры (вероятности) всех одноточечных множеств. Поэтому переходная функция определяется заданием матрицы вероятностей перехода (или переходной матрицы) Pst, зависящей от двух моментов времени s£t:

Pst=|| p(s, i, t, j)=pst (i, j) || i, jÎX.

p(s, i, t, j)=P(s, i, t, {j})

Элементы матрицы мы обозначим буквой p, строки и столбцы нумеруем элементами из Х. Величина p(s, i, t, j) имеет смысл обычной условной вероятности P{xt=j|xs=i}.

Требование, налагаемое на переходную функцию, чтобы она была распределением вероятностей, превращается в требование того, чтобы матрица Pst была стохастической или вероятностной, т.е. состояла из неотрицательных элементов с суммой 1 в каждой строке:

Важные классы неоднородных марковских процессов - student2.ru

Условие P(s, x, s, Г) = dx(G) превращается в условие Pss=E - единичная матрица.

Еще раз отметим, что для цепей Маркова время - это только целые моменты времени!!!

Уравнение Чепмена-Колмогорова для процессов с дискретным фазовым пространством превращается в

Важные классы неоднородных марковских процессов - student2.ru

или (в другой форме записи)

Важные классы неоднородных марковских процессов - student2.ru

Это обозначает, что соответствующие матрицы перемножаются.

Psu = Pst Ptu

Для цепей Маркова достаточно задать набор вероятностей перехода за один шаг

Важные классы неоднородных марковских процессов - student2.ru

Действительно

Важные классы неоднородных марковских процессов - student2.ru

Для дискретных цепей Маркова это свойство выглядит как

Pst=Ps,s+1Ps+1,s+2...Pt-1,t=Ps+1Ps+2...Pt

4) Марковские процессы с непрерывным временным параметром (Т=[0, ¥) или (-¥, ¥)), но с конечным или счетным Х. Их иногда называют дискретными цепями Маркова с непрерывным временем.

Наши рекомендации