Дискретный марковский процесс

Большинство аналитических моделей массового обслуживания опирается на дискретный марковский процесс.

Дискретный марковский процесс отличается от цепи тем, что переход из состояния в состояние может произойти в любой момент времени.

Вместо вероятностей по шагам используются вероятности перехода на интервале t - t:

P_ij(t₁,t₂)=P{X(t₂)=j/X(t₁)=i}.

Наиболее простые и популярные модели СМО, как правило, основываются на уравненияхКолмогорова – Чэпмена.

Рассмотрим дискретный марковский процесс, обладающий следующим свойством:

- для стационарного процесса,

- для нестационарного процесса,

- интенсивностьперехода .

- величина, имеющая порядок малости выше, чем (убывает быстрее, чем ) ; ,

Процесс, в основание которого положено это свойство, описывается уравнениями Колмогорова – Чэпмена, решая их, можно найти вероятности переходов P_ij(t₁,t₂).

Так как в марковском процессе будущее определяется только настоящим, то

выразим состояние в будущем(t+Dt) через состояние в настоящем (t). Немарковские процессы такого не позволяют.

Рассмотрим вначале, для простоты, стационарный процесс, т.е. процесс, характеристики которого не зависят от времени, и потому начало координат можно поместить в любую точку.

. (3.4)

Разделив обе части этого выражения на Dt, получим:

(3.5)

Осуществим предельный переход (перейдем к пределу ):

- полученное уравнение носит название уравнения Колмогорова 2-го рода, или «уравнение, обращенное вперед».

Запись уравнения можно упростить:

-суммарная интенсивность выхода из состояния j.

Введем следующее обозначение: .

Тогда уравнение примет следующий вид:

.

В правой части стоят вероятности переходов, которые необходимо найти.

Сделаем замечание относительно :

В выражении , - учитывает принципиальную возможность более одного перехода на малом интервале времени - Dt.

- вероятность 2-х переходов

- вероятность 3-х переходов ит.д.

Чем меньше Dt, тем меньше вероятность того, что совершен более чем один переход и в пределе она равна нулю. Поэтому можно утверждать, что одномоментно возможен только один переход. Такое свойство потока событий называется ординарностью.

Процесс, описываемый приведенными уравнениями Колмогорова – Чэпмена, обладает 3-мя важными свойствами:

1) Марковость (отсутствие последействия);

2) Ординарность (практическая невозможность осуществить одновременно более одного перехода)

3) Стационарность (только для выведенных выше уравнений, когда l, единственная характеристика процесса, была принята не зависящей от времени; если это не так, то аналогичным образом можно вывести уравнения Колмогорова-Чэпмена для нестационарного процесса)