Марковские процессы

Марковские процессы, или процессы без последействия, являются удобной математической моделью для многих реальных процессов. Представим себе систему, которая может находится в различных состояниях, и пусть её функционирование во времени носит стохастический характер, то есть состояния системы в момент времени в общем случае не определяется однозначно её состояниями в предыдущие моменты . Следовательно процесс изменения во времени состояний этой системы можно описать некоторым случайным процессом , заданным на интервале и принимающим значения из множества .

Пусть в моменты времени заданы сечения , ,…, случайного процесса . Для момента времени рассмотрим сечение и условную функцию распределения

.

Определение. Случайный процесс называется марковским, если выполняется равенство

,

то есть его условная функция распределения вероятностей значений в будущий момент времени не зависит от значений процесса в прошлые моменты , а определяется лишь значением в настоящий момент времени .

Условная функция распределения

называется марковской переходной функцией.

Все марковские процессы можно разделить на классы в зависимости от структуры множества – значений случайного процесса , и множества моментов времени наблюдения . Если множество – дискретное, то процесс называется цепью Маркова.

При этом если – дискретное, то процесс называется цепью Маркова с дискретным временем, а если – непрерывное, то процесс называется цепью Маркова с непрерывным временем.

Если оба множества и непрерывные, то процесс называется непрерывным марковским процессом.