Методика получения Марковского случайного процесса
Допустим, что процесс функционирования исследуемой нами системы описывается дифференциальным уравнением вида , где x(t)=x(t0)×e-at , начальное значение x(t0) – это нормально распределенная случайная величина с заданными параметрами распределения
.
Для определения состояния системы в момент (t+Dt) надо знать ее поведение в момент времени t – предыдущее состояние.
Пример.
Функционирование системы описывается следующим уравнением: , - это обыкновенное дифференциальное уравнение вида
, где
. Оно решается следующим образом.
где х(0) – нормально распределенная случайная величина с заданными математическим ожиданием MX и дисперсией .
Рассмотрим набор состояний, полученных из решения дифференциального уравнения.
умножим и разделим правую часть последнего выражения на
, получим
, т.е.
, «текущее» состояние системы определяется по предыдущему, и мы имеем дело с Марковским процессом первого рода.
В случае, если и необходимо учитывать влияние некоторого случайного фактора x(t), общее уравнение состояния примет вид
, получаем случайный Марковский процесс 2-го рода.
Пример.
Марковский случайный процесс – задача «учёта состояния» студента. Состояния S1-S5 – соответствуют курсам обучения, S6 – защита диплома, окончание обучения, S7 – отчисление.
S1 | S2 | S3 | S4 | S5 | S6 | S7 | |
S1 | Р11 | Р12 | Р17 | ||||
S2 | Р22 | Р23 | Р27 | ||||
S3 | Р33 | Р34 | Р37 | ||||
S4 | Р44 | Р45 | Р47 | ||||
S5 | Р55 | Р56 | Р57 | ||||
S6 | |||||||
S7 |
Данная матрица описывает этапы обучения студента:
Pi i - вероятность остаться на повтор, Pi i+1 – вероятность перехода на следующий курс, Pi 7 – вероятность отчисления из вуза.