Методика получения Марковского случайного процесса

Допустим, что процесс функционирования исследуемой нами системы описывается дифференциальным уравнением вида , где x(t)=x(t₀)×e^-at , начальное значение x(t₀) – это нормально распределенная случайная величина с заданными параметрами распределения .

Для определения состояния системы в момент (t+Dt) надо знать ее поведение в момент времени t – предыдущее состояние.

Пример.

Функционирование системы описывается следующим уравнением: , - это обыкновенное дифференциальное уравнение вида , где . Оно решается следующим образом.

где х(0) – нормально распределенная случайная величина с заданными математическим ожиданием M_X и дисперсией .

Рассмотрим набор состояний, полученных из решения дифференциального уравнения.

умножим и разделим правую часть последнего выражения на , получим , т.е. , «текущее» состояние системы определяется по предыдущему, и мы имеем дело с Марковским процессом первого рода.

В случае, если и необходимо учитывать влияние некоторого случайного фактора x(t), общее уравнение состояния примет вид , получаем случайный Марковский процесс 2-го рода.

Пример.

Марковский случайный процесс – задача «учёта состояния» студента. Состояния S₁-S₅ – соответствуют курсам обучения, S₆ – защита диплома, окончание обучения, S₇ – отчисление.

	S1	S2	S3	S4	S5	S6	S7
S1	Р11	Р12					Р17
S2		Р22	Р23				Р27
S3			Р33	Р34			Р37
S4				Р44	Р45		Р47
S5					Р55	Р56	Р57
S6
S7

Данная матрица описывает этапы обучения студента:

P_{i i} - вероятность остаться на повтор, P_{i i+1} – вероятность перехода на следующий курс, P_{i 7} – вероятность отчисления из вуза.