Цепи Маркова

Пример 1. Вероятности перехода в простой однородной цепи Маркова даются матрицей

а) Чему равно число состояний этой цепи.

б) Найти вероятности перехода из состояния в состояние за два шага.

Решение. Число состояний этой цепи равно 3.

Для нахождения вероятностей перехода за два шага нужно перемножить эту матрицу саму на себя два раза. Так как строки матрицы одинаковы, то такая матрица называется финальной матрицей и, следовательно, за любое число шагов матрицы переходов будут равны этой матрице, т.е.

Пример 2. Вероятность перехода дается матрицей

а) Убедиться в эргодичности этой цепи.

б) Найти предельные вероятности.

Решение. Умножая эту матрицу саму на себя, находим, что уже на 5 шаге она не имеет нулевых элементов, следовательно, цепь эргодическая. Для нахождения финальных вероятностей применяем уравнения Маркова

.

Решая систему уравнения, получаем, что финальные вероятности равны (1/3,1/3,1/3).

При решении задач по данному разделу проводится анализ конкретных ситуаций (интерактивная форма обучения) в объеме двух часов.