Пример. Классифицировать состояния цепи Маркова, заданной матрицей вероятностей переходов за один шаг

Классифицировать состояния цепи Маркова, заданной матрицей вероятностей переходов за один шаг.

Граф переходов для данной цепи Маркова имеет вид

Рис. 2.

Очевидно, что у рассматриваемой цепи состояния 1,4,2 – несущественные, 3,5,6,7 –существенные, кроме того, есть два неразложимых класса , . Следовательно, канонический вид матрицы вероятностей переходов следующий:

Рассмотрим теперь неразложимый класс, изображенный на рис.3

Рис. 3.

Заметим, что здесь возвращение в каждое состояние возможно лишь за четное число шагов, переход в соседнее состояние – за нечетное число шагов, а матрица вероятностей переходов имеет блочную структуру:

Отсюда видно, что класс разбивается на два подкласса и , обладающих следующим свойством цикличности: за один шаг цепь Маркова из непременно переходит в , а из – в , но за два шага возвращается в исходный класс. Этот пример показывает возможность разбиения неразложимых классов на циклические подклассы.

Определение.Будем говорить, что состояние замкнутого класса имеет период , если есть наибольший общий делитель чисел таких, что .

Очевидно, что для предыдущего примера (рис3) , для всех .

Определение.Если , ( ), то состояние (класс ) называется апериодическим (эргодическим).

Возвращаясь к циклическим подклассам, можно сделать вывод о том, что если в начальный момент времени система находится в состоянии подкласса , то в момент времени , она будет находиться в подклассе . Следовательно, с каждым из подклассов можно связать новую марковскую цепь с матрицей вероятностей переходов , которая будет неразложимой и апериодической. Поэтому в дальнейшем при рассмотрении предельных свойств вероятностей при , можно ограничиться только эргодическими классами.