Пояснительные примеры

а) Когда у цепи есть только два возможных состояния , матрица переходных вероятностей с необходимостью имеет вид

.

Подобная цепь могла бы быть реализована в следующем мысленном эксперименте. Частица движется вдоль оси таким образом, что абсолютная величина ее скорости остается постоянной, но направление движения может меняться на противоположное. Говорят, что система находится в состоянии , если частица движется направо, и в состоянии , если она движется налево. Тогда – вероятность поворота, когда частица движется направо, а – вероятность поворота при движении налево.

б) Случайное блуждание с поглощающими экранами. Пусть возможными состояниями будут ; рассмотрим матрицу переходных вероятностей

.

Из каждого “внутреннего” состояния возможны переходы в правое и левое соседние состояния (с вероятностями и ). Однако ни из ни из невозможны переходы в какое либо иное состояние; система будет переходить из одного состояния в другое, но коль скоро будет достигнуто или система останется неизменной навсегда.

в) Отражающие экраны. Интересный вариант предыдущего примера представляет собой цепь с возможными состояниями и переходными вероятностями

.

Эту цепь можно интерпретировать на языке азартных игр, рассматривая двух игроков, ведущих игру с единичными ставками и с соглашением, что каждый раз, когда один из игроков проигрывает свой последний доллар, тот немедленно возвращается ему его противником, так, что игра может продолжаться бесконечно. Мы предполагаем, что игроки вместе имеют долларов, и мы говорим, что система находится в состоянии , если их капиталы равны и соответственно. Тогда переходные вероятности даются нашей матрицей .

г) Рекуррентные события и остаточные времена ожидания. Мы будем использовать цепь с набором состояний и переходными вероятностями

;

Вероятности произвольны, за тем лишь исключением, что в сумме они должны давать единицу. Чтобы наглядно представить себе этот процесс, предположим, что начальным состоянием будет . Если первый шаг приводит в , то система обязана пройти последовательно через состояния и на -м шаге вернуться в , откуда процесс начнется сначала. Таким образом, последовательные возвращения в представляют из себя возвратное рекуррентное событие с распределением для времен возвращения. Состояние системы в любой момент времени определяется временем ожидания следующего прохождения через .

Данной марковской цепи соответствует модель, приведенная на рис. 1.

Рис. 1. Марковская модель

В большинстве конкретных реализаций рекуррентных событий время ожидания следующего осуществления события зависит от будущего, и, значит, наша цепь Маркова не имеет никакого практического значения. Однако эта цепь имеет смысл в том случае, когда можно представить себе, что одновременно с каждым осуществлением события производится случайный эксперимент, исход которого определяет величину следующего времени ожидания. Такие ситуации встречаются на практике. Например, в теории самовосстанавливающихся устройств иногда предполагается, что срок службы вновь установленного элемента зависит от выбора этого элемента, но вполне определен, коль скоро выбор уже сделан. С другой стороны, в теории массового обслуживания (в очередях к продавцу или на телефонных линиях) последовательные моменты начала обслуживания отдельных клиентов обычно соответствуют рекуррентным событиям. Предположим теперь, что имеется много типов клиентов, и для каждого из этих типов требуется обслуживание известной продолжительности. Тогда время ожидания между двумя последовательными моментами начала обслуживания определяются единственным образом с того момента, когда начинается обслуживание соответствующего клиента.

г) Другая цепь, связанная с рекуррентными событиями. Рассмотрим цепь с набором возможных состояний и переходными вероятностями

,

где (рис. 2).

Рис. 2. Другая марковская модель

Для наглядности мы можем интерпретировать состояние как представляющее “возраст” системы. По достижении системой возраста процесс старения с вероятностью продолжается, а с вероятностью система “омолаживается”, и процесс начинается заново – с нулевого возраста. Последовательные прохождения через состояние здесь снова представляют рекуррентное событие, и вероятность того, что время возвращения равно , дается произведением . Можно подобрать так, чтобы получить заданное распределение для времен возвращения; достаточно положить , затем и т.д. В общем виде

. (2.5)

Таким образом, произвольное рекуррентное событие с распределением времен возвращения соответствует цепи Маркова с матрицей , определяемой вероятностями (2.5). После -го испытания система окажется в состоянии тогда и только тогда, когда последним было испытание с номером (здесь ). Номер этого состояния часто называется “затраченным временем ожидания”.

д) Серии успехов. В качестве частного случая предыдущего примера рассмотрим последовательность испытаний Бернулли и условимся, что при -м испытании система будет в состоянии , если последняя неудача наблюдалась при испытании с номером . Здесь , и считается, что нулевое испытание привело к неудаче. Иначе говоря, индекс равен длине непрерывавшейся последовательности успехов, оканчивающейся -м испытанием. Переходные вероятности здесь те же, что и в предыдущем примере с и .