Шаг улучшения стратегии

Для каждого состояния i определяется альтернатива k, обеспечивающая следующее:

В качестве величины принимаются значения, получаемые на шаге 1. Результирующее оптимальное значение k для состояний i= формируют новую стратегию t.

Если S и t совпадают, то вычисления заканчиваются. В противном случае принимается, что S=t и производится к шагу 1. Стратегии S=(111) и t=(122) не равны, следовательно, осуществляется переход к шагу 1.

Согласно t=(122) выбираются матрица переходных вероятностей 8 и матрица дохода 8, подсчитывается матрица 8 одношаговых доходов и решается система уравнений:

Решение системы заносятся в таблицу:

Далее проводится улучшение стратегии, представленное ниже в таблицах:

Стратегии S=(122) и t=(122) равны, следовательно, следующего шага нет.

Примечание: колонка Nus – это максимальные значения дохода.