Необходимые условия оптимальности

Получим условия оптимальности, которым должна удов­летворять искомая управляющая последовательность. С этой це­лью интерпретируем сформулированную выше задачу как задачу математического программирования.

Представим критерий (4.2) как некоторую функцию искомого управления

Здесь под и и £ понимаются последовательности , , записанные для определенности в виде расширенных век­торов с размерностями (N+l)m и (N+l)r соответственно. Зависимость функции конеч­ного состояния J от и и неявная и проявляется через уравнение (4.1). Формально, задача оптимизации состоит в отыскании среди допустимых такого вектора и, который обращает в минимум кри­терий . А это — обычная задача математического программиро­вания. Необходимое условие оптимальности в такой задаче [28] сводится к выполнению условия неотрицательности производной в искомой точке и по любому допустимому направлению , т. е.

Здесь и в дальнейшем запись используется для обозначения градиента скалярной функции J(и) по векторному аргумен­ту и, вычисленного в точке и = а. Под градиентом , как из­вестно, понимается вектор (столбец), составленный из первых частных производных функции / по всем аргументам вектора и. В данном случае можно представить следующим образом:

где через в свою очередь обозначен градиент функции J по отдельному вектору .

Поясним теперь термин допустимое направление. Под допусти­мым направлением понимается такой вектор, который, будучи добавленным к вектору и, не приведет к нарушению исходных ог­раничений по управлению ни при какой сколь угодно малой вели­чине модуля самого вектора бы. Другими словами, считается допустимым, если выполняется условие , где под U по­жимается совокупность всех допустимых множеств , а является достаточно малым неотрицательным числом. Отметим также, что выписывая те или иные частные производные, будем, естественно, полагать, не оговаривая специально, что они существуют.

С представленным здесь условием оптимальности работать трудно в виду того, что в нем используется расширенный вектор управления и, как правило, имеющий очень большую размерность. Преобразуем это условие к более простому виду. С этой целью среди множества допустимых векторов рассмотрим лишь те, ко­торые имеют ненулевые компоненты только в один единственный i-й момент. Другими словами, потребуем для всех , а при . Тогда условие оптимальности принимает более простой вид, а именно,

для всех допустимых т. е. удовлетворяющих условию

Так как соотношение (4.4) справедливо для любого момента , товместо одного условия оптимальности получаем це­лую совокупность условий оптимальности вида (4.4). Преимуще­ства этих условий заключаются в том, что в каждом из них участ­вует лишь один вектор управления размерности т.

Физический смысл каждого из условий (4.4) заключается в том, что вариация терминального критерия (4.2) за счет вариации уп­равления в i-й момент, вычисленная относительно оптимального управления, есть величина неотрицательная.

Условия оптимальности (4.4) в явном виде пока не связаны с исходной математической моделью. Установим эту связь. С этой целью раскроем производные , связав последние с уравнением (4.1). Сначала покажем, каким образом может быть вы­числена производная при любом управлении и и любом воз­мущении . Для этого продифференцируем функцию J = F(x_N+l) по вектору с учетом связи (4.1). Можно записать следующую цепочку соотношений:

Здесь через обозначены матрицы частных производных функции по своим аргументам и соответст­венно. Причем эти матрицы сформированы по следующему прави­лу: каждый столбец матрицы представляет собой градиент соот­ветствующей компоненты вектор-функции по вектор-аргументу. Вводя формально обозначения

получаем более компактное выражение для производной

Введем теперь в рассмотрение также формально следующую скалярную функцию:

которая представляет собой по сути скалярное произведение век­тора , определяемого в соответствии с рекуррентным соотноше­нием (4.5), и вектора , являющегося правой частью исходного уравнения (4.1). Функция Н_i определяемая согласно (4.7), назы­вается гамильтонианом. Подчеркнём, что в общем случае гамиль­тониан является случайной функцией, так как зависит от возму­щения . Как увидим в дальнейшем, гамильтониан является удоб­ной конструкцией при формировании как условий оптимальности, так и реализации различных численных методов оптимизации. Начнем с условий оптимальности. Нетрудно установить, что част­ные производные гамильтониана по своим аргументам имеют сле­дующий вид:

С учетом этого исходные уравнения движения (4.1), а также соотношения (4.5), определяющие вектор , могут быть приведе­ны к следующей канонической форме:

Уравнение для вектора принято называть сопряженным по отношению к исходному уравнению для вектора . Поэтому и сам вектор , удовлетворяющий системе (4.8), будем называть сопря­женным вектором. Для его определения при известном управлении необходимо, как это следует из системы (4.8), определить сначала траекторию движения в прямом времени при заданном начальном условии. И только после этого в обратном времени найти сопря­женный вектор с учетом найденной траектории и граничного усло­вия, накладываемого на вектор .Необходимо также иметь в виду, что в силу наличия случайного возмущения в правых частях уравнений системы (4.8) сопряженный вектор в общем случае также является случайным.

Если теперь вернуться к выражению (4.6), то с использовани­ем понятия гамильтониана его можно записать в виде

Учитывая, что, как правило, операции дифференцирования и ма­тематического ожидания перестановочны, а, следовательно, имеет место равенство

необходимые условия оптимальности (4.4) окончательно представить в виде следующей системы неравенств:

которые должны выполняться для всех допустимых .

Таким образом, необходимые условия оптимальности в задаче программирования управления системой (4.1) с целью достижения минимума критерия (4.2) заключаются в выполнении системы не­равенств (4.10), которые должны быть раскрыты с учетом исход­ной системы уравнений (4.1) и сопряженной системы уравнений (4.5) или, что то же самое, системы (4.8).

В общем случае непосредственное использование этих условий для решения задачи программирования оптимального управления затруднительно. Это связано с неконструктивностью самих усло­вий (4.10), которая проявляется в том, что трудно вообще исполь­зовать систему неравенств для отыскания оптимального решения. Трудности усугубляются, с одной стороны, наличием в этих нера­венствах операции математического ожидания (статистического осреднения по всем случайным факторам) и, с другой стороны, не­обходимостью для каждой конкретной реализации решать крае­вую задачу для системы уравнений (4.1) и (4.5). Оптимальное уп­равление при этом должно в каждой реализации привести к вы­полнению как краевого условия «слева» в начальный момент для системы (4.1), так и краевого условия «справа» в конечный мо­мент для системы (4.5).

Следует еще раз подчеркнуть, что соотношение (4.6) справед­ливо для любого фиксированного (не обязательно оптимального) управления. Поэтому оно может быть успешно использовано при получении оптимального управления с помощью численных мето­дов оптимизации, так как позволяет при фиксированном управле­нии с помощью одного просчета сначала по уравнению (4.1), а за­тем по уравнению (4.6) определить сразу все компоненты , вектора градиента в конкретной реализации. Использование соотношения (4.6) совместно с (4.1) и (4.5) для вычисления составляющих градиента в дальнейшем ради кратно­сти будем называть методом сопряженных систем.

Обсудим теперь наиболее распространенные частные случаи, когда необходимые условия оптимальности могут быть приведены к более конструктивной форме.

1. Ограничения на управление отсутствуют. В этом случае лю­бые векторы определяют допустимые направления, в том числе и векторы с одинаковыми модулями, но имеющие противополож­ные знаки. А это значит, что условия (4.10) могут быть выполне­ны лишь в виде строгих равенств

Следует отметить, что к этому случаю приходим также, когда ог­раничения на управления хотя и существуют, но выполняются ав­томатически.

Решение задачи программирования при этом сводится к ис­пользованию условия (4.11) на каждом шаге управления с целью выявления структуры управления и последующего решения систе­мы (4.8) с найденной структурой.

2. Случайные возмущения отсутствуют, , . Этот случай соответствует управлению детерминальной системой. Формально операция математического ожидания всюду опускает­ся и необходимые условия оптимальности (4.40) принимают вид

где гамильтониан и векторы , являются детерминирован­ными и определяются с помощью следующих соотношений:

Все трудности решения задачи с использованием условий опти­мальности, обсуждаемые раньше при рассмотрении стохастической системы, сохраняются и здесь. Упрощение состоит лишь в том, что, как уже указывалось, операция математического ожидания отсут­ствует ввиду отсутствия самих случайных факторов.

3. Множество допустимых управлений выпукло и гамильто­ниан является выпуклой по функцией. Прежде всего отме­тим, что каждое из условий (4.10) в общем случае может быть ин­терпретировано как необходимое условие минимума математиче­ского ожидания гамильтониана по вектору управления . Далее можно показать, что в случае выпуклости гамильтониана по выпуклой будет и функция . А известно [31], что в случае выпуклости минимизируемой функции на выпуклом множе­стве минимум является единственным и поэтому необходимые ус­ловия оптимальности будут одновременно и достаточными. Учиты­вая это, каждое условие системы (4.10) в рассматриваемом слу­чае оказывается эквивалентно условию достижения на оптималь­ном управлении математическим ожиданием гамильтониана своего минимального по управлению значения. Иными сло­вами, вместо (4.10) можно записать

где через , обозначено любое допустимое управление , a через — искомое оптимальное управление.

Естественно, возможны комбинации обсуждаемых частных слу­чаев и соответственно условий оптимальности. Так, например, в детерминированном случае, т. е. при отсутствии возмущений

( ) , и при выпуклости гамильтониана по необходимые условия оптимальности принимают вид

Заметим, что если при введении обозначений (4.6) вектор определить как производную терминальной функции по с обратным знаком, т. е. в виде

то в силу изменения знака у вектора в условиях оптимально­сти (4.10) знак неравенства изменяется также на противополож­ный, и, как следствие, в условиях оптимальности (4.12), (4.13) операция минимума заменяется на операцию максимума. В де­терминированном случае вместо (4.13) будем иметь

Последнее условие оптимальности в литературе обычно именует­ся как принцип максимума i[31] для детерминированных дискрет­ных систем управления или кратко — как дискретный детермини­рованный принцип максимума. По аналогии условие (4.13) можно назвать дискретным детерминированным принципом минимума, а условие оптимальности (4.12)—дискретным стохастическим принципом минимума.

Согласно дискретному стохастическому принципу минимума (4.12) оптимальная программа управления дискретной системой (4.1) при условиях выпуклости по обеспечивает минимум ма­тематического ожидания гамильтониана на каждом шаге управ­ления. Б дальнейшем увидим, что принцип минимума (максиму­ма) для задач с непрерывным временем справедлив вне предполо­жений о выпуклости гамильтониана. Однако для дискретных задач эти предположения оказываются существенными.

Покажем теперь, что в задаче управления дискретной систе­мой (4.1) с целью минимизации интегротерминального критерия (4.3)

полученные условия оптимальности (4.10) или соответственно (4.11), (4.12) сохраняются. Однако вместо соотношений (4.7) и (4.5), определяющих гамильтониан и сопряженный вектор , теперь следует использовать следующие соотношения:

Чтобы убедиться в справедливости сказанного, введем, как уже упоминалось, дополнительную переменную , определяемую согласно уравнению , сводя тем

самым критерий (4.3) к виду (4.2) .

Составим для полученной вновь задачи согласно (4.7) гамиль­тониан, обозначив его через :

Условие оптимальности для этой задачи имеет вид (4.10) с учетом (4.8) при гамильтониане . Согласно (4.8) компонента и вектор удовлетворяют следующим уравнениям:

Так как для всех , то гамильтониан с точно­стью до составляющей совпадает с гамильтонианом в (4.14). Поэтому выражению для производной , участвующей в условиях оптимальности, можно придать прежний вид (4.9):

несмотря на то, что гамильтониан теперь определяется соглас­но (4.14) вместо (4.7). А это и означает, что условия оптимально­сти по форме останутся неизменными.