Градиент и производная по направлению

Пусть мы имеем выпуклую целевую функцию

Z = Z(X) = Z(x₁, x₂,...,x_n).

В каждой точке области, где определена и дифференцируема функция Z, определяется градиент gradZ= i׶Z/¶x₁+j׶Z/¶x₂+ ...+k׶Z/¶x_n .

Градиент Zможетиметь другие обозначения:

gradZ= {¶Z/¶x₁;¶Z/¶x₂; ...;¶Z/¶x_n } или gradZ=Ñ Z (набла).

Вектор антиградиент -gradZ= antigradZ= -Ñ Z.

Вектор - градиент, вычисленный в точке X⁰ (gradZ(X⁰)), показывает направление скорейшего возрастания функции Z в этой точке.

Вектор-антиградиент, вычисленный в точке X⁰ (antigradZ(X⁰)), показывает направление скорейшего убывания функции Z в этой точке.

Пусть N - единичныйвектор, задающий произвольное направление, тогда скалярное произведение gradZ×Nназываетсяпроизводнойпо направлению вектора N.

Скалярное произведение gradZ×Yпоказывает какизменяется Zпо направлению вектора Y,гдеY – любой необязательно единичный вектор.

Если скалярное произведение gradZ×Y <0,то функцияZ уменьшается при движении по направлению вектора Y.

Если скалярное произведение gradZ×Y >0,то функцияZ увеличивается при движении по направлению вектора Y.

Если скалярное произведение gradZ×Y =0,то функцияZ не изменяется при движении по направлению вектора Y.

Это локальные свойства скалярного произведения, то есть свойства, справедливые только для окрестности точки X⁰ . Они используются для организации итеративного процесса движения к минимуму или к максимуму.

Практически задачи выпуклого программирования возникают при учете нелинейной зависимости, например, себестоимости от производства.

Существует очень много способов решения задач выпуклого программирования: метод штрафных функций, метод случайного и неслучайного поиска, метод последовательного изменения координат, градиентные методы и другие. Алгоритмы решения задач выпуклого программирования реализуются только численными методами. Градиентные итерационные методы предполагают использование ПК ввиду громоздкости вычислений. Любой расчет ведется с конечной точностью, поэтому вводится специальный параметр, например, e или d, учитывающий точность расчета.

Если поверхность j_i(X)Î[- d, 0] в точке X⁰, то точка X⁰Îj_i(X).

Пусть поверхность j₁ (X) < 0, d = 0,0005, X⁰ =0,000005, тогда X⁰ = =0,000005Ï[-0,0005; 0 ], поэтому X⁰ Ï j₁ (X). Если X⁰ = -0,00005, тогда X⁰ == -0,00005 Î [-0,0005; 0 ], поэтому X⁰ Î j₁ (X).

Геометрически j_i(X)Î[- d, 0] это соответствует выделению вместо поверхности j_i(X) = 0 полосы толщиной d.

Пусть заданы три поверхности: j_i(X) £ 0, i = 1 ¸ 3.

Рис. 7. Изображение поверхностей

Задана точка X⁰ и величинаd, являющаяся толщиной поверхностей. На рис. 7 точка принадлежит двум поверхностям: X⁰Î j₁ (X) иX⁰Î j₂ (X).

АЛГОРИТМ РЕШЕНИЯ ОБЩЕЙ ЗАДАЧИ ВЫПУКЛОГО ПРОГРАММИРОВАНИЯ

Пусть задана исходная форма общей задачи выпуклого программирования:

min Z = f(X) = f(x₁, x₂,...,x_n),

j_i (X) £ 0, i = 1 ¸ m,

X ³ 0,

где f(X) – выпуклая функция,

j_i(X) – выпуклые функции, i = 1 ¸ m.

В общем случае канонической формой для задачи выпуклого программирования является запись:

min Z = С₁x₁+С₂x₂+...+C_n x_n - целевая функция,

система ограничений

j_i(X) £ 0, i = 1 ¸ m,

X(x₁, x₂,...,x_n) ³ 0,

j_i(X) – выпуклые функции, i = 1 ¸ m.

I шаг[8]. Пусть исходное допустимое решение X⁰ найдено, то есть X⁰Î j_i (X), i = 1 ¸ m или X⁰ существует (X⁰Î j_i (X) = 0, i = 1 ¸ m или X⁰ принадлежит полосам: -d £ j_i (X) £ 0, i = 1 ¸ m, где d - параметр точности).

II шаг - основной.

1. Функция j_i(X) в n – мерном пространстве соответствует поверхности j_i (X) = 0. Для задач выпуклого программирования – это выпуклые поверхности. Так как точность представления чисел на ПК ограничена, то точное равенство j_i (X) = 0 часто не достигается, поэтому обязательно вводится какой –то параметр точности d. Проверкой всех ограничений выделяются те ограничения, которым принадлежит допустимое решение X⁰. Следовательно, проверяются неравенства -d £ j_i (X) £ 0, i = 1 ¸ m. Если неравенство выполняется, то X⁰ принадлежит выпуклой поверхности j_i (X). Эти неравенства выделяем и перенумеровываем или переименовываем.

Например, X⁰ Ï j₁ (X).

X⁰ Ï j₂ (X).

X⁰ Î j₃ (X)Þ X⁰ Î j_n1 (X) .

X⁰ Ï j₄ (X).

X⁰ Î j₃ (X) Þ X⁰ Î j_n2 (X).

………….

X⁰ Î j_m (X)Þ X⁰ Î j_nk (X)

Тогда из системы ограничений j_i(X) £ 0, i = 1 ¸ m выделяется новая система:

j_n1 (X) £ 0.

j_n2 (X) £ 0.

...............

j_nk (X) £ 0.

Или j_ni (X) £ 0, i = 1 ¸ k, где k £ m.

2. Далее формируется задача линейного программирования, которая является вспомогательной и служит для определения направления спуска, то есть такого направления, при котором целевая функция убывает. Кроме того осуществляется движение, по крайней мере, в окрестности точки X⁰, которое ведет внутрь области допустимых решений. Символически вспомогательную задачу можно записать в виде:

min U = y _n+i - целевая функция вспомогательной задачи.

grad Z = (С₁,С₂, …,С_n) – коэффициенты целевой функции основной задачи, записанной в канонической форме.

Система ограничений вспомогательной задачи:

Часть А:

grad Z×Y £ y _n+i

grad j_ni (X⁰) ×Y £ y _n+i , i = 1 ¸ k,

Часть Б:

-1£ y ₁ £ 1,

-1£ y ₂ £ 1,

………….

-1£ y _n £ 1.

Ограничения Б вводятся для того, чтобы сделать вектор Y(y ₁, y ₂, …, y_n) ограниченным. При неограниченном векторе Y скалярное произведение типа grad f ×Y (где f – функция) стремится к бесконечности, так как модуль этого произведения может быть слишком большим. Если минимальное значение целевой функции вспомогательной задачи U < 0, то по направлению Y целевая функция будет убывать, то есть движение будет внутрь области допустимых решений. Если минимальное значение целевой функции вспомогательной задачи U < 0, то по направлению Y функции j_ni также будут убывать, так как j_ni (X) £ 0, i = 1 ¸ k. Следовательно, направление Y ведет внутрь области допустимых решений.

Перепишем вспомогательную задачу линейного программирования более подробно.

min U = y _n+i

grad Z = (С₁,С₂, …,С_n)

Часть А:

С₁ y ₁+С₂ y ₂ + …+С_n y _n £ y _n+i

[¶j_n1(X⁰)/(¶x₁)]×y₁+[¶j_n1(X⁰)/(¶x₂)]×y₂+[¶j_n1(X⁰)/(¶x₃)]×y₃+[¶j_n1(X⁰)/ /(¶x_n)]×y_n £ y _n+i

................

[¶j_nk(X⁰)/(¶x₁)]×y₁ + [¶j_nk(X⁰)/(¶x₂)]×y₂+[¶j_nk(X⁰)/(¶x₃)]×y₃ + [¶j_nk(X⁰)/ /(¶x_n)]×y_n £ y _n+i

Часть Б:

-1£ y _j £ 1, j = 1¸n.

Это исходная форма вспомогательной задачи.

Для ее решения симплексным методом каждую переменную y_j, j=1¸n нужно заменить разностью двух неотрицательных переменных y_j= y_j^¢- y _j^² , причем y_j^¢ ³ 0, y_j^² ³ 0 и привести вспомогательную задачу линейного программирования к канонической форме.

Решение этой задачи является по существу и критерием оптимальности, так как если min U = y^* _n+i ³ 0, то направления спуска нет, а это означает, что точка X⁰, принадлежащая области допустимых решений, является приближенным оптимальным решением вспомогательной задачи.

3. Определение шага по направлению.

Пусть вектор Y найден из решения вспомогательной задачи линейного программирования и используется для движения к «лучшему»[9] допустимому решению. Для этого в формуле X′ = X⁰ +t ·Y необходимо определить такое значение t, равное t^* , чтобы точка X′ была допустимым решением.

Для каждого неравенства системы ограничений j_i(X) £ 0, i = 1 ¸ m можно найти наименьший положительный корень t_i из системы уравнений j_i(X′)= j_i (X⁰ +t ּY) = 0, i = 1 ¸ m. Каждое уравнение j_i(X′) является нелинейным уравнением. Для решения таких уравнений есть численные методы: половинного деления, секущих (хорд), касательных (Ньютона), комбинированный, итераций и др.

Например, пусть j_i(X)= х₁²+х₂² - 5 £ 0, задана точка X⁰(1;1) и вектор Y(2;1). Тогда j_i(X)= j_i (X⁰ +t ּY) =(х₁⁰+t ּ y₁)²+(х₂⁰+t ּ y₂)² -5 £ 0.

j_i(X) = (1+tּ2)² + (1+tּ1)² - 5 = 1+4t+4t² +1 + 2t + t² –5 = 5t² + 6t – 3 £ 0.

5t² + 6t – 3 = 0; D = 6² - 4ּ5ּ(-3) = 96; t₁ = - 0,6 – 0,4ּ√ 6; t₂ = - 0,6 + 0,4ּ√ 6;

Взято только одно неравенство, а у нас их m и каждое дает свое значение t. Возьмем t^* = min {ti}, i=1 ¸ m. По формуле X′ = X⁰ +t ·Y находим допустимое решение, которое принимаем за исходное X⁰ . Далее процесс продолжается с пункта 2 шага II.

Шаг III. Исходное допустимое решение можно определить, применяя рассмотренный алгоритм для следующей задачи.

min Q = x _n+1

j₁(X)= j₁(x₁, x₂,...,x_n) ≤ x_n+1

_{………………………………………}

j_m(X)= j_m(x₁, x₂,...,x_n) ≤ x_n+1.

Как только x_n+1 станет меньше нуля, так X(x₁, x₂,...,x_n) станет допустимым. Во многих практических задачах сравнительно легко можно найти начальную точку, принадлежащую области допустимых решений ω. Необходимо грубо оценить область определения переменных Хj, взять из этой области любую точку X′. Подставить это решение в ограничения задачи. Если все j_i(X′) ≤ 0, то принять точку X′ за начальную точку X⁰ . Если есть хотя бы одно ограничение j_i(X′) > 0, то вводится дополнительная переменная α такая, чтобы выполнялось неравенство j_i(X′) ≤ α для определенного ранее i. Определяем Min Q = α. Чтобы найти начальную точку, необходимо получить решение X⁰, для которого α<0.

Замечание. Применение алгоритма затруднено в виду изменения размеров вспомогательной задачи и необходимости решения нелинейных уравнений.

Укрупненная схема алгоритма

1. Определение исходного (начального) допустимого решения.

2. Формулировка и решение вспомогательной задачи линейного программирования. Нахождение вектора Y. Проверка решения на оптимальность.

3. Определение шага по направлению. Движение по направлению вектора Y: X′ = X⁰ +t ·Y. Решение последовательности нелинейных уравнений. Переход к пункту 2.