Процедура многокритериального сравнения и выбора объектов («Электра»)

Пример. Рассматривается пять условных программных продуктов и 11 характеризующих их критериев. Оцениваются пять альтернативных программных продуктов: ПП-1, ПП-2, ПП-3, ПП-4, ПП-5, различающихся качественными оценками (высокая, средняя, низкая) по обобщенной системе критериев (табл. П.4.1).

Таблица П.4.1.

Качественные шкалы оценивания программных продуктов

Оценка состояния по критериям:	Качественные оценки ПП
Высокая (В)	Средняя (С)	Низкая (Н)
1. Универсальность	высокая	средняя	низкая
2. Интегрируемость	высокая	средняя	низкая
3. Модульность	высокая	средняя	низкая
4. Развиваемость	высокая	средняя	низкая
5. Надежность	высокая	средняя	низкая
6. Защита информации	высокая	средняя	низкая
7. Соотв. техн. стандартам	высокая	средняя	низкая
8. Квалификация	высокая	средняя	низкая
9. Стоимость ПП	низкая	средняя	высокая
10.Стоимость обслуживания	низкая	средняя	высокая
11. Экон. эффективность	высокая	средняя	низкая

В результате проведения экспертной процедуры парных сравнений были сформированы оценки их значимости («веса» Вк ) (табл. П.4.2).

Таблица П.4.2.

Таблица парных сравнений критериев оценки программных продуктов

Критерий J Критерий I

Универ.

Интегр.

Мод

Разв.

Надежн

Защ инф

Станд

Квалиф.

Ст. ПП

Ст. обс

Эк. эфф.

ВВк

Универсальность

0.05

Интегрируемость

0.05

Модульность

0.05

Развиваемость

0.13

Надежность

0.11

Защита информации

0.10

Соответствие техническим стандартам

0.09

Квалификация

0.09

Стоимость ПП

0.06

Стоимость обслуживания

0.13

Экономическая эффективность

0.15

Эти программные продукты – варианты решения – занимают различные позиции в сформированном пространстве выбора (табл. П.4.3).

Таблица П.4.3

Пространство выбора (качественные оценки) программных продуктов

Критерии ПП	Универ.	Интегр.	Мод.	Раз.в	Надежн	Защ. инф.	Станд	Квалиф.	Ст. ПП	Ст. обс	Эк. эфф
ПП – 1	В	Н	С	С	В	В	С	В	В	В	В
ПП – 2	В	Н	В	В	Н	С	С	С	С	С	С
ПП – 3	С	В	С	С	С	С	Н	Н	С	С	С
ПП – 4	С	В	В	С	В	Н	С	Н	Н	В	В
ПП – 5	С	С	Н	В	С	В	В	В	С	С	В
Вес критерия (Вк)	0.05	0.05	0.05	0.12	0.11	0.10	0.09	0.09	0.06	0.13	0.15

На рис. П.4.1 проиллюстрирована дифференциация рассматриваемых ПП для двух критериев: «интегрируемость» и «модульность».

Рис П.4.1. Распределение ПП в пространстве решений по критериям «интегрируемость» и «модульность».

В соответствии с принципами процедуры «Электра» для каждой пары ПП рассчитываются показатели соответствия, характеризующие возможность (достоверность) принятия гипотезы об их приоритетности (предпочтения в процессе выбора) и показатели несоответствия, характеризующие степень риска принять неверное решение относительно сравниваемых программных продуктов.

Оценка показателей соответствия (достоверности). Для каждой пары сравниваемых объектов (ПП-i; ПП-j) выявляется подмножество критериев {C}, согласно которым объект сравнения ПП-i, по крайней мере, не хуже ПП-j. Матрица соответствия представлена в табл. П.4.4[48].

Таблица П.4.4.

Матрица соответствия

J I	ПП-1	ПП-2	ПП-3	ПП-4	ПП-5
ПП-1		0.83	0.95	0.9	0.74
ПП-2	0.36		0.84	0.56	0.41
ПП-3	0.22	0.6		0.47	0.45
ПП-4	0.7	0.58	0.84		0.54
ПП-5	0.6	0.9	0.9	0.66

Оценка показателей несоответствия (риска). Для каждой пары сравниваемых объектов (ПП-i; ПП-j) выявляется подмножество критериев {D}, согласно которым объект ПП-i хуже объекта ПП-j. Разница оценок по критериям, противоречащим исходной гипотезе: (ПП-i > ПП-j), т. е. принадлежащим подмножеству {D}, взвешенная по максимальной шкале измерения, интерпретируется как степень риска принять неверное решение.

В связи с тем, что используются не количественные, а качественные шкалы измерения, риск также оценивается в качественных оценках:

Высокий риск (В), если по критерию, принадлежащему подмножеству {D}, разница в оценках максимальная [(Н); (В)].

Средний, умеренный риск (С), если противоречие оценок исходной гипотезе формируется соотношениями [(С); (В)] или [(Н); (С)].

В таблице П.5.5 представлены качественные оценки рисков по критериям из подмножества {D}. Матрица риска в соответствии с принятой методикой содержит максимальные оценки риска по каждой паре сравниваемых программных продуктов.

Таблица П.4.5

Матрица несоответствия (риска)

J I	ПП-1	ПП-2	ПП-3	ПП-4	ПП-5
ПП-1		умеренный риск	высокий риск	высокий риск	умеренный риск
ПП-2	высокий риск		высокий риск	высокий риск	умеренный риск
ПП-3	высокий риск	умеренный риск		умеренный риск	высокий риск
ПП-4	высокий риск	умеренный риск	умеренный риск		высокий риск
ПП-5	умеренный риск	высокий риск	умеренный риск	высокий риск

Матрицы соответствия (достоверности) и несоответствия (риска) служат основой реализации процедуры многокритериального сравнения.

Сравнение альтернативных вариантов решения – программных продуктов – проводится, в первую очередь, в области умеренного риска. Напомним, что процедура сравнения завершается, когда «ядро» решений (Е*) состоит из одного альтернативного варианта. Если результаты выбора не удовлетворяют ЛПР (по признаку достоверности), область решений переходит в зону повышенного риска. При этом более детально анализируются критерии, являющиеся источниками риска, т. е. те критерии, оценки по которым противоречат принимаемому решению.

Многокритериальное сравнение ПП в области умеренного риска. Предметом рассмотрения и анализа являются пары альтернативных вариантов решения (ПП-i; ПП-j), показатели несоответствия по которым указывают на принадлежность решения (ПП-i > ПП-j) к области умеренного риска. Это означает, что ни по одному критерию рассматриваемая гипотеза не получила максимальной оценки «против».

Процедура фильтрации решений. Оценки соответствия, в принципе, не могут быть ниже уровня 0.5, означающего, что приоритетность сравниваемых ПП оценивается, с учетом весов значимости критериев, как «50% на 50%». Такой показатель соответствия, очевидно, не позволяет принять рассматриваемую гипотезу (ПП-i > ПП-j) в качестве достоверной.

Дополнительным «фильтром», позволяющим исключить неприемлемые пары вариантов решений, является анализ существующих противоречий. Например, решение (ПП-1 > ПП-5) имеет оценку достоверности 0.74 при наличии рисков по критериям «интегрируемость» и «модульность». Одновременно, присутствует решение (ПП-5 > ПП-1) с достоверностью 0.6 и рисками по критериям «интегрируемость», «модульность», «надежность», «стоимость ПП» и «стоимость обслуживания». Очевидно, что второе решение может быть исключено из дальнейшего рассмотрения как менее достоверное и более рискованное.

Далее осуществляется реализация шагов процедуры многокритериального сравнения.

Шаг 1. Достоверность – 0.9, риск умеренный.

Заданным порогам достоверности и риска соответствует единственное решение: ПП-5 > ПП-3. Таким образом, из «ядра» (Е*) исключается вариант ПП-3.

Ядро (Е*): {ПП-1, ПП-2, ПП-4, ПП-5} – необходимо продолжать процедуру сравнения.

Шаг 2. Достоверность – 0.8, риск умеренный.

К решению, определенному на предыдущем шаге, добавляются пары: (ПП-1 > ПП-2) и (ПП-4 > ПП-3).

Графическое представление решения, соответствующего заданным порогам представлено на рис. П.4.2.

Рис. П.4.2. График решения при достоверности 0.8 и умеренном риске.

Ядро (Е*): {ПП-1, ПП-4, ПП-5} – необходимо продолжать процедуру сравнения. При этом возможны два направления дальнейшего анализа: оставаясь в области умеренного риска снижать достоверность или же переходить в область высокого риска.

Дальнейшую процедуру сравнения объектов будем проводить в области повышенного риска с целью повысить обоснованность решения (получить решение с более высоким значением показателя соответствия). Поскольку повышается риск принятия неправильного решения, на каждом шаге процедуры источники высокого риска (критерии) будут идентифицироваться с целью получения дополнительной информации о возможности их допущения или же неприемлемости при принятии решения.

Многокритериальное сравнение ПП в области высокого риска. Аналогично приведенной выше процедуре альтернативные решения «фильтруются» по показателям соответствия (исключаются решения, достоверность которых ниже 0.5). Реализация шагов также аналогична вышеизложенной процедуре с той разницей, что для каждого принятого решения определяются факторы риска – критерии, по которым получены максимальные оценки несоответствия.

Шаг 3. Достоверность – 0.8, риск высокий.

К решениям, определенным на предыдущих шагах, добавляются пары:

(ПП-1> ПП-3) (высокий риск по критерию «интегрируемость»);

(ПП-1> ПП-4) (высокий риск по критерию «интегрируемость»);

(ПП-2> ПП-3) (высокий риск по критерию «интегрируемость»);

(ПП-5 > ПП-2) (высокий риск по критерию «модульность»);

Рис. П.4.3. График решения при достоверности 0.8 и высоком риске.

Ядро (Е*): {ПП-1, ПП-5} – необходимо продолжать процедуру сравнения.

Шаг 2. Достоверность – 0.7, риск высокий.

К решению, определенному на предыдущем шаге добавляется:

(ПП-1 > ПП-5) (нет высоких рисков), что позволяет закончить процедуру сравнения, поскольку в «ядре» остался единственный вариант – ПП-1 (рис. П.4.4).

Рис. П.4.4. График решения при достоверности 0.7 и высоком риске.

Таким образом, на данном шаге анализа выявлено ядро (Е*): {ПП-1}, из чего следует, что процедура сравнения завершена, поскольку осуществлен выбор лучшего программного продукта – ПП-1. Следует отметить, что два варианта – ПП-2 и ПП-4 не получили оценки взаимной приоритетности, что связано с установленным уровнем соответствия (0.7).

Полученное решение характеризуется высокими рисками по критериям «интегрируемость» и «модульность», полученными на третьем шаге процедуры. В связи с этим, следует отдельно проанализировать их приемлемость при принятии окончательного решения. Поскольку данные критерии характеризуются низкими коэффициентами важности («интегрируемость» - 0.05, «модульность» - 0.05), можно полагать, что риск, обусловленный противоречивыми оценками по этим критериям, относительно незначителен и позволяет принять выработанное решение. В случае большого количества и высокой значимости критериев, противоречащих принимаемому решению, необходимо проводить дополнительный анализ источников и факторов риска.

Оглавление

Введение……………………………………………………………...3

Глава 1. Содержание и эволюция общей теории систем и

системного анализа…………………………………………………5

1.1. Становление и эволюция системных исследований……..……..………………………………………………………..5

1.2. Предпосылки системных исследований……………...……….22

1.3. Системный подход и системный анализ как

методологическая основа исследования и проектирования

сложных систем………… ………………………………………….26

Глава 2. Понятие, свойства и закономерности систем………..38

2.1. Понятие и определения системы…………………………….38

2.2. Компоненты системы…...………………………..………….42