Показатели и критерии оценки систем

Искусственные системы создаются, как правило, с определенными целями, реализация которых предусматривает определенные виды деятельности. При этом планируемый и реальный результаты на выходе системы могут различаться. Степень отличия зависит от условий протекания процесса преобразования (качества ресурсов, качества системы, факторов окружающей среды и т. д.).

Поэтому при оценке систем принято различать качество систем и эффективность реализуемых системой процессов преобразования. Соотношение понятий качества и эффективности представлено в таблице 3.2.

Таблица 3.2

Соотношение понятий качества и эффективности

Параметр	Качество	Эффективность
Определение понятия	Свойство или совокупность существенных свойств системы, обеспечивающих ее пригодность для использования по назначению	Комплексное операционное свойство процесса функционирования системы, характеризующее его соответствие достижению цели системы
Область применения	Объекты любой природы, в том числе, элементы систем	Только целенаправленные процессы, проводимые системой
Основная характеристика	Совокупность свойств системы, существенных для ее использования по назначению	Степень соответствия результатов преобразования его целям
Фактор структурного анализа	Строение системы (состав и свойства составных частей, структура, организация)	Алгоритм функционирования, качество системы, реализующей алгоритм, воздействия внешней среды
Размерность	Показатель качества – вектор показателей существенных свойств	Показатели результативности, ресурсоемкости, оперативности по исходу преобразования и по качеству алгоритма, обеспечивающего результат
Способ оценивания	Критерии пригодности, оптимальности, превосходства	Критерии пригодности или оптимальности, определяемые в зависимости от типа преобразования (детерминированное, вероятностное, неопределенное)

Оценка качества систем

Каждая существенная (с точки зрения качества системы) характеристика системы (социальная, юридическая, техническая, экономическая и др.) может быть описана с помощью одного или нескольких показателей, значения которых характеризуют меру (интенсивность) этого свойства. Эту меру называют частным показателем качества системы. Показатели могут быть количественными или качественными

Количественные показатели (параметры) можно измерить и оценить числом (например, производительность, стоимость). Качественные показатели не имеют общепризнанных единиц измерения (например, эстетические свойства, удобство использования и др.). Однако следует иметь в виду, что четко осознанные качественные показатели, как правило, тоже оцениваются числом (например, простота обслуживания измеряется временем, необходимым на обнаружение и устранение неисправности).

Любая СЭС представляет собой совокупность подсистем: технических агрегатов, людей, структурных подразделений и т. п. Методы определения параметров каждой из подсистем зависят от их природы и устанавливаются с помощью соответствующих дисциплин. В СЭС подсистемы могут соединяться между собой параллельно, последовательно или смешанным образом. Таким образом, вид зависимости параметров СЭС от параметров составляющих подсистем определяется способом соединения подсистем и их природой. По виду зависимости, связывающей значения параметров подсистем и СЭС, все параметры можно разделить на аддитивные, мультипликативные и логические.

Для аддитивных параметров справедлива зависимость

,

где − параметр системы; − параметр i-й подсистемы; m – количество подсистем в СЭС. Примером аддитивного параметра может служить стоимость системы ( , где − стоимости разработки, изготовления и эксплуатации соответственно).

Мультипликативными параметрами называются такие параметры, которые подчиняются следующему закону:

.

Значение вероятности работы системы в соответствии с планом можно считать примером мультипликативного параметра.

Логические параметры:

или

По своему характеру значения параметров бывают детерминированными и случайными. По влиянию на качество системы различают повышающие и понижающие параметры.

Выбор правильного показателя предопределяет результаты оценки различных вариантов решений.

Пример [6].

«Во время Второй мировой войны транспортный флот союзников, действовавший в акватории Средиземного моря, нес большие потери от налетов немецкой авиации. В штабе ВМФ Великобритании было проведено совещание с целью определения путей снижения потерь судов в транспортных конвоях. В итоге рассматривались два варианта: включение в транспортные конвои дополнительных военных судов и установку на транспортных судах дополнительных зенитных батарей. Остановились на втором варианте.

Спустя некоторое время решили просчитать его эффективность. Оказалось, что эти зенитные батареи сбивали очень незначительное количество немецких самолетов. Раздались предложения использовать их в других военных целях.

Однако один специалист заметил, что был использован неправильный оценочный показатель, ведь главной задачей зенитных батарей являлось не сбивание немецких самолетов, а препятствование тому, чтобы немецкие самолеты топили транспортные суда. Выполняя чисто отпугивающие функции и не давая возможности немецким пилотам проводить прицельное бомбометание, зенитные батареи обеспечили снижение потерь среди транспортных судов».

Обобщенным показателем качества системы называют вектор , компоненты которого − частные показатели отдельных свойств системы. Размерность n определяется числом существенных свойств системы.

Частные показатели в общем случае имеют различную физическую природу и размерность. В связи с этим при определении обобщенного показателя качества системы используют не натуральные частные показатели, а их нормированные значения, что обеспечивает приведение показателей к одному масштабу:

,

где – некоторое «идеальное» значение i-го показателя.

Возможны несколько вариантов выбора «идеального» значения показателя:

· «идеальное» значение задается ЛПР и является «образцовым»;

· в качестве «идеального» можно выбрать максимально допустимое значение частного показателя;

· в качестве «идеального» можно выбрать разность между максимальным и минимальным значениями частных показателей.

Идеальной системой принято называть гипотетическую модель исследуемой системы, удовлетворяющей всем критериям качества:

.

Областью адекватности называют некоторую окрестность значений показателей существенных свойств системы, радиус которой имеет нормированное значение, определяемое следующей зависимостью:

.

При таком подходе все критерии качества системы в общем случае могут быть отнесены к одному из трех типов.

1. Критерий пригодности : система считается пригодной, если значения всех частных показателей качества этой системы принадлежат области адекватности, а радиус области адекватности соответствует допустимым значениям всех частных показателей.

2. Критерий оптимальности : система считается оптимальной по i-му показателю качества, если существует хотя бы один частный показатель качества , значения которого принадлежат области адекватности с оптимальным радиусом ( ) по этому показателю.

3. Критерий превосходства : система считается превосходной, если значения частных показателей качества принадлежат области адекватности с оптимальным радиусом по всем показателям.

Критерии должны обладать следующими свойствами:

· представительность означает оценку основных (а не второстепенных) целей системы и учет всех главных сторон ее деятельности;

· критичность (эластичность) к исследуемым параметрам состоит в значительных изменениях величины критерия при сравнительно малых изменениях исследуемых параметров;

· простота.

Оценка эффективности реализуемых процессов

Как правило, при функционировании СЭС большая роль принадлежит случайным процессам. Вследствие этого критерий может быть основан на случайных величинах, включающих параметры математической статистики.

Обычно в системном анализе в рамках применения математических методов оптимальным решением считается такое, которое обеспечивает выполнение поставленной цели при минимальных ресурсных затратах. Возможна и обратная постановка задачи – обеспечивать максимальный эффект при фиксированных затратах ресурсов[4]. В этом случае общая форма критерия при прямой постановке задачи может быть записана в следующем виде:

при

где – величина критерия (суммарные затраты ресурсов), – допустимая эффективность. При обратной постановке задачи формой критерия эффективности при ограниченной ресурсной базе будет

при

где – допустимая величина затрат ресурсов.

Оценка функциональных свойств и свойств операции, которые характеризуют функционирование системы, проводится с точки зрения двух аспектов:

· аспект 1 – оценка результатов операции;

· аспект 2 – оценка алгоритма, обеспечивающего получение результатов.

Качество результатов операции и алгоритм, обеспечивающий получение результатов, оцениваются по показателям качества операции, к которым относятся результативность, ресурсоемкость и оперативность.

Результативность Е операции характеризуется получаемым целевым эффектом, ради которого функционирует система.

Ресурсоемкость R характеризуется ресурсами всех видов (людские, материальные, информационные и т. д.), используемыми системой для получения целевого эффекта.

Оперативность О операции определяется временем, необходимым для достижения цели операции.

В зависимости от типа систем и внешних воздействий операции могут быть:

· детерминированными;

· вероятностными;

· неопределенными.

В соответствии с этим выделяют три группы показателей и критериев эффективности алгоритма функционирования систем:

· дискретные;

· случайные величины с известными законами распределения в вероятностной операции;

· случайные величины, законы распределения которых неизвестны (определение вероятности связано со статистическими данными).