Тема лекции № 7. Оценка эффективности проектируемой системы защиты информации в компьютерных системах.
Учебные вопросы:
1. Понятие оценки эффективности системы. Критерии эффективности системы.
2. Оптимизация проектируемой системы. Метод оценки эффективности – стоимости.
3. Объективный и субъективный методы перехода от векторного к скалярному показателю качества.
Вопрос №1.
Обеспечение защиты информации на практике происходит в условиях случайного воздействия самых разных факторов. Некоторые из них систематизированы в стандартах, некоторые заранее неизвестны и способны снизить эффективность или даже скомпрометировать предусмотренные меры. Оценка эффективности проектируемой системы защиты информации (далее – система) должна обязательно учитывать как объективные обстоятельства, так и вероятностные факторы, а её характеристики (ГОСТ Р 50922-96) должны иметь вероятностный характер. Факторы, влияющие на уровень защиты информации, систематизированы в ГОСТ Р 51275-99. Развитие подобной методологии, включая систему нормативных документов, содержащих количественные показатели эффективности системы, обеспечит интересы как заказчиков, так и проектировщиков. В соответствии с целевым предназначением информационной системы особую важность приобретает обоснование оптимальных значений показателей эффективности.
Под оценкой эффективности системы понимают оценку качества выполнения системой её целевого назначения. Для того, чтобы оценить эффективность системы необходимо знать количественные характеристики.
В соответствии с современной теорией оценки эффективности систем, качество любого объекта (системы) проявляется лишь в процессе его использования по назначению (целевое функционирование), поэтому наиболее объективным является оценивание по эффективности применения.
Проектирование, организация и применение системы фактически связаны с неизвестными событиями в будущем и поэтому всегда содержат элементы неопределённости. По мере реализации проекта уровень неопределённости снижается, но никогда эффективность системы не может быть адекватно выражена и описана детерминированными показателями. Процедуры испытаний, сертификации или лицензирования не устраняют полностью неопределённость свойств системы или её отдельных элементов и не учитывают случайный характер атак. Поэтому объективной характеристикой качества системы – степенью её приспособленности к достижению требуемого уровня безопасности в условиях реального воздействия случайных факторов, может служить только вероятность, характеризующая степень возможностей конкретной системы при заданном комплексе условий. В общей теории систем такая характеристика называется вероятностью достижения цели операции или вероятностью выполнения задачи системой. Данная вероятность должна быть положена в основу комплекса показателей и критериев оценки эффективности системы. При этом критериями оценки служат понятия пригодности и оптимальности. Пригодность означает выполнение всех установленных к системе требований, а оптимальность – достижение одной из характеристик экстремального значения при соблюдении ограничений и условий на другие свойства системы. При выборе конкретного критерия необходимо его согласование с целью, возлагаемой на систему.
Обычно при синтезе системы возникает проблема решения задачи с многокритериальным показателем. Можно рассматривать показатели эффективности, которые предназначены при решении задачи сравнения различных структур системы. В то же время часто предлагается использовать показатели эффективности вероятностно-временного характера, имеющие смысл функций распределения. В частности, к таким показателям относится вероятность преодоления системы за некоторое время.
Схема, характеризующая общий подход к оценке эффективности системы представлена на рис. 7.1.
| S |
| S |
| L |
| R |
| среда |
 |
Рис. 7.1. Схема общего подхода к оценке эффективности системы
L–целевая функция, характеризующая достигаемые системой цели;
R – ресурсы (затраты) на достижение требуемой цели.
В общем случае при оценке эффективности системы используют следующие показатели:
Сц– стоимость цели;
СR – стоимость затрат.
Рассматривают соотношения этих показателей:
при этом, если:
– обогащение;
– стабильность;
– убыток (невоспроизводимый расход ресурсов (кризис)).
Чаще вводят другой показатель:
расход ресурсов на единицу продукции.
Основные трудности связаны с выбором соответствующих показателей оцениваемой системы и с построением формализованной математической модели.
Система является эффективной в том случае, если она выполняет свою функциональную задачу с заданным качеством и при разумном расходовании ресурсов, т.е. является оптимальной или наилучшей.
Вопрос №2.
Оптимизация любой проектируемой системы тесно связана с участием в этом процессе заинтересованных сторон (ведомств, организаций, групп лиц). Таковыми являются:
· заказчики – разрабатывают требования к системе;
· разработчики – проектируют систему, создают опытные образцы;
· производители – промышленные предприятия – изготовители системы;
· эксплуатационщики – обеспечивают хранение и сбережение системы;
· пользователи.
Все вышеуказанные категории могут иметь различные подходы и интересы при определении того, является ли система оптимальной.
Важнейшим вопросом при оценке эффективности системы является задача, связанная с разработкой требований к системе, которые необходимо ещё и формализовать.
Различают четыре вида формализованных требований (слайд):
· условия;
· ограничения;
· показатели качества;
· ограничения на показатели качества.
Математически это можно записать следующим образом:
Необходимо отметить, что внешние характеристики, от которых качество системы не зависит, либо эта зависимость носит экстремальный характер, не могут использоваться в качестве показателя качества. Эти характеристики могут использоваться в качестве варьируемых переменных.
Часто показатели качества нормируют:
Задача технической оптимизации системы не имеет однозначного решения. Как правило, в процессе испытаний системе выставляются новые требования, по которым ведётся отбор.
В тех случаях, когда показатели качества содержат всего одну значащую компоненту, задача оптимизации по внешним параметрам оказывается однозначной и единственной. Оптимальное решение 
находится регулярными методами математики.
Когда система описывается набором частных показателей качества 
, то в целом качество системы определяется вектором:
где p – размерность вектора.
Будем считать, что все 
приведены к стандартной форме. Часто ограничения на показатели качества записываются в виде:
Если показателей качества множество, то стремятся найти способы, позволяющие уменьшить их число. В большинстве своём показатели качества подразделяются на две категории:
· I-я категория – показатели полезного эффекта системы (её эффективности);
· II-я категория – показатели стоимости системы (расход ресурсов).
Рассмотрим ситуацию, в которой фигурируют два показателя качества (метод оценки эффективности – стоимости):
Показатель качества 
представляет собой среднеквадратичное отклонение 
(СКО) и определяет точность измерения параметров, а показатель качества 
характеризует общую стоимость разработки системы 
.
Изобразим систему координат, где выбранные показатели качества являются осями координат (рис.7.2).
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
| III |
| IV |
| I |
| II |
 |
 |
 |
 |
 |
 |
 |
Рис. 7.2. Схема поиска оптимальной системы
Квадрант III содержит абсолютно худшие системы по сравнению с 
. В квадранте I находятся абсолютно лучшие системы.
В квадрантах II и IV лежат несравнимые по отношению к системы. Эти системы считаются лучше по одному показателю и хуже по другому показателю.
Поиск оптимальной системы следует производить, двигаясь в I квадранте до тех пор, пока не произойдёт достижение границ строго допустимых систем.
Рассматривая точки A и B можно говорить о гранях, образующих области нехудших систем. Поиск оптимальных систем необходимо осуществлять среди нехудших систем. Такие системы называются Парето-оптимальными системами.
Если показатель качества имеет векторный характер, то задача не имеет единственного решения.