Обработка и анализ результатов моделирования

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух основных условий:

• полученные результаты обладают требуемой точностью и достоверностью;
• исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели и частично — на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает и некоторым дополнительным требованиям, предъявляемым к имитационным моделям. Эти требования и методы оценки соответствия им созданной модели рассматриваются ниже. Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.

Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной, целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сократить время на анализ результатов и принятие решения.

Если же заранее конкретизировать цель моделирования сложно или целей несколько, данные должны накапливаться в базе данных и затем уже выдаваться в требуемой форме по запросу пользователя. Как правило, по такому принципу строятся системы автоматизации моделирования.

Далее будет показано, как при правильной организации обработки экспериментальных данных могут быть получены дополнительные сведения о моделируемой системе.

Оценка качества имитационной модели

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

• проверить соответствие модели ее предназначению (целям исследования);
• оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

• корректным выбором математического аппарата, используемого для описания исследуемой системы;
• методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

• моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;
• наличие нестационарного режима работы модели;
• использование нескольких разнотипных математических методов в рамках одной модели;
• зависимость результатов моделирования от плана эксперимента;
• необходимость синхронизации работы отдельных компонент модели;
• наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

• адекватность;
• устойчивость;
• чувствительность.

Далее рассмотрены некоторые способы проведения оценки модели по каждому из них.

Оценка адекватности

В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это утверждение справедливо относительно моделей проектируемых систем (то есть в ситуациях, когда реальная система вообще не существует).

Тем не менее, во многих случаях полезно иметь формальное подтверждение (или обоснование) адекватности разработанной модели. Один из наиболее распространенных способов такого обоснования — использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае — об адекватности модели) на основе некоторых статистических критериев.

При проверке гипотез методами математической статистики необходимо иметь в виду, что статистические критерии не могут доказать ни одной гипотезы — они могут лишь указать на отсутствие опровержения.

Итак, каким же образом можно оценить адекватность разработанной модели реально существующей системе?
Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

• по средним значениям откликов модели и системы;
• по дисперсиям отклонений откликов модели от среднего значения откликов системы;
• по максимальному значению относительных отклонений откликов модели от откликов системы.

Названные способы оценки достаточно близки между собой по сути, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.

В результате N0 опытов на реальной системе получают множество значений (выборку) Y*. Выполнив NM экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y* и Y (в статистическом смысле). Основой для проверки гипотезы является t-статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением tКР взятым из справочной таблицы. Если выполняется неравенство tn<tKР, то гипотеза принимается. Необходимо еще раз подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным.

Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель. Данная проблема сходна с проверкой корректности любой компьютерной программы, и ее можно решать соответствующими методами, например с помощью тестирования.

Оценка устойчивости

При оценке адекватности модели как существующей, так и проектируемой системы реально может быть использовано лишь ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели. В теории моделирования это понятие трактуется следующим образом.

Устойчивость модели — это ее способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.
Каким образом может быть оценена устойчивость модели? Универсальной процедуры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования может быть также оценена методами Математической статистики. Здесь уместно вспомнить основную задачу математической статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (то есть выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рассматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона, который служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (то есть, обладают ли они одним и тем же статистическим признаком). Например, в двух партиях некоторой продукции измеряется определенный признак, и требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение; другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.
Проверку указанной гипотезы Н проводят при следующих исходных данных. Пусть имеются две выборки , полученные для различных значений рабочей нагрузки; относительно законов распределения X и Y никаких предположений не делается.

Значения обеих выборок упорядочиваются вместе по возрастанию. Затем анализируется взаимное расположение . В случае говорят, что пара значений образует инверсию.
Например, пусть для n=m=3 после упорядочивания получилась такая последовательность значений: тогда имеем инверсии:

Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М:

От гипотезы отказываются, если | U-M | >UKP (UKp определяют по таблице для заданного уровня значимости).

Оценка чувствительности

Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру X в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.
1. Вычисляется величина относительного среднего приращения параметра X:

1. Проводится пара модельных экспериментов при значениях и средних фиксированных значениях остальных параметров. Определяются значения отклика модели
2. Вычисляется относительное приращение наблюдаемой переменной Y:

В результате для k-гo параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .
Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.

Калибровка модели

Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, то есть коррекцию с целью приведения в соответствие предъявляемым требованиям. Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

• глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);
• локальные изменения (в частности, изменение некоторых законов распределения моделируемых случайных величин);
• изменение специальных параметров, называемых калибровочными.

На первый взгляд, структурные изменения модели, как более сложные, должны рассматриваться только после того, как все попытки калибровки модели путем изменения параметров и локальных модификаций окажутся безуспешными. Однако такая стратегия может скрыть структурное несоответствие или недостаточную степень Детальности модели. В этом смысле начинать калибровку с внесения глобальных изменений значительно безопаснее.