Обработка и анализ результатов моделирования

Решения, принимаемые по результатам имитационного моделирования, могут быть признаны конструктивными только при выполнении двух основных условий:

- полученные результаты обладают требуемой точностью и достоверностью;

- исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.

Выполнение первого условия обеспечивается в основном при разработке модели и частично – на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель не только является «правильной», но и отвечает некоторым дополнительным требованиям.

Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.

3.5.1 Оценка качества ИМ

Оценка качества модели является завершающим этапом её разработки и преследует две цели:

- проверить соответствие модели её предназначению (целям исследования);

- оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

- корректным выбором используемого математического аппарата;

- методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

- моделирование случайных факторов, основанное на использовании генераторов случайных чисел, которые могут вносить «искажения» в работу модели;

- возможное использование нескольких разнородных математических методов в рамках одной модели;

- зависимость результатов моделирования от плана эксперимента;

- необходимость синхронизации работы отдельных компонентов модели;

- наличие нестационарного режима работы модели.

Пригодность ИМ для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами, основными из которых являются:

- адекватность;

- устойчивость;

- чувствительность.

3.5.2 Оценка адекватности модели

В общем случае под адекватностью понимают степень соответствия модели тому реальному процессу или объекту, для описания которого она строится. Вместе с тем создаваемая модель ориентируется, как правило, на исследование определённого подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью её соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это справедливо для проектируемых систем и возможных реализаций технологических процессов.

Тем не менее во многих случаях полезно иметь формальное подтверждение адекватности разработанной модели. Один из наиболее распространённых способов такого обоснования – использование методов математи­ческой статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае – об адекватности модели) на основе некоторых статистических гипотез. Однако при этом следует помнить, что статистические гипотезы не могут доказать ни одной из них, они могут лишь указать на отсутствие опровержения.

Процедура проверки основана на сравнении измерений на реальной системе и результатов экспериментов на модели. Проверка может проводиться различными способами, например:

- по средним значениям откликов модели и системы;

- по дисперсиям отклонений откликов модели от среднего значения откликов системы;

- по максимальному значению относительных отклонений откликов модели от откликов системы.

Указанные способы оценки достаточно близки между собой по сути. Рассмотрим первый из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой Y среднему значению отклика реальной системы Y*.

В результате N₀опытов на реальной системе получают множество значений (выборку) Y*. Выполнив N_m экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y и Y* (в статистическом смысле). Основой для проверки является t-статистика (распределение Стьюдента). Её значение, вычисленное по результатам испытаний, сравнивается с критическим значением t_кр, взятым по статистическим таблицам. Если выполняется неравенство t_n < t_кр,то гипотеза не отвергается.

3.5.3 Оценка устойчивости модели

При оценке адекватности модели реально может быть использовано ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели.

Устойчивость модели – это её способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы. Универсальной процедуры проверки устойчивости модели не существует. Разработчику, как правило, приходится прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто бывает полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в неё изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели к структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования можно оценить методами математической статистики по устойчивости результатов моделирования интересующего фактора. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона.

Критерий Уилкоксона служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности. При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры имитационной модели закон распределения результатов моделирования остаётся неизменным.

3.5.4 Оценка чувствительности модели

Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то ценность такой «бесчувственной» модели может резко снизиться. В связи с этим возникает задача оценивания чувствительности модели к изменениям параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру X_k в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространённых процедур оценивания состоит в следующем:

1. Вычисляется величина относительного среднего приращения параметра X_k:

(14)

2. Проводится пара модельных экспериментов при значениях X_k = X_kmax и X_k = X_kminи средних фиксированных значениях остальных параметров. Определяются значения отклика модели Y₁ = f(X_kmax)и Y₂ = f(X_kmin).

3. Вычисляется её относительное приращение наблюдаемой переменной Y:

(15)

В результате для k-го параметра модели имеют пару значений (ΔX_k,ΔY), характеризующих чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество {ΔX_k,ΔY}.

Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.