Обработка результатов испытаний
Современные испытания систем обработки информации и управления позволяет получить большое количество результатов, так что достаточно полный их анализ представляет сложную методическую и техническую задачу. При избытке контролируемых величин снижается общее быстродействие имитаторов и ИС в результате затрат времени на контроль и регистрацию, что затрудняет анализ безопасности функционирования программ в реальном времени. При переходе к массовым экспериментам приходится значительно сокращать количество анализируемых параметров и по возможности представлять их в обобщенном виде. В каждом конкретном случае необходимо стремиться к компромиссу между полнотой данных тестирования и удобством анализа обобщенных результатов, учитывая, что как обобщение, так и глубокий контроль связаны со снижение быстродействия испытываемой системы.
Общим методом получения результатов, которые можно анализировать удобно и экономично, является иерархическое упорядочение обрабатываемых данных на несколько уровней детализации. Так, например, для контроля системы управления воздушным движением в основном необходимы координаты сопровождаемых объектов, их сообщения и управляющие распоряжения. При проверке качества сопровождения одиночного объекта можно получать гистограммы и корреляционные функции ошибок выходных координат. Далее, при расчете контрольных вариантов проверяются данные, поступающие к диспетчерам, и признаки, характеризующие работу имитаторов и ПС на каждом цикле обработки информации. И, наконец, при массовых статистических испытаниях контролируются только обобщенные данные – значения средних ошибок, вероятности основных событий, правильных и ошибочных решений для вариантов имитируемой обстановки и т. д.
Обработка результатов испытаний ИС реального времени может быть разделена на две автономные части: оперативную и обобщающую.
Оперативная обработка результатов тестирования производится по упрощенным алгоритмам с большой пропускной способностью, обеспечивающим сохранение реального масштаба времени для всего тестируемого комплекса. Основная часть оперативной обработки результатов связана с замыканием контура обратной связи для имитации динамики функционирования управляемых объектов. Оперативно следует производить также селекцию некоторых результатов тестирования и их предварительную обработку для значительного сокращения объема сохраняемых результатов.
В оперативную обработку целесообразно включать расчет части интегральных данных, позволяющих контролировать текущий процесс обработки информации тестируемым ПС. Желательно выделять, регистрировать и отображать критические значения параметров или ситуации, угрожающие безопасности при функционировании ИС. Объем таких оперативно отображаемых данных должен быть максимально сокращенным и в то же время достаточным для анализа функционирования ИС. Эти данные должны позволять специалистам, ведущим испытания, фиксировать условия, при которых проявляются дефекты в функционировании программ, с учетом того, что автоматическая регистрация всегда имеет пробелы в составе фиксируемых параметров.
Обобщающая обработка накопленных результатов испытаний производится вне реального времени после завершения одного или серии экспериментов. Основная задача при этом состоит в расчете различных интегральных характеристик функционирования ИС. Существенная сложность связана с получением и использованием эталонных данных. Некоторые эталонные данные могут быть получены от генераторов тестов. При экспериментах с реальными объектами для получения эталонных данных используются специальные измерительные комплексы. В обоих случаях непростой задачей может оказаться сопоставление и совместная обработка экспериментальных данных тестирования с эталонными.