Тестирование удобства и качества подготовки пользовательских версий информационной системы

Этот тип тестирования служит для выявления ошибок методов и средств настройки базовых версий систем к конкретным условиям применения.

Многие информационные системы перед использованием адаптируются к операционной среде или к конкретным условиям, при которых должны решаться задачи. Для этого могут автоматизированно подготавливаться данные, характеризующие эти условия. Тестирование преследует цель проверки и обнаружения ошибок средств настройки, а также безопасности функционирования адаптированных к разным условиям версий программного обеспечения.

Для проверки средств адаптации создаются специальные тесты, охватывающие наиболее типичные режимы использования системы пользователями. Тестирование адаптированных версий может проводиться на базе тестов испытаний на соответствие техническому заданию, доработанных по специальной методике для проверки адаптации.

Как правило, при тестировании необходимо использовать имитаторы реальной внешней среды. В таких случаях (испытания систем управления воздушным движением, полетом самолетов и космических кораблей, больших банковских систем) требования к средствам обеспечения испытаний технологической безопасности системы сводятся к следующим положениям:

§ все данные от реальных объектов и имитаторов внешней среды должны поступать на испытываемую информационную систему в соответствии с естественным ходом процессов в этих объектах реального времени;

§ диапазоны изменения исходных данных в имитаторах должны обеспечивать перекрытие всех характеристик современных реальных объектов внешней среды, а также предусматривать возможность их расширения с учетом предполагаемого развития системы и прогресса в соответствующих областях техники;

§ необходимо совмещать данные от реальных объектов внешней среды и от имитаторов, заменяющих некоторые из них, которые нерационально или невозможно применять при испытаниях в натуральном виде;

§ необходимо обеспечить регистрацию, контроль и обобщение характеристик генерируемых тестовых данных, эталонных данных и всех видов искажений и аномалий, поступающих на испытываемую систему в любой момент времени и на любом заданном шаге обработки информации;

§ при формировании тестовых данных от ряда объектов должны оперативно учитываться воздействия результатов функционирования испытываемой системы по ранее поступавшим данным от тех же объектов с учетом обратных информационных и управляющих связей;

§ для всех тестовых данных должны быть подготовлены эталонные реакции системы, с которыми следует сравнивать результаты, получаемые в процессе испытаний;

§ необходимо обеспечить измерение и обобщение показателей качества и безопасности системы по результатам проведения сеансов испытаний с определенными целевыми задачами;

§ следует обеспечить максимально возможную повторяемость сеансов испытаний и генерируемых тестов после обнаружения и устранения дефектов в функционировании информационной системы.

Перечисленные требования определяют необходимость разработки соответствующих проблемно-ориентированных интегрированных систем, способных достаточно полно заменить испытания программ и баз данных с реальными объектами внешней среды.

При этом высокая стоимость и риск испытаний с реальными объектами почти всегда оправдывает значительные затраты на такие интегрированные системы, если предстоят испытания критических информационных систем с высокими требованиями к надежности и безопасности функционирования программ и длительным жизненным циклом с множеством развивающихся версий.

Современные испытания систем обработки информации и управления позволяет получить большое количество результатов, так что достаточно полный их анализ представляет сложную методическую и техническую задачу.

Обработка результатов испытаний информационной системы реального времени может быть разделена на две автономные части: оперативную и обобщающую.

Оперативная обработка результатов тестирования производится по упрощенным алгоритмам с большой пропускной способностью, обеспечивающим сохранение реального масштаба времени для всего тестируемого комплекса.

Основная часть оперативной обработки результатов связана с замыканием контура обратной связи для имитации динамики функционирования управляемых объектов. Оперативно следует производить также селекцию некоторых результатов тестирования и их предварительную обработку для значительного сокращения объема сохраняемых результатов.

Обобщающая обработка накопленных результатов испытаний производится вне реального времени после завершения одного или серии экспериментов.

Основная задача при этом состоит в расчете различных интегральных характеристик функционирования системы. Существенная сложность связана с получением и использованием эталонных данных. Некоторые эталонные данные могут быть получены от генераторов тестов. При экспериментах с реальными объектами для получения эталонных данных используются специальные измерительные комплексы. В обоих случаях непростой задачей может оказаться сопоставление и совместная обработка экспериментальных данных тестирования с эталонными.

Вопросы для самопроверки:

1. Какие виды тестирования информационной системы существуют? Приведите характеристику каждому виду.

2. В чем отличие оперативной обработки результатов тестирования системы от обобщающей?

Вернуться к содержанию