Оценка точности проведения НТ

№	Метрики	Методика расчета	Значение	Комментарий
	Полнота измерений производительности	Отношение числа метрик, мониторинг которых описан в Методике НТ к общему числу из необходимых метрик. Общее числа необходимый метрик определяется, как по числу выполняемых АС операций, как сумма: количества моделируемых операций * 3, количества автоматических/пакетных серверных процессов * 3, количества интерфейсов к смежным системам * 3. Для каждой операции необходимо контролировать: 1. Интенсивность подаваемой нагрузки (для пакетной обработки - объем данных) 2. Пропускная способность (для online - число успешных операций) 3. Время отклика (для online обработки)/время обработки (для offline или пакетной обработки). Требуется: 70%	100%
	Полнота мониторинга инфраструктуры	Отношение числа компонент архитектуры (КА), по которым в методике определен способ организации мониторинга в соответствии к общему числу КА. Мониторинг должен быть организован в соответствии со стандартом по мониторингу инфраструктуры. Требуется: 80%	100%
	Соответствие структуры методики стандарту	Отношение числа разделов в методике НТ, корректно заполненных и соответствующих разделам, заданным в шаблоне методики НТ, к общему числу разделов в шаблоне. Требуется: 100%	100%
	Точность профиля по нагрузке	Оценивается %ое соотношение интенсивности выбранных для тестирования массовых операций к общей интенсивности всех операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Интенсивность операций определяется по статистике промышленной информации. Требуется: не менее 90%, рекомендуется не менее 98%	90%
	Покрытие функциональности тестами	% соотношение количества выбранных для тестирования операций к общему количеству всех операций. Целевой показатель: 20-50%	70%
	Точность профиля по интенсивности массовых операций	Для каждой массовой операции определяется погрешность интенсивности в тестовом профиле к промышленному, как разница между интенсивностями операций, приведенная к общему количеству всех операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Для показателя берется 100% - максимальная абсолютная погрешность по всем операциям. Требуется: не менее 98%. При снижении точности ниже 80-90% рекомендуется повторное проведение тестов для актуализация возможностей системы.	90,54%
	Точность профиля по интенсивности "тяжелых" операций	Для каждой "тяжелой" операции определяется погрешность интенсивности в тестовом профиле к промышленному, как разница между интенсивностями операций, приведенная к количеству данных операций в промышленном профиле (для нового функционала - прогнозируемом профиле нагрузки). Для показателя берется 100% - максимальная абсолютная погрешность по всем операциям. Требуется: не менее 90%, рекомендуется не менее 98%. При снижении точности ниже 80-90% рекомендуется повторное проведение тестов для актуализация возможностей системы.	90,54%
	Соответствие тестового КТС промышленному по составу	Для каждого вида ИР производится подсчет соотношения количества физических серверов (ФС) тестовых к промышленному КТС (текущему или планируемому, в зависимости от целей тестирования, без учета резервирования отказоустойчивости). Выбирается значение с максимальным отклонением от 100%. Требуется: от 95% до 105% (при избытке - может потребоваться ограничение тестовых ресурсов)	100%
	Соответствие тестового КТС промышленному по мощности	Для каждого вида ФС производится подсчет соотношения количества ресурсов (число CPU, количество RAM, класс дисковой подсистемы, скорость сетевых интерфейсов сервера) в тестовом к промышленном КТС (текущему или планируемому, в зависимости от целей тестирования). Выбирается значение с максимальным отклонением от 100%. Требуется: от 95% до 105% (при избытке - может потребоваться ограничение тестовых ресурсов). Серверы с CPU разных модельных рядов не сравнимы (0%), для сравнения CPU в рамках модельных рядов используются данные от производителя. Для дисковой подсистемы (оценивается только соответствие классов 0% или 100%): • Enterprise – для дисковых стоек высокого класса, например HP XP 12000, XP 20000, XP 24000 • Mid-range –для дисковых стоек среднего класса, например HP EVA 6400/8400 • Low(Entry) – для медленных дисковых стоек, либо в случае использования локальных дисков.	100%
	Наполнение тестовой БД	Отношение объема БД в строках, обозначенного в методике, к объему промышленной БД. Для каждой таблицы определяется погрешность количества строк указанного в методике к количеству строк в промышленной БД, как отношение числа строк в тестовой БД к количеству строк в промышленной БД. Для показателя берется минимальное отношение по основным рабочим таблицам. Целевой показатель: не менее 100%. Метрика считается для каждого варианта тестовых БД и применяется для оценки точности серии тестов на этой БД.	90%

Приложение 1. Распределение операций

Маркировка операций в профиле:

Красный – операции открытия ОД

Желтый – операции кассы выполяняемые в течение ОД

Зеленый – операции транзакционного сервиса

Приложение 2. Прогноз роста таблиц бд

Приложение 3. Эмулятор Sonic

Приложение 4. Инструкция по использованию эмулятора Sonic

[1] - однонаправленная (например, система отправляет файл в шину данных и не ожидает ответа), однонаправлен ная с подтверждением (система отправляет письмо, через некоторое время приходит подтверждение), двунаправленная (система делает запрос и ожидает ответа); также необходимо указать возможность внешних входящих запросов (например, ежедневное построение отчетов для системы диагностирования, обновление котировок и т.п.)

[2] Указано количество активных серверов промышленного стенда