Цели проведения нагрузочного тестирования

Определение максимальной производительности Системы.

По результатам тестирования определяется максимальная интенсивность операций, при которой объект тестирования удовлетворяет требованиям по временам отклика по следующим параметрам:

1) Число операций/час

2) Число одновременно работающих пользователей

Проверка надежности.

По результатам тестирования определяется возможность системы работать длительное время под нагрузкой.

По результатам проведенных тестов будет определена максимальная интенсивность операций, при которой объект тестирования удовлетворяет требованиям по временам отклика или обработки и возможность системы работать длительное время под нагрузкой.

Проверка исправления дефектов производительности.

По результатам тестирования будут определены статусы заведенных ранее дефектов производительности. Список проверяемых дефектов указан в таблице 4.1.

Таблица 4.1 Список исследуемых дефектов

Название дефекта Условия воспроизведения ID дефекта в HP QC Комментарий
Утечка памяти на серверах приложений При проведении теста надежности (24 часа), на уровне нагрузки 16800 оп/час, была выявлена утечка памяти на серверах приложений (k9rko-spectrum02, k9rko-spectrum03, k9rko-spectrum04). Тест проводился с 12:00 17.12.2013 по 12:00 18.12.2013.  
Зависание серверов приложений В процесс входа пользователей в систему ИС Спектрум, при зависании серверов приложений, отображается предупреждение: "ThreadPool has stuck threads".  
K10 SPECTRUM FULL SCAN При запросе 3ucd6rjpbjx12 выполняется FULL SCAN таблиц, что приводит к недоступности системы в связи с деградацией системы.  
K10 SPECTRUM FULL SCAN При запросе 85nqxx8kuwz9a выполняется FULL SCAN таблиц, что приводит к недоступности системы в связи с деградацией системы.  
K10 spectrum db При запросе dcdsm0vffjy5s наблюдается аномально большая утилизация CPU сервера баз данных.  
K10 spectrum db При запросе 016xmnqnzux4x наблюдается аномально большая утилизация CPU сервера баз данных.  
При выполнении операций РКО на шаге "Ожидание_обработки" времена отклика более 30 секунд. При выполнении операций РКО на шаге "Ожидание_обработки" времена отклика более 30 секунд. Кейс с описанием шагов и AWR в аттаче.  
K10 spectrum db Превышение времен отклика операций ДБО на уровне нагрузки, составляющем 55% от целевого уровня нагрузки при тестировании по профилю "День".  
k10 spectrum application cpu util Неравномерная нагрузка на сервера приложений системы Спектрум  
K10 Spectrum DB При запросе 8t49a57a00qbh наблюдается аномально большое количество ожиданий User IO  


Влияние открытия ОД в ТП на производительность Системы.

По результатам тестирования определяются показатели производительности Системы при одновременном открытии ОД ТП.

Влияние закрытия ОД в ТП на производительность Системы.

По результатам тестирования определяются показатели производительности Системы при одновременном закрытии ОД ТП.

Ограничения тестирования

1) Проект по нагрузочному тестированию не предполагает функционального тестирования функционала «Транзакционный сервис» ИС «Спектрум» и не описывает методы и способы выявления функциональных дефектов, но все обнаруженные в ходе проведения тестирования дефекты будут зарегистрированы в отчете и переданы специалистам Разработчика системы.

2) Системы Бисквит; SC "Наличность"; ЦОП; Way4; Delta BranchCash; «ДБО «Telebank»; УСБС; Profile на тестовом стенде будут заменены эмуляторами. Времена отклика эмуляторов основываются на информации, полученной от специалистов Заказчика (требования к временам отклика операций со смежными системами). Если в промышленной эксплуатации времена отклика при обращении к смежным системам будут отличаться от времен отклика установленных в эмуляторе, то точность тестирования может не прогнозируемо изменяться.

3) Интеграция с системой ЕФР будет реализована через скрипты HP Load Runner, при этом обращение будет происходить исключительно в web-интерфейс Spectrum. Согласно информации от Заказчика, данные операции могут выполняться в обход Siebel’я или эмулятора его компонент путем загрузки соответствующих XML с контекстом операции через интерфейс Spectrum - вместо получения XML со стороны веб-сервиса Siebel.

4) В промышленной среде ИС «Спектрум» взаимодействует со смежными системами через набор брокеров, в тестовой среде используется один брокер. В случае, если пропускная способность брокера окажется «узким местом», то точность нагрузочного тестирования может не прогнозируемо изменяться.

5) В случае выявления в процессе тестирования «узких мест» в работе Системы, и невозможности продолжения тестов до момента их исправления, ППО должно быть доработано силами специалистов Разработчика Системы.

6) Если сроки доработки ППО приводят к тому, что проект не может быть завершен вовремя, то стороны согласовывают изменение объема работ по тестированию без изменения общей трудоемкости работ проекта и (или) сроков его завершения, либо стороны согласовывают перечень и объем работ по тестированию после доработки ППО, вынесенных за рамки данного проекта в отдельный проект.

7) На тестовом стенде не предполагается эмуляция систем «Ирбис» и PS-POS терминалов, поскольку данные системы не оказывают существенного влияния на тестируемую систему или не взаимодействуют с ней напрямую.

8) При эмуляции нагрузки будут задействованы не все возможные пользовательские операции, а только операции, критичные для бизнеса, а также операции с высокой интенсивностью и оказывающие наибольшее влияние на нагрузку системы.

9) Расчет прогноза роста БД был построен на данных в период тиражирования системы. Наполнение БД исходя из темпов тиража соответствует наполнению БД к 2021г.

Таблица 5.1 Негативные риски проекта

Описание риска Влияние на Вероятность возникновения Действия по предотвращению
Задержка выпуска ПО. Сроки проекта Низкая Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о невозможности проведения работ по разработке скриптов и проведения тестирования. Инициация запроса на изменение сроков проекта
Неготовность\не предоставление тестового стенда для написания скриптов Сроки проекта Низкая Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проведения тестирования. Эскалация с целью предоставления стенда. Инициация запроса на изменение сроков проекта
3. Сотрудникам Исполнителя не переданы необходимые данные для написания тестовых примеров и эмуляторов смежных систем или переданные файлы некорректны. Сроки проекта Средняя Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проведения тестирования. Эскалация с целью увеличения активности по подготовке файлов. Инициация запроса на изменение сроков проекта
3. Непредоставление доступа к тестовой БД Сроки проекта Средняя Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проекта. Эскалация с целью предоставления доступа к БД. Инициация запроса на изменение сроков проекта
Значительное изменение требований в ходе проекта Сроки и\или стоимость Средняя Информирование и согласование с Исполнителем потенциально возможных изменений требований. Инициация запроса на изменение сроков и\или стоимости проекта
КТС для проведения тестирования значительно отличается от продуктивной среды Точность результатов Низкая Информирование и согласование между Исполнителем и Заказчиком изменения нагрузочного профиля тестирования и утверждение коэффициента экстраполяции полученных результатов.
АРМ на территории Заказчика для сотрудников Исполнителя не подготовлены в срок Сроки проекта Средняя Мониторинг контрольных точек проекта. Информирование Заказчика о несоблюдении сроков проведения тестирования. Инициация запроса на изменение сроков проекта
7. Недооценка Исполнителем работ по проекту Сроки и\или стоимость проекта Низкая Проведение повторной оценки работ проекта. Инициация запроса на изменение сроков и\или стоимости проекта.
Не утверждена Заказчиком в установленные сроки разработанная документация по проекту Сроки проекта Средняя Сокращение числа лиц согласующих документацию до минимально необходимого числа. Участие сотрудников Заказчика в разработке документации. Инициация запроса на изменение проекта в случае срыва плановых сроков согласования.

Объект тестирования

Общие сведения

Объектом тестирования является система «Спектрум» с функционалом транзакционного сервиса.

Система ИС «Спектрум» позволяет осуществлять полноформатную кассовую работу как по расчетно-кассовому обслуживанию клиентов Банка, так и по операциям движения наличных денежных средств и ценностей внутри подразделений Банка. Представляет собой универсальное рабочее место сотрудника Банка с WEB интерфейсом. Настройка доступных функций системы производится в зависимости от решаемых им задач.

Тестирование будет проводится с учетом операций ЕФР (РКО), представленных в профиле нагрузки (п.9.4 Описание операций). Все операции будут эмулированы с помощью HP Perfomance Сentre v. 12 и через работу отдельно разработанных эмуляторов внешних систем.

Транзакционный сервис осуществляет выполнение клиентских операций, обеспечивая целостность распределённых транзакций (свойства ACID). Под распределённой транзакцией понимается выполнение такой операции, которая затрагивает более одной учётной системы.

Кроме того, Транзакционный сервис минимизирует риск изменения существенных параметров финансовой операции (например, размер комиссии) в процессе обслуживания клиента.

Выполнение финансовых операций включает в себя два действия:

1) подготовка операции, включающая в себя обогащение операции расчётными данными;

2) выполнение операции, включающее в себя проведение проверок и отражение на счетах в учётных и продуктовых системах. Поддержка целостности распределённых транзакций реализуется за счёт технологии двухфазного завершения операции.

Транзакционный сервис принимает запросы на исполнение операций от фронтальных систем. Для выполнения транзакций он обращается к системам исполнения, вызывая бизнес-сервисы УСБС-Front.

Системы исполнения (продуктовые, учётные и мидл-офисные системы), участвующие в проведении операции, определяются Транзакционным сервисом, исходя из входных параметров операции.

Последовательность вызовов сервисов определяется типом и подтипом операции и промежуточными результатами исполнения операции.

Архитектура системы

На рис. 6.2.1 приведена общая схема развертывания комплекса объекта тестирования

Цели проведения нагрузочного тестирования - student2.ru

Рисунок 6.2.1 Общая схема комплекса тестирования

Таблица 6.1 Состав комплекса ИС «Спектрум»

Компонент Назначение
Тонкий клиент Браузер, через который пользователь получает доступ к системе
Сервер приложений Spectrum ПО Spectrum. Сервера приложений Spectrum отвечающие за исполнение бизнес логики системы
Oracle RDBMS Реляционная СУБД под управлением Oracle RDBMS
Oracle BI Publisher Сервер отчетности и печатных форм. Используется ПО Oracle BI Publisher
HTTP Load Balancing для серверов приложений Spectrum Балансировщик нагрузки между серверами приложений Spectrum
HTTP Load Balancing для серверов Oracle BI Publisher Балансировщик нагрузки между серверами Oracle BI Publisher

На рис 6.2.2 приведена схема интеграционного взаимодействия ИС «Спектрум».

Цели проведения нагрузочного тестирования - student2.ru

Рисунок 6.2.2 приведена схема интеграционного взаимодействия ИС «Спектрум»

Работоспособность функционала «Транзакционный сервис» зависит так же от работы смежных систем. Состав и описание смежных систем приведен в таблице 6.2

Таблица 6.2 Смежные системы транзакционного сервиса

#№ Наименование системы Краткое описание Протокол Тип связи[1] Наличие на стенде
21. УФО «Spectrum» Кассовые операции прямые вызовы соответствующих java-классов ТС двунаправленный да
32. Телебанк сервис дистанционного обслуживания SOAP over HTTP двунаправленный Эмулятор
43. Account Engine – Агрегатор   файл двунаправленный Эмулятор
44. УСБС-Front интеграционный слой, изолирующий потребителей сервисов от особенностей их технической реализации. Шина, с помощью которой осуществляется взаимодействия системы с IT-ландшафтом банка в рамках того или иного бизнес-процесса. SOAP over HTTP двунаправленный Эмулятор
65. Delta BranchCash управление устройствами электронных кассиров. SOAP over HTTP двунаправленная Эмулятор

Фронтальные системы, за исключением УФО «Спектрум», используют сервисы ТС(initoperation,execoperation) для выполения финансовых операций. С системами исполнения (продуктовые, учётные и мидл-офисные системы) ТС взаимодействует путем вызова соответствующих сервисов УСБС, которые описываются в сценариях выполнения операций. В связи с тем, что ТС и УФО «Спектрум» реализованы на едином инстансе, при выполнении операций сервисы УСБС вызываются напрямую, без использования сервисов ТС.

Системы исполнения (продуктовые, учётные и мидлофисные системы), участвующие в проведении операции, определяются Транзакционным сервисом, исходя из входных параметров операции.

Последовательность вызовов сервисов УСБС определяется типом и подтипом операции и промежуточными результатами исполнения операции.

Ниже, в таблице 6.3 приведен список смежных систем относительно ИС Спектрум.

Таблица 6.3 Смежные системы ИС Спектрум

#№ Наименование системы Краткое описание Протокол Тип связи Наличие на тестовом стенде
11. CIF мастер-система клиентских данных, используемая для хранения клиентских данных и идентификации клиента. FTP двунаправленная да
2. АБС Бисквит в части:        
3. Модуль «Главная книга» отражение проводок по документам клиентов Sonic/JMS двунаправленная эмулятор
4. Модули «Кредиты», «Вклады», «РКО» инициация операций по продуктам клиентов физических и юридических лиц, выполняемых с участием операциониста и контроллера подразделения Банка. Sonic/JMS двунаправленная эмулятор
55. SC-Наличность подкрепление касс в ДО, заказ наличности и ценностей в кассах подразделений Банка. Sonic/JMS двунаправленная эмулятор
7. PS-POS терминалы устройства проведения операций по банковской карте клиента других банков эмитентов. THEM-on-US однонаправленная нет
Way4 процессинг карточных операций. HTTP(S) однонаправленная эмулятор
ЦОП обработка платежей и расчет комиссий по платежам в пользу контрагентов по договорам с Банком. Sonic/JMS однонаправленная эмулятор
ДБО «Telebank», Ирбис шаблоны платежей в пользу контрагентов по договорам Sonic/JMS однонаправленная эмулятор
Sonic ESB эксплуатируемая в настоящее время в Банке интеграционная шина Sonic/JMS HTTP(S) однонаправленная да

Описание интеграционных потоков системного окружения ИС Спектрум приведено в таблице 6.4

Таблица 6.4 Описание интеграционных Потоков данных системного окружения ИС Спектрум

Номер потока Описание потока Система-источник Система-приемник Тип обмена Механизм интеграции Комментарии
  Потоки данных между системами Бисквит и Spectrum
1. Документы на подтверждение Бисквит Spectrum On-line Sonic Для «двухруких операций»
2. Подтвержденные документы Spectrum Бисквит On-line Sonic  
3. Отражение на счетах Spectrum Бисквит On-line Sonic  
4. Откат операции Spectrum Бисквит On-line Sonic  
5. Снятие с подтверждения Бисквит Spectrum On-line Sonic  
6. Получение счета доходов Spectrum Бисквит On-line Sonic  
7. Сумма покрытия по чеку Spectrum Бисквит On-line Sonic  
  Потоки данных между системами Spectrum и SC "Наличность"
8. Наличие ценностей на конец дня Spectrum SC "Наличность On-line Sonic  
9. Загрузка из "SC Наличность" в «Spectrum» документов по инкассации. SC "Наличность" Spectrum On-line Sonic  
  Потоки данных между системами Spectrum и ЦОП
10. Сообщение на проверку возможности проведения платежа (CheckingRq) Spectrum ЦОП On-line Sonic  
11. Сообщение на проведение платежа (PayingRq) Spectrum ЦОП On-line Sonic  
12. Сообщение на аннулирование платежа (RejectRq) Spectrum ЦОП On-line Sonic  
13. Отправка файла полученных платежей (ФПП) Spectrum ЦОП On-line Sonic  
  Потоки данных между системами Spectrum и системой «Сервер TCD/TCR. ПО «Delta BranchCash» »
14. Запросы по выполнению операций (Загрузка, выгрузка, выдача наличных) Spectrum DBC On-line SOAP  
  Потоки данных между системами Spectrum и Way4
15. Определение принадлежности карты Spectrum Sonic ESB On-line Sonic  
16. Проведение операции по карте Spectrum Sonic ESB On-line Sonic  
17. Запуск проведения операции по карте Spectrum Way4 On-line Вызов команды операционной системы  
18. Авторизация для проведения операции Spectrum Way4 On-line Вызов команды операционной системы  
  Потоки данных между системами Spectrum и PC-POS
19. Определение принадлежности карты Spectrum Sonic ESB On-line Sonic  
20. Запросы серверу приложений со стороны кассира PS-POS Spectrum On-Line HTTP(s)  
  Потоки данных между системой Spectrum и Общим файловым ресурсом
21. Сохранение проводок Spectrum Общий файловый ресурс Off-Line (s)FTP  
22. Формирование файла подтвержденных платежей Spectrum Общий файловый ресурс Off-Line (s)FTP  
23. Получение курсов конверсии Общий файловый ресурс Spectrum Off-Line (s)FTP  
24. Копирование сканов документов Бисквит Общий файловый ресурс Off-Line NFS  
25. Получение сканов документов Общий файловый ресурс Spectrum Off-Line NFS  
  Потоки данных между системами Spectrum и LTW TP
26. Запрос статуса загрузки курсов LTW TP Spectrum On-Line SOAP  
27. Команда на загрузку курсов LTW TP Spectrum On-Line SOAP  
  Потоки данных между системами Spectrum и ЕФР
28. Инициация взаимодействия ЕФР Spectrum On-Line SOAP SpectrumStartService
29. Восстановление контекста операции Spectrum ЕФР On-Line SOAP SiebelGetOperationInfo

Наши рекомендации