Пример 2. 4 бинарных сущности, 3 действия
Представим, что мы тестируем форму регистрации студентов. С помощью этой формы мы можем создавать, редактировать и удалять студентов из БД. Чтобы создать нового студента нужно ввести его имя, фамилию, адрес и нажать кнопку enter. Запись о студенте будет сохранена в БД и приложение вернет ID новосозданного студента.
Для того чтобы отредактировать или удалить данные студента нужно ввести ID студента и выбрать радиобуттон Modify или Delete соответственно.
По такому поводу я даже нарисовал пример формочки, чтобы ее было легче визуализировать :)
Decision table опишет эту логику так:
| Правило 1 | Правило 2 | Правило 3 | Правило 4 | Правило 5 | Правило 6 | Правило 7 | Правило 8 | Правило 9 | Правило 10 | Правило 11 | Правило 12 | Правило 13 | Правило 14 | Правило 15 | Правило 16 | |
| Сущность | ||||||||||||||||
| Введены данные о студенте? | No | No | No | No | No | No | No | No | Yes | Yes | Yes | Yes | Yes | Yes | Yes | Yes |
| Введен ID студента? | No | No | No | No | Yes | Yes | Yes | Yes | No | No | No | No | Yes | Yes | Yes | Yes |
| Выбран Modify? | No | No | Yes | Yes | No | No | Yes | Yes | No | No | Yes | Yes | No | No | Yes | Yes |
| Выбран Delete? | No | Yes | No | Yes | No | Yes | No | Yes | No | Yes | No | Yes | No | Yes | No | Yes |
| Действие | ||||||||||||||||
| Создать нового студента | No | No | No | No | No | No | No | No | Yes | No | No | No | No | No | No | No |
| Отредактировать данные студента | No | No | No | No | No | No | Yes | No | No | No | Yes | No | No | No | No | No |
| Удалить студента | No | No | No | No | No | Yes | No | No | No | No | No | No | No | No | No | No |
Примечание: Все сущности и действия специально сведены к бинарным значениям для простоты примера. В реальной жизни такие сущности как "данные о студенте", "ID студента" должны быть разобраны на сущности и представлены различными символьными и численными значениями, выбранными определенным образом.
После составления decision table, как правило, возможно упростить таблицу. Например убрать невозможные варианты - мы никогда не сможем указать одновременно радиобатан modify и delete (таких невозможных правила у нас четыре - 4, 8, 12, 16).
| Правило 1 | Правило 2 | Правило 3 | Правило 4 | Правило 5 | Правило 6 | Правило 7 | Правило 8 | Правило 9 | Правило 10 | Правило 11 | Правило 12 | |
| Сущность | ||||||||||||
| Введены данные о студенте? | No | No | No | No | No | No | Yes | Yes | Yes | Yes | Yes | Yes |
| Введен ID студента? | No | No | No | Yes | Yes | Yes | No | No | No | Yes | Yes | Yes |
| Выбран Modify? | No | No | Yes | No | No | Yes | No | No | Yes | No | No | Yes |
| Выбран Delete? | No | Yes | No | No | Yes | No | | No | Yes | No | No | Yes | No |
| Действие | ||||||||||||
| Создать нового студента | No | No | No | No | No | No | Yes | No | No | No | No | No |
| Отредактировать данные студента | No | No | No | No | No | Yes | No | No | Yes | No | No | No |
| Удалить студента | No | No | No | No | Yes | No | No | No | No | No | No | No |
После чего с легкостью преобразовываем таблицу решений в тест кейсы:
| Тест Кейс 1 | Тест Кейс 2 | Тест Кейс 3 | Тест Кейс 4 | Тест Кейс 5 | Тест Кейс 6 | Тест Кейс 7 | Тест Кейс 8 | Тест Кейс 9 | Тест Кейс 10 | Тест Кейс 11 | Тест Кейс 12 | |
| Входные данные | ||||||||||||
| Введены данные о студенте? | No | No | No | No | No | No | Yes | Yes | Yes | Yes | Yes | Yes |
| Введен ID студента? | No | No | No | Yes | Yes | Yes | No | No | No | Yes | Yes | Yes |
| Выбран Modify? | No | No | Yes | No | No | Yes | No | No | Yes | No | No | Yes |
| Выбран Delete? | No | Yes | No | No | Yes | No | | No | Yes | No | No | Yes | No |
| Ожидаемый Результат | ||||||||||||
| Создать нового студента | No | No | No | No | No | No | Yes | No | No | No | No | No |
| Отредактировать данные студента | No | No | No | No | No | Yes | No | No | Yes | No | No | No |
| Удалить студента | No | No | No | No | Yes | No | No | No | No | No | No | No |
Вот собственно и всё, пользуйтесь на здоровье.
Pairwise testing. Part 1 - Orthogonal Arrays
Вступление
Рассмотрим следующие ситуации:
1. Сайт должен работать в 8 браузерах - Internet Explorer 6, 7, и 8, Netscape 6.0 и 7.0, Mozilla 2 и 3, и Opera 9; используя плагины - RealPlayer, MediaPlayer, без плагинов; на ОС - Windows NT, 2003, XP, vista, 2008 и seven; на разных веб серверах - IIS, Apache, и WebLogic; запущенных на сервере с разными ОС - Windows 2003, 2008 и Linux.
* 8 бразуеров
* 3 плагина
* 6 ОС клиента
* 3 веб сервера
* 3 ОС сервера
Итого: 1,296 возможных комбинаций.
2. Банк создал новую систему обработки данных. У этого банка есть разные клиенты - очень важные клиенты, юр. лица и физ. лица; различные виды счетов - сберегательные, ипотечные кредиты, потребительские кредиты, и коммерческие кредиты; плюс отделения банка работают в разных штатах, с разной спецификой проведения фин. операций - Калифорния, Невада, Юта, Айдахо, Аризона и Нью-Мехико.
* 4 типа клиентов
* 5 типов аккаунтов
* 6 штатов
Итого: 120 комбинаций.
3. В ООП приложении, объект класса "А" может передать параметром объект класса "P", объекту класса "X". Классы B,C,и D унаследованы от класса A, и тоже могут передавать данные. Классы Q, R, S и T унаследованы от класса P и могут быть переданы как данные. Классы Y и Z унаследованы от класса X и могут получать данные.
* 4 классов отправителя
* 5 классов данных
* 3 класса приемника.
Итого: 60 комбинаций.
Что общего у этих примеров? В каждом случае мы имеем большое количество комбинаций, которые необходимо протестировать, причем не тестировать какие то комбинации выглядит рискованно. Но количество комбинаций настолько велико, что скорее всего у нас не хватит ресурсов, чтобы спроектировать и пройти тест кейсы. Поэтому, учитывая наши ограниченные ресурсы, каким то магическим образом, мы должны отобрать только часть комбинаций. Pairwise testing и есть этот магический способ.
В чём заключается магия выбора комбинаций Pairwise testing? Не следует пытаться проверить все комбинации значений для всех переменных, а проверять комбинации пар значений переменных(пока наверно не сильно понятно, но это ничего :)). Эта техника существенно уменьшает количество комбинаций для тестирования.
Например:
* Если приложение имеет 4 разных входных параметра, и каждый из этих параметров может принимать 3 различных значения, то количество комбинаций будет 3 в 4 степени, а т.е. 81 комбинация. Попарно (pairwise), можно покрыть все входные значения за 8 тест кейсов.
* Если приложение имеет 13 разных входных параметров, и каждый из этих параметров может принимать 3 различных значения, то количество комбинаций будет 3 в 13 степени, а т.е. 1 594 323 комбинаций. Попарно, можно покрыть все входные значения за 15 тест кейсов.
* Если приложение имеет 20 разных входных параметров, и каждый из этих параметров может принимать 10 различных значения, то количество комбинаций будет 20 в 10 степени. Попарно, можно покрыть все входные значения за 180 тест кейсов.
Несколько исследований о pairwise testing:
* Исследование, опубликованное Brownlie of AT&T в отношении тестирования local-area network-based electronic mail system гласит, что применение pairwise testing обнаружило на 28% дефектов больше, чем их оригинальный план разработки и выполнения 1 500 тест кейсов (позже количество тест кейсов было сокращено до 1 000 из-за временных ограничений), и заняло на 50% меньше ресурсов.
* Kuhn и Reilly проанализированы недостатки, записанные в базе данных браузера Mozilla. Они определили, что pairwise testing обнаружили бы 76% найденных ошибок.
* Wallace и Kuhn опубликовали исследование, проведенное Национальным институтом стандартов и технологий над ошибками ПО в отозванных мед. устройствах, собиравшимися на протяжении 15 лет. Они пришли к выводу, что 98% дефектов могли быть обнаружены с помощью pairwise testing. Т.е., по этой статистике, 98% ошибок возникают при конфликте ПАР входных данных или неверной интерпретацией 1 входного параметра системой, что pairwise testing покрывает. Еще раз, ошибки источником которых является комбинация 3х конкретных входных параметров составляет 2%.
Почему pairwise testing так хорошо работает? Неизвестно. В любом случае, успех применения этой техники на многих проектах является отличной мотивацией для ее использования.
Pairwise testing основывается на orthogonal arrays или the Allpairs algorithm. В этом посте будем рассматривать pairwise testing на основе orthogonal arrays.
Orthogonal Arrays
Сколько комбинаций существует для пары значений "1" и "2"? {1,1}, {1,2}, {2,1} и {2,2}. Ортогональный массив - это 2х мерный массив, с таким интересным свойством - выберите любые 2 столбца массива и найдете в них все комбинации значений этих столбцов. Т.е. если мы возьмем 2 столбца из ортогонального массива, в которых могут быть значения только "1" или "2", то найдем следующие строки для этих столбцов - {1,1}, {1,2}, {2,1} и {2,2}.
Например, у нашего приложения 3 входных параметра, причем каждый бинарный (принимает значение "1" или "2"). Все возможные комбинации входных данных:
| #строки | Переменная 1 | Переменная 2 | Переменная 3 |
А ортогональный массив для этих данных будет выглядеть так:
| # строки | Переменная 1 | Переменная 2 | Переменная 3 |
Возьмем столбец 1 и 3, и посмотрим, есть ли в них все комбинации этих столбцов (значения {1,1}, {1,2}, {2,1} и {2,2}) - да, есть. Возьмем столбец 1 и 2, и посмотрим, есть ли в них все комбинации значений этих столбцов (опять же значения {1,1}, {1,2}, {2,1} и {2,2}) - да есть. Возьмем столбец 2 и 3, и посмотрим, есть ли есть ли в них все комбинации значений этих столбцов ({1,1}, {1,2}, {2,1} и {2,2}) - да есть. Это ортогональный массив. Записывается он в таком виде - L4(23), где L4 означает, что ортогональный массив с 4 строками, а (23) - это не степень, это означает, что у массива 3 столбца, в котором значения могут быть "1" или "2".
Давайте возьмем ортогональный массив побольше. Допустим у нас есть 5 входных данных, каждое может принимать значения "1", "2" или "3". Как много существует пар для значений"1", "2" и "3"? {1,1}, {1,2}, {1,3}, {2,1}, {2,2}, {2,3}, {3,1}, {3,2}, и {3,3}. Рассмотрим L9(35) ортогональный массив:
| # строки | переменная 1 | переменная 2 | переменная 3 | переменная 4 | переменная5 |
Примечание: Всего возможных комбинаций в этом случае 243.
Можете проверить - взяв любые 2 столбца вы найдете в них все возможные значения пар значений - {1,1}, {1,2}, {1,3}, {2,1}, {2,2}, {2,3}, {3,1}, {3,2}, и {3,3}.
Вернемся к определению ортогональных массивов:
Ортогональный массив - это 2х мерный массив, с таким интересным свойством - выберите любые 2 столбца массива и найдете в них все комбинации значений этих столбцов.
Это определение не полное. Массив содержит не только все комбинации значений 2х столбцов. Если какая то пара значений 2х столбцов встречается несколько раз, то все возможные парные комбинации значений этих столбцов должны встретится столько же раз. Это происходит потому что ортогональный массив должен быть сбалансирован. Посмотрите на столбцы 3 и 5 - найдите комбинацию (3,2). Эта комбинация встречается в строках 6 и 17. Значит для этих столбцов, все возможные комбинации значений( а это {1,1}, {1,2}, {1,3}, {2,1}, {2,2}, {2,3}, {3,1}, {3,2}, и {3,3}) встретятся дважды.
В ортогональных массивах необязательно все столбцы должны иметь одинаковое количество значений. Существуют смешанные (mixed) ортогональные массивы. Следующий массив - смешанный ортогональный массив L18(2137). У него 2 столбца со значениями "1" и "2" и 7 столбцов со значениями "1", "2", "3".
| # строки | ||||||||
Важно: не бойтесь, вам не придется самостоятельно создавать ортогональные массивы, только если вы этого сами не захотите :). Есть гора тулзов, которые создадут вам ортогональные массивы для ваших нужд. Например веб тулза http://www.testersdesk.com/pairwse_testersdesk.html (требует регистрации для использования).