Покрытие по всем условиям (Multiple Condition Coverage)
Для выявления неверно заданных логических функций был предложен метод покрытия по всем условиям. При данном методе покрытия должны быть проверены все возможные наборы значений компонент логических условий. Т.е. в случае n компонент потребуется 2n тестовых примеров, каждый из которых проверяет один набор значений. Тесты, необходимые для полного покрытия по данному методу, дают полную таблицу истинности для логического выражения.
Несмотря на очевидную полноту системы тестов, обеспечивающей этот уровень покрытия, данный метод редко применяется на практике в связи с его сложностью и избыточностью.
Еще одним недостатком метода является зависимость количества тестовых примеров от структуры логического выражения. Так, для условий, содержащих одинаковое количество компонент и логических операций:
a && b && (c || (d && e))
((a || b) && (c || d)) && e
потребуется разное количество тестовых примеров. Для первого случая для полного покрытия нужно 6 тестов, для второго – 11.
Метод MC/DC для уменьшения количества тестовых примеров при 3-м уровне покрытия кода.
Для уменьшения количества тестовых примеров при тестировании логических условий фирмой Boeing был разработан модифицированный метод покрытия по веткам/условиям (Modified Condition/Decision Coverage или MC/DC). Для обеспечения полного покрытия по этому методу необходимо выполнение следующих условий:
- каждое логическое условие должно принимать все возможные значения;
- каждая компонента логического условия должна хотя бы один раз принимать все возможные значения;
- должно быть показано независимое влияние каждой из компонент на значение логического условия, т.е. влияние при фиксированных значениях остальных компонент.
Покрытие по этой метрике требует достаточно большого количества тестов для того, чтобы проверить каждое условие, которое может повлиять на результат выражения, однако это количество значительно меньше, чем требуемое для метода покрытия по всем условиям.
В следующей таблице приведены примеры тестовых наборов, необходимых для тестирования логических блоков по MC/DC. Так, например, для блока OR достаточно n+1 тестовых примеров, где n – количество входов логического блока. Первый тестовый пример показывает, что при нулевых значениях входов значение выхода также нулевое. В каждом из следующих n примеров значение каждого входа устанавливается в 1, чем показывается независимое влияние входов на значение выхода.
Логические блоки и определённые для них тестовые наборы
AND блок. Реализует логическую функцию И для двух или более входов  | NAND блок. Реализует логическую функцию И-НЕ для двух или более входов  | |||||||||||||||||||||||||
| № набора | ··· | n + 1 | № набора | ··· | n + 1 | |||||||||||||||||||||
| Вход 1 | T | F | T | T | ··· | T | Вход 1 | T | F | T | T | ··· | T | |||||||||||||
| Вход 2 | T | T | F | T | ··· | T | Вход 2 | T | T | F | T | ··· | T | |||||||||||||
| Вход 3 | T | T | T | F | ··· | T | Вход 3 | T | T | T | F | ··· | T | |||||||||||||
| ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | |||||||||||||
| Вход n | T | T | T | T | ··· | F | Вход n | T | T | T | T | ··· | F | |||||||||||||
| Выход | T | F | F | F | ··· | F | Выход | F | T | T | T | ··· | T | |||||||||||||
OR блок. Реализует логическую функцию ИЛИ для двух или более входов  | NOR блок. Реализует логическую функцию ИЛИ - НЕ для двух или более входов  | |||||||||||||||||||||||||
| № набора | ··· | n + 1 | № набора | ··· | n +1 | |||||||||||||||||||||
| Вход 1 | F | T | F | F | ··· | F | Вход 1 | F | T | F | F | ··· | F | |||||||||||||
| Вход 2 | F | F | T | F | ··· | F | Вход 2 | F | F | T | F | ··· | F | |||||||||||||
| Вход 3 | F | F | F | T | ··· | F | Вход 3 | F | F | F | T | ··· | F | |||||||||||||
| ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | ··· | |||||||||||||
| Вход n | F | F | F | F | ··· | T | Вход n | F | F | F | F | ··· | T | |||||||||||||
| Выход | F | T | T | T | ··· | T | Выход | T | F | F | F | ··· | F | |||||||||||||
Анализ покрытия
Целью анализа полноты покрытия кода является выявление участков кода, которые не выполняются при выполнении тестовых примеров. Тестовые примеры, основанные на требованиях, могут не обеспечивать полного выполнения всей структуры кода. Поэтому для улучшения покрытия проводится анализ полноты покрытия кода тестами и, при необходимости, проводятся дополнительные проверки, направленные на выяснение причины недостаточного покрытия и определение необходимых действий по его устранению. Обычно анализ покрытия выполняется с учетом следующих соглашений:
- анализ должен подтвердить, что полнота покрытия тестами структуры кода соответствует требуемому виду покрытия и заданному минимально допустимому проценту покрытия;
- анализ должен подтвердить правильность передачи данных и управления между компонентами кода.
Анализ полноты покрытия тестами может выявить часть исходного кода, которая не исполнялась в ходе тестирования. Для разрешения этого обстоятельства могут потребоваться дополнительные действия в процессе проверки программного обеспечения. Эта неисполняемая часть кода может быть результатом:
- недостатков в формировании тестовых примеров или тестовых процедур, основанных на требованиях. В этом случае должны быть дополнен набор тестовых примеров или изменены тестовые процедуры для обеспечения покрытия упущенной части кода. При этом может потребоваться пересмотр метода (методов), используемого для проведения анализа полноты тестов на основе требований.
- неадекватности в требованиях на программное обеспечение. В этом случае должны быть модифицированы требования на программное обеспечение, разработаны и выполнены дополнительные тестовые примеры и тестовые процедуры.
- «мертвый» код. Этот код должен быть удален и проведен анализ для оценки эффекта удаления и необходимости перепроверки.
- дезактивируемый код. Для дезактивируемого кода, который не предполагается к выполнению в каждой конфигурации, сочетание анализа и тестов должно продемонстрировать возможности средств, которыми непреднамеренное исполнение такого кода предотвращается, изолируется или устраняется. Для дезактивируемого кода, который выполняется только при определенных конфигурациях, должна быть установлена нормальная эксплуатационная конфигурация для исполнения этого кода и для нее должны быть разработаны дополнительные тестовые примеры и тестовые процедуры, удовлетворяющие целям полноты покрытия тестами структуры кода.
- избыточность условия. Логика работы такого условия должна быть пересмотрена. Например, в условии if(A && B || !B) принципиально невозможно проверить, что часть условия (A && B) будет равна False в случае, когда A=True и B=False, так как вторая часть условия (!B) будет равна True и общий результат логического выражения будет True.
- защитный код. Эта часть кода используется для предотвращения исключительных ситуаций, которые могут возникнуть в процессе работы программы. Как пример, это может быть ветка default в операторе выбора switch, причем входное условие оператора switch может принимать определенные значения, которые он описывает, и как следствие, ветка default никогда не будет выполнена.