Методика оценки качества программных средств

Оценку качества ПС проводят на фазах жизненного цикла.

В данной практической работе предлагается оценить качество уже разработанного ПС, т.е. на выходе фазы изготовления ПС. Она включает выбор номенклатуры показателей, их оценку и сопоставление значений показателей, полученных в результате сравнения с базовыми значениями.

Показатели качества объединены в систему из четырех уровней, указанных ниже. Допускается вводить дополнительные показатели на каждом из уровней.

Для обеспечения возможности получения интегральной оценки по группам показателей качества используют факторы качества (первый уровень):

· надежность ПС,

· сопровождаемость,

· удоб­ство использования,

· эффективность,

· универсальность,

· функциональность.

Каждому фактору качества соответствует определенный набор критериев качества (ком­плексные показатели – второй уровень):

· устойчивость функционирования,

· работоспособность,

· струк­турированность,

· простота конструкции,

· наглядность,

· повторяемость,

· легкость освоения,

· доступность программных документов,

· удобство эксплуатации и обслуживания,

· уровень автоматизации,

· временная эффективность,

· ресурсоемкость,

· гибкость,

· мобильность,

· модифицируемость,

· полнота реализации,

· согласованность,

· логическая корректность,

· полнота документации,

· управление и контроль доступом,

· резервирование,

· проверенность.

Критерии качества определяются одной или несколькими метриками (третий уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается.

Метрики составляются из оценочных элементов (единичных показателей – четвертый уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, неограниченно. Взаимосвязь факторов, критериев и метрик с классами ПС приведена в таблицах 3–10.

Выбор оценочных элементов в метрике зависит от функционального назначения ПС и проводится с учетом данных, полученных при проведении испытаний различных видов, а также по результатам эксплуатации ПС.

Для выбора оценочных элементов используются таблицы 11–16 и п.6.11.2–6.11.5 (программа и методика испытаний). В этих таблицах приняты следующие обозначения:

· знак "+" означает применяемость соответствующего показателя ПС, знак "–" – неприменяемость, знак "+–" – приме­няемость показателя ПС определяется пользователем стандарта;

· коды оценочных элементов составлены из 5 символов следующим образом:

¨ 1–й символ – буква русского алфавита указывает на принадлежность элемента тому или иному фактору:

¨ Н – надежности,

¨ С – сопровождаемости,

¨ У – удобству применения,

¨ Э – эффективности,

¨ Г – универсальности,

¨ К – корректности;

· 2–й и 3–й символы – номера метрик, которым принадлежит оценочный элемент;

· 4–й и 5–й символы – порядковый номер данного оценочного элемента в метрике.

Например: «К1004» означает, что это 4–й оценочный элемент из 10–й метрики фактора «корректность».

При указании кода метода оценки приняты следующие условные обозначения:

· ЭК – экспертный;

· ИЗ – измерительный;

· РГ – регистрационный;

· РС – расчетный.

Если для определения показателя используются разные методы, их обозначения перечисляют через запятую. Если для определения показателя поочередно используются несколько методов, их обозначения объединяют знаком плюс в той последовательности, в которой предполагается их выполнение.

Оценку качества ПС проводят в следующей последовательности.

1) На фазе анализа проводят выбор показателей и их базовых значений.

2) Для показателей качества на всех уровнях (факторы, критерии, метрики, оценочные элементы) принимают единую шкалу оценки от нуля до единицы.

3) Показатели качества на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, т.е.:

· результаты оценки каждого фактора определяются результатами оценки соответствующих ему критериев;

· результаты оценки каждого критерия определяются результатами оценки соответствующих ему метрик;

· результаты оценки каждой метрики определяются результатами оценки определяющих ее оценочных элементов.

4) В процессе оценки качества ПС на каждом уровне (кроме оценочных элементов) проводят вычисления показателей качества ПС, т.е. определение количественных значений:

· абсолютных пока­зателей (P_ij), где j – порядковый номер показателя данного уровня для i–го показателя вышестоящего уровня;

· относительных показателей (K_ij), являющихся функцией показателя P_ij и базового значения существующего аналога или эталонного образца.

5) Каждый показатель качества второго и третьего уровней (критерий и метрика) характери­зуется двумя числовыми параметрами – количественным значением и весовым коэффициентом (V_ij).

6) Сумма весовых коэффициентов показателей уровня (l), относящихся к i–му показателю вышестоящего уровня (l–1), есть величина постоянная. Сумма весовых коэффициентов V_ij принима­ется равной единице в соответствии с выражением

, (1)

где n – число показателей уровня l, относящихся к i–му показателю вышестоящего уровня (l–1).

7) Общая оценка качества ПС в целом формируется экспертами по набору полученных значений оценок факторов качества ПС.

8) Для оценки качества ПС различного назначения методом экспертного опроса составляется таблица значений базовых показателей качества ПС.

9) Определение усредненной оценки m_kq, оценочного элемента по нескольким его значениям (m_э) проводят по формуле

, (2)

где k – порядковый номер метрики; q – порядковый номер оценочного элемента; э – индекс суммирования; t – число значений оценочного элемента.

10) Итоговую оценку k–й метрики j–го критерия проводят по формуле

, (3)

где М – признак метрики; Q – число оценочных элементов в k–й метрике.

11) Абсолютный показатель критерия i–го фактора качества P_ij определяют по формуле

, (4)

где n – число метрик, отнесенных к j–му критерию.

12) Относительный показатель j–го критерия i–го фактора качества K_ij вычисляют по формуле

, (5)

13) Фактор качества вычисляют по формуле

, (6)

где f – признак фактора; N – число критериев качества, отнесенных к i–му фактору; K – признак критерия.

Качество ПС определяют путем сравнения полученных расчетных значений показателей с соответствующими базовыми значениями показателей существующего аналога или расчетного ПС, принимаемого за эталонный образец. Базовые значения показателей качества ПС должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень.

В качестве аналогов выбирают реально существующие сертифицированные ПС того же функционального назначения, с такими же основными параметрами, подобной структуры и приме­няемые в тех же условиях эксплуатации, что и сравниваемые.

Таблица 3

Взаимосвязь факторов и критериев с классами ПС, по которым проводят оценку качества

Фактор	Критерий по табл. 1	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наименование
Надеж­ность	1.1	Легкость освоения	0,5	–	0,3	0,5	0,3
1.2	Доступность программных документов	0,5		0,7	0,5	0,7
Сопровож­дае­мость	2.1	Удобство эксплуатации и обслуживания	0,20		0,20
2.2	Уровень автоматизации	0,25	–	0,25
2.3	Временная эффективность	0,2	–	0,2
2.4	Ресурсоемкость	0,3	0,5	0,3
2.5	Гибкость	0,35		0,35
Удоб­ство исполь­зо­вания	3.1	Мобильность	0,2	0,25	0,3	0,2	0,25
3.2	Модифицируе­мость	0,4	0,5	0,35	0,7	0,35	0,4	0,5
3.3	Полнота реализации	0,4	0,25	0,35	–	0,35	0,4	0,25
Эффек­тив­ность	4.1	Согласованность	0,25	0,3	0,25	0,3	–	0,3
4.2	Логическая корректность	0,25	0,35	0,25	0,35		0,35
4.3	Проверенность	0,5	0,35	0,5	0,35	–	0,35
Универ­саль­ность	5.1	Защищенность	–	0,25	–	0,3	–	0,5	0,3	0,3
5.2	Легкость освоения	0,3	0,25	0,5	0,35	0,5		0,25	0,35
5.3	Доступность программных документов	0,7	0,5	0,5	0,35	0,5	–	0,25	0,35
Функ­цио­наль­ность	6.1	Удобство эксплуатации и обслуживания	0,25
6.2	Уровень автоматизации	0,2
6.3	Временная эффективность	0,2
6.4	Ресурсоемкость	0,2
6.5	Гибкость	0,2

Таблица 4

Базовые значения критериев

Фактор	Критерий по табл. 1	Базовое значение показателя по подклассу ПС
Но­мер	Наименование
Надеж­ность	1.1	Устойчивость функционирования			0,9		0,95	0,95	0,9	–	0,9		0,95
1.2	Работоспособность			0,96		0,97	0,97	0,97	0,9	0,96		0,98
Сопровождае­мость	2.1	Структурность	0,9	0,95		0,97	0,97		0,97			0,95
2.2	Простота конструкции	0,95	0,95		0,97				–		0,97
2.3	Наглядность		–
2.4	Повторяемость	0,8	0,8	0,8	0,9	0,8	0,7	0,7	0,5	0,8	0,8	0,9
2.5	Полнота документации
Удобство использо­вания	3.1	Легкость освоения	0,9	0,8	0,9	0,9	0,7	0,9	0,7	0,7	0,9
3.2	Доступность программных документов	0,95
3.3	Удобство эксплуатации и обслуживания	0,9	0,85	0,85	0,9	0,8	0,9	0,8	–	0,85	0,85	0,9
Эффектив­ность	4.1	Уровень автоматизации	0,9	0,8	0,9	0,8	–	0,9
4.2	Временная эффективность	0,9	0,8	0,9	0,9	0,8	0,9
4.3	Ресурсоемкость	0,9	0,9	0,8	0,9	0,9	0,9	0,8	–	0,8	0,9	0,9
Универ­сальность	5.1	Гибкость	–	0,8	–	0,9	0,8	–	–	–	0,8	0,8	0,9
5.2	Мобильность	0,7	0,8	0,8	0,7	0,7	0,8	0,7	0,8	0,8	0,7	0,8
5.3	Модифицируемость		0,9	0,9		0,9	–
Функцио­нальность	6.1	Полнота реализации
6.2	Согласованность
6.3	Логическая корректность
6.4	Проверенность	0,9	0,8	0,8	0,9
6.5	Защищенность	0,8	0,8	0,7	0,8	0,8	–	0,7	0,7

Таблица 5

Взаимосвязь критериев и метрик надежности с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

1.1

Устой­чи­вость функцио­ни­рования

Н01

Средства восстанов­ле­ния при ошибках на входе

0,35

–

0,35

Н02

Средства восстанов­ле­ния при сбоях обо­рудо­вания

0,35

–

0,35

Н03

Реализа­ция управ­ления средства­ми восста­нов­ления

0,3

–

0,3

1.2

Работоспо­собность

Н04

Функцио­нирование в заданных режимах

0,5

Н05

Обеспече­ние обра­ботки за­данного объема информа­ции

0,5

Таблица 6

Взаимосвязь критериев и метрик сопровождаемости с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
2.1	Структур­ность	С05	Использование основных логических структур	0,35
С06	Соблюдение принципа нисходящего программирования	0,35
С07	Комментарии обосно­вания декомпозиции программ при кодиро­вании	0,3
2.2	Простота конструк­ции	С01	Простота архитектуры проекта	0,5	–	0,5
С02	Сложность архитек­туры проекта	0,5	–	0,5
С03	Межмодульные связи	0,3	–	0,3
С10	Простота кодирования	0,5	–	0,5
2.3	Нагляд­ность	С04	Экспертиза принятой системы идентифика­ции	0,35	–	0,35
С08	Комментарии логики программ	0,35	–	0,35
С09	Оформление текста программ	0,3	–	0,3
2.4	Повторяе­мость	С13	Использование типо­вых компонентов ПС	0,5
С14	Использование типо­вых проектных реше­ний	0,5
2.5	Полнота докумен­тации	С15	Полнота документации фазы проектирования	0,25	0,2	0,25
С16	Полнота документации фазы реализации	0,25	0,3	0,25
С17	Полнота документации фазы тестирования	0,25	0,3	0,25
С18	Полнота документации фазы изготовления	0,25	0,2	0,25

Таблица 7

Взаимосвязь критериев и метрик удобства использования с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

3.1

Легкость освоения

У01

Освоение работы ПС

0,35

У02

Документация для освоения

0,35

У0З

Полнота пользователь­ской документации

0,3

3.2

Доступ­ность про­грамм­ных докумен­тов

У0З

Полнота пользователь­ской документации

0,2

У04

Точность пользова­тельской документа­ции

0,25

У05

Понятность пользова­тельской документа­ции

0,25

У06

Техническое исполне­ние пользовательской документации

0,25

У07

Прослеживание вари­антов пользователь­ской документации

0,25

3.3

Удобство эксплуата­ции и об­служива­ния

У08

Эксплуатация

0,2

–

0,2

У09

Управление меню

0,2

–

0,2

У10

Функция HELP

0,2

–

0,2

У11

Управление данными

0,2

–

0,2

У12

Рабочие процедуры

0,2

–

0,2

Таблица 8

Взаимосвязь критериев и метрик эффективности с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
4.1	Уровень автомати­зации	Э01	Функциональная автоматизация	0,35	0,35	0,35	о.з	0,35	0,3	0,35	–	0,5	0,35	0,35
	Э02	Автоматизация интерфейсов	0,3	0,3	0,3	0,35	о,з	0,35	0,35	–	0,3	0,3	0,3
Э03	Автоматизация контроля	0,35	0,35	0,35	0,35	0,35	0,35	0,3	–	0,2	0,35	0,35
4.2	Временная эффектив­ность	Э04	Эффективность выполнения	0,7	0,7	0,7	0,7	0,7	0,6	0,6	0,5	0,6	0,35	0,35
	Э05	Эффективность подготовки	0,3	0,3	10,3	0,3	0,3	0,4	0,4	0,5	0,4	0,3	0,3
4.3	Ресурсо­емкость	Э06	Стационарная ресурсоемкость	0,7	0,6	0,6	0,7	0,7	0,6	0,5	0,5	0,5	0,6	0,6
	Э07	Динамическая ресурсоемкость	0,3	0,4	0,4	0,3	0,3	0,4	0,5	0,5	0,5	0,4	0,4

Таблица 9

Взаимосвязь критериев и метрик универсальности с классами ПС

Критерий по табл.1

Метрика

Весовой коэффициент показателя по подклассу ПС

Но­мер

Наимено­ва­ние

Обозна­че­ние

Наименова­ние

5.1

Гибкость

Г01

Широта охвата функций

–

0,17

–

0,17

–

0,17

Г02

Простота архитектуры проекта

–

0,15

–

0,15

–

0,15

Г03

Сложность архитектуры проекта

–

0,17

–

0,17

–

0,17

Г04

Сложность структуры кода программ

–

0,17

–

0,17

–

0,17

Г05

Применение стандарт­ных протоколов связи

–

0,17

–

0,17

–

0,17

Г06

Применение стандарт­ных интерфейсных программ

–

0,17

–

0,17

–

0,17

5.2

Мобиль­ность

Г07

Зависимость от ис­пользуемого комплекса технических средств

0,35

Г08

Зависимость от базо­вого программного обеспечения

0,35

Г09

Изоляция немобильности

0,3

–

0,3

5.3

Модифи­цируе­мость

Г10

Простота кодирования

0,2

–

0,2

Г11

Число комментариев

0,2

–

0,2

Г12

Качество комментариев

0,2

–

0,2

Г13

Использование описательных средств языка

0,2

0,2

Г14

Независимость модулей

0,2

–

0,2

Таблица 10

Взаимосвязь критериев и метрик функциональности с классами ПС

Критерий по табл.1	Метрика	Весовой коэффициент показателя по подклассу ПС
Но­мер	Наимено­ва­ние	Обозна­че­ние	Наименова­ние
6.1	Полнота реализа­ции	К01	Требования, предъявляе­мые к полноте до­кумен­тации разработ­чика
Полнота документации разработчика	0,5
К02	Полнота программной документации	0,5
6.2	Согласо­ван­ность	К03	Непротиворечивость документации разра­ботчика	0,14
К04	Непротиворечивость программы	0,14
К05	Требования, предъяв­ляемые к единообра­зию интерфейсов ме­жду модулями и поль­зователями	0,35
Единообразие интер­фейсов между моду­лями и пользователями	0,14
К06	Требования, предъяв­ляемые к единообра­зию кодирования, сим­волике и определению общих переменных	0,35
Единообразие кодировки	0,14
К07	Соответствие докумен­тации стандартам	0,15
К08	Требования, предъяв­ляемые к соответствию ПС стандартам про­граммирования	0,3
Соответствие ПС стандартам программирования	0,15
К09	Соответствие ПС до­кументации	0,14
6.3	Логиче­ская корректность	К11	Требования, предъяв­ляемые к реализации ПС
Реализация всех реше­ний	0,5
К12	Отсутствие явных ошибок и достаточ­ность реквизитов	0,5
6.4	Проверен­ность	К13	Полнота динамиче­ского тестирования	0,5	0,5	0,7	0,5	0,5	0,5	0,8	0,8	0,7	0,5	0,5
К14	Полнота статического тестирования	0,5	0,5	0,3	0,5	0,5	0,5	0,2	0,2	0,3	0,5	0,5
6.5	Защищен­ность	К15	Аутентификация эле­ментов систем обра­ботки данных	0,3	0,25	0,3		0,3
К16	Управление доступом	0,3	0,25	0,3		0,3
К17	Протоколирование обращений	0,3	0,25	0,3		0,3
К18	Криптографическая защита	0,1	0,25	0,1		0,1
К19	Превентивное реагирование	0,2		0,1

Таблица 11

Оценочные элементы фактора надежность

Код оценочного элемента	Наименова­ние	Код метода оценки	Применяемость показателя по подклассу ПС
Н0101	Наличие требований по устойчивости функционирования при наличии ошибок во входных данных	ЭК	+	–	+–	+	+–
Н0102	Возможность обработки ошибочных ситуаций	ЭК	+	–	+–	+	+–
Н0103	Полнота обработки ошибочных ситуаций	ЭК	+	–	+–	+	+–
Н0104	Наличие тестов для проверки допустимых значений входных данных	ЭК	+	–	+–	+	+–
Н0105	Наличие системы контроля полноты входных данных	ЭК	+	–	+–	+	+–
Н0106	Наличие средств контроля корректности входных данных	ЭК	+	–	+–	+	+–
Н0107	Наличие средств контроля непротиворечивости входных данных	ЭК	+	–	+–	+	+–
Н0108	Наличие проверки параметров и адресов по диапазону их значений	ЭК	+	–	+–	+	+–
Н0109	Наличие обработки граничных результатов	ЭК	+	–	+–	+	+–
Н0110	Наличие обработки неопределенностей	ЭК	+	–	+–	+	+–
Н0201	Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств	ЭК	+	–	+–	+	+–
Н0202	Наличие требований к программе по восстановлению результатов при отказах процессора, операционной системы	ЭК	+	–	+–	+	+–
Н0203	Наличие средств восстановления процесса в случае сбоев оборудования	ЭК	+	–	+–	+	+–
Н0204	Наличие возможности разделения по времени выполнения отдельных функций программ	ЭК	+	–	+–	+	+–
Н0205	Наличие возможности повторного старта с точки останова	ЭК	+	–	+–	+	+–
Н0301	Наличие централизованного управления процессами, конкурирующими из–за ресурсов	ЭК	+	–	+–	+	+–
Н0302	Наличие возможности автоматически обходить ошибочные ситуации в процессе вычисления	ЭК	+	–	+–	+	+–
Н0303	Наличие средств, обеспечивающих завершение процесса решения в случае помех	ЭК	+	–	+–	+	+–
Н0304	Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случав ошибок или помех	ЭК	+	–	+–	+	+–
Н0305	Показатель устойчивости к искажающим воздействиям Р(Y) рассчитывают по формуле Р(Y)=1–D/K, где D – число экспериментов, в которых искажающие воздействия приводят к отказу; K – число экспериментов, в которых имитируются искажающие воздействия	РГ + РС	+	–	+–	+	+–
Н0401	Вероятность безотказной работа Р рассчитывают по формуле Р=1–Q/N, где Q – число зарегистрированных отказов; N – число экспериментов	РГ + РС	+
Н0501	Оценку по среднему времени восстановления Qb рассчитывают по формуле где – допустимое среднее время восстановления; Tb – среднее время восстановления, определяемое по формуле: где N – число восстановлений; Tbi – время восстановления после i–го отказа	ИЗ + РС	+
Н0502	Оценку по продолжительности преобразования входного набора данных в выходной (Qni) рассчитывают по формуле где – допустимое время преобразования i–го входного набора данных; Tni – фактическая продолжительность преобразования i–го входного набора данных в выходной	ИЗ + РС	+

Таблица 12

Оценочные элементы фактора сопровождаемость

Код оценочного элемента	Наименова­ние	Код метода оценки	Применяемость показателя по подклассу ПС
С0101	Наличие модульной схемы программы	ЭК	+–	–	+–
С0102	Оценка программы по числу уникальных модулей	ЭК ИЗ	+–	–	+–
С0201	Наличие ограничений на размеры модуля	ЭК	+–	–	+–
С0301	Наличие проверки корректности передаваемых данных	ЭК	+–	–	+–
С0302	Оценку простоты программы по числу точек входа и выхода W рассчитывают по формуле , где D – общее число точек входа в программу; F – общее число точек выхода из программы	ИЗ + РС	+–	–	+–
С0303	Осуществляется ли передача результатов работы модуля через вызывающий его модуль	ЭК	+–	–	+–
С0304	Осуществляется ли контроль за правильностью данных, поступающих в вызывающий модуль от вызываемого	ЭК	+–	–	+–
С0305	Наличие требований к независимости модулей программы от типов и форматов выходных данных	ЭК	+–	–	+–
С0401	Наличие требований к системе идентификации	ЭК	+–	–	+–
С0501	Наличие требований по использованию основных логических структур	ЭК	+–
С0601	Использование при построении программ метода структурного программирования	ЭК ИЗ	+–
С0602	Соблюдение принципа разработки программы сверху вниз	ЭК	+–
С0603	Оценка программы по числу циклов с одним входом и одним выходом	ЭК ИЗ	+–
С0604	Оценка программы по числу циклов	ЭК ИЗ	+–
С0701	Наличие комментариев обоснования декомпозиции программ при кодировании	ЭК	+–
С0801	Наличие комментариев ко всем машинозависимым частям программы	ЭК	+–	–	+–
С0802	Наличие комментариев ко всем машинозависимым операторам программы	ЭК	+–	–	+–
С0803	Наличие комментариев в точках входа и выхода программы	ЭК	+–	–	+–
С0901	Соответствие комментариев принятым соглашениям	ЭК	+–	–	+–
С0902	Наличие комментариев–заголовков программы с указанием ее структурных и функциональных характеристик	ЭК	+–	–	+–
С0903	Оценка ясности и точности описания последовательности функционирования всех элементов программы	ЭК	+–	–	+–
С1001	Используется ли язык высокого уровня	ЭК	+–	–	+–
С1002	Оценка простоты программы по числу переходов по условию U= (1 – А/В), где А – общее число переходов по условию; В – общее число исполняемых операторов	ИЗ + РС	+–	–	+–
С1301	Использование типовых компонентов ПС	ЭК	+–
С1401	Использование типовых проектных решений	ЭК	+–
С1501	Наличие программных спецификаций и требований, предъявляемых к программным средствам	ЭК	+	+–	+	+–
С1502	Наличие документов, содержащих детальное описание принятых проектных решений	ЭК	+	+–	+	+–
С1503	Наличие заключений по принятым проектным решениям, требованиям и спецификациям	ЭК	+	+–	+	+–
С1601	Наличие описания и схемы иерархии модулей программы	ЭК	+	+–	+	+–
С1602	Наличие описания основных функций	ЭК	+	+–	+	+–
С1603	Наличие описания частных функций	ЭК	+	+–	+	+–
С1604	Наличие описания данных	ЭК	+	+–	+	+–
С1605	Наличие описания алгоритмов	ЭК	+	+–	+	+–
С1606	Наличие описания интерфейсов	ЭК	+	+–	+	+–
С1607	Наличие описания интерфейсов с пользователем	ЭК	+	+–	+	+–
С1608	Наличие описания используемых числовых методов	ЭК	+	+–	+	+–
С1609	Наличие описания всех параметров	ЭК	+	+–	+	+–
С1610	Наличие описания методов настройки системы	ЭК	+	+–	+	+–
С1611	Наличие описания всех диагностических сообщений	ЭК	+	+–	+	+–
С1612	Реализация всех исходных модулей	ЭК	+	+–	+	+–
С1701	Наличие описания всех диагностических сообщений эталонного образца	ЭК	+	+–	+	+–
С1702	Наличие требований к тестированию программ	ЭК	+	+–	+	+–
С1703	Достаточность требований к тестированию программ	ЭК	+	+–	+	+–
С1801	Наличие описания процедуры изготовления эталонного образца	ЭК	+	+–	+	+–
С1802	Наличие описания процедуры изготовления рабочих копий	ЭК	+	+–	+	+–
С1805	Наличие описания процедуры контроля на идентичность рабочих копий с эталонным образцом	ЭК	+	+–	+	+–

Таблица 13

Оценочные элементы фактора удобство применения

Код оценочного элемента	Наименова­ние	Код метода оценки	Применяемость показателя по подклассу ПС
У0101	Возможность освоения программных средств по документации	ЭК	+–	+	+–	+	+–
У0102	Возможность освоения ПС на контрольном примере при помощи ЭВМ	ЭК	+–	+	+–	+	+–
У0103	Возможность поэтапного освоения ПС	ЭК	+–	+	+–	+	+–
У0201	Полнота и понятность документации для освоения	ЭК	+–	+	+–	+	+–
У0202	Точность документации для освоения	ЭК	+–	+	+–	+	+–
У0203	Техническое исполнение документации	ЭК	+–	+	+–	+	+–
У0301	Наличие краткой аннотации	ЭК	+–	+	+–	+	+–
У0302	Наличие описания решаемых задач	ЭК	+–	+	+–	+	+–
У0303	Наличие описания структуры функций ПС	ЭК	+–	+	+–	+	+–
У0304	Наличие описания основных функций ПС	ЭК	+–	+	+–	+	+–
У0306	Наличие описания частных функций	ЭК	+–	+	+–	+	+–
У0307	Наличие описания алгоритмов	ЭК	+–	+	+–	+	+–
У0308	Наличие описания межмодульных интерфейсов	ЭК	+–	+	+–	+	+–
У0309	Наличие описания пользовательских интерфейсов	ЭК	+–	+	+–	+	+–
У0310	Наличие описания входных и выходных данных	ЭК	+–	+	+–	+	+–
У0311	Наличие описания диагностических сообщений	ЭК	+–	+	+–	+	+–
У0312	Наличие описания основных характеристик ПС	ЭК	+–	+	+–	+	+–
У0314	Наличие описания программной среды функционирования ПС	ЭК	+–	+	+–	+	+–
У0315	Достаточность документации для ввода ПС в эксплуатацию	ЭК	+–	+	+–	+	+–
У0316	Наличие информации технологии переноса для мобильных программ	ЭК	+–	+	+–	+	+–
У0401	Соответствие оглавления содержанию документации	ЭК	+
У0402	Оценка оформления документации	ЭК	+
У0403	Грамматическая правильность изложения документации	ЭК	+
У0404	Отсутствие противоречий	ЭК	+
У0405	Отсутствие неправильных ссылок	ЭК	+
У0406	Ясность формулировок и описаний	ЭК	+
У0407	Отсутствие неоднозначных формулировок и описаний	ЭК	+
У0408	Правильность использования терминов	ЭК	+
У0409	Краткость, отсутствие лишней легализации	ЭК	+
У0410	Единство формулировок	ЭК	+
У0411	Единство обозначений	ЭК	+
У0412	Отсутствие ненужных повторений	ЭК	+
У 0413	Наличие нужных объяснений	ЭК	+
У0501	Оценка стиля изложения	ЭК	+
У0502	Дидактическая разделенность	ЭК	+
У0503	Формальная разделенность	ЭК	+
У0504	Ясность логической структуры	ЭК	+
У0505	Соблюдение стандартов и правил изложения в документации	ЭК	+
У0506	Оценка по числу ссылок к нижеследующему тексту документа	ЭК	+
У0601	Наличие оглавления	ЭК	+
У0602	Наличие предметного указателя	ЭК	+
У0603	Наличие перекрестных ссылок	ЭК	+
У0604	Наличие всех требуемых разделов	ЭК	+
У0605	Соблюдение непрерывности нумерации страниц документов	ЭК	+
У0606	Отсутствие незаконченных разделов абзацев, предложений	ЭК	+
У0607	Наличие всех рисунков, формул, таблиц	ЭК	+
У0608	Наличие всех строк и примечаний	ЭК	+
У0609	Логический порядок частей внутри главы	ЭК	+
У 0701	Наличие полного перечня документации	ЭК	+
У0801	Уровень языка общения пользователя с программой	ЭК	+	+–	+	–	+	+–
У0802	Легкость и быстрота загрузки и запуска программы	ЭК	+	+–	+	–	+	+–
У0803	Легкость и быстрота завершения работы программы	ЭК	+	+–	+	–	+	+–
У0804	Возможность распечатки содержимого программы	ЭК	+	+–	+	–	+	+–
У0805	Возможность приостанова и повторного запуска работы без потерь информации	ЭК	+	–	+	+	+–	+	–	+	+–
У0901	Соответствие программного меню требованиям пользователя	ЭК	+	+–	+	–	+	+–
У0902	Возможность прямого перехода вверх и вниз по многоуровневому программному меню (пропуск уровней)	ЭК	+	+–	+	–	+	+–
У1001	Возможность управления подробностью получаемых выходных данных	ЭК	+	+–	+	–	+	+–
У1002	Достаточность полученной информации для продолжения работы	ЭК	+	+–	+	–	+	+–
У1101	Обеспечение удобства ввода данных	ЭК	+	+–	+	–	+	+–
У1102	Легкость восприятия	ЭК	+	+–	+	–	+	+–
У1201	Обеспечение программой выполнения предусмотренных рабочих процедур	ЭК	+	+–	+	–	+	+–
У1202	Достаточность информации , выдаваемой программой для составления дополнительных процедур	ЭК	+	+–	+	–	+	+–

Таблица 14

Оценочные элементы фактора эффективность