Номенклатура показателей качества 13 страница

· требования возможности обработки ошибочных ситуаций;

· требования полноты обработки ошибочных ситуаций;

· требования к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, периферийных устройств, а именно:

¨ ведение системного журнала регистрации всех операций над данными;

¨ наличие средств получения копий выбранных частей данных, БД для последующего их восстановления;

¨ наличие средств восстановления для возврата БД или некоторых ее частей в первоначальное состояние;

¨ наличие средств, которые, используя системный журнал, устраняют в БД выполненные транзакции (единичная операция);

¨ наличие средств контроля, выявляющих нарушения и позволяющих отменять эффект выполнения предыдущей команды или нескольких предыдущих команд;

¨ наличие контрольных точек и средств, которые позволяют вернуться в последнюю контрольную точку вместо возвращения к началу транзакции;

¨ динамическое исключение неисправного устройства ввода–вывода из набора ресурсов ПС;

· требования к программе по восстановлению результатов при отказах процессора, операционной системы, которые включают в себя:

¨ восстановление вычислительного процесса и данных;

¨ восстановление данных, скопированных за некоторое время до момента сбоя;

¨ возможность повторного запуска ПС с последней контрольной точки;

· требования к тестированию программ;

· требования реализации диагностики всех граничных и аварийных ситуаций, которые создаются в процессе испытаний путем подбора входных данных;

· требования к динамическому тестированию программ;

· требования к статическому тестированию программ.

В разделе «Требования к программной документации» указывают состав программной документации, предъявляемой на испытания, и требования полноты и понятности изложения в документации информации:

· о назначении ПС;

· о принципах функционирования ПС;

· о взаимосвязи ПС с другими подсистемами;

· о входных и выходных данных;

· о действиях, относящихся к освоению работы с ПС (настройка, запуск, выполнение);

· о графическом представлении блок–схем, алгоритмов;

· о принятых соглашениях об использовании комментариев, символических имен переменных;

· о диагностических сообщениях, выдаваемых пользователю в ходе настройки, проверки и выполнения ПС;

· о наличии всех необходимых рисунков, формул, таблиц, которые должны содержать ту информацию, которая заложена в ссылке на нее.

В разделе «Средства и порядок испытаний» приводят:

· описание программной среды функционирования ПС, включающее в себя требования к:

¨ операционным системам и средствам их расширения;

¨ средствам управления базами данных;

¨ прочим ПС, используемым программой в процессе функционирования;

· описание программно–аппаратурной среды функционирования ПС, включающее в себя требования к:

¨ объему внутренней и внешней памяти, необходимому для функционирования ПС;

¨ периферийным устройствам;

¨ базовому программному обеспечению;

¨ другим техническим и программным средствам, используемым во время испытаний, а также порядку проведения испытаний;

· процедуры проверки соответствия программно–аппаратной среды функционирования предъявленным требованиям и порядок их выполнения;

· порядок выполнения процедур проверки корректности:

¨ функционирования программы на соответствие предъявленным требованиям;

¨ реализации всех основных функций;

¨ реализации всех частных функций.

В разделе «Методы испытаний» приводят описания используемых методов испытаний, в частности, описания тестов и способов проверок с указанием ожидаемых результатов испытаний (перечней тестовых примеров, контрольных распечаток тестовых примеров и т.п.).

6.11.2. Показатели качества, определяемые на основе результатов анализа раздела «Требования к программе»

Значение всех рассматриваемых показателей качества определяют на основе изучения и анализа раздела «Требования к программе» программного документа «Программа и методика испытаний» и материалов ТЗ.

При количественной оценке показателей качества ПС приняты следующие общие правила:

· если в ТЗ и в разделе «Требования к программе» отсутствуют требования какого–либо показателя качества, то этот показатель исключают из участия в экспертной оценке и ему присваивают значение 0;

· если требования реализованы или представлены в полном объеме, то этому показателю присваивают значение 1;

· если возможно вычислить значение показателя по формуле – приводится расчетная формула;

· если отсутствуют формулы для расчета значения показателя, то его значение определяют методом вычитания некоторых рекомендуемых «штрафов» из максимально возможной оценки за невыполнение некоторых требований.

Значение показателя устойчивости функционирования (Н0101) снижают при отсутствии требований:

· к контролю корректности входных данных – на 0,2;

· к контролю принадлежности входных данных диапазону допустимых значений – на 0,3;

· к контролю форматов входных данных – на 0,3;

· на выдачу диагностических сообщений об ошибке пользователю и предпринимаемые действия, связанные с обработкой возникшей ситуации при вводе ошибочных данных, – на 0,2.

Если требование возможности обработки ошибочных ситуаций (Н0102) существует в ТЗ или разделе «Требования к программе», то показателю Н0102 присваивают значение 1, в ином случае – значение 0.

Значение показателя полноты обработки ошибочных ситуаций (Н0103) определяют по формуле:

, (6.1)

где – число необрабатываемых ошибочных ситуаций; – общее число ошибочных ситуаций при проведении эксперимента.

Требования по восстановлению процесса выполнения программы в случае сбоя операционной системы, процессора, внешних устройств (Н0201) могут содержать следующие требования:

· к фиксации и откату транзакций (создание файла отката) ПС;

· к целостности данных, т.е. наличие средств контроля и восстановления данных в случае нарушения целостности;

· на возможность запуска программы повторно с последней контрольной точки (т.е. наличие последней копии состояния ПС);

· на динамическое исключение неисправного устройства ввода–вывода из набора ресурсов ПС.

Если реализация ПС предполагает восстановление процесса выполнения в случае сбоя, то значение показателя определяют по формуле:

, (6.2)

где – использованное в реализации число возможностей и средств по восстановлению процесса выполнения; – неиспользованное, по мнению эксперта, число возможностей и средств по восстановлению процесса выполнения.

Если реализуемый ПС алгоритм предполагает наличие требований к программе по восстановлению результатов выполнения при отказах процессора, операционной системы (Н0202), то значение показателя определяют по формуле:

, (6.3)

где – использованное в реализации число возможностей и средств по восстановлению результатов выполнения; – неиспользованное, по мнению эксперта, число возможностей и средств по восстановлению результатов выполнения.

Значение показателя наличия требований к тестированию программ (С1702) определяют на основе изучений и анализа раздела «Требования к программе». В нем должны быть указаны все требования, для подтверждения реализации которых используют методы тестирования, и приведены ссылки на фрагменты документа, содержащие описания соответствующих процедур тестирования. При наличии требований к тестированию программ в полном объеме показателю С1702 присваивают значение 1. При отсутствии какой–либо информации либо при наличии неточностей в ее описании значение показателя С1702 снижают на 0,1–0,2 за каждую погрешность вплоть до значения 0.

Если реализуемый ПС алгоритм предполагает реализации диагностики граничных и аварийных ситуаций (К1108), то значение показателя определяют по формуле:

, (6.4)

где – использованное в реализации число диагностических проверок граничных и аварийных ситуаций; – неиспользованное, по мнению эксперта, число диагностических проверок граничных и аварийных ситуаций.

Значение показателя наличия требований к динамическому тестированию программ (К1301) определяют на основе изучений и анализа раздела «Требования к программе». В нем должны быть указаны все требования, для подтверждения реализации которых используют методы динамического тестирования, и приведены ссылки на фрагменты документа, содержащие описания соответствующих процедур динамического тестирования. При наличии требований к динамическому тестированию программ в полном объеме показателю К1301 присваивают значение 1. При отсутствии какой–либо информации либо при наличии неточностей в ее описании значение показателя К1301 снижают на 0,1–0,2 за каждую погрешность вплоть до значения 0.

Значение показателя наличия требований к статическому тестированию программ (К1401) определяют на основе изучений и анализа раздела «Требования к программе». В нем должны быть указаны все требования, для подтверждения реализации которых используют методы статического тестирования, и приведены ссылки на фрагменты документа, содержащие описания соответствующих процедур статического тестирования. При наличии требований к статическому тестированию программ в полном объеме показателю К1401 присваивают значение 1. При отсутствии какой–либо информации либо при наличии неточностей в ее описании значение показателя К1401 снижают на 0,1–0,2 за каждую погрешность вплоть до значения 0.

6.11.3. Показатели качества, определяемые на основе результатов анализа раздела «Требования к программной документации»

Значение показателя полноты и понятности документации для освоения (У0201) определяют на основе изучения и анализа раздела «Требования к программной документации». Определяют полноту перечня документации, а также перечень требований, выполнение которых позволяет освоить документацию. Если документ содержит неполное описание документации, требуемой для освоения, значения показателя У0201 устанавливают от 0,1 до 0,8.

Значение показателя наличия всех требуемых разделов (У0604) определяют на основе изучения и анализа содержания всех разделов документа. Документ анализируют с точки зрения наличия в нем следующих разделов:

· объект испытаний;

· цель испытаний;

· требования к программе;

· требования к программной документации;

· средства и порядок испытаний;

· методы испытаний.

Если такие разделы существуют, то оценочному элементу присваивают значение 1. При отсутствии какого–либо раздела либо при наличии неточностей в его описании значение показателя У0604 снижают на 0,2–0,4 за каждую погрешность вплоть до значения 0.

Значение показателя наличия всех рисунков, чертежей, формул, таблиц (У0607) определяют на основе изучения и анализа содержания всех разделов документа, в которых должны быть даны ссылки на рисунки, чертежи, формулы, таблицы. Их наличие позволяет присвоить показателю значение 1. При отсутствии какого–либо рисунка, чертежа, формулы, таблицы либо при наличии неточностей в их описании значение показателя У0607 снижают на 0,2–0,4 за каждую погрешность вплоть до значения 0.

Значению показателя правильности оформления титульных и заглавных листов документов (К0703) присваивают значение 1, если лист утверждения и титульный лист оформлены в соответствии с ГОСТ 19.104. За каждое несоответствие стандарту значение показателя К0703 снижают на 0,2–0,4 вплоть до значения 0.

6.11.4. Показатели качества, определяемые на основе результатов анализа раздела «Средства и порядок испытаний»

Значению показателя наличия описания программной среды функционирования ПС (У0314) присваивают значение 1, если описание программной среды функционирования присутствует в необходимом объеме. При отсутствии одного из требований значение показателя У0314 снижают на 0,2–0,5. Если описание программной среды функционирования ПС отсутствует, то показателю У0314 присваивают значение 0.

Значение показателя требуемого объема внутренней памяти (Э0601) определяют на основе изучения и сопоставительного анализа раздела «Средства и порядок испытаний» документа «Программа и методика испытаний» и разделов «Используемые технические средства» и «Общие сведения» документа «Описание программы» (ГОСТ 19.402).

Если в разделе «Средства и порядок испытаний» данного документа указан требуемый для функционирования ПС объем оперативной памяти, который согласуется с соответствующими характеристиками всех ЭВМ, указанных в разделе «Используемые технические средства» документа «Описание программы» с учетом аналогичных требований со стороны программной среды и программного обеспечения, установленных в разделе «Общие сведения» того же документа, то показателю Э0601 присваивают значение 1. В остальных случаях значение показателя определяется по формуле:

, (6.5)

где – число несогласованных по требуемому объему внутренней памяти программно–аппаратных комбинаций среды функционирования ПС; – общее число возможных программно–аппаратных комбинаций среды функционирования ПС.

Значение показателя требуемого объема внешней памяти (Э0602) определяют на основе изучения и сопоставительного анализа раздела «Средства и порядок испытаний» документа «Программа и методика испытаний» и разделов «Используемые технические средства» и «Общие сведения» документа «Описание программы».

Если в разделе «Средства и порядок испытаний» данного документа указан требуемый для функционирования ПС объем внешней памяти, который согласуется с соответствующими характеристиками всех устройств, указанных в разделе «Используемые технические средства» документа «Описание программы» с учетом аналогичных требований со стороны программной среды и программного обеспечения, установленных в разделе «Общие сведения» того же документа, то показателю Э0602 присваивают значение 1. В остальных случаях значение показателя определяется по формуле:

, (6.6)

где – число несогласованных по требуемому объему внешней памяти программно–аппаратных комбинаций среды функционирования ПС; – общее число возможных программно–аппаратных комбинаций среды функционирования ПС.

Значение показателя требуемых периферийных устройств (Э0703) определяют на основе изучения и сопоставительного анализа раздела «Средства и порядок испытаний» документа «Программа и методика испытаний» и раздела «Используемые технические средства» документа «Описание программы». Значение показателя определяют с точки зрения соответствия предъявленным требованиям, целесообразности и эффективности использования, по мнению эксперта, указанных в разделах периферийных устройств в процессе функционирования ПС. При отсутствии упущений показателю Э0703 присваивают значение 1. Значение показателя Э0703 при наличии упущений снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

Значение показателя требуемого базового программного обеспечения (Э0704) определяют на основе изучения и сопоставительного анализа раздела «Средства и порядок испытаний» документа «Программа и методика испытаний» и раздела «Общие сведения» документа «Описание программы». Значение показателя определяют с точки зрения соответствия предъявленным требованиям указанного в разделах базового программного обеспечения. При полном соответствии показателю Э0704 присваивают значение 1. Значение показателя Э0704 при наличии упущений снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

Значение показателя отсутствия ошибок в описании действий пользователя (К0803) определяют на основе изучения и анализа раздела «Средства и порядок испытаний». Если в описанных действиях, относящихся к загрузке, запуску, выполнению и завершению процедур проверки корректности функционирования программы на соответствие предъявленным требованиям, отсутствуют ошибки, то показателю К0803 присваивают значение от 0,8 до 1. За каждую ошибку в зависимости от тяжести последствий значение показателя К0803 снижают на 0,2–0,4 вплоть до значения 0.

Значение показателя отсутствия ошибок в описании запуска (К0804) определяют на основе изучения и анализа раздела «Средства и порядок испытаний». Если в описанных действиях, относящихся к запуску процедур проверки корректности функционирования программы на соответствие предъявленным требованиям, отсутствуют ошибки, то показателю К0804 присваивают значение от 0,8 до 1. За каждую ошибку в зависимости от тяжести последствий значение показателя К0804 снижают на 0,2–0,4 вплоть до значения 0.

Значение показателя отсутствия ошибок в описании настройки (К0806) определяют на основе изучения и анализа раздела «Средства и порядок испытаний». Если в описанных действиях, относящихся к настройке и запуску процедур проверки корректности функционирования программы на соответствие предъявленным требованиям, отсутствуют ошибки, то показателю К0806 присваивают значение от 0,8 до 1. За каждую ошибку в зависимости от тяжести последствий значение показателя К0806 снижают на 0,2–0,4 вплоть до значения 0.

Значение показателя реализации всех основных функций (К1102) определяют на основе изучения и анализа раздела «Средства и порядок испытаний». Если в разделе полностью описаны процедуры проверки корректности реализации всех основных функций, то показателю К1102 присваивают значение 1. При наличии упущений значение показателя К1102 снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

Значение показателя реализации всех частных функций (К1103) определяют на основе изучения и анализа раздела «Средства и порядок испытаний». Если в разделе полностью описаны процедуры проверки корректности реализации всех частных функций, то показателю К1103 присваивают значение 1. При наличии упущений значение показателя К1103 снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

6.11.5. Показатели качества, определяемые на основе результатов анализа раздела «Методы испытаний»

Значение показателя наличия тестов для проверки допустимых значений входных данных (Н0104) определяют на основе изучения и анализа раздела «Методы испытаний». Если в разделе тесты для проверки допустимых значений присутствуют и полностью охватывают все функции ПС, обеспечивающие проверку допустимых значений входных данных, то показателю Н0104 присваивают значение 1. При наличии упущений значение показателя Н0104 снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

Значение показателя наличия описания способов проверки работоспособности программы (К0114) определяют на основе изучения и анализа раздела «Методы испытаний». При полном и ясном описании способов проверки работоспособности программы с учетом всех предъявленных функциональных требований показателю К0114 присваивают значение 1. При наличии упущений значение показателя К0114 снижают на 0,2–0,5 по каждому случаю вплоть до значения 0.

6.12. ГОСТ 19.401. Текст программы. Требования к содержанию и оформлению

Аннотация и содержание не являются обязательными.

Основная часть документа должна состоять из текстов одного или нескольких разделов, которым даны наименования. Допускается вводить наименование также и для совокупности разделов. Каждый из этих разделов характеризуется одним из типов символической записи, например:

· символическая запись на исходном языке;

· символическая запись на промежуточных языках;

· символическое представление машинных кодов и т.п..

В символическую запись разделов рекомендуется включать комментарии, которые могут отражать, например, функциональное назначение, структуру.

6.13. ГОСТ 19.402. Описание программы

Составление информационной части (аннотации и содержания) является обязательным.

Описание программы должно содержать следующие разделы:

· общие сведения;

· функциональное назначение;

· описание логической структуры;

· используемые технические средства;

· вызов и загрузка;

· входные данные;

· выходные данные.

В зависимости от особенностей программы допускается вводить дополнительные разделы или объединять отдельные разделы.

В разделе «Общие сведения» должны быть указаны:

· обозначение и наименование программы;

· программное обеспечение, необходимое для функционирования программы;

· языки программирования, на которых написана программа.

В разделе «Функциональное назначение» должны быть указаны классы решаемых задач и/или назначение программы и сведения о функциональных ограничениях на применение.

В разделе «Описание логической структуры» должны быть указаны:

· алгоритм программы;

· используемые методы;

· структура программы с описанием функций составных частей и связи между ними;

· связи программы с другими программами.

Описание логической структуры программы выполняют с учетом текста программы на исходном языке.

В разделе «Используемые технические средства» должны быть указаны типы ЭВМ и устройств, которые используются при работе программы.

В разделе «Вызов и загрузка» должны быть указаны:

· способ вызова программы с соответствующего носителя данных;

· входные точки в программу.

Допускается указывать адреса загрузки, сведения об использовании оперативной памяти, объем программы.

В разделе «Входные данные» должны быть указаны:

· характер, организация и предварительная подготовка входных данных;

· формат, описание и способ кодирования входных данных.

В разделе «Выходные данные» должны быть указаны:

· характер и организация выходных данных;

· формат, описание и способ кодирования выходных данных.

Допускается содержание всех разделов иллюстрировать пояснительными примерами, таблицами, схемами, графиками.

В приложение к описанию программы допускается включать различные материалы, которые нецелесообразно включать в разделы описания.

6.14. ГОСТ 19.404. Пояснительная записка. Требования к содержанию и оформлению

Настоящий стандарт устанавливает требования к содержанию и оформлению программного документа «Пояснительная записка», входящего в состав документации на стадиях разработки эскизного и технического проекта программы.

Составление информационной части (аннотация и содержание) является необязательным.

Пояснительная записка должна содержать следующие разделы:

· введение;

· назначение и область применения;

· технические характеристики;

· ожидаемые технико-экономические показатели;

· источники, использованные при разработке.

В зависимости от особенностей документа отдельные разделы (подразделы) допускается объединять или вводить новые.

В разделе «Введение» указывают наименование программы и/или условное обозначение темы разработки, а также документы, на основании которых ведется разработка с указанием организации и даты утверждения.

В разделе «Назначение и область применения» указывают назначение программы, краткую характеристику области применения программы.

Раздел «Технические характеристики» должен содержать следующие подразделы:

· постановка задачи на разработку программы, описание применяемых математических методов и, при необходимости, описание допущений и ограничений, связанных с выбранным математическим материалом;

· описание алгоритма и/или функционирования программы с обоснованием выбора схемы алгоритма решения задачи, возможные взаимодействия программы с другими программами;

· описание и обоснование выбора метода организации входных и выходных данных;

· описание и обоснование выбора состава технических и программных средств на основании проведенных расчетов и/или анализов, распределение носителей данных, которые использует программа.

В разделе «Ожидаемые технико-экономические показатели» указывают технико-экономические показатели, обосновывающие выбранный вариант технического решения, а также, при необходимости, ожидаемые оперативные показатели.

В разделе «Источники, использованные при разработке» указывают перечень научно-технических публикаций, нормативно-технических документов и других научно-технических материалов, на которые есть ссылки в основном тексте.

В приложение к документу могут быть включены таблицы, обоснования, методики, расчеты и другие документы, использованные при разработке.

6.15. ГОСТ 19.502. Описание применения. Требования к содержанию и оформлению

Составление информационной части (аннотации и содержания) является обязательным.

Текст документа должен состоять из следующих разделов:

· назначение программы;

· условия применения;

· описание задачи;

· входные и выходные данные.

В зависимости от особенностей программы допускается вводить дополнительные разделы или объединять отдельные разделы.

В разделе «Назначение программы» указывают назначение, возможности программы, ее основные характеристики, ограничения, накладываемые на область применения программы.

В разделе «Условия применения» указываются условия, необходимые для выполнения программы (требования к необходимым для данной программы техническим средствам, и другим программам, общие характеристики входной и выходной информации, а также требования и условия организационного, технического и технологического характера и т.п.).

В разделе «Описание задачи» должны быть указаны определения задачи и методы ее решения.

В разделе «Входные и выходные данные» должны быть указаны сведения о входных и выходных данных.

В приложение к общему описанию могут быть включены справочные материалы (иллюстрации, таблицы, графики, примеры и т.п.).

6.16. ГОСТ 19.503. Руководство системного программиста. Требования к содержанию и оформлению

Составление информационной части (аннотации и содержания) является обязательным.

Руководство системного программиста должно содержать следующие разделы:

· общие сведения о программе;

· структура программы;

· настройка программы;

· проверка программы;

· дополнительные возможности;

· сообщения системному программисту.

В зависимости от особенностей ПС в документе допускается объединять отдельные разделы или вводить новые. В обоснованных случаях допускается раздел «Дополнительные возможности» не приводить

В разделе «Общие сведения о программе» должны быть указаны назначение и функции программы и сведения о технических и программных средствах, обеспечивающих выполнение данной программы.

В разделе «Структура программы» должны быть приведены сведения о структуре программы, ее составных частях, о связях между составными частями и о связях с другими программами.

В разделе «Настройка программы» должно быть приведено описание действий по настройке программы на условия конкретного применения (настройка на состав технических средств, выбор функций и др.). При необходимости приводят поясняющие примеры.

В разделе «Проверка программы» должно быть приведено описание способов проверки, позволяющих дать общее заключение о работоспособности программы (контрольные примеры, методы прогона, результаты).

В разделе «Дополнительные возможности» должно быть приведено описание дополнительных разделов функциональных возможностей программы и способов их выбора.

В разделе «Сообщения системному программисту» должны быть указаны тексты сообщений, выдаваемых в ходе выполнения настройки, проверки программы, а также в ходе выполнения программы, описание их содержания и действий, которые необходимо предпринять по этим сообщениям.

В приложении к руководству системного программиста могут быть приведены дополнительные материалы (примеры, иллюстрации, таблицы, графики и т.п.).

6.17. ГОСТ 19.504. Руководство программиста. Требования к содержанию и оформлению