Номенклатура показателей качества 16 страница

Организация, реализация и оценивание работ по созданию документов должны распределяться между специалистами, ведущими непосредственное создание программ, и специалистами, осуществляющими в основном разработку, контроль и издание документов. Детальную структуру каждого документа целесообразно разрабатывать или уточнять предприятием или ведомством на основе стандартов в соответствии с их традициями, используемой технологией и особенностями проектируемого ПС.

Для оценивания качества документирования на каждом этапе ЖЦ ПС необходимо фиксировать и документально оформлять:

· исходные данные, требующиеся для успешного выполнения данного этапа документирования;

· контролируемые и документируемые данные о состоянии объекта и процесса ЖЦ ПС, регистрируемые после завершения этапа;

· содержание процедур оценивания состояния проекта и документов в процессе выполнения работ этапа;

· критерии оценивания результатов выполненных работ и качества отчетных документов при завершении этапа;

· состав и содержание отчетных документов, представляемых для оценивания состояния проекта, результатов завершенного этапа и для использования на следующем этапе или при завершении проекта ПС.

Базой эффективного управления и оценивания качества документирования ПС является план, в котором задачи исполнителей частных работ согласованы с выделяемыми для них ресурсами, а также между собой по результатам и срокам их достижения. В плане обеспечения характеристик качества ПС целесообразно выделять разделы, отражающие:

· цели обеспечения качества;

· оцениваемые характеристики, субхарактеристики и атрибуты объекта разработки;

· контролируемые показатели процесса выполнения плана;

· методы управления реализацией плана;

· состав отчетной документации о результатах выполнения плана и достигнутых характеристиках качества.

Документация управления качеством должна формализовать требования к документам, сопровождающим весь ЖЦ ПС. Наличие плана обеспечения качества ПС и документирования еще не гарантирует его выполнения и достижения заданных характеристик. Реальные ограничения ресурсов квалификация специалистов, изменения внешней среды и требований заказчика приводят к отклонениям процесса реализации плана. Величина таких отклонений в значительной степени зависит от принятой технологии разработки, от уровня и характеристик средств разработки, от средств автоматизации создания программ и документов. Для своевременного обнаружения отклонений от плана необходимо регулярно регистрировать результаты выполненных работ и качество документов.

Для адаптации состава, содержания и требований к качеству документации должны быть определены характеристики окружения проекта, которые могут воздействовать на процессы и объекты документирования:

· процессы ЖЦ создаваемой информационной системы;

· требования к системе и к ПС;

· организационные процедуры и стратегии документирования;

· размер, критичность и типы компонентов системы;

· количество задействованного персонала.

Должны быть учтены особенности:

· пользователей;

· поддерживающего персонала;

· руководителей контракта;

· потенциальных покупателей.

Все исходные данные и решения по адаптации номенклатуры, структуры и содержания документов должны быть документированы и утверждены руководством проекта вместе с обоснованием их целесообразности.

7.7.2. Технологическая документация

Технологическая документация непосредственно и в наибольшей степени отражает процессы ЖЦ ПС, все внутренние и частично внешние метрики качества программ и данных, регламентирует требования к этим характеристикам. При оценивании качества этих документов следует использовать исходные стандарты и нормативные документы, определяющие ЖЦ ПС, которые должны выполнять следующие функции:

· регламентировать структуру и состав этапов, работ и сопутствующих им документов ЖЦ ПС;

· обеспечивать их адаптацию к характеристикам объекта проектирования, внешней и операционной среды;

· поддерживать и регламентировать процессы организации и планирования реализации ЖЦ конкретных ПС;

· формализовать выполнение и документирование конкретных работ при проектировании, разработке и сопровождении ПС;

· регламентировать процессы обеспечения качества, характеристики качества ПС и его компонентов, методы и средства их достижения, реальные значения достигнутых показателей качества.

Целесообразно предусматривать и согласовывать с заказчиком специальные требования, регламентирующие правила применения и корректировки номенклатуры, состава и содержания поддерживающей его внутренней технологической документации на ЖЦ ПС.

7.7.3. Эксплуатационная документация

Эксплуатационная документация должна обеспечивать отчуждение ПС от их первичных разработчиков, адекватно отражать требуемое внешнее качество и качество в использовании, возможность освоения и эффективного применения ПС достаточно квалифицированными специалистами.

Состав этой документации формируется с использованием части технологических документов с учетом требований заказчика или потенциальных пользователей ПС.

Содержание эксплуатационных документов должно предотвращать или исключать возможность некорректного использования ПС за пределами условий эксплуатации, при которых поставщиком документов гарантируются определенные характеристики и меры качества функционирования ПС.

При формировании эксплуатационных документов кроме базовых стандартов ЖЦ могут использоваться ряд ведомственных нормативных документов и руководств предприятий.

Документация администрирования при эксплуатации информационной системы должна обеспечивать поддержку первичной инсталляции, функционирования и восстановления программ и данных после сбоев и отказов. К основным функциям системы администрирования, документы которой подлежат оцениванию, относятся:

· планирование использования памяти и производительности вычислительной системы в рабочем режиме применения ПС, оперативное управление и распределение ресурсов информационной системы;

· инсталляция и генерация рабочей версии ПС для пользователя;

· выявление и регистрация сбоев и дефектов функционирования программ и данных;

· управление, корректировка и учет внешней среды при реконфигурации конкретного ПС;

· управление средствами защиты информации и санкционированного доступа пользователей, анализ попыток взлома системы защиты, восстановление информации БД при искажениях;

· сбор статистики о функционировании ПС в составе системы обработки информации.

Документация операторов–пользователей должна обеспечивать корректную и квалифицированную эксплуатацию комплекса программ во всем диапазоне его характеристик, предписанных требованиями заказчика и зафиксированных метриками в использовании.

Объектами оценивания являются документы на процедуры и компоненты интерфейса пользователей, определяющие инициализацию соответствующей операции, ее ход и результат, а также комфортность их выполнения. Должно быть предусмотрено и оценено качество идентификации ошибочных действий и ситуаций, стандартизованной формы сообщения об ошибках пользователей.

Приобретение, поставка, разработка, функционирование и сопровождения ПС в значительной степени зависит от квалификации персонала. Поэтому эксплуатационной документацией обязательно должно поддерживаться обучение персонала с целью его подготовки при приобретении, поставке, применении и сопровождении ПС.

Процесс обучения персонала, контроль и учет результатов обучения с оцениванием достигнутой квалификации специалистов должен гарантировать, что соответствующие категории обученного персонала готовы для выполнения запланированных действий и решения задач СС определенным ПС.

Сложные комплексы программ и их компоненты почти непрерывно изменяются в процессе длительного развития проекта. Для этого организация документирования должна обеспечивать гибкое и точное изменение документов – сопровождение и конфигурационное управление версиями и редакциями каждого документа. Эти процессы и поддерживающие их средства автоматизации должны быть адекватны тем, которые применяются при сопровождении непосредственных объектов разработки – программ и данных. Они должны быть поддержаны организацией контроля истории изменений, регистрации, утверждения и оценивания версии каждого документа в той степени и на том уровне, которые необходимы в данном проекте для каждого документа.

Для хранения, тиражирования и распространения документов сложных ПС следует выделять группу специалистов, ответственных за обеспечение и гарантированное сохранение документации. При оценивании схемы обеспечения сохранности документации разного содержания следует учитывать ее важность, трудоемкость хранения и возможность аварийного восстановления.

Кроме того, должна быть организована служба нормоконтроля, ответственная за соблюдение стандартов, нормативных и руководящих документов при подготовке документации всеми специалистами, участвующими в проекте. Эта служба обязана обеспечить унификацию и высокое качество содержания, структуры и оформления документов.

7.8. Оценивание рисков в жизненном цикле

Оценивание рисков в ЖЦ ПС состоит в выявлении негативных отклонений от требований контракта, ТЗ и спецификаций, а также в создании базы для принятия мер по минимизации таких отклонений с учетом ограниченных ресурсов на их реализацию.

Многочисленные и разнообразные требования к продуктам и процессам ЖЦ ПС, установленные заказчиком в ТЗ, всегда приходится выполнять разработчику в условиях ограниченных ресурсов различных видов. Множество характеристик качества, определяющих функциональную пригодность ПС, требуют для реализации каждой из них различных видов и величин ресурсов.

При формировании требований к характеристикам качества комплекса программ заранее практически невозможно достоверно предусмотреть сбалансированное выделение каждого вида ресурса для полной реализации каждой требуемой характеристики качества. Кроме того, требования заказчика к каждой характеристике качества в ЖЦ ПС всегда субъективны и не являются стабильными. Это также отражается на изменении рисков в течение ЖЦ. При этом некоторые характеристики в реальном ПС могут приобретать значения более высокие, чем требуется, на что нерационально расходуются ресурсы, а другие – не удовлетворять требованиям ТЗ.

Для разрешения этого противоречия необходимо оценивание, мониторинг таких отклонений (рисков) и управление проектированием для сокращения и минимизации рисков при ограниченных ресурсах.

Отклонения процессов, продуктов и характеристик качества ЖЦ ПС от требуемых по контракту могут включать:

· экономические риски – превышение разработчиком допустимых по контракту размеров стоимости, трудоемкости, эксплуатационных затрат на программные компоненты и ПС в целом;

· плановые риски – нарушение разработчиком временных затрат в графиках работ и сроков по проекту в целом, а также распределений задач по подрядчикам, подразделениям и специалистам;

· риски выполнения разработчиком требований к отдельным характеристикам, субхарактеристикам и атрибутам качества процессов и продуктов ЖЦ ПС;

· риски проявления конфликтов и противоречий требований заказчика к различным функциям, компонентам и характеристикам качества при реально допустимых ресурсах и возможных условиях применения ПС;

· технические риски – недостаточность вычислительных ресурсов, несогласованность ресурсов внутренней и внешней среды для реализации ПС и т.п.

Оценивание и управление рисками состоит в выявлении и минимизации рисков проекта на протяжении всего ЖЦ ПС. Оно включает обнаружение проявлений новых рисков, эффективное сокращение их негативного влияния и оценивание достигнутых результатов по уменьшению рисков. Для каждого или группы рисков следует определять метрики и характеристики, позволяющие контролировать их состояние и/или величину, а также отражающие изменения при работах для их сокращения. Для этого необходимо определять области возможного возникновения рисков, оценивать вероятность их проявления, виды и степень влияния угроз, которые следует минимизировать по мере возникновения и обнаружения. Оценивание и анализ рисков должны позволять определять приоритеты по реализации мероприятий для сокращения и выделения на это соответствующей доли определенных ресурсов.

7.9. Интегральное оценивание характеристик качества

В данной главе рассмотрены методы преимущественно независимого оценивания отдельных характеристик и атрибутов качества ПС. Внимание было сосредоточено на определении значений показателей качества готового ПС и проверке его соответствия заданным требованиям. Каждая характеристика и атрибут анализировались независимо от других. Это может использоваться в качестве исходных данных для их сопоставления с характеристиками аналогичных ПС или для представления как составляющей вектора в многомерном пространстве стандартизированных атрибутов характеристик качества.

Обычно заказчик и разработчики устанавливают требования к каждой характеристике качества без учета относительных затрат на их достижение, без анализа их совместного влияния на полную функциональную пригодность. Это может приводить к значительным перекосам и несбалансированным значениям отдельных характеристик качества, на которые нерационально используются ограниченные ресурсы проектирования ПС. В проектах сложных ПС это угрожает повышением стоимости и/или снижением конкурентоспособности создаваемого программного продукта из-за недостаточного уровня отдельных показателей качества.

Атрибуты качества имеют различные меры и шкалы. Вследствие этого они в большинстве своем не сопоставимы между собой. Они предварительно выбираются и согласовываются с заказчиком при последовательном почти независимом анализе каждого атрибута качества в соответствии с их мерами и шкалами для последующего использования в контракте и ТЗ (рис.7.2). При этом не всегда учитываются ресурсы, необходимые для их реализации в конкретном ПС. Для интегральных оценок качества ПС необходим учет относительного влияния каждого атрибута на функциональную пригодность.

Рис.7.2. Этапы интегрального оценивания характеристик качества ПС

Для целенаправленного эффективного управления качеством ПС при проектировании желательно иметь механизм объединения разнородных характеристик в некоторый интегральный скалярный показатель, отражающий их совокупное влияние на функциональную пригодность конкретного ПС. Таким образом, при выборе характеристик качества выявилась проблема анализа системной эффективности ПС и обобщения его характеристик, а также оценивания совместного влияния различных характеристик и атрибутов качества на функциональную пригодность ПС с учетом затрат на их реализацию.

Определение отдельных характеристик качества программного продукта может быть в значительной степени объективным даже при их экспертном анализе. Однако оценивание важности или приоритета каждой характеристики или ее атрибута для компонента или проекта ПС в целом более субъективный процесс, который зависит от мнений экспертов и потребителей. Для сопоставительного оценивания выбранных атрибутов качества целесообразно каждому из них присваивать коэффициент или приоритет влияния на функциональную пригодность. Эти приоритеты могут формироваться:

· неформализованно, интуитивно специалистами из среды заказчика и/или потенциальных пользователей с 2–4 уровнями приоритета;

· полуформально группой специальных экспертов путем анализа и оценивания влияния каждой характеристики или атрибута качества на назначение и выполнение основных функций программным продуктом;

· формализованным экспертным оцениванием и детальным установлением влияния каждого атрибута качества на функциональную пригодность с учетом относительных затрат на реализацию соответствующего атрибута.

В последнем случае группа квалифицированных экспертов из состава заказчика, потенциальных пользователей и разработчиков должны оценивать и устанавливать значения таких коэффициентов (приоритетов) для каждого атрибута качества конкретного проекта ПС в пределах унифицированной шкалы, например, от 0 до 1. Точность определения коэффициентов вряд ли может превышать 10%, поэтому количество градаций шкалы может не превышать 10.

Аналогично по такой же шкале экспертами следует оценивать относительные затраты ресурсов, которые целесообразно выделять на реализацию выбранных значений атрибутов качества.

Для каждого атрибута качества отношение коэффициента влияния на функциональную пригодность к относительным затратам на его достижение можно рассматривать как уровень приоритета требований к этому атрибуту качества для конкретного потребителя. Этот показатель наглядно отражает взаимосвязь требуемых значений атрибутов качества и затрат на их реализацию в конкретном проекте ПС.

Набор значений уровней приоритетов для выбранных атрибутов качества конкретного проекта ПС полезно делить на три группы:

· доминирующие характеристики или атрибуты, оказывающие наибольшее влияние на функциональную пригодность при допустимых затратах;

· показатели, имеющие достаточное влияние на функциональную пригодность и значительные затраты на реализацию;

· характеристики качества, выбранные требования к которым не соответствуют их влиянию и затратам на реализацию.

Эти данные могут использоваться для выбора и исключения из требований атрибутов с особенно низкими приоритетами, которые в наименьшей степени влияют на функциональную пригодность ПС и не оправдывают больших затрат на реализацию (рис.7.2). Анализ оставшихся атрибутов качества может проводиться для выделения завышенных требований, а также, возможно, для снижения их значений и приближения их влияния к средним значениям.

Сумму откорректированных уровней приоритетов атрибутов качества с учетом затрат можно использовать как обобщенную скалярную характеристику для сравнения качества при выборе из конкурирующих проектов ПС при одинаковом или подобном содержании функциональной пригодности.

Для такого сравнения в зависимости от содержания проекта и характеристик качества ПС может также использоваться отношение суммы экспертных оценок, коэффициентов влияния атрибутов качества к сумме затрат на эти атрибуты. Это отношение и/или сумма приоритетов в некоторой степени отражают дополнительный полезный эффект от реализованного качества ПС при соответствующих затратах и могут рассматриваться как интегральный критерий качество/затраты. Этот интегральный критерий близок к традиционному понятию критерия качества продукции по показателю эффективность/стоимость.

Такие интегральные оценки нецелесообразно помещать в контракт и ТЗ вследствие их субъективности и относительности. Однако они могут быть полезными ориентирами при системном анализе и управлении проектированием сложных ПС в условиях ограниченных ресурсов.

Оценки ПС по этому критерию целесообразно использовать для уточнения и корректировки конкретных значений при выборе атрибутов качества, которые затем помещаются в требования ТЗ (рис.7.2). Тем самым можно минимизировать затраты или максимизировать обобщенное качество и достигнуть некоторого баланса между рациональными значениями атрибутов качества по их влиянию на функциональную пригодность.

Вопросы по теме

1. Какие задачи решаются при оценивании функциональной пригодности программных средств?

2. Какие задачи решаются при оценивании корректности программных средств?

3. Какие задачи решаются при оценивании способности к взаимодействию программных средств?

4. Какие факторы определяют безопасность функционирования программных средств? Какие этапы содержит процесс оценивания эффективности реализованной системы защиты?

5. Какими методами оценивается надежность функционирования программных средств?

6. Как оценивается эффективность использования ресурсов ЭВМ программным средством?

7. Как оценивается практичность ЭВМ программных средств?

8. Какими методами оценивается сопровождаемость программных средств?

9. Какие задачи решаются при оценивании мобильности программных средств?

10. Как оценивается качество технологической и эксплуатационной документации программных средств?

11. Каким образом оцениваются риски в жизненном цикле программных средств?

12. Этапы интегрального оценивания характеристик качества программных средств.

8. сертификация программного обеспечения

8.1. Организация сертификации программных продуктов

Сертификация состоит из ряда организацион­ных процессов, составляющих систему серти­фикации. Эти процессы поддерживаются регла­ментированными процедурами и документами и должны выполняться квалифицированными, ат­тестованными экспертами – инспекторами. Для сертификации предприятия-разработчика и результатов его деятельности – программных продуктов, моделями СММI или профилями стандартов ISO рекомендуется определен­ная дисциплина, которая должна быть адаптиро­вана к конкретным характеристикам объектов и внешней среды ЖЦ ПС. Пере­численные ниже процессы и документы ориен­тированы на крупные проекты, и их состав мо­жет сокращаться по согласованию между разра­ботчиками, заказчиками и сертификаторами в более простых случаях.

Работы по сертификации начинаются с ак­кредитации органа или испытательной лаборато­рии, формирования и представления в Центральный орган по сертификации заявки и ком­плекта документов для принятия решения о целесообразности аккредитации. При положи­тельных результатах проверки оформляется и выдается аттестат аккредитации.

Положение об органе сертификации или лаборатории является основным документом, устанавливающим тематическую область аккредитации, юридический статус, функции, струк­туру, права и обязанности, методы, средства и организацию испытаний.

Паспорт сертифика­ционной лаборатории (центра) должен содер­жать сведения об оснащенности средствами вы­числительной техники, необходимыми для про­ведения испытаний, о персонале и кадровом составе, оснащенности инструментальными средствами проведения испытаний, обеспече­нии нормативными, техническими и методичес­кими документами, а также другими ресурсами, необходимыми для испытаний.

Руководство по качеству содержит изло­жение принципов, описание методов и про­цедур, связанных с выполнением основных функций и задач органа по сертификации или лаборатории, обеспечивающих качество прово­димых испытаний и доверие к результатам оце­нок, испытаний и экспертиз. Руководство по ка­честву, как правило, включает разделы:

· политика в области обеспечения качества проведения испытаний и экспертиз;

· оснащение центра актуальными методоло­гическими материалами и программно-инструментальными средствами испытаний;

· формализация требований к объектам ис­пытаний;

· политика в области технической оснащен­ности центра и повышения квалификации персонала;

· архивация и контроль сохранности доку­ментации результатов сертификации.

Заявитель для оценивания продукции или процесса, подлежащих сертификации, направ­ляет в орган по сертификации заявку по форме, принятой в системе сертификации. Орган по сертификации проводит работу по подготовке и организации сертификации продукции по заяв­ке. Эта работа включает в себя:

· выбор схемы сертификации с учетом специ­фики продукции (объем, технология, требо­вания нормативных документов и др.) и предложений разработчика;

· определение количества и порядка отбора образцов и компонентов, подлежащих ис­пытаниям, если это не указано в стандартах;

· выбор и определение аккредитованной ис­пытательной лаборатории, которая должна проводить испытания;

· подготовку проекта договора на выполне­ние работ.

Подготовительная часть работы по серти­фикации заканчивается выпуском решения по форме, принятой в системе сертификации. Ре­шение вместе с проектами договора на выпол­нение работ направляется заявителю. При ор­ганизации сертификационных испытаний осу­ществляется подбор и изучение действующих нормативных документов на продукцию, заяв­ленную к сертификации, методов ее испытаний и оценки результатов.

Заявитель принимает окончательные ре­шения, какие элементы системы качества, уча­стки и виды организационной и технической деятельности подлежат проверке при сертифика­ции в заданный интервал времени. Заявитель должен создать условия и представить докумен­ты для обеспечения процессов проверок. Он мо­жет представить в орган по сертификации про­токолы испытаний, проведенных при разработ­ке и постановке продукции на производство, документы об испытаниях, выполненных сто­ронними испытательными лабораториями и другие документы, свидетельствующие о соот­ветствии технологии или продукции уста­новленным требованиям. На основе анализа представленных с заявкой документально под­твержденных доказательств соответствия его продукции установленным требованиям, орган по сертификации может принять решение о со­кращении объема испытаний или о выдаче сертификата.

Испытания проводятся испытательными лабораториями, аккредитованными на проведе­ние только тех испытаний, которые предусмот­рены в их нормативных аккредитационных документах. При невозможности проведения испытаний на испытательной базе аккредитованной лаборатории, испытания могут прово­диться персоналом этой лаборатории у изгото­вителя или потребителя данной продукции с использованием собственных средств испытатель­ной лаборатории или имеющихся у поставщика средств испытаний.

Процесс сертификации программных продуктов и систем качества предприятия включает:

· анализ и выбор разработчиком или заказчи­ком (заявителем) компетентных в данной области органа и аттестованной лаборато­рии для выполнения сертификационных ис­пытаний;

· подачу заявителем заявки на испытания в орган сертификации и принятие сертифи­каторами решения по заявке, выбор схемы сертификации, заключение договора на сертификацию;

· идентификацию требований к системе ка­чества предприятия и/или к версии про­граммного продукта, подлежащих испыта­ниям;

· выполнение сертификационных испытаний системы качества предприятия или версии ПС сертификационной лабораторией;

· анализ полученных результатов и принятие решения лабораторией и/или органом сер­тификации о возможности выдачи заявите­лю сертификата соответствия;

· выдачу органом сертификации заявителю – сертификата и лицензии на применение знака соответствия и на выпуск сертифици­рованной продукции – версий програм­много продукта;

· осуществление инспекционного контроля органом сертификации сертифицирован­ной системы качества предприятия и/или продукции;

· проведение заявителем корректирующих ме­роприятий при нарушении соответствия про­цессов системы качества и/или продукции установленным требованиям и при непра­вильном применении знака соответствия.

При проверке ответственности руковод­ства разработчика за качество продукции долж­но быть определено наличие у предприятия или проекта, документально оформленных полити­ки, целей и обязательств в области качества, а также степень понимания этой политики, ее практическое осуществление и поддержание в рабочем состоянии на всех уровнях организа­ции. Должно быть установлено наличие на пред­приятии представителя руководства, который независимо от других обязанностей имеет пол­номочия и несет ответственность за постоянное выполнение требований стандартов и норма­тивных документов системы качества. Следует проверять наличие требований, процедур, средств и обученного персонала для практичес­кой реализации процессов системы качества, а также актуальность и систематичность оформ­ления документации на все компоненты, требо­вания и положения системы качества, представ­ляющей собой интегрированный процесс на протяжении всего жизненного цикла ПС. Про­верки системы качества должны включать оп­ределение:

· наличия и полноты технологической доку­ментации и соблюдения ее требований на практике;

· состояния средств технологического осна­щения и наличия системы их технического обслуживания;

· наличия и эффективности системы контро­ля и испытаний;

· состояния средств измерений и испытаний;

· наличие системы выявления и устранения выявленных недостатков продукции или технологии.

На основании испытаний оцениваются полученные результаты и обосновываются вы­воды о соответствии или несоответствии про­дукции или процессов требованиям норматив­ных документов. Протоколы испытаний пред­ставляются в орган по сертификации, а также заявителю по его требованию. Протоколы испы­таний подлежат хранению в течение сроков, ус­тановленных в правилах систем сертификации продукции и в документах испытательной лабо­ратории, но не менее трех лет.

После получения и проверки комплектно­сти и качества документации специалистами испытательной лаборатории следует провести экспертизу степени реального применения сис­темы качества на предприятии.

Испытания на­чинаются с составления программы проверки системы качества, которая должна служить ра­бочим планом проведения последующих работ. Программа является внутренним рабочим документом испытательной лаборатории и должна содержать перечень работ, детализируемый в соответствии со спецификой предприятия–разработчика и включающий в себя анализ полно­ты и качества представленных исходных доку­ментов и степени их практического применения при проектировании, разработке и поставке ПС.