Критерии и показатели качественной и количественной оценки эффективности
При управлении проектом необходимо определить задачи, которые нужно реализовать для достижения поставленных целей, контролировать выполнение проекта и отчитаться за ресурсы, затраченные на проект.
Существуют качественные и количественные методы оценки. Во многих случаях качественных оценок бинарного типа (соответствует / не соответствует требованиям) вполне достаточно, чтобы ответить на вопрос, насколько защищен объект, а также наметить пути совершенствования инженерно-технической защиты. Более приемлемы количественные методы. Однако для того, чтобы «измерить» эффективность, необходимо иметь обоснованный критерий.
Критерий эффективности (критерий оптимальности, критерий принятия решений) – признак, позволяющий дать сравнительную оценку предложенных альтернатив и выбрать оптимальное решение.
К качественным показателям эффективности разработки управленческих решений могут быть отнесены:
– своевременность представления проекта решения;
– степень научной обоснованности решений, многовариантность расчетов, применение технических средств в процессе разработки;
– ориентация на изучение и использование прогрессивного отечественного и зарубежного опыта.
На практике применяют следующие типы критериев:
1. Критерии типа «эффект-затраты», позволяющие оценивать достижение целей функционирования системы при заданных затратах (так называемая экономическая эффективность).
2. Критерии, позволяющие оценить качество системы по заданным показателям и исключить те варианты, которые не удовлетворяют заданным ограничениям (например, методы многокритериальной оптимизации).
3. Взвешивающие критерии – искусственно сконструированные критерии, позволяющие оценивать интегральный эффект (например, «линейная свертка» частных показателей).
К критерию эффективности предъявляют следующие требования:
– объективность – «прозрачность» математической модели и объективность оценок;
– представительность – отражение всех значимых сторон функционирования системы;
– чувствительность инструмента оценки – выходной результат должен отражать варьирование входных данных в заданных пределах;
– интерпретируемость – простая и удобная форма, пригодная для заключения об эффективности системы на основе данного критерия.
Кроме того, следует четко различать две постановки задачи: выбор наиболее рационального варианта построения ИУС из нескольких вариантов (задача анализа) и оптимизация параметров ИУС, т.е. назначение некоего набора оптимальных характеристик системы как исходных данных для проектирования (задача синтеза).
Эти задачи связаны между собой, т.к. базируются на применении одних и тех же оптимизационных методов.
На многих крупных автоматизированных предприятиях применяются системы поддержки принятия решений (СППР). Такие системы эффективны для предприятий, желающих получать своевременную, полную и достоверную информацию о своей деятельности из единого источника, а также иметь возможность комплексного анализа этой информации и извлечения из большого объема данных показателей, требующихся для принятия управленческих решений.
Такая ИУС предназначена для поддержки многокритериальных решений в сложной информационной среде, при этом результаты принимаемых решений оцениваются не по одному, а по совокупности многих показателей (критериев), рассматриваемых одновременно. ИУС решений решает две основные задачи:
– выбор наилучшего решения из множества возможных (оптимизация);
– упорядочение возможных решений по предпочтительности (ранжирование).
В обеих задачах принципиальным моментом является выбор совокупности критериев, на основе которых в дальнейшем будут оцениваться и сопоставляться возможные (альтернативные) решения. Эти системы основаны на безбумажном обмене данными и стандартизации представления данных на каждом этапе жизненного цикла.
Таким образом, СППР необходимо рассматривать как инструмент повышения эффективности бизнеса, конкурентоспособности и привлекательности продукции. CALS-технологии (Continuous Acquisition and Lifecycle Support – непрерывная информационная поддержка поставок и жизненного цикла изделий), применяемые в СППР позволяют эффективно, в едином ключе решать проблемы обеспечения качества.
По мнению отечественных специалистов, применение СППР приводит к существенной экономии и получению дополнительной прибыли, достигаемых за счет сокращения:
– сроков вывода новой продукции на рынок (до 75 %);
– затрат на проектирование сложной продукции (до 30 %);
– доли брака и объема конструктивных изменений (до 70 %);
– расходов на подготовку эксплуатационной и технической документации (до 30-40 %).
Для оценки экономической эффективности инвестиций в работы по реализации ИУС, как и прочих информационных систем (ИС), используются следующие группы методов.
Затратные методы:
– оценка единовременных затрат на внедрение и закупку программно-аппаратных комплексов;
– оценка совокупной стоимости владения информационными системами (Total Cost of Ownership, ТСО).
Стандартные экономические методы оценки эффекта:
– оценка возврата инвестиций (Return on Investment, ROI);
– метод оценки NPV чистой приведенной стоимости проекта;
– отдача активов;
– цена акционера.
Оценка единовременных затрат на внедрение и закупку программно-аппаратных комплексов. Этот метод может использоваться для минимизации затрат при заранее ожидаемых результатах. Несмотря на все усилия аналитиков, консультантов и специализированных изданий, большинство руководителей и управленцев в России до сих пор интересуется только этими затратами. Видимые расходы включают в себя следующие группы затрат:
– капитальные затраты (на аппаратное и программное обеспечение);
– расходы на управление информационными технологиями;
– расходы на техническую поддержку аппаратного и программного обеспечения (ПО);
– расходы на разработку прикладного ПО внутренними силами;
– командировочные расходы;
– расходы на услуги связи;
– другие группы расходов.
Количественная оценка эффективности управленческих решений на стадии разработки и принятия во многом затруднена из-за специфических особенностей управленческого труда, которые заключаются в следующем:
– управленческий труд, включая разработку и принятие решений, преимущественно творческий, трудно поддается нормированию и учету;
– реализация решения сопряжена с определенными социально-психологическими результатами, количественное выражение которых еще более затруднительно, чем экономических;
– результаты реализации решений проявляются опосредованно через деятельность коллектива предприятия в целом, в котором сложно выделить долю затрат труда управленческого. В итоге отождествляются результаты труда разработчиков решений и исполнителей, на которых направлено управленческое воздействие;
– затрудняет оценку эффективности решений и временной фактор, поскольку их реализация может быть как оперативной (сиюминутной), так и развернутой во времени (в течение дней, недель, месяцев и даже лет);
– затруднено и количественное выражение характеристик качества самих решений как основной предпосылки их эффективности, а также действий и взаимодействия отдельных работников.
Считается, что на стадии разработки и принятия управленческого решения можно дать только ориентировочную оценку его эффективности.