Экспертиза социальных проектов как форма оценки проектной деятельности
А.А. Широбокова
О.В. Кривощекова
С.В. Уралова
Социальное проектирование
Часть II
Экспертиза социальных проектов
Учебное пособие
Издательство
Иркутского государственного технического университета
Рецензент:начальник управления Губернатора Иркутской области по связям с общественностью и национальным отношениям
С.А. Коженков
Авторы: Широбокова А.А., Кривощекова О.В., Уралова С.В.
Социальное проектирование. Ч. II. Экспертиза социальных проектов: учеб. пособие. – Иркутск: Изд-во ИрГТУ, 2007. – 90с.
Учебное пособие содержит теоретический и практический опыт экспертизы социальных проектов. Представленные в учебном пособии методические материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.
Учебное пособие является второй книгой из общей серии: социальное проектирование. Серия представлена четырьмя книгами.
Предназначено для организаторов и участников конкурсов, преподавателей, студентов, контролирующих органов и всех заинтересованных в тематике проведения грантовых конкурсов, общественного и иного контроля за ними.
Книга издана при поддержке Губернского собрания общественности Иркутской области
ISBN 978-5-8038-0482-6 © Широбокова А.А., Уралова С.В.,
Кривощекова О.В., 2007
© Байкальский региональный союз женщин «Ангара», 2007
© Иркутский государственный
технический университет, 2007
Оглавление
| Предисловие………………………………………………………….4 Экспертиза социальных проектов как форма оценки проектной деятельности………………………..7 Виды оценки……………..………………………………………….10 Что такое оценка проектов……………...……………………………..10 Оценка и жизненный цикл проекта…………………………………….11 Оценка деятельности организации и оценка проекта…………………...16 Внешняя и внутренняя оценка…………………………………………17 Что может быть проанализировано в ходе оценки……………………...18 Инструменты оценки…………………………………………….….19 Как осуществляется оценка………………….........................................19 Индикаторы……………………………………………………………23 Разработка вопросов для проведения оценки……………………….…..25 Управление процессом проведения оценки…………………………….31 Некоторые подходы к оценке проекта………………………………….34 Экспертиза социальных проектов………………………………….39 Зачем осуществляется экспертиза проекта……………………………..39 Факторы влияния на формирование экспертной оценки………………..40 Экспертиза заявки: раздел за разделом…………………………………43 Критерии оценки заявок……………………………………………….53 Типичные ошибки заявки на грант……………………………….........57 В помощь начинающему эксперту……………………………………..59 Процедуры отбора заявок ………………………………………….64 Стратегии выбора заявок………………………………………………64 Экспертная комиссия…………………………………………………..66 Библиографический список ………………………………………..67 Приложение………………………………………………………….69 |
Предисловие
Содержание учебного пособия учитывает многолетнюю практику авторов в подготовке и реализации социальных проектов консультирования и экспертизы проектных заявок, преподавания специальных курсов, проведения тренингов по проблемам социального проектирования членам местных сообществ, в учебных заведениях, на специализированных курсах, курсах повышения квалификации государственных и муниципальных служащих и т.д. В пособии также учтен опыт международных и Российских экспертов по социальному проектированию, изложенный в различных изданиях, представленный на конференциях, форумах и пр.
Социальное проектирование является новым инструментом социальной политики России, механизмом социального партнерства, частия местных сообществ в социально-экономическом развитии своих территорий, высокоэффективным инструментом решения социальных проблем. Напряженной работы, ясного видения цели, организованности и желания изменить жизнь к лучшему часто бывает недостаточно, чтобы воплотить идеи преобразования. Как правило, недостающим звеном является финансирование. Поэтому все шире внедряется практика социального проектирования в реальную жизнь территорий не только через систему международных и российских Фондов, корпораций и т.д., но и через систему муниципальных, областных, региональных и общероссийских грантов, социальных заказов и пр.
Любой спонсор хочет знать, какой проект лучше всего отвечает условиям объявленного им конкурса, у какого грантозаявителя эффективнее конкретные результаты проекта. Именно поэтому он заказывает оценку проекта. И тогда возникает необходимость найти эксперта в области оценки проекта. Нужна оценка собственного проекта и грантзаявителю. Она поможет исправить возможные ошибки и избежать неудач на этапе реализации проекта. Надеемся, что рекомендации, содержащиеся в этом пособии, помогут нашим читателям получить знания в области оценки проектов и создадут условия для разработки и поддержки эффективных проектов.
Учебное пособие является второй частью из общей серии: социальное проектирование. Она предназначена для тех, кто хочет получить опыт экспертной оценки социальных проектов. В ней представлен теоретический и практический опыт экспертизы социальных проектов. Изложенные в ней материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.
Первая часть серии – «Социальное проектирование: пособие по составлению заявок на гранты» содержит практический опыт подготовки проектных заявок грантодателям, спонсорам, фондам и другим организациям, предоставляющим финансирование общественным и некоммерческим организациям, отдельным гражданам, инициативным группам граждан. Из нее читатель узнает, что такое социальное проектирование, какую роль играет оно в современной социальной политике, как писать проекты. Третья - «Активные методы обучения. Пособие для тренеров» предназначена для подготовки тренеров по социальному проектированию. В ней содержатся общие материалы по активным методам обучения, организации и проведению тренингов, методические разработки для проведения тренингов по социальному проектированию. В четвертой книге «Социальное проектирование: практический опыт» содержится положительный практический опыт социального проектирования общественных и некоммерческих организаций, граждан, инициативных групп граждан Иркутской области. В ней представлены проекты, получившие поддержку из различных источников финансирования.
Широко распространенная в последнее время форма привлечения ресурсов (материальных и кадровых) для решения социальных проблем различными зарубежными и отечественными фондами, а также органами власти различного уровня - от федерального до местного - грантовые конкурсы. Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. Кроме того, грантодателю не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. Конечно, последнее можно увидеть по отчетам исполнителей проекта, но важно мнение и посторонних людей. Тогда спонсор заказывает оценку. И вот тогда для оценки проекта заказывают специалиста, который способен выполнить задачу эксперта в области оценки проекта.
Часто и самому исполнителю важно знать, как продвигается его проект, насколько он соответствует заявленным результатам. Своевременное выяснение этого позволит вовремя внести корректировки в реализацию проекта. Именно поэтому важно, чтобы среди исполнителей проекта был специалист, знакомый с оценкой проектной деятельности.
В данной книге рассматриваются различные аспекты оценки проектной деятельности. Вконце книги представлен библиографический список.
Экспертиза социальных проектов как форма оценки проектной деятельности
Почему грантовые конкурсы приобрели такую популярность в решении социально–экономических и гражданских проблем?
Грантовые конкурсы показали себя как наиболее эффективная форма распределения средств для решения этих проблем: финансирование проектов на конкурсной основе стимулирует привлечение дополнительных ресурсов самими организациями -участниками конкурсов в виде собственных материальных и профессиональных ресурсов, безвозмездной деятельности добровольцев. Как правило, одну треть от вложенных донором средств организация-грантополучатель вкладывает или привлекает самостоятельно.
Конкурсное финансирование позволяет оценить эффективность вложенных средств, так как предусматривает мониторинг процесса реализации грантовых проектов и отчетность организаций-грантополучателей по результатам проектной деятельности.
Грантовые конкурсы позволяют привлекать большой круг участников и выбирать из них тех, кто сможет наиболее эффективно и наименее затратно решить социальную проблему в сообществе. Следовательно, конкурсы развивают здоровую конкурентную среду в некоммерческом секторе.
Применение конкурсных технологий позволяет снизить затраты инвестора до 15-20%. Таким образом, введение стимулирующих конкуренцию механизмов способно давать ощутимый экономический эффект.
В грантовых конкурсах применяется проектная логика. Она позволяет целостно видеть и решать проблемы, а также достигать долгосрочного результата и социального эффекта. Проектирование является также мощным стимулом для развития деятельности организации, подающей заявку на грант. Даже если заявка отклоняется: написание проекта предполагает в числе прочего анализ собственной деятельности, имеющихся в ней недостатков и возможных путей усовершенствования. Таким образом, участие в грантовых конкурсах побуждает организацию постоянно совершенствоваться, стремиться к большей эффективности, к достижению долгосрочных, устойчивых результатов.
Грантовые конкурсы также способствуют развитию рынка социальных услуг, формируя последние в процессе осуществления проектной деятельности. Цель любого грантового конкурса такова: есть проблема, нуждающаяся в решении, и все проектные заявки, поданные на конкурс, предлагают разные варианты ее решения. Эти решения осуществляются, и наиболее эффективные закрепляются в виде услуг, для которых изыскиваются другие, регулярные источники финансирования. В результате появляются и закрепляются новые услуги, службы, модели, технологии по работе с целевыми группами, которые можно воспроизводить и тиражировать.
Грантовые конкурсы имеют широкий общественный резонанс, так как выполняемые социальные проекты являются интересным информационным поводом для СМИ, и жители территории начинают оптимистично смотреть на решение социальных проблем, что способствует формированию положительного общественного мнения.
Отдельно стоит выделить грантовые конкурсы, которые проводятся на бюджетные деньги органами власти разных уровней. Безусловно, это положительное явление. Используя все вышеперечисленные факторы эффективности конкурсов, органы власти, таким образом, выстраивают еще и конструктивное взаимодействие с гражданскими институтами.
В последнее время также распространяется практика проведения грантовых конкурсов на основе консолидированного бюджета, когда конкурсный фонд складывается из разных источников: какого-либо фонда, спонсорских вкладов, администрации. В таких конкурсах не только увеличивается конкурсный фонд, но и объединяются ресурсы (финансовые, профессиональные, методические, организационные, ресурсы влияния и т.д.) разных организаций для решения социальной проблемы.
Особое место занимают грантовые конкурсы при реализации механизмов социальной ответственности бизнеса. Именно они позволяют бизнес-сообществу эффективно вкладывать свои средства в развитие местных сообществ.
Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. И здесь возникает потребность в экспертах, способных грамотно провести оценку предложенных в проекте решений. Грантодателю также не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. И здесь опять требуется специалист–эксперт в области оценки проекта.
Оценка – особый процесс, требующий специальных знаний. Именно поэтому сейчас все больше внимания уделяется подготовке специалистов по оценке вообще и в социальной сфере в частности. При этом важно отметить, что среди методов и приемов оценки есть и такие, которые могут быть достаточно легко освоены практиками и использоваться для экспертизы социальных проектов на определенных этапах его развития.
Проектная деятельность имеет определенную продолжительность, этапы своего развития. И на каждом этапе жизненного цикла проекта возникает необходимость оценки (*):
- Идея--*--Разработка--**--Вы-*-полне-*-ние--*--Воздействие--*
Схема 1
Поэтому существуют разные виды оценок. Каждый этап накладывает свои особенности на тот вид оценки, которая осуществляется на этом этапе. В данном учебном пособии особое внимание уделяется оценке, которая проводится до начала выполнения проекта, после его разработки и до утверждения финансирования спонсором. До утверждения проекта обычно проводится специальная оценка, которая называется экспертиза (**). Делается заключение, в котором сопоставляются возможные результаты проекта и возможные затраты по его реализации. Выясняется соответствие проекта условиям спонсора. Более того, именно экспертиза определяет возможность эффективной оценки на последующих этапах проектной работы, так как на этапе экспертизы оцениваются базовые условия проектной деятельности. Для того чтобы контролировать ход проекта и достижение запланированного эффекта, обеспечивать условия для оценки проектной деятельности, при разработке проекта и оформлении проекта, как минимум, необходимо:
- оценить исходную ситуацию, на изменение которой проект будет направлен;
- определить, какие изменения исполнители проекта хотели бы получить «на выходе» - то есть после завершения проекта;
- разработать комплекс мероприятий, которые могли бы, по замыслу авторов, обеспечить такие изменения;
- сформировать систему отслеживания и оценки таких изменений.
О том, как это достигается, показано в I части учебного пособия по социальному проектированию - «Пособие по составлению заявок на гранты».
Виды оценки
Что такое оценка проектов
У разных людей могут быть самые разные представления, что такое оценка. Академический словарь русского языка дает такие определения:
- оценка – действие, направленное на формирование мнения, суждения о качестве, достоинстве, значении и т.п. чего-либо;
- оценивать – изучать и выносить взвешенное суждение.
Значение термина «оценка» со временем расширилось. Основные изменения произошли в течение последних 30 лет. Это связано с тем, что в мире резко возросло число социально ориентированных проектов и программ, направленных на позитивные изменения в различных областях жизнедеятельности (защита окружающей среды, образование, права женщин, поддержка людей с ограниченными возможностями и пр.). И в этом случае оценка приобретает расширенное значение. Именно поэтому ряд экспертов в области оценки привнесли в него новый аспект – цель оценки. Так, например, Кэрол Вайс (Carol Weiss) определила цель оценки как измерение результатов программы и сопоставление их с задачами, которые эта программа должна решать. Она определила оценку как одно из средств содействия последующему принятию решения относительно программы, а также улучшения процесса разработки программ в будущем. Систематический анализ результатов каждого проекта позволяет определить следующее:
- какие программы работали хорошо и должны быть расширены;
- какие программы не удались и должны быть прекращены;
- какие программы требуют модификации по различным причинам.
Особенностью такого похода к оценке является не только необходимость наличия цели оценки, но важна обратная связь – поступление информации к менеджерам, которые на ее основании должны принимать решения о будущем развитии или закрытии программы (проекта). При этом, как отмечает Роберт Стейк (Robert Stakе), оценка может иметь много различных целей. Вопросы оценки отражают различные цели и информационные потребности аудитории. При официально проводимой оценке лишь нескольким вопросам может быть уделено первостепенное внимание.
Исторически сложилось так, что основными потребителями оценки были те, кто оценку финансировал. Именно они формулировали вопросы оценки. Сегодня этот акцент начал смещаться. Общество начало осознавать, что существуют различные группы, которые имеют законное право или определенные потребности на информированность о результатах деятельности проектов (программ). Питер Росси (Peter H. Rossi) и Говард Фримен (Howard E. Freeman) указывают, что эксперты по оценке должны уметь понимать точки зрения всех заинтересованных сторон и учитывать их при планировании и проведении оценки.
Оценка и жизненный цикл проекта
Проект – это всегда гипотеза. С той или иной степенью уверенности предполагается, что разработанные в проекте действия приведут к ожидаемому результату. Множество факторов – как внутри организации, так и вне ее – оказывают влияние на эффективность деятельности по проекту. Необходимы специальные инструменты, позволяющие оценить эти влияния. Во многих странах мира для этих целей используются такие инструменты, как мониторинг и оценка проектов.
Оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении и т.п. проекта и его результатов. Задача эксперта в том и состоит, чтобы изучить и вынести взвешенное суждение о проекте или его реальных результатах.
Мониторинг - текущий контроль за результатами работы. Он позволяет определить, все ли запланированные мероприятия проведены? Во время ли? Охвачено ли запланированное количество участников проекта? Расходовались ли средства согласно бюджету? И т.д.
Проект – это развивающийся процесс, имеющий разные жизненные циклы (этапы), и на каждом этапе располагаются разные виды оценки. Связь этапов и видов оценок проектной деятельности представлена на схеме 2.
Идея--разработка--одобрение--выполнение--завершение--последействие
/ / / / /
оценка экспертиза мониторинг оценка оценка
ситуации результатов воздействия
Схема 2
Оценка ситуации проводится до разработки проекта (заявки на конкурс), программы. Эту работу разработчики проекта должны выполнить до начала подготовки проекта, после того, как у них появилась идея написать проект. Как правило, этот этап оценки опускают. Данная проблема обсуждалась в части I книги «Социальное проектирование: пособие по составлению заявок на гранты» (глава 1.3. Пять циклов управления проектом).
Разрабатывая проект, авторы, как правило, исходят из предположений, что проект необходим и поможет людям. Как правило,
они:
- опираются на опыт коллег в других регионах;
- реализуют давнюю идею;
- готовят заявку, потому что объявлен конкурс, и тема попадает в сферу интересов деятельности организации;
- не имеют навыков оценки ситуации.
Однако сегодня именно этот вид оценки, часто включаемый отдельным разделом заявки, становится значимым при конкурсном отборе проектов. Поэтому задача эксперта - уметь оценить, насколько проработан этот вопрос в заявленном проекте. Ведь именно оценка ситуации позволяет:
- точно определять, в чем заключается проблема;
- выявлять соответствие деятельности представленным в проекте ресурсам (возможностям), миссии, целям и задачам;
- определять инвестиционную привлекательность проекта;
- видеть долгосрочность возможных результатов, перспектив проекта;
- формировать критерии эффективности;
- оценивать эффективность выбранной стратегии, реалистичность бюджета;
- оценивать квалификацию исполнителей;
- эффективно перераспределять ресурсы.
Существуют специальные методы, инструменты оценки, которые позволяют проводить оценку ситуации. Эти же инструменты используются и на других этапах оценки проектной деятельности. Более подробно эта тема рассматривается в главе 3 «Инструменты оценки» данного учебного пособия.
Экспертиза (предварительная оценка). Эта оценка проводится на этапе одобрения проекта, при этом оценивается еще не реализованный проект. Проект, как предложение будущей работы. Экспертиза определяет качество проекта. Грантозаявитель, как правило, сталкивается с экспертизой, когда подает заявку на грант. В качестве экспертов грантодатель привлекает специалистов, имеющих опыт работы в оценке проектов и номинируемой сфере (социальной, гражданской, экономической и пр.). Эксперты читают заявки и определяют, стоит ли их поддерживать. В принципе, оценка может иметь много различных целей. Однако по большому счету, в данном случае экспертам необходимо ответить на два вопроса:
- может ли заявленный проект содействовать решению проблемы, которая является на данный момент приоритетом для того или иного донора;
- может ли этот проект быть реализован в данных условиях организацией-заявителем.
Эти вопросы включают в себя массу характеристик и критериев (достаточно ли качественно спланирован проект; имеет ли организация опыт в реализации проектов и сможет ли выполнить данный проект; обоснованы ли ресурсы проекта и т.д.). Важно отметить, что даже если организация не планирует представлять проект на грантовый конкурс, целесообразно провести его экспертизу. В качестве экспертов могут выступать коллеги, сотрудники организации. Сторонний взгляд опытного менеджера поможет заранее исправить возможные ошибки и избежать неудач на этапе реализации проекта.
В данном учебном пособии упор будет сделан именно на этом виде оценки. Однако без понимания общей картины оценочной деятельности эксперту сложно подготовить качественное и профессиональное заключение на заявку грантодателя.
Мониторинг является инструментом контроля, который позволяет отслеживать ход реализации проекта, степень достижения промежуточных результатов и вносить оперативные изменения с целью повышения эффективности проекта. Мониторинг проводится непрерывно, с определенной периодичностью или на заранее определенных этапах работы. Для его проведения необходимы объективные показатели, которые называют индикаторами. В главе 3.2. «Индикаторы» данного пособия это понятие будет рассмотрено подробнее.
Мониторинг, как инструмент контроля, чаще всего применяют сотрудники, реализующие проект. Грантодатель также может осуществлять мониторинг проекта, привлекая внешних оценщиков. Спонсор может включить в условия конкурса требование проведения мониторинга исполнителями проекта на определенных этапах его реализации. В последнем случае исполнитель проекта по результатам мониторинга готовит промежуточный отчет для грантодателя. Важно понимать, что результаты мониторинга так же важны для исполнителей проекта, как и для заказчиков мониторинга. Специалисты, осуществляющие мониторинг, выполняют эту работу для того, чтобы выявить сильные и слабые стороны проекта, помочь исполнителям скорректировать свои действия таким образом, чтобы проект был успешно реализован.
Использование мониторинга на этапе проекта обеспечивает возможность:
- скорректировать дальнейший ход проекта;
- выявить потенциальные проблемы реализации, установить их причины и своевременно решить их;
- определить уровень выполнения заявленных задач и спрогнозировать конечный результат;
- принять грамотные управленческие решения;
- обнаружить новые стороны проблемы;
- получить квалифицированные оценку и совет;
- проверить, насколько рационально используются ресурсы;
- выявить незапланированные результаты.
Ниже представлены базовые отличительные признаки мониторинга и оценки.
Таблица 1
| Мониторинг | Оценка |
| Проводится непрерывно | Проводится на ключевых этапах |
| Модель принимается в существующем виде без изменений | Модель подвергается анализу с целью оптимизации, улучшения |
Окончание табл. 1
| Запланированные результаты и деятельность сравниваются с фактическими | Анализируются причины достижения или недостижения запланированных результатов |
| Полученная информация используется для работы по проекту | Полученная информация может использоваться как для улучшения работы по данному проектy, так и для планов на будущее |
Оценка результатов осуществляется в момент его окончания, при получении непосредственных результатов. Донор обязательно требует ее от грантополучателя в форме итогового отчета. Чтобы провести итоговую оценку, необходимо сравнить полученные результаты с заявленной моделью проекта. И вновь важное место отводится такому инструменту оценки, как индикатор. Как правило, грантодатель требует не только констатации достигнутых количественных и качественных показателей, но и дать оценку тому, как и почему это произошло. Таким образом, на данном этапе проектной деятельности оценка – это анализ и интерпретация фактов для того, чтобы сформулировать рекомендации для будущих программ и заявок.
Использование оценки на конечном этапе реализации проекта позволяет:
- понять, достигнуты ли цели проекта;
- извлечь уроки на будущее;
- лучше понять проблему;
- оценить персонал проекта;
- скорректировать стратегию на будущее;
- лучше понять сильные и слабые стороны проекта, цели и задачи;
- продолжить или повторить проект на лучшем уровне;
- поставить вопрос о дальнейшем финансировании;
- минимизировать риски.
Оценка долгосрочного воздействия (эффект проекта, оценка влияния). Она направлена на оценку изменений в проблеме/ ситуации в связи с реализацией проекта. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, то есть сохраняются ли изменения без дальнейшего воздействия со стороны проекта. Как правило, эффект проекта очень трудно планировать. Более того, его сложно оценить непосредственно после окончания проекта. Но проект можно считать действительно эффективным, если непосредственные результаты оказывают влияние на ситуацию в социуме. Фактически эффект проекта - это степень успешности проекта с точки зрения достижения цели. Но если авторы проекта не представляли себе достаточно четко, какого изменения ситуации они хотели добиться, невозможно сказать, после того как проект был завершен, удалось это или нет.
Часто параллельно с действиями исполнителей проекта реализуются и другие действия (проекты, программы) по решению той же проблемы. Поэтому даже если точно известно, чего пытались достичь исполнители проекта через несколько месяцев после окончания проекта, когда ситуация в действительности изменяется, будет сложно с уверенностью сказать, насколько велика в этом заслуга проекта. И тогда оценка долгосрочного воздействия, оценка влияния может помочь в ответе на этот вопрос.
Нетрудно заметить, что описанные выше виды оценки перекликаются друг с другом. В частности, оценка воздействия - это не что иное, как оценка ситуации с точки зрения того, как она изменилась после реализации проекта. Следовательно, эти два вида оценки - оценка ситуации и оценка воздействия должны использовать одинаковые инструменты оценки, иначе будет невозможно сравнить полученные результаты и понять, что именно изменилось.
Оценка деятельности организации и оценка проекта
В зависимости от того, что является объектом оценки, можно говорить об оценке деятельности организации и оценке проекта. Далее мы будем говорить об оценке проектов, но важно понимать, что и оценка деятельности организации может использовать методы и приемы, представленные в данной книге. Важно только понять, зачем нужна оценка деятельности организации.
С точки зрения самой организации она нужна потому, что:
· проводя оценку, эксперты углубятся в анализ деятельности организации; обратят внимание, как на успехи, так и на неудачи, то есть приблизятся к тому, чтобы в целом увидеть деятельность организации;
· эксперты смотрят на организацию как бы со стороны и имеют шанс избежать эффекта «замыленного глаза», отвлечься от повседневной «текучки» и стать более объективными по отношению к своей организации;
· сотрудники, добровольцы и получатели услуг (клиенты, подопечные) организации получат зримое подтверждение того, что организация работает на результат, на выполнение своих целей и задач, своей миссии;
· появляется возможность найти так называемые точки роста, моменты, оказывающие решающее влияние на качество и эффективность работы организации. В дальнейшем, воздействуя именно на эти точки, можно добиться существенных положительных изменений, тем самым сэкономив силы, время и ресурсы организации;
· оценка даст повод задуматься о стандартах качества, к которым следует стремиться организации.
С точки зрения среды, в которой действует организация:
· пользуясь результатами оценки, организация достаточно определенно может ответить на вопрос, насколько хорошо она работает;
· в переговорах со своими потенциальными донорами специалисты смогут привести факты и сравнительные характеристики, которые помогут понять, что же представляет собой заявитель как организация и насколько эта организация эффективно работает;
· периодическое проведение оценок делает организацию более привлекательным, более надежным партнером;
· некоторые типы доноров (например, грантодающие организации) требуют включать такой эта, как оценка деятельности организации в заявку на финансирование того или иного проекта.
Так или иначе, оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков.
Внешняя и внутренняя оценка
Внешняя оценкапроводится приглашеннымспециалистом. При этом важно, чтобы он не только не работал в организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов. Например, такой специалист не должен быть:
- прямым родственником кого-либо из руководителей организации;
- одним из тех, кто получает от нее помощь;
- участником этой же программы, конкурса грантов.
Внешнюю оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.
Есть несколько причин, по которым спонсоры, грантозаявители обращаются с просьбой о проведении оценки в ходе реализации проекта:
- отсутствие у них хороших информационных систем;
- имеющиеся у них информационные системы отвечают на вопрос "что происходит", но не отвечают на вопрос "почему";
- эксперты в области оценки обучены анализировать полную картину и видеть, каким образом элементы соотносятся друг с другом, - в то время как другие специалисты могут анализировать лишь часть общей картины;
- у экспертов по оценке есть время для того, чтобы пообщаться с благополучателями проекта и задать вопросы, которые у сотрудников проекта могут и не возникнуть.
Внутренняя оценка, или самооценка, осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой – проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.
Что может быть проанализировано в ходе оценки
Все, что имеет отношение к проекту, может стать объектом оценки. Если же говорить о наиболее часто встречающихся моментах, которые подвергаются оценке, и о вопросах, которые при этом ставятся, то это, как правило:
финансовая эффективность проекта
- насколько приемлемо соотношение ресурсов, вовлеченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов;
- можно ли добиться удешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов;
эффективность управления проектом
- соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности;
- способствовала ли она успешной реализации проекта;
- достаточно ли гибко руководители проекта реагировали на изменения, влиявшие на ход проекта;
- насколько правильными (ошибочными) были принимаемые решения;
методология проекта
- все ли методы привели к достижению заявленных результатов;
- какие методы оказались наиболее (наименее) эффективными;
устойчивость проекта
- будет ли работать этот проект при его повторении в другом месте;
- сохранил ли проект актуальность, соответствует ли он текущему моменту;
- будет ли жизнеспособен проект после завершения его специального финансирования (как правило, этот вопрос особенно волнует фонды);
полнота решения проблемы или удовлетворения потребности
- в какой мере проектом решена заявленная проблема;
- можно ли говорить о том, что проблема решена кардинально, то есть не появится вновь;
- достаточно ли полно удовлетворены потребности клиентов проекта (целевой группы, на которую направлен проект).
Инструменты оценки
Как осуществляются оценки
Независимо от вида оценки, существует определенный инструментарий, используемый экспертами и разработчиками проектов и программ. На разных этапах жизненного цикла проекта, в зависимости от цели оценки, используется различный инструментарий. Среди наиболее часто используемых инструментов оценки, особенно на этапах оценки ситуации и оценки долгосрочного воздействия, можно выделить следующие: анкетирование, опрос, наблюдение, интервьюирование, беседа, анализ прессы, анализ законодательства, анализ текстов (устных/письменных), SWQT-анализ, профиль сообщества/клиента и другие.
Каждый инструмент требует определенных навыков и знаний его использования. Рассмотрим общее представление о некоторых из них.
Анкетирование - это письменный опрос. Виды анкетирования могут быть зондажные или экспресс-опросы. В анкете содержится несколько пунктов основной информации, демографические характеристики опрашиваемых, другие обходимые для каждого конкретного случая характеристики. Формы проведения анкетирования могут быть разные:
- через прессу - удобно, но очень трудно получить заполненные анкеты от респондентов;
- телефонные или по почте (ожидается возвращение анкеты по почте по заранее оплачиваемому переводу);
- на месте (анкетер сам собирает заполненные анкеты); раздаточное (по месту жительства, работы);
- групповое - до 40 человек, которых анкетер инструктирует и оставляет заполнять анкеты);
- индивидуализированные (индивидуально к респонденту) и пр.
Содержательная часть, структура анкеты, как правило, включает: введение/вступление (кто и для чего проводит опрос, как будут использованы данные, гарантия анонимности, инструкция по заполнению анкеты и способы ее возврата); текст анкеты.
Опрос - метод сбора первичной информации (совокупность вопросов, предлагаемых респонденту, ответы которого образуют необходимую информацию). Опрос - практически универсальный метод, но необходимо знать: кого спрашивать; о чем спрашивать; как спрашивать; где спрашивать; как обработать полученные данные; каким образом убедиться, что можно верить полученным ответам.
Вопросы могут быть: прямые / косвенные; открытые / закрытые / полузакрытые; личные / безличные; основные / контрольные; вопросы-«крючки» (чтобы поддержать интерес) / вопросы-«ловушки» / вопросы-
«фильтры». Опросы требуют привлечения большого количества людей, они затратны по времени, по финансам, а полученные данные требуют обработки и интерпретации.
Интервьюирование - это непосредственный, устный опрос (беседа, проводимая по определенному плану). Интервью бывает:
- свободное - длительная беседа без строгой детализации вопросов, но по общей программе;
- стандартизированное/формализованное - детальная разработка всей процедуры опроса, последовательности и конструкции вопросов (отклонения в формулировке вопросов и порядке их задавания не допускаются);
- полустандартизированное (допускаются уточняющие вопросы);
- нарративное - направляемый интервьюером свободный рассказ, подлежащий качественному анализу;
- ненаправленное – беседа, при которой инициатива практически полностью принадлежит респонденту;
- групповое;
- индивидуальное.
Наблюдение- качественный метод сбора первичной информации, основанный на индивидуальном восприятии. Этот метод хорош в совокупности с другими методами, так как он не всегда дает достаточный объем информации. Кроме того, наблюдение весьма субъективно, и данные, полученные при помощи наблюдения, требуют подтверждения.
Анализ прессы/ анализ законодательства/ анализ текстов. Несмотря на кажущуюся простоту, этот метод чрезвычайно трудоемкий и требует профессионального подхода. Впрочем, он достаточно дешев, но требует много времени. В результате использования этого метода возможно получить качественную, глубокую информацию, которую нужно будет затем верно интерпретировать.
SWOT-анализ. Этот подход широко используется во всем мире и является эффективным инструментом для начала работ над стратегическим планом или большим проектом, когда необходимы серьезные усилия разработчиков для эффективного решения поставленных задач. Используется он и для планирования развития организации, анализа новой идеи и пр. SWOT – это абривиатура:
«S» - означает преимущества, «W» - слабости организации (проекта, плана, идеи). Эти две характеристики описывают видение организации (проекта, плана, идеи) в настоящий момент.
«О» - это возможности, которые могут появиться, «Т» - угрозы, с которыми придется столкнуться. Используя схему SWOT-анализа, определяют, что можно сделать, чтобы преодолеть слабости. Проанализировав природу преимуществ, намечают мероприятия по их укреплению. Поняв угрозы, разрабатывают мероприятия по их минимизации или преобразованию в возможности и потенциально сильные стороны.
Фокус-группа - это групповое интервью. Модератор, т.е. человек, проводящий беседу, пишет заранее сценарий обсуждения, чтобы сфокусировать дискуссию на нужных проблемах. Фокус-группа интересна еще и тем для организаторов оценки, что в ней происходит активный обмен мнениями между людьми, отношение которых к данной проблеме требуется узнать. Полезно использовать фокус-группу и тогда, когда обмен мнениями между участниками может привести к более глубокому пониманию ими не только точки зрения участников, но и проблемы в целом. Например, в процессе работы в фокус-группе, возможно узнать, воспримут ли руководители общественных организаций, работающих по проблеме насилия, идею объединиться в коалицию, какие препятствия есть на этом пути. Если опросить группу руководителей и каждый из них услышит мнение других участников, руководители смогут более глубоко продумать идею и возможности ее использования для себя, а значит и процесс создания коалиции пройдет более успешно. Более того, в процессе опроса будут определены базовые технологии создания и развития коалиции.
Профиль сообщества - содержит информацию о местном населении и используется для определения потребностей местного сообщества. Его называют также «социальным паспортом». Профиль сообщества позволяет:
- получить нужную информацию для определения необходимых услуг и уровня их предоставления;
- определить целевые группы потенциальных получателей услуг;
- дать ясное понимание о людях, с которыми надо будет работать в процессе реализации услуг;
- дать качественную оценку ситуации;
- аргументировать цели и задачи проекта, социального решения;
- выбрать эффективную систему показателей, характеризующих изменение ситуации в результате реализации проекта (плана);
- обеспечить новые возможности для ведения социальной политики в местном сообществе.
Несомненно, серьезным вопросом при использовании этих инструментов становится вопрос получения достоверной информации, особенно при проведении достаточно сложных видов оценки на этапах оценки ситуации и оценки влияния. Конечно, эксперты-профессионалы без проблем смогут это сделать, но если нет возможности их привлечь, можно использовать следующие источники информации: статистика (официальная/неофициальная); слухи; официальные запросы; разного рода базы данных; СМИ; Интернет и др. Не все источники информации являются достоверными, поэтому необходимо проверять данные, прежде чем интерпретировать их.
Индикаторы
Выше уже отмечалось, что оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении, результатах и т.п. проекта (плана, программы, организации). Очевидно, для того чтобы провести оценку, необходимы некие критерии, при помощи которых возможно определить, хорошо ли выполняется или выполнен проект (программа, план), хорошо ли работает организация, способен ли заявленный проект изменить ситуацию к лучшему по заявленной проблеме, оценить успех. Критериями выступают так называемые индикаторы (показатели) эффективности деятельности. Для более точного уяснения достаточно сложного понятия «индикатор» обратимся к примеру. Какой индикатор позволяет с точной уверенностью сказать, что человек имеет нормальную температуру? Это термометр. Термометр - это достоверный, нейтральный, практичный, недвусмысленный, надежный индикатор, который позволяет точно установить температуру тела. Какие индикаторы позволяют судить о здоровье человека? Температура, давление, пульс, цвет кожных покровов. Известны базовые значения этих индикаторов, которые можно измерить. В социальной сфере определение индикаторов – не такое простое дело. Тем не менее, и здесь всегда можно найти простой способ измерить результаты деятельности.
Измерение – это процесс преобразования/уточнения информации.
Необходимые условия для организации этого процесса:
- определение того, что именно (какой параметр) будет измеряться;
- согласованное и понятное определение измеряемого параметра;
- наличие адекватных инструментов для перевода неколичественных данных в количественные.
Измерение должно обеспечить: достоверность, надежность адекватность, точность собираемой информации.
Хороший индикатор должен обладать следующими характеристиками:
- измеряемость. Индикатор поддается количественному измерению в любой определенный момент времени;
- ориентированность на результат. Индикатор характеризует результат, а не процесс, в ходе которого этот результат получен;
- достоверность. Индикатор на самом деле оценивает именно то, что необходимо оценить. Это истинный показатель для оценки предполагаемого результата;
- надежность. Индикатор даст тот же самый результат при повторном применении - на следующий день или год спустя - будет ли его оценивать тот же самый человек или кто-то другой. Процесс измерения может быть повторен. Любые изменения в ответах происходят в силу изменений в измеряемом предмете, а не в инструменте измерения;
- нейтральность. Индикатор "объективен", а не "субъективен". Как сторонник, так и скептически относящийся человек примут ответ, полученный в результате оценки, как правильный;
- недвусмысленность. Индикатор имеет четкое, одинаково понятное любому определение;
- практичность. Индикатор практичен в том смысле, что он экономически доступен, т.е. не требует много затрат для его применения и позволяет действительно провести оценку.
Таким образом, при определении индикатора важно ясно и четко определить базовые составляющие индикатора: определение (формулировка понятия/параметра таким образом, чтобы его можно было сосчитать); источник информации; периодичность; точка отсчета; целевое значение; единица измерения.
Так, например:
- востребованность ресурсного центра можно измерять количеством клиентов; количеством заявок, на ту или иную консультацию и т.д.;
- эффективность семинара по написанию заявки на грант можно ценить при помощи количества заявок, поступивших на конкурс; качества проектов, поданных на конкурс (при помощи среднего балла, набранного участниками семинара при проведении теста проверки) и пр.
Для более полного уяснения понятия «индикатор», в Приложении 1 пособия представлены индикаторы Целей Тысячелетия, выработанные ООН на Саммите Тысячелетия и гендерные индикаторы, определяющие гендерное развитие по каждой Цели Тысячелетия.
Иногда эксперт или разработчик обнаруживает, что для показателей, которые он хочет измерить, нет "мерных линеек". Задачи проекта, которые сосредоточены на качестве результата или на отношении людей к новой услуге, - это задачи, для которых может не быть удобного "индикатора". При возникновении таких ситуаций нужно уметь создать соответствующие "измерители". Наиболее обычным видом "измерителя", который создают разработчики проектов и эксперты в области оценки, когда им нужны новые "измерители», являются шкалы, или рейтинговые шкалы. Например:
- качество тренингов, проведенных в рамках проекта, может быть оценено как: наивысшее, хорошее, среднее, ниже среднего, некачественное;
- отношение к новой услуге в области здравоохранения:
очень удовлетворен, удовлетворен, не знаю, не удовлетворен, крайне не удовлетворен.
Подсчитав количество участников, определивших результаты деятельности проекта в соответствии с рейтинговой школой, можно дать количественную оценку качества результата или отношения людей к новой услуге