Методы коллективных экспертных оценок
Методы коллективных экспертных оценок включают: метод коллективной генерации идей, метод Дельфи, метод экспертных комиссий и др.
Метод коллективной генерации идей («мозговой атаки», «мозгового штурма») представляет собой способ получения прогнозных оценок в ходе совместного обсуждения как результата коллективного творчества людей. Он включает два элемента: выявление вероятностных вариантов развития объекта прогнозирования и их оценку.
Следует выделить шесть главных правил проведения «мозговой атаки».
1.Запрещается всякая критика предлагаемых идей на начальных этапах.
2. Время одного выступления ограничено (1-2 минуты).
3. Допустимы многократные выступления одного и того же участника.
4. Приоритет выступления имеет эксперт, развивающий мысль предыдущего высказывающего.
5. Обязательная фиксация всех высказанных идей.
6. Оценка идей, выдвинутых на предыдущих этапах.
Метода «мозговой атаки» реализуется шесть этапов:
1 этап - формирование группы участников «мозговой атаки» (по численности и составу). Число участников может быть различным в зависимости от сложности объекта прогнозирования. Опыт показывает, что наиболее продуктивны группы в 10-15 человек. Группа участников может состоять из лиц одного ранга, если участники знают друг друга, и из лиц разного ранга, если участники не знакомы. Специализация участников в области объекта прогнозирования необязательна, даже рекомендуется на первом этапе привлекать специалистов из разных областей знаний, разбирающихся в вопросах объекта прогнозирования.
2 этап - составление проблемной записки. Проблемная записка составляется рабочей группой (организаторами опроса) и содержит два описания: описание самого метода «мозговой атаки», его правил, приемов; описание проблемной ситуации, которое содержит раскрытие причин возникновения проблемы, их анализ, возможные последствия проблемной ситуации, анализ мирового опыта решения проблемы (если он имеется), некоторые статистические показатели, характеризующие объект прогнозирования, раскрытие целей, которые преследуют организаторы опроса.
3 этап – генерация идей или непосредственно опрос экспертов. Этот этап начинается с того, что ведущий раскрывает содержание проблемной записки, концентрирует внимание экспертов на решаемых вопросах, на правилах проведения метода. Активная роль ведущего предполагается только в начале 3 этапа. После подъема активности участников процесс выдвижения идей идет спонтанно. Третий тур по времени должен занимать от 20 минут до 1 часа в зависимости от активности экспертов. Целесообразно записывать все высказывания.
4 этап - систематизация идей, высказанных на третьем этапе. Последовательность: а) составляется номенклатурный перечень всех высказанных идей; б) определяются дублирующие и дополняющие идеи, которые объединяются и формулируются в виде одной комплексной идеи; в) составляется перечень идей по группам. В каждой группе идеи располагаются от более общих к частным. Это делается рабочей группой (организатором опроса).
5 этап - деструирование (разрушение, критика) систематизированных идей. На этом этапе состав экспертов меняется, рекомендуется оставить небольшое число лиц (5-8 человек), наиболее высококвалифицированных в рассматриваемой области. Экспертам сообщаются результаты четвертого этапа и предлагается высказаться с критическими замечаниями по вопросу практической реализации высказанных идей. Наиболее ценными на данном этапе являются контридеи, высказанные вслед за проведенной критикой. Рекомендации по продолжительности пятого тура - не более 1,5 часов. Данный этап продолжается, пока каждая из систематизированных групп идей не подвергнется критике.
6 этап – оценка критических замечаний и составление списка практически приемлемых идей. Рабочая группа отбирает те идеи, которые не подверглись критике на пятом этапе, или наиболее интересные контридеи, которые и закладываются в основу разработки прогноза.
Достоинствами этого метода являются возможность получения результата за короткий промежуток времени и возможность вовлечения в творческий процесс одновременно большого количества экспертов.
Метод Дельфи - один из наиболее распространенных интуитивных методов прогнозирования. Он был разработан в 1963 г. американской корпорацией «Рэнд» и использован впервые для построения прогноза числа изобретений в различных отраслях науки к 2010 г.
Метод Дельфи позволяет обобщить мнения экспертов и сформулировать единое групповое мнение. Оценка будущего развития получается в форме ответов на вопросы, задаваемые участникам по несколько раз.
Этот метод имеет три особенности: а) анонимность экспертов, т.е. участники не знакомы, а если знакомы, то не знают, что они участники; б) многотуровая процедура опроса экспертов посредством их анкетирования; в) использование результатов предыдущего тура.
В результате обработки анкет экспертов организаторами формулируется коллективное мнение. Эта информация сообщается экспертам, их просят переосмыслить свои высказывания и в случае несогласия объяснить причины этого. Данная процедура повторяется 3-4 раза, в результате чего организаторы добиваются сужения диапазона экспертных заключений. Статистическая характеристика группового ответа заключается в том, что организаторы составляют прогноз, содержащий точку зрения большинства экспертов.
Американская практика показала, что организация и процедура проведения прогнозов с помощью МД обходится инициаторам в 50% случаев до 5000 долларов, известны случаи и до 100000 долларов. Общее время реализации процедуры составило в 75% случае от 6 до 8 месяцев.
Этапы (туры) метода Дельфи.
1) определяется коллектив экспертов, им рассылается первый вариант вопросов в специально составленных анкетах;
2) после сбора и получения анкет выделяются те варианты, за которые высказалось большинство. Организаторы оценивают в балльной системе варианты по определенной схеме;
3) все участники получают результаты второго тура, и их просят подумать над вопросом и, если сочтут нужным, поменять свое мнение ( выдается анкета другого вида);
4) организаторы собирают анкеты и обрабатывают их. Экспертам вновь выдаются анкеты с тем же вопросом по форме 3-го тура. Задача организаторов - добиться сужения диапазона высказываний экспертов, чтобы четко выделить одно, за которое проголосует большинство. Количество туров может быть 5-6, если оценки экспертов не меняются, то опрос прекращается.
Данный метод имеет следующие недостатки: невозможно учесть влияние, оказываемое организаторами на экспертов при составлении анкет; велики затраты времени и средств.
Метод экспертных комиссийоснован на открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Дискуссия происходит за круглым столом, рекомендуемое число участников 15-20 человек. Для получения оценки данным методом создается рабочая группа, которая осуществляет назначение экспертов, проведение опроса, обработку материалов, анализ результатов коллективной экспертной оценки.
В процессе работы уточняются основные направления развития объекта, составляется матрица, отражающая генеральную цель, подцели и средства их достижения, т.е. направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели.
Далее разрабатываются вопросы для экспертов, содержание которых определяется спецификой прогнозируемого объекта. Опрос экспертов и статистическая обработка материалов характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Полученные данные служат исходной базой для синтеза прогнозных гипотез и вариантов развития исследуемого явления или процесса. Результат представляет собой совокупность оценок относительной важности, назначенных экспертами для каждого из оцениваемых направлений исследования, и разработок, выражающихся в баллах и принимающих значения от 0 до 1, от 0 до 10, от 0 до 100 и т.д. Эти оценки по определенному вопросу сводятся в таблицы, строки которой соответствуют направлениям исследования, а столбцы – порядковым номерам экспертов.
Достоинство метода экспертных комиссий заключается в возможности роста информированности экспертов, так как при обсуждении они обмениваются точками зрения, что благоприятно влияет на точность прогноза. К недостаткам можно отнести следующие факторы: 1) группа экспертов в своих суждениях руководствуется логикой компромисса; 2) отсутствие анонимности может привести к тому, что эксперты присоединят свои голоса к более компетентным, авторитетным лицам при своем отличном мнении и в итоге дискуссия может свестись к полемике авторитетов; 3) существенным фактором при выработке коллективного мнения может стать активность некоторых экспертов, которые не являются наиболее компетентными; 4) в результате отсутствия анонимности некоторые эксперты могут не пожелать изменять свое мнение в результате того, что они его уже высказали публично, хотя большинству удалось их переубедить.
Группа методов коллективных экспертных оценок основана на том, что при коллективном мышлении, во-первых, выше точность результата и, во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, могут возникнуть продуктивные идеи.