Методология экспертного опроса

Экспертный опрос — разновидность социологического опроса, в ходе кото­рого респондентами выступает особый тип людей — эксперты. Это компетент­ные лица, имеющие глубокие знания о предмете или объекте исследования. Представитель любой сферы деятельности, кроме нашей собственной, может выступать для нас в качестве эксперта. Отличительная особенность этого метода состоит в том, что он предполагает компетентное участие экс­пертов в анализе и решении проблем ис­следования. К примеру, для оценки ожидаемого спроса нате или иные виды продукции экспертами могут выступать продавцы или товароведы магазинов, руководители малых предприятий, дилеры или брокеры. В армейском под­разделении экспертами могут быть командиры, офицеры воспитательны* структур, старослужащие (они, как правило, осведомлены по широкому кругу вопросов службы и быта).

В связи с этим серьезно меняется ролевая функция эксперта, который ъ полном смысле слова выступает активным участником социологическогс

Материал подготовлен при участии А.А. Гнутова.

исследования. И попытка скрыть от него цель исследования, превратив, та­ким образом, в пассивный источник информации, чревата потерей его до­верия к организаторам исследования².

От других форм социологического опроса экспертный метод отличают несколько весьма важных черт:

♦ количество опрашиваемых: их всегда меньше, чем при анкетировании и даже интервью;

♦ качества опрашиваемых: кругозор, уровень квалификации, знание спе­циальной области у них на несколько порядков выше, чем у обычных рес­пондентов;

♦ тип и объем информации: экспертный опрос проводится для получения знаний, которых нет и никогда не будет у социолога-исследователя; в отли­чие от обыденных знаний, которые известны социологу из своего опыта, по­лучаемые от экспертов знания относятся к специальным научным знаниям;

« типичность данных: в массовом опросе социолога интересует типич­ность, повторяемость, обычность добываемых сведений о ценностных ори-ентациях и мотивах поведения людей, а в экспертном опросе исследователь дорожит именно уникальностью технических или гуманитарных знаний эксперта, их глубиной, неповторимостью;

♦ программная функция: первичную информацию, получаемую в анке­тировании или интервью, социолог использует для проверки научных гипо­тез, а в экспертном опросе — для того, чтобы разобраться в совершенно но­вой для себя области.

Основное назначение экспертного опроса: выявление наиболее существен­ных, важных аспектов исследуемой проблемы, повышение надежности, до­стоверности, обоснованности информации, выводов и практических реко­мендаций благодаря использованию знаний и опыта экспертов.

Область применения экспертного опроса: может быть использован при изу­чении всех сфер деятельности; в диагностике, в оценке состояний социального объекта, нормировании, проектировании, прогнозировании, в принятии ре­шений. Разновидности экспертного опроса достаточно эффективно применя­ются на разных этапах социологического исследования: в определении целей и задач, выявлении проблемных ситуаций, поиске гипотез, ходе интерпрета­ции понятий, обосновании надежности инструментария и исходной инфор­мации, в обосновании выводов, в выработке рекомендаций.

Основные нормативные требования: при опросе экспертов нужно дать чет­кое обоснование необходимости применения соответствующей методики экспертного опроса. Тщательность подбора экспертов: обязательная оценка их компетентности. Учет факторов, влияющих на суждения эксперта. Созда­ние условий для наиболее продуктивного использования экспертов в ходе исследования. Сохранение полученной от экспертов информации без иска­жения на всех этапах исследования.

Существуют некоторые ограничения в применении выводов для разных методик экспертных опросов. Так, при использовании некоторых методик экспертных оценок полезно помнить, что заключения по их экспертизам имеют тенденцию к усреднению мнений, а потому могут оказаться непри­годными для оценки нестандартных явлений, например новаторских произ-

² Основы прикладной социологии: Учеб. для вузов. М., 1995. С. 156.

ведений искусства. Не следует также забывать, что данные экспертного оп­роса носят субъективный характер, а потому желательно их сопоставление с объективной информацией об объекте, полученной другими методами (хотя часто применение экспертного опроса вызвано как раз трудностью получе­ния информации другим способом).

Программа применения экспертного опроса включает в себя основные структурные элементы программы социологического исследования. Ведущими задачами являются: выделение целей опроса, построение критериев подбора, правил организации участия экспертов и критериев оценки данной ими информации. В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее оцениванию яв­ление, предусматриваются в виде гипотез возможные варианты его исхода.

Основной инструментарий экспертных опросов — анкета или бланк-ин­тервью, разработанные по специальной программе. В соответствии с этим процедура опроса может заключаться либо в анкетировании, либо в интер­вьюировании экспертов.

Фоновые суждения фиксируют факторы, влияющие на состояние изучае­мого объекта. В процедуре опроса эксперт выделяет среди них наиболее важ­ные, существенные для объекта, дает им оценку.

Применение экспертного метода опроса связано с соблюдением опреде­ленных правил. При его организации большое внимание уделяют обычно трем методологическим проблемам: подбору экспертов, процедуре их рабо­ты, обработке высказанных мнений³.

ВИДЫ ЭКСПЕРТНОГО ОПРОСА

Экспертный опрос — это совокупность (еще говорят: комплекс) различных методов, приемов, техник, процедур. Прежде всего процедура работы экспер­тов может быть совместной или отдельной. Среди коллективных процедур можно обнаружить метод «мозговая атака (штурм)», обычную дискуссию, дель­фийскую технику. Выделим две основные процедуры: обычный опрос и мно­гоступенчатый опрос. Первая предполагает проведение разового анонимно­го опроса. Он и в организационном, и в экономическом отношении наиболее легкий. В принципе он мало чем отличается от обычного массового опроса. Вторая процедура связана с тенденцией усложнять задачу экспертов. Много­ступенчатость вводится для того, чтобы на каждом последующем этапе экс­перты решали все более сложные задачи. Обычно экспертам предлагается ис­пользовать различные логические методы анализа («дерево целей», таблицы «взаимного влияния», сценарии и т.д.). Сам по себе многоступенчатый опрос может быть организован по-разному: сначала могут быть поставлены обшие вопросы, затем все более конкретные (метод «воронки») или, наоборот, в конце эксперты делают некие обобщения (метод «пирамиды»).

Так как участники опроса, как правило, осведомлены о цели и задачах опро­са, теряется смысл использования косвенных вопросов, проективной техники,

Шляпентох В. Как сегодня изучают завтра (современные методы социального прогнозирования). М.: «Сов. Россия», 1975.

тестов и других приемов, с помощью которых обычно выявляют позиции респон­дента без его ведома. Их использование, а также применение «вопросов-ловушек» может даже нанести заметный ущерб качеству экспертного опроса. Ведь эксперт — это участник научного исследования, всякие попытки превратить его из субъек­та исследования в объект могут поколебать основы взаимного доверия, которое необходимо между организаторами исследования и экспертами. Чтобы добить­ся активного и серьезного отношения эксперта, дать ему почувствовать себя пол -ноправным участником научного исследования, его необходимо в какой-то мере познакомить с программой исследования. В силу специфики экспертной ауди­тории основным методом опроса становится не интервью, а анкета, заполняе­мая самим экспертом. Причем в анкете значительно чаще прибегают к откры­тым вопросам, которые позволяют лучше установить творческий потенциал эк­сперта, и дают возможность участнику опроса высказать оригинальную точку зрения. Кроме того, отказ от подсказок ослабляет влияние стереотипов.

Методисты выделяют также методы заочного и очного экспертного опроса. К методам первого из них относятся: письменный опрос (сбор мнений), анке­ тирование (формализованный опрос), метод независимых характеристик и дель­фийская техника, ко вторым — интервью, совещание, исследовательская бесе­да, «мозговая атака». Число экспертов не должно превышать 10— 15 человек.

Наиболее простым видом заочного опроса экспертов является письменный опрос (сбор мнений). Он состоит в том, что экспертам рассылаются (разда­ются) специально подготовленные опросные листы, в которых они должны изложить свое мнение по существу поставленных вопросов. При составле­нии экспертного вопросника используется от 50 до 90% открытых вопросов. Сбор мнений подобен свободному интервью и отличается от него лишь пись­менной формой опроса, которая дает возможность привлечь большое число экспертов. Правда, заочный опрос связан с организационными трудностя­ми, обусловленными низким уровнем возврата анкет.

Формализованный опрос экспертов представляет собой обычное анкетиро­вание с вопросами, сформулированными как в открытой, так и в закрытой форме. По целям, задачам и содержанию этот метод существенно отличает­ся от письменного сбора мнений. Если последний проводится для выявле­ния эвристичных, принципиально новых идей, взглядов на проблему, не­ожиданных подходов к старой проблеме, то анкетирование направлено на выяснение оценок тех или иных аспектов готового решения. Обычный ме­тод анализа данных в таком случае — статистический.

Метод независимых характеристик позволяет дать обобщенную оценку одного явления, информация о котором поступает из нескольких независи­мых источников (от разных людей). На первом этапе происходит сравнение и сопоставление разных мнений, на втором — они обрабатываются с помо­щью математико-статистических процедур, на третьем — формулируются до­стоверные выводы. Такой метод активно применяется в социальной психо­логии для изучения деловых и личностных качеств индивида⁴. Здесь несколь-

⁴ Платонов К.К. Метод обобщения независимых характеристик в социальной психологии // Методо­логия и методы социальной психологии / Отв. ред. Е.В. Шорохова. М., 1977. С. 148—156.

ких людей, хорошо знакомых с изучаемым человеком, просят охарактеризо­вать его по единой шкале, а затем обобщают независимые оценки в интег­ральный показатель. В коллективной оценке субъективные отклонения вза­имопогашаются, что обеспечивает в конечном итоге объективный, научно обоснованный результат.

Одной из самых распространенных процедур проведения экспертного опроса выступает «дельфийская техника». Метод предусматривает опрос экс­пертов в несколько туров, обработку результатов каждого тура, информиро­вание их об этих результатах и вновь повторение такой же процедуры. В пер­вом туре ответы даются без аргументации. После обработки выделяются край­ние и средние суждения и сообщаются экспертам. Во втором туре опрашиваемые вновь обращаются к своим оценкам. Так как они имели дос­таточно времени на размышление и узнали о существовании других позиций на этот счет, им предоставляется возможность пересмотреть свои взгляды либо, напротив, аргументировать. После второго тура обрабатываются но­вые оценки: крайние и средние мнения обобщаются, итоги вновь доклады­вают экспертам. Так повторяется 3—4 раза. Практика показывает, что после третьего или четвертого тура мнения экспертов не меняются. В ходе подоб­ной процедуры вырабатывается согласованная оценка, при этом исследова­тель не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей позиции.

Метод «Дельфы» направлен на усовершенствование процесса принятия экспертных оценок, но с такой целью, чтобы общую оценку выводила не математика и статистика, а сами люди, ориентируясь на мнение других, если надо корректируя его, усиливая свою аргументацию или отказываясь от нее в пользу наилучшей, более обоснованной точки зрения. Подобная техника позволяет уменьшить влияние недостаточно компетентных экспертов на групповую оценку, как это наблюдается при простом анкетировании. Оно достигается за счет полученной ценной информации от более компетентных экспертов.

Метод «мозговой атаки» («мозгового штурма») считается наиболее изве­стным методом коллективного принятия творческих решений. Он представ­ляет собой свободный, неструктурированный процесс генерирования соб­ственных идей вокруг заданной темы, спонтанно предлагаемых участника­ми. Философия этого метода исходит из предположения, что при обычных приемах обсуждения возникновению новаторских идей препятствуют конт­рольные механизмы сознания, которые сковывают поток этих идей под дав­лением привычных, стереотипных форм принятия решения. Тормозящее влияние оказывают боязнь неудачи, страх оказаться смешным и т.д.

Этот метод разработан и описан американским психологом А.Ф. Осбор-ном в 1938 г. Ученый обратил внимание на то, что одни люди легко выдви­гают новые идеи, другие больше склонны к критическому анализу чужих идей. При обычных обсуждениях обе категории людей оказываются вместе и, как правило, мешают друг другу. Вот почему было решено разделить эта­пы генерирования идей и их анализа. Для этого создаются две группы: уча­стники мозговой атаки — те, кто должен предложить новые варианты реше­ния нужной задачи, и члены комиссии, которые будут обрабатывать пред­ложенные материалы. В первую группу, которая будет генерировать идеи, сначала назначается руководитель, который будет эту группу укомплектовы-

вать, включая в нее 4— 11 человек. Члены этой группы не могут быть связа­ны отношениями «руководитель—подчиненный» из-за угрозы разрушения ат­мосферы доверия. Руководитель опроса сообщает членам группы суть реша­емой проблемы за 2—3 дня до проведения «мозговой атаки». Проблема должна быть обозначена как можно более четко и всесторонне. При проведении моз­говой атаки в группе создается непринужденная атмосфера. Этому содейству­ет состав группы, поведение руководителя, выбор помещения, освещение и т.д. Никто из участников не должен бояться того, что его высказывания не пред­ставляют ценности. Предложения или идеи нельзя негативно оценивать ни словом, ни жестом, ни интонацией (любая критика запрещена), наоборот, желательна их поддержка и развитие. Свои мысли участники должны выс­казывать откровенно и свободно. Нередко это уменьшает скованность груп­пы и является первопричиной рождения оригинальных идей. Поступившие при обсуждении предложения фиксирует секретарь. Мозговой штурм длит­ся не более 2—3 ч. Слишком быстрое завершение нежелательно, так как ус­тановлено, что новые и оригинальные идеи возникают часто тогда, когда кажется, что исчерпаны все возможные мысли и ассоциации.

Рис. 5. Метод «мозговой атаки» — свободное генерирование собственных идей вокруг

заданной темы

Распространенными считаются две формы мозговой атаки: простое сове­щание и совещание по круговой системе.

На простом совещании руководитель поочередно опрашивает каждого уча­стника и просит высказать предложение по решению стоящей перед ними проблемы. Каждое решение заносится в список и нумеруется, затем этот спи­сок вывешивается у всех на виду. Критика или оценка идей не допускается. Особое значение уделяется созданию свободной и творческой обстановки, позволяющей всем экспертам беспрепятственно высказывать свои идеи и пред­ложения. Большое значение имеет количество представленных предложений. В их выдвижении должны участвовать все. Особо ценится экспромт, т.е. пред-

ложения, возникшие тут же и под влиянием той информации, которую экс­перт услышал от других. Они ценятся выше домашних заготовок, поскольку аккумулируют коллективную мысль, помноженную на знание ситуации и твор­ческое воображение автора идеи. Если атака на непознанное идет слишком вяло, совещание переносят на другую дату, позволяя экспертам «дозреть».

При совещании по круговой системе эксперты разбиваются на небольшие группы, состоящие из 3 или 4 человек, где продуцируют новые идеи и запи­сывают их на листе бумаги или на карточках (по 2—3 идеи на каждой). Затем члены малой группы обмениваются своими карточками, в результате чего к старым идеям добавляются новые. После троекратного обмена каждая под­группа составляет сводный перечень выдвинутых идей. Затем собирается вес! коллектив, на рассмотрение которого представляются групповые отчеты Такую форму целесообразно использовать при снижении активности или когда участники отвлекаются в ожидании своей очереди.

Списокидей, выдвинутых в результате «мозгового штурма», обычно довольнс длинный (более 15—20). Ведущему бывает сложно определиться с их приори­тетностью, а участникам — дождаться своей очереди на обсуждение. В помоиц рекомендуют применять следующий метод. Перечень идей с порядковыми но­мерами вывешивается на видном месте. Каждый эксперт получает право на пять голосов, которыми он может распорядиться по своему усмотрению: по одном} голосу за каждую из пяти идей, все пять — за одну, два голоса за одну идею и пс одному за каждую из трех других и т.д. Такой подход позволяет каждому экс­перту высказать свое предпочтение, а коллективу в целом — определиться с приоритетами. Другой способ: на заседании группы каждая идея зачитывается под своим номером, а эксперты голосуют поднятием рук. Число вытянуты> пальцев на поднятой руке указывает на количество поданных голосов⁵.

Метод «мозговой атаки наоборот» во многом напоминает обычную «моз­говую атаку», но при этом разрешается высказывать критические замечания Точнее сказать, критика специально поощряется, так как философия такогс метода построена на том, чтобы все эксперты выявляли как можно больше не­достатков у предлагаемых идей. Метод может дать неплохие результаты, если он выступает предваряющей процедурой к другим методам экспертизы.

Метод прогнозных сценариев — наиболее популярный в последние десяти­летия метод экспертных оценок. Термин «сценарий» впервые был употреб­лен в 1960 г. футурологом Г. Каном при разработке картин будущего, необ­ходимых для решения стратегических вопросов в военной области. Сцена­рий — это вероятностное описание картины будущего, составленной на основе компетентных технических суждений. Один прогноз включает не­сколько сценариев, в большинстве случаев три: оптимистический, пессими­стический и промежуточный (наиболее вероятный, ожидаемый). Составле­ние сценария происходит в несколько этапов: 1) структурирование и фор­мулировка вопроса: сбор и анализ исходной информации, согласование задачи со всеми участниками проекта, выделение структурных характерис­тик проблемы; 2) определение факторов внешнего влияния; 3) нахождение показателей, желательно альтернативных, будущего состояния; 4) формиро­вание и отбор согласующихся наборов предположений при помощи компь-

См.: Мазманова Б.Г. Методические вопросы прогнозирования сбыта // Маркетинг в России и зг рубежом. 2000. № 1.

ютерных программ; 5) разработка практических рекомендаций к сценарию будущего и определение возможных последствий его реализации.

Метод коллективного блокнота («банка» идей) — способ, основанный на сочетании независимого выдвижения идей каждым экспертом с последую­щей их коллективной оценкой.

Метод KJ—так называется метод антропологических исследований, когда исследователи сначала собирают коллекцию фактов о жизни племени, а за­тем просят туземцев объяснить их значение. Японский бизнес адаптировал метод KJследующим образом: служащих компании просят набросать на ли­сточках бумаги свои пожелания об усовершенствованиях процесса произ­водства и предложения о том, что компании следует делать. Полученные пожелания и предложения анализируются, и на основе суммы мнений по­лучается картина, на которой изображена перспектива компании и ее под­разделений в будущем. Метод носит скорее интегрирующий, чем аналити­ческий, характер.

Метод неспециалиста заключается в том, что решение проблемы предла­гается лицам, которые никогда ею не занимались, но являются специалис­тами в смежных областях.

(резка

Центре социологии региональных и нацио-альных отношений ИСПИ РАН (рук. чл.-кор. АН В.Н. Иванов) изучение проблем взаимодей-твия федерального центра и регионов построе-о на основе систематических опросов эксперт-ых групп". В состав экспертных групп или так азываемых групп специализированного созна-ия входили: специалисты областных (респуб-иканских, краевых) и городских администра-,ий, руководители предприятий и учреждений •азличной формы собственности, работники редств массовой информации, высшего обра-ования; а также представители творческих со-ззов. Метод сбора информации — раздаточная нкета. География исследований была весьма _1ирокой. По сопоставимой методике исследо-;ания проводились в Москве, Ставрополе, Уфе, 1етрозаводске, Якутске, Улан-Удэ, Тюмени, 1овосибирске, Казани, Астрахани, Тамбове, Саранске, Рязани, Ростове-на-Дону, Волгодон­це, Барнауле, Владикавказе, Нальчике, Назра-|и. Данные экспертных опросов, проведенных i 2000—2002 гг., свидетельствуют, что если сло-кившаяся к концу 1990-х гг. ситуация в РФ мог-ia быть охарактеризована как кризисная, а в тчале 2000-х гг. она начинает выправляться обнаружена положительная динамика оценок жспертов во времени). Ежегодные экспертные >просы, проводимые Отделом социальной эко-югии регионов ИСПИ РАН (рук. И.А. Сосунова), юзволяют определить значимые для населения

Иванов В.Н. Центр социологии региональных и национальных отношений // http:// www.ispr.ru/10LET/STATII0/statil 1.html

экологические проблемы, порождающие нега­тивные социально-экологические процессы. В частности, установлено, что наиболее болез­ненно воспринимаются населением проблемы, проявляющиеся в сфере здравоохранения и по­рождающие социально-демографические, соци­ально-экономические и иные последствия**. В результате опроса членов экспертных советов по социальным и гуманитарным наукам ВАКа сотруд­ники Отдела теоретических проблем социологии

ИСПИ РАН (рук. Л.Н.Москвичев) получили следу­ющие данные: почти половина экспертов отмеча­ют снижение требований к кандидатским работам и около 40% экспертов отмечают снижение требо­ваний к докторским работам. Примерно такая же ситуация складывается и применительно к диссер­тациям по социологическим наукам"".

Сосунова И.А. Отдел социальной экологии ре­гионов // http://www.ispr.ru/10LET/STATI10/ statil2.html '" МосквичевЛ.Н. Отдел теоретических проблем социологии // http://www.ispr.ru/10LET/ STATI10/statil6.html

ОТБОР ЭКСПЕРТОВ

И в массовом, и в экспертном (его в противоположность массовому можно назвать элитарным) опросе чуть ли не главным моментом выступает отбор опрашиваемых. В первом случае речь идет о правильном составлении выбо­рочной совокупности, которая впоследствии обеспечит репрезентативность данных. Уровень образования и компетентности, если это не опрос целевой группы, не играют никакой роли — все равно вопросы для всех стандарти­зированные. Во втором случае задача стоит почти обратная. Типичные экс­перты нужны далеко не всегда. Часто социологу необходимы эталонные, лучшие представители своей профессии. И на репрезентативность данные проверять никто не станет. Достоверность данных в массовом опросе как некоторых среднестатистических показателей тем выше, чем больше сово­купность опрошенных. Что же касается экспертного опроса, то в связи с высокой компетентностью участвующих в нем лиц мнение даже одного эк­сперта, а тем более группы экспертов может оказаться достаточно обосно­ванным и достоверным. Отметим и другой факт: некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опро­сах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Так, напри­мер, в экспертной анкете не применяются косвенные и контрольные вопро­сы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента.

Состав экспертной группы определяет эффективность использования этого метода. Дело в том, что такой характеристикой, как знания и опыт по данной проблематике, можно пользоваться только на самом первоначальном этапе отбора. Очень часто исследователь в первоначальный список потенци­альных экспертов включает всех, кто работает в данной области, а затем от­бирает из него узкий круг лиц.

Как же грамотно сформировать нужную группу экспертов? Вот что предла­гают авторы известной у нас в стране книги «Основы прикладной социологии», изданной под редакцией крупного методиста, директора Центра социального прогнозирования и маркетинга Ф.Э. Шереги⁶. На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитывают­ся также уровень, характер образования, опыт общественно-политической де­ятельности, возраст и др. Первый список экспертов может быть весьма широ­ким, однако в последующем его целесообразно «сузить», так как не каждый человек способен выступить в роли эксперта.

Центральный критерий отбора экспертов — их компетентность. Для ее определения применимы, с той или иной степенью точности, два метода; самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов — совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта

Основы прикладной социологии: Учеб. для вузов. М., 1995. С. 150-155.

и способностей по ранговой шкале с позициями «высокий», «средний», «низ­кий». При этом первой позиции приписывается числовое значение «1», вто­рой — «0,5», третьей — «0». В таком случае совокупный индекс — коэффици­ент уровня компетентности эксперта — вычисляется по формуле:

где А:, — числовое значение самооценки экспертом уровня своих теоретичес­ких знаний; к₂ — числовое значение самооценки практического опыта; к_ъ — числовое значение самооценки способности к прогнозу.

Коэффициент уровня компетентности может изменяться от 1 {полная компетентность) до 0 {полная некомпетентность).

Обычно в группу экспертов принято включать тех, у кого индекс компе­тентности не менее среднего (0,5) и выше (до 1). Получение первичных чис­ловых значений самооценки (&,, k_v &₃) для расчета индекса компетентности экспертов происходит при помощи вопроса табличной формы (табл. 1).

Таблица 1