Сбор экспертных заключений и обработка результатов

Техники экспертных оценок в психодиагностике

Необходимость знания экспертных методик для психологов достаточно очевидна, однако они редко назначаются в форме, позволяющей применять их без специального разъяснения. В большинстве случаев описание методики сводится к технике количественной обработки данных, правила которой восходят к математическому анализу так называемого циклического парадокса. Кроме того, их разработчики мало уделяют внимания тому, чтобы при использовании экспертных оценок необходимо обращаться к теоретическим концепциям, отражающим основные качественные особенности исследуемого объекта, и что сами экспертные методы базируются не столько на конкретной информации, имеющейся у эксперта, сколько на его общих концептуальных представлениях о ней.

К настоящему времени описано несколько десятков вариантов применения экспертных оценок в прогнозно-аналитических разработках различного уровня. Большинство из них можно классифицировать по трем группам: индивидуальные, коллективные и универсальные.

 Методические варианты индивидуальных экспертных оценок:

— метод интервью основан на беседе эксперта с прогнозистом по схеме «вопрос—ответ», причем «ответ» фиксируется в качестве элемента системной модели изучаемого явления;

— метод генерации идей основан на выявлении экспертной оценки (мнения эксперта) с помощью программированного управления мыслительным процессом, включающего обращение к глубинной памяти человека.

 Методические варианты коллективных экспертных оценок:

— метод коллективной экспертной оценки основан на выявлении объективно обобщенной оценки экспертной группы путем обработки индивидуальных, независимых оценок, вынесенных экспертами, входящими в ее состав;

— метод экспертных комиссий основан на совместной работе нескольких экспертов, формулирующих общее мнение в качестве согласованной итоговой оценки;

— метод Дельфи основан на выявлении согласованной оценки экспертной группы путем их автономного опроса в несколько туров, предусматривающего сообщение экспертам результатов предыдущего тура с целью получения дополнительного обоснования оценок экспертов в последующем туре;

— метод коллективной генерации идей («мозговой штурм») основан на стимуляции творческой деятельности экспертов путем совместного обсуждения конкретной проблемы, регламентированного особыми правилами;

— метод управляемой генерации идей основан на использовании целенаправленного интеллектуального воздействия на группу экспертов со стороны руководителя обсуждения, усиливающего процесс коллективной генерации идей.

 Универсальные методы экспертных оценок, применяемые как в индивидуальном, так и групповом формате представления аналитических суждений:

— матричный метод основан на использовании матриц, отражающих значения (веса) вершин граф-модели объекта прогнозирования, с последующим преобразованием и операционализацией матриц;

— метод построения прогнозного сценария основан на установлении логической последовательности состояний объекта прогнозирования и прогнозного фона во времени при различных условиях;

— морфологический анализ основан на построении матрицы характеристик объекта прогнозирования и их возможных значений с последующим перебором и оценкой вариантов сочетаний этих значений;

— синоптический метод основан на анализе экспертами известного множества прогнозов относительно объекта прогнозирования и прогнозного фона с последующим их синтезом.

Данные, полученные на основе экспертных оценок, могут быть отнесены к категории вторичной информации, составляющей информационную базу прикладного проекта. Хотя в рамках настоящего учебника невозможно подробно описать содержание каждого инварианта экспертной методики, из приведенного списка очевидно, что они опираются на процедурные правила, сочетающие элементы психологических, социологических и политических знаний, а их применение предполагает самую разностороннюю подготовку специалистов, участвующих в экспертизе. Кроме того, обработка информации, полученной на основе экспертных оценок, предусматривает их количественную обработку и использование математических процедур. Таким образом, методика экспертных оценок относится к категории междисциплинарных исследовательских техник.

Сбор экспертных заключений и обработка результатов

Составляя анкеты для проведения экспертизы, следует иметь в виду, что при их заполнении определенную роль играет порядок постановки вопросов и их формулировка. Вопросы не должны допускать двойного толкования или побуждать эксперта выразить мнение в малознакомой ему предметной области. Мера конкретизации вопросов должна учитывать реальную возможность специалиста дать правильный ответ. Излишняя детализация создает иллюзию максимальной точности суждения, тогда как на самом деле она может отвлекать от главных вопросов. Практика показывает, что сначала лучше искать ответы на общие вопросы, а затем постепенно переходить к более частным.

Важное значение имеет и количество объектов, предъявляемое эксперту. Самые надежные результаты достигаются при числе объектов, равном 7±2. Показатель 7±2 отмечается в психологии как мак-симальное количество факторов, тем, вопросов, над которыми человек способен думать одновременно.

Сбор экспертных заключений может проводиться заочно, когда личный контакт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется в рамках беседы с экспертом. Преимущества и недостатки очной или заочной процедуры аналогичны тем, с которыми сталкиваются социологи, проводя опросы общественного мнения. Заочный опрос относительно дешев, однако при нем возможны искажения в случае неправильного заполнения анкет. При личной беседе этот недостаток исключается, но зато требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может сознательно или бессознательно влиять на ответы эксперта.

Очные способы выражения экспертами своих оценок классифицируются по тому, насколько анонимно они совершаются. Анонимный опрос подразумевает, что никто из экспертов не знает оценок своих коллег. Допускается также анонимное обсуждение оценок, не совпадающих с мнением большинства, оно проводится в письменном виде. Полную противоположность анонимному опросу составляет процедура сбора экспертных заключений в ходе открытого группового обсуждения всех оценок. И тот и другой способ имеет свои преимущества: анонимность позволяет откровенно высказывать персональное мнение, а атмосфера открытого обсуждения способствует пробуждению творческой активности экспертов.

Экспертные процедуры возникли на фоне традиционных методов принятия политических решений и во многом воспроизводят сложившийся формат открытых и закрытых совещаний. Но их главным отличием является стремление избегать жестких ограничений для выдвижения экспертами своих суждений. Благодаря этому подходу возникает благоприятная интеллектуальная среда творческого осмысления сложных проблем и преодоления устаревших стереотипов восприятия. Поэтому обычно атмосфера, свойственная экспертным совещаниям, определяется в профессиональном лексиконе термином «мозговой штурм». Но для того чтобы его возможности были полностью реализованы, необходимо соблюсти несколько правил повышения эффективности мышления.