Достоинства метода экспертных оценок

Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать.

Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены, прежде всего, недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

ЭКСПЕРНАЯ ГРУППА

2.1. Требования к экспертной группе
Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу.

2.2. Отбор экспертов, формирование экспертных групп - достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений.

Возможно выделение как профессиональной (реализуемой специально подготовленными специалистами - психологами), так и непрофессиональной (осуществляемой коллегами, подчиненными и руководителями, хорошо знающими оцениваемого сотрудника) экспертной оценки.

Подбор специалистов для участия в экспертном опросе начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова - активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

2.3. Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.

Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов.

Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.

В то же время привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Достоверность экспертной оценки зависит от компетенции эксперта. Независимо от уровня экспертизы ее должны давать наиболее квалифицированные специалисты.

2.4. Общие требования к эксперту (реестр качеств, которыми должен обладать «идеальный» эксперт):- Г.Гэллап -
• компетентность в исследуемой области;
• эрудированность в смежных областях;
• принципиальность;
• научная объективность;

• интуиция;

• креативность, развитые творческие способности, позволяющие анализировать проблемные ситуации и находить пути разрешения противоречий;
• отсутствие склонности к конформизму, принятию мнению большинства;
• аналитичность, широта и конструктивность мышления;
• позитивное отношение к инновациям, отсутствие консерватизма;

• стаж научной или практической работы в определённой сфере;
• должностное положение;

Для независимой экспертизы весьма важна этика поведения эксперта, прежде всего его честность, неподкупность, ответственность.

Мкртычян выделяет следующие профессионально важные качества эксперта:

• Профессиональные мотивы, цели, интересы;
• Профессиональные способности;
• Профессиональные самосознание;
• Профессиональный тип мышления,
• Соответствующие профессиональные способности, охватывающие прежде всего сферу интеллектуальных действий эксперта:
  
  1.Исследовательско-аналитические способности, обеспечивающие планирование и проведение эмпирических исследований, анализ их результатов.
  
  2.Рефлексивные способности - способности к умственной реконструкции и моделирования эмпирического опыта.
  
  3.Прогностические способности, обеспечивающие создание обоснованных прогностических моделей инновационного процесса и его участие в проектировании развития.

4.Способности к диалоговому общению, взаимодействию, сотрудничеству со всеми участниками экспертного процесса.

Наиболее простым способом оценки компетентности экспертов является анкетирование, разработанное в логике «постадийного развертывания вопроса» (Г.Гэллап)

• Вопрос-фильтр, позволяющий выявить осведомленность опрашиваемого в проблеме
• Вопрос, направленный на выявление общего отношения опрашиваемого к проблеме (открытый, не предусматривающий вариантов выбора ответа)
• Вопрос для получения ответа по конкретному аспекту проблемы (закрытый, предполагающий варианты готовых ответов)
• Вопрос, позволяющий выявить причины взглядов, мотивацию его суждений (полузакрытый)
• Вопрос на выявление устойчивости взглядов опрашиваемого на проблему (в закрытой форме).
  

Экспертные оценки наиболее целесообразно проводить не в виде описания качественных проявлений свойств (это гораздо эффективнее сделать в последующей беседе с экспертами), а в виде оценки степени того или иного свойства или элемента поведения. Эксперты должны фиксировать выраженность более или менее дробных элементов поведения, не связанных с обобщениями.

Обобщение результатов экспертной группы — дело исследователя.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1) экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальный (на основе социально-демографических данных);
3) голосованием (на основе аттестации потенциальных экспертов их коллегами);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы - дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом.

Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов).

Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.