Методы экспертного оценивания

Часто невозможно дать оценку идей, решений, предложений, проектов, новшеств, используя какие-то формализованные методы. В таких случаях обращаются к мнению специалистов, предполагая, что они обладают знаниями и опытом, системой предпочтений, позволяющими сравнивать и оценивать различные явления. Примерами такой оценки могут служить медицинский или педагогический консилиум.

С помощью экспертных оценок решать различные задачи, в том числе:

· ранжирование проблем по их значимости;

· оценка значимости причин тех или иных проблем, явлений;

· оценка характеристик новшеств, проектов, решений по каким-то критериям;

· оценка вероятности возникновения явлений, ситуаций в будущем.

Как и всякое измерение вообще, экспертная оценка имеет определенную степень надежности (ошибку измерения). Опыт показывает, что нередко экспертная оценка дает результаты, далекие от истинного. Чтобы повысить ее надежность, т.е. снизить вероятность большой ошибки, нужно соответствующим образом построить процедуру проведения экспертизы.

Рекомендуется соблюдать следующую последовательность этапов проведения экспертной оценки:

1) формализация цели экспертизы и определение процедуры опроса;

2) отбор и формирование группы экспертов;

3) проведение опроса;

4) анализ и обработка полученной от экспертов информации;

5) синтез полученной информации и принятие решения.

Фрмализация цели экспертизы и определение процедуры опроса.

На первом этапе организаторам экспертизы необходимо четко определить проблему, которую предполагается решить с помощью экспертных оценок, и условия их использования.

Разработка процедуры опроса требует от организаторов выделить объекты, которые будут представлены экспертам для оценки. Наиболее часто объекты оценивания заносятся в общий список, который не должен превышать 30-40 позиций. Если, например, хотят оценить степень влияния различных факторов на результаты обучения, то в начале составляется список этих факторов (это можно сделать с помощью мозгового штурма), а затем экспертам предлагается дать оценку. Способ оценки также определяется организаторами.

Форма вопроса или вопросов, с которыми организаторы экспертизы обращаются к экспертам, должна быть по возможности простой с тем, чтобы не требовалось много времени на его уяснение,и у экспертов не возникало различное толкование содержания, влияющее на конечные результаты. Последнее особенно важно, так как, если эксперты по-разному будут понимать свою задачу, то результаты экспертизы будут ненадежными.

Организаторы предлагают экспертам не только объекты оценивания и вопрос, но и измерительную шкалу[19]. Выбор шкалы измерений определяется характером исследуемых объектов. Если будет производиться оценка качественных свойств объектов, которые явно не представлены, то выбирают шкалы порядка или номинальную шкалу. Поскольку номинальная шкала очень ограничивает возможности исследователей по обработке полученной информации, то ее часто используют для предварительной классификации объектов с целью облегчения и ускорения последующей работы экспертов. Если, например, учителям, работающим в одном классе предлагается оценить, какие из учащихся имеют большую склонность к естественно-научному образованию, какие – к гуманитарному, а у каких – нет предпочтений, то в данном случае используется номинальная шкала. Все учащиеся разделяются на группы, между которыми нет отношений порядка типа "лучше-хуже". Если же той же группе учителей предлагают оценить отношение учащихся к учебе и задают шкалу оценки: "очень заинтересованное", "достаточно заинтересованное", "умеренно заинтересованное", "мало заинтересованное", "безразличное", то в этом случае учащихся тоже распределяют по группам, но между группами задано отношение порядка.

Наиболее часто используются шкалы порядка, имеющие от 5 до 11 градаций. Шкальные значения могут быть заданы числами или сформулированы словами. Например, для задачи определения степени влияния каких-то факторов на результаты работы учителя, шкала оценки может иметь следующий вид: "не оказывает никакого влияния", "оказывает незначительное влияние", "оказывает среднее влияние", "оказывает существенное влияние", "влияет в максимальной степени". Это пример шкалы оценок с пятью градациями в словесной форме. В числовом выражении подобная шкала могла бы быть задана так: "Оцените степень влияния перечисленных ниже факторов на результаты работы учителя в баллах по следующей шкале 0, 1, 2, 3, 4, где 0 соответствует отсутствию всякого влияния, а 4 - максимальному влиянию фактора".

Выбор шкалы оценки производится с учетом специфики исследуемых объектов, цели исследования, критериев оценки, контингента специалистов, которых предполагается использовать в качестве экспертов.

После построения шкалы оценки, организаторы должны выбрать ее процедуру. Процедура оценивания (еще ее называют процедурой опроса) – это совокупность операций, которые эксперты должны проделать над объектами с тем, чтобы выявить, зафиксировать и передать свои суждения. Выбор процедуры основывается на ранее принятой шкале измерений.

При использовании номинальной шкалы единственной процедурой, выполняемой экспертами, является классификация. Выполняя ее, эксперты должны сгруппировать предъявленные объекты по заданному критерию в определенное число классов.

Применение шкалы порядка допускает использование процедур упорядочивания. Наиболее распространенной и достаточно простой является процедура ранжирования. Часто при экспертизе ранжирование сочетается с процедурой непосредственной или балльной оценки.

При балльной оценке весь диапазон возможного изменения оцениваемого свойства объектов разбивается на несколько интервалов, каждому из которых присваивается определенное число (балл). Например, это может выглядеть так: (-3, -2, -1, 0, 1, 2, 3) или (0, 1, 2, 3, 4, 5, 6, 7). Перед экспертом ставится задача поместить каждый объект исходного списка в один из интервалов в соответствии с определенным критерием или по предположению о значимости какого-либо свойства. Затем на основании полученных оценок объекты ранжируются.