Организация проведения экспертизы

Рассмотрим подробнее метод Дельфи.

Этот метод относится к классу количественных методов групповых экспертных оценок.

Опрос экспертов проводится в 3-4 тура, состоящих из серии анкет; вопросы конкретизируются от тура к туру. Для проведения этого метода необходимо также создать аналитическую группу, которая после каждого тура производит статистическую обработку полученной информации.

Прежде всего, аналитики определяют область предпочтительных количественных значений объектов. После такой проверки проводится очередной тур.

Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Аналитическая группа проводит статистическую обработку полученной информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель КВАРТИЛЬ. Значение квартиля равно ¼ разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как минимальная оценка минус значение квартиля; максимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнениями всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку. Недостаток этого метода- занимает большое количество времени.

Пример 1.1.: Проблема – оценить уровень спроса на товар А в следующем году. Приглашены 10 экспертов. Каждый эксперт получил анкету с описанием товара и предполагаемого рынка сбыта. Экспертам предложено дать себе индивидуальную самооценку в баллах в диапазоне от 0 до 10. Уровень спроса на товар предлагается оценить в % ( процентах ) в диапазоне от 0 до 100.

Каждый эксперт работает самостоятельно и анонимно. После 1-го тура от экспертов были получены следующие результаты ( табл.1.1):

Результаты первого тура   N эксперта Коэф. Самооценки Уровень спроса-индивид. оценка эксперта   1. 10 90   2. 8 100   3. 10 75   4. 7 80   5. 8,8 90   6. 10 100   7. 6,6 80   8. 8,5 80   9. 7,4 60   10. 9,9 80

Аналитическая группа проводит следующий расчет:

Среднегрупповая самооценка равна fi= ( 10+8+......+9,9) : 10= 8,62

Среднее значение спроса ( простая оценка) равна (90+100+....80) :10= 83,5 %

Средневзешанная оценка спроса равна ( 10´90+8´100+....+9,9´80): (10+8+....+9,9)= 84,1%

Медиана в данном случае при четном числе экспертов рассчитывается как среднеарифметическое значение между серединными оценками и будет равна Ме=(80+80):2=80 (замечание: оценки экспертов по уровню спроса располагаются по возрастанию)

Область доверительности рассчитывается следующим образом:

Минимальная оценка-60%

Максимальная оценка-100%.

Квартиль будет равна (100-60):4=10%

Следовательно, нижняя граница доверительной области будет равна 60+10=70%

Верхняя граница будет равна 100-10=90%

Рис.1.4. Область доверительности

область доверительности

6070 75 80 90 100 оценки экспертов

Все полученные результаты предлагаются на рассмотрение экспертам. Если эксперты считают целесообразным откорректировать свое мнение, то они передают свои коррективы аналитической группе. И аналитическая группа рассчитывает новые результаты по тому алгоритму, который был рассмотрен выше.

Итоговое обобщенное мнение является основой для прогноза. Таким образом, результатом любого труда будут следующие оценки:

- простая;

- средневзвешанная;

- медиана;

- область доверительности;

При использовании метода “ Дельфи” следует учитывать следующее :

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов должно быть не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

В методе “Дельфи” для определения согласованности мнений экспертов можно предложить показатель коэффициента вариации V:

V= , где

s -среднеквадратическое отклонение от среднего мнений экспертов;

*- средневзвешенная оценка;

Для рассмотренного примера:

s²=1/10 [( 84,1-60)²+ ......+( 100-84,1)²] = 116,9

s=10,7

V= 10,7/ 84,1= 0,13=13%

Если V< 33%, то согласованность во мнениях экспертов наблюдается.

Рассмотрим еще один метод коллективной оценки-Ранжирование.

Рациональное использование информации, полученной от экспертов, возможно при условии преобразования преобразования ее в форму, удобную для дальнейшего анализа. В первую очередь, объекты или признаки располагают в определенном порядке, упорядочивают или ранжируют.

Ранжирование- расположение явлений (факторов) в порядке возрастания (убывания) по любому присущему ему свойству. Ранг- это показатель, характеризующий порядковое место оцениваемого объекта i (фактора) в группе других объектов. При ранжировании эксперт должен расположить объекты (факторы, признаки) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда- ранги(1,2,3 и т.д.).

Желательно, чтобы каждый объект получил свой индивидуальный ранг и у разных объектов не было бы одинаковых рангов. Если все-таки эксперту трудно различить объекты, он может дать им одинаковые ранги, но тогда аналитик обязан перечислить ранги ,полученные от экспертов и получить так называемые стандартизированные ранги. Стандартизированный ранг есть среднеарифметическое значение суммы мест одинаково оцениваемых объектов. После того как рассчитан стандартизированный ранг, делается пересчет рангов тех объектов, которые следуют за одинакого оцениваемыми объектами. И тогда сумма рангов по одному объекту от одного эксперта будет равна[n´(n+1)]:2.

Пример 1.2.

Даны ранги i-го эксперта. Результаты, полученные от i-го эксперта представлены в таблице 1.2.

(табл.1.2)

Ранжирование объектов
Объекты:	А	В	С	D	I	F
Ранги (оценки эксперта)

Как видим, эксперт не различает объекты С,D,I и присвоил им, соответственно, одинаковый ранг, равный 3 и, естественно, объект F получил следующий по порядку ранг- 4.

Рассчитываем стандартизированный ранг:

Объекты C, D, I стоят на 3,4,5 местах. Среднеарифметическое значение суммы мест будет равно = ( 3+4+5):3=4. Это и есть стандартизированный ранг для объектов C, D, I.

Необходимо изменить ранг объекта F соответствующим образом- измененный ранг объекта F будет равен 6. И тогда результат будет иметь вид:

(табл.1.3)

Стандартизированные ранги
Объекты:	А	В	С	D	I	F
Ранги

И в этом случае сумма рангов по всем объектам равна 6´ (6+1):2= 21.

Проверка: 1+2+4+4+4+6=21

Эта сумма рангов будет использоваться при анализе согласованности мнений экспертов.

Существуют различные методы ранжирования. Рассмотрим некоторые из ни.