Методы экспертных оценок

Под экспертными оценкамипонимают эвристические оценки, основанные на опыте и интуиции эксперта. Широкое распространение метода было обусловлено сложностью и многофакторностью экономических измерений.

Выделяют два уровня использования экспертных оценок – количественный и качественный. На качественном уровне эксперты выражают свое мнение о тенденции изменения показателей, а на качественном – составляют прогноз вероятных результатов.

Различают индивидуальные и групповые экспертные оценки. Групповые оценки снижают риск субъективности, так как результат оценки тесно связан с личностью эксперта.

Метод экспертных оценок применяется в случаях, когда:

1) длина исходных динамических рядов недостаточна для оценивания с использованием экономико-статистических методов;

2) связь между исследуемыми явлениями носит качественный характер и не может быть выражена с помощыо традиционных количественных измерителей;

З) входная информация неполная и невозможно предсказать влияние всех факторов;

4) возникли экстремальные ситуации, когда требуется принятие быстрых решений. Суть экспертных методов заключается в организованном сборе суждений и предположений экспертов с последующей обработкой полученных ответов и формированием результатов.

При отборе экспертов необходимо провести их оценку при помощи тестирования, самооценки или взаимной оценки экспертами друг друга. По результатам оценки можно рассчитать так «весовой коэффициент» значимости оценки каждого эксперта. Значение его будет прямо пропорционально степени компетентности эксперта.

Важной характеристикой качества результата экспертизы считают согласованность мнения экспертов, которую оценивают по величине коэффициента конкордации Кендалла:

W = 12 * S / ( n 2 * ( m3 – m)),

где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического;

n – число экспертов; m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 1 соответствует полной согласованности мнений экспертов.

Пример:

Задача №1 (семинар 7)
Объект	Оценка эксперта	Сумма рангов	Отклонение от среднего	Квадрат отклонения
экспертизы
							-1
							-8
							-5
							-15
Среднеарифм. число рангов = (21 + 15 + 9 + 28 + 7 + 25 + 35) /7 = 20	=Σ/7 =		Σ =
Коэффициент конкордации Кендалла	0,9	= 12*630/(5^2*(7^3-7))
W = 12 * S / ( n^2 * ( m^3 – m)),
где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического;
n – число экспертов; m - число объектов экспертизы.

Различают следующие методы экспертных оценок:

Попарное сравнение

В этом случае эксперту предлагается сравнить объекты исследования по принципу «лучше или хуже» и построить ранжированный ряд. При выполнении оценки эксперт сравнивает пары объектов, отдавая предпочтение одному из них. Предпочтение обозначается 1, в противном случае – 0. Результаты сводятся в таблицу следующего вида:

Таблица

Номер объекта							Итоги
	Х
		Х
			Х
				Х
					Х
						Х

В первой строке оценивается объект 1 по сравнению с объектами 2,3,4,5,6. Видно, что объект 1 предпочтительнее, чем объекты 2,4,5 и 6, но проигрывает объекту 3. Во второй строке сравнивается объект 2 с остальными объектами. Можно заметить, что если объект 1 предпочтительней объекта 2 (по 1-ой строке, где стоит «1»), то объект 2 (по 2-ой строке) менее предпочтителен объекта 1 (стоит «0»).

Сумма баллов по строке показывает общую оценку объекта и позволяет ранжировать их по степени предпочтительности. В приведенном примере объекты 1 и 2 получают равные оценки, самым лучшим является объект 3, самым неудачным – объект 5.

2. Метод «Дельфи».

Предполагает проведение экспертизы в несколько этапов и работу нескольких изолированных групп экспертов. На первом этапе каждая группа экспертов высказывает свое мнение, затем все оценки анализируются. Из предложенных оценок выбираются крайние значения, которые вновь подвергаются уже совместной экспертизе. Обычно требуемый уровень согласованности достигается на втором этапе, но при необходимости анализ крайних оценок можно повторить.

Один из наиболее известных методов экспертных оценок - это метод Дельфи. Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма (пифии), надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отвечали на вопросы пришедших со своими проблемами паломников. Те спрашивали, отправляться ли в морское путешествие, вступать ли в брак, заключать ли договор с тем или иным деловым партнером, начинать ли войну, и т.д.

Технология экспертного оценивания состояла в следующем. Получив "заказ на экспертное прогнозирование", жрецы передавали его пифиям, выслушивали пророчества пифий, а затем толковали услышанное заказчику. С течением времени в храме накапливались пожертвования и памятные доски от тех, для кого прогнозы сбылись. Если же прогноз не осуществился, то сообщить об этом зачастую было некому, - заказчик лежал на морском дне или был убит в битве, разорен и продан в рабство, и т.п.

По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие 15 лет она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Другие названия метода: "Дельфийский метод", "Метод дельфийского оракула".