Оценка качеств эксперта

Эксперт — специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.

Способы оценки качеств эксперта:

· Априорными называются методы оценки качеств экс­перта, при которых не используется информация о ре­зультатах его участия в предшествовавших экспертизах.

· Апостериорными называются методы, основанные на информации о результатах участия в предыдущих экспертизах.

· Тестовыми являются методы предполагающие проведение специального испытания.

Априорные методы оценки эксперта(АПРИОРИ (от лат. apriori - из предшествующего) - понятие логики и теории познания, характеризующее знание, предшествующее опыту и независимое от него; введено в средневековой схоластике в противоположность апостериори. В философии И. Канта априорное знание (пространство и время как формы созерцания, категории) - условие опытного знания, придающее ему оформленный, всеобщий и необходимый характер. ).

· Методы самооценивания - эксперт сам дает оценку своим качествам.

§ самооценка по одной из балльных шкал (3-, 5-,10- или 100-балльной);

§ самооценка с использованием вербально- числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

§ самооценка по вербальной шкале, при которойэксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не пред­ставляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

· Методы взаимной оценки - эксперты оценивают друг друга.

§ Метод списка экспертов - каждый из экспертов составляет спи­сок специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта — от­ношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

§ Документационный или анкетный, метод-для оценки оп­ределенных качеств специалиста предлагается пользо­ваться объективными характеристиками, имеющими до­кументальное подтверждение, например, такими, как стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций и т.п. Следует иметь в виду, что основываясь только на этих объективных факторах, невозможно аде­кватно оценить пригодность и полезность участия экс­перта в работе конкретной экспертной группы.

Апостериорные методы оценки - могут выявить такие качества, как конформизм, конъюнктурность, ком­петентность. Опирающийся на опыт, основанный на знании фактов.

· Метод парных сравне­ний(ком­петентность) - эксперту последовательно предъявляются пары сравниваемых объектов оценки, и он выбирает из каждой пары наиболее пред­почтительный с его точки зрения объект. После предъ­явления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть си­туация, когда при непосредственном сравнении первый объект предпочтительнее второго, второй предпочти­тельнее третьего, но в то же время третий объект оказы­вается предпочтительнее первого, т.е. возникает очевид­ное противоречие.

· В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетент­ность.

· Коэффициент достоверности — относительная час­тота случаев, в которых эксперт приписывал наиболь­шую вероятность впоследствии подтвердившимся собы­тиям.

· При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуаль­ные коэффициенты экспертов.

· Метод отклонения от результирующей групповой оценки- расчет коэффициента отклонения Коi=Doi/Dmax;

Коi-коэфф. Отклонения суждений i-го эксперта;

Doi- отклонение индивидуальной оценки i-го эксперта от результирующей оценки;

Dmax-максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта - позволяют установить наличие у эксперта определенного профессионального уровня, выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии.

Правила проведения тес­товых экспериментов:

• тест должен быть разработан специально под кон­кретные объекты экспертной оценки;

• истинные значения оцениваемых параметров (пра­вильные ответы) должны быть известны аналити­ческой группе, проводящей испытание, но не из­вестны испытуемому эксперту;

• должна быть разработана шкала для определения точности оценок, даваемых экспертом;

• вероятность случайного угадывания истинной оцен­ки должна быть очень мала.