Формирование экспертной группы

Этот этап является одним из наиболее важных и ответственных в проведении экспертизы. От качества подбора экспертов во многом зави­сит успех экспертизы. На этом этапе решаются два вопроса:

1) сколько экспертов привлечь к экспертизе?

2) каково качество экспертов?

Необ­ходимое число экспертов определяется несколькими факторами, основ­ными из которых являются следующие.

Требуемая достоверность результатов экспертизы. Чем больше экспертная группа, тем более достоверные могут быть получены резуль­таты. Однако надо иметь в виду, что привлечение слишком большого числа экспертов, особенно если отсутствует процедура тщательного их отбора, тоже нежелательно. В этом случае оценки каждого отдельного эксперта очень слабо влияют на групповые оценки, поэтому оценки не­скольких действительно компетентных экспертов растворяются во мно­жество оценок малокомпетентных экспертов. В результате групповые оценки будут искажены.

Вторым фактором, определяющим количество экспертов, является наличие ресурсов (времени, затрат) на проведение экспертизы. Чем боль­ше экспертная группа, тем больше времени затрачивается на подбор и на опрос экспертов.

Наконец, количество экспертов зависит и от их качества. Если
имеется несколько высококвалифицированных экспертов (а может быть и только один), то не имеет смысла значительно увеличивать экспертную группу.

С учетом вышесказанного экспертная группа должна включать от 5 до 15 человек. При уменьшении численности экспертной группы до 2 – 4 человек не всегда возможно проведение статистического анализа резуль­татов опроса экспертов, и тогда приходится ограничиваться только качест­венным анализом.

Качество экспертов также определяется несколькими факторами. В первую очередь, конечно, их компетентностью по рассматриваемой про­блеме. Ниже будут изложены методы оценки компетентности экспертов.

Важным фактором качества эксперта является его отношение к за­даче, решаемой экспертизой. Необходимо привлекать к опросу тех экспер­тов, которые заинтересованы в результатах экспертизы. Вместе с тем не­обходимо, чтобы цели, которые преследуют эксперты, участвуя в данной экспертизе, совпадали с общей целью экспертизы.

Кроме того, при оценке качества экспертов необходимо учитывать их деловые качества, занятость.

Рассмотрим вопрос оценки компетентности экспертов. Эти оценки желательно иметь с тем, чтобы в разной степени учитывать личные оценки экспертов при определении групповых оценок объектов.

Существует несколько подходов к оценке компетентности [4]. Во-первых, организаторы экспертизы могут на основе прошлого опыта участия эксперта в различных экспертизах давать оценку его компетент­ности.

Другим методом оценки компетентности экспертов является их те­стирование. Для этого разрабатывается специальная тест-анкета. Отвечая на вопросы теста, эксперт должен показать свои знания объекта исследо­вания, аналитические способности. Следует отметить, что разработка анке­ты-теста является весьма сложной и трудоемкой процедурой, поэтому этот метод оценки компетентности оправдывает себя только в тех случаях, когда для экспертизы привлекается большое число экспертов (больше 30) или экспертиза проводится регулярно, и каждый раз требуются новые эксперты. В неко­торых случаях можно предложить экспертам произвести самооценку компетентности по некоторой шкале, например, от 2 до 5.

В тех случаях, когда эксперты знакомы с деятельностью друг друга, знают уровень компетентности друг друга, можно использовать метод вза­имной оценки компетентности. Для этого каждого эксперта i просят оценить компетентность других экспертов по некоторой шкале, например, от 1 до 5. Взаимные оценки компетентно­сти представляются в виде квадратной матрицы , столбцом i ко­торой являются оценки, данные i экспертом всем другим экспертам. Диа­гональные элементы в принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно ). Вектор коэффициентов компетентности экспертов определяется по следующей процедуре.

Примем для всех экспертов одинаковую компетентность . Определим на первой итерации

.

На второй итерации используем вычисленные :

.

На итерации t выражение примет вид:

.

Обозначим через .

Процедура вычисления сходится, тогда вектор компетентности определяется решением следующего векторного уравнения [5]:

,

т.е. является собственным вектором матрицы ( – максимальное действительное собственное число матрицы ).

По данным взаимной оценки компетентности экспертов можно вы­явить конфронтацию между экспертами, коалиции экспертов. Если такая конфронтация имеет место, то это исказит действительную компетент­ность экспертов. Поэтому в этих случаях метод взаимной оценки компе­тентности использовать не целесообразно.

Перечисленные выше методы оценки компетентности являются "внешними" по отношению к проводимой экспертизе, т.е. результаты оцен­ки компетентности являются входной инфор­мацией для обработки результатов экспертного опроса в данной экспертизе.

Но можно осуществлять оценку компетентности экспертов и по его опенкам объектов в данной экспертизе. Суть такого подхода заключается в том, что эксперты, которые дали противоречивые оценки объектов, по­лучают низкие оценки своей компетентности и, соответственно, их оценки в меньшей степени учитываются при определении групповых оценок. Или же оценки эксперта близки к групповым, то компетентность такого эк­сперта принимается выше, чем эксперта, оценки которого сильно отличают­ся от групповых оценок.

Такую "внутреннюю" оценку компетентности экспертов можно про­извести при использовании не всех экспертных методов оценки сложных объектов. В разделах, посвященных статистической обработке экспертных оценок, будут рассматриваться вопросы оценки компетентности экспертов по их оценкам объектов.

Проведение опроса

Прежде всего необходимо выбрать форму опроса экспертов.Для задач измерения сложных свойств рекомендуется использовать: а)анкети­рование; б) интервьюирование.

Отличительной особенностью анкетирования является самостоятельная работа эксперта по оценке предложенных в анкете объектов.

При интервьюировании организатор экспертизы (аналитик) непо­средственно контактирует с экспертом при оценке им объектов, перечис­ленных в анкете.

Преимуществом анкетирования является его простота, возможность привлечь большое число экспертов, так как анкеты пересылаются в электронной среде. Однако анкетирование можно использовать только в тех случаях, когда анкета апробирована и, значит, нет опасности, что во­просы анкеты могут быть экспертами неправильно истолкованы.

Интервьюирование позволяет проконтролировать работу экспер­та, заметить неточности в анкете и устранить их. Однако при интервьюи­ровании могут возникнуть нежелательные искажения мнения эксперта вследствие психологического воздействия аналитика на опрашиваемого. Кроме этого, интервьюирование требует больших затрат труда и времени со стороны организаторов экспертизы.

Для составления и апробации анкеты целесообразно использовать форму опроса в виде дискуссии, когда эксперты находятся в одном поме­щении и открыто высказывают свои мнения. Дискуссия также организу­ется и для обсуждения результатов экспертизы.

Одним из наиболее эффективных методов опроса экспертов явля­ется метод "Дельфы", при котором анкетирование производится в несколь­ко туров с обработкой результатов после каждого тура и информирова­нием экспертов об этих результатах.

Практика показывает, что достаточно провести три – четыре тура для получения согласованных оценок экспертов. Перед каждым последующим туром всем экспертам сообщаются групповые оценки объектов и крайние оценки,и их просят пересмотреть и при желании исправить свои предыду­щие оценки. Если оценка какого-либо эксперта сильно отличается от оце­нок большинства, то его просят аргументировать свои оценки. Эта аргу­ментация доводится до сведения всех экспертов.

При проведении опроса по методу "Дельфы" требуется провести некоторую подготовительную работу по определению цели экспертизы и формы анкеты. Однако анкету можно уточнить, дополнить в результате первого тура опроса экспертов.

Во втором туре эксперты оценивают объекты по указанному мето­ду (ранжирования, нормирования и т.д.). После сбора и обработки экс­пертных данных организатор экспертизы просматривает результаты, выявляет экспертов, мнение которых значительно отличается от групповых оценок. После этого он просит их аргументировать свои оценки. Полученные аргументации организатор просматривает и доводит до сведения всех экспертов, вместе с групповыми оценками.

В следующем туре эксперты на основе выданной им информации пересматривают свои оценки.

Процесс опроса производится до тех пор, пока оценки экспертов не будут достаточно согласованы.