Оценка согласованности суждений экспертов

При оценке объектов исследования эксперты зачастую расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.

Оценка согласованности суждения экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на большие расстояния, т.е. не принадлежат одной области, то согласованность мнений экспертов невысокая. Возможно, что точки - мнения экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов исследования. Может быть область точек, не образующих совокупности мнений - размытая область. В этом случае не удалось обнаружить точек зрения на решаемую проблему. Лицо, принимающее решение, может повторить экспертизу или принять какое-либо решение самостоятельно.

Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности.

При использовании количественных шкал измерения и оценке всего одного объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки центра группировки и разброса точек представляется возможным использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожидание (среднее значение) или медиану случайной величины, разброс количественно оценивается дисперсией случайной величины. Мерой согласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклонения к математическому ожиданию случайной величины.

Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять вычисляется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов может служить в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия компактности (близости) рассматриваются в теории группировок и распознавания образов.

При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности.

Метод простого ранжирования заключается в том, что каждый эксперт располагает признаки в порядке предпочтения. Цифрой 1 обозначается наиболее важный признак, цифрой 2 - следующий по важности и т. д. Полученные результаты сводятся в таблицу, общий вид которой представлен в таблице 8.6.1.

Таблица 8.6.1

Сводная таблица результатов

оценка согласованности суждений экспертов - student2.ru

После того, как данные от экспертов собраны, проводится обработка полученных оценок.

При ранжировании объектов используется мера согласованности мнений группы экспертов - дисперсионный коэффициент конкордации (коэффициент согласия).

Рассмотрим матрицу (табл.8.6.1) результатов ранжировки m объектов группой из d экспертов

||ris|| оценка согласованности суждений экспертов - student2.ru ,

где ris - ранг, присваиваемый s-экспертом i-му объекту. Составим суммы рангов по каждой строке. В результате получим вектор с компонентами

оценка согласованности суждений экспертов - student2.ru .

Будем рассматривать величины ri как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой:

оценка согласованности суждений экспертов - student2.ru , (8.1)

где оценка согласованности суждений экспертов - student2.ru - оценка математического ожидания (средний ранг), равная

оценка согласованности суждений экспертов - student2.ru . (8.2)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (8.1) к максимальному значению этой оценки:

оценка согласованности суждений экспертов - student2.ru . (8.3)

Коэффициент конкордации изменяется от нуля до единицы, поскольку 0£D£Dmax.

Максимальное значение дисперсии равно

оценка согласованности суждений экспертов - student2.ru . (8.4)

Введем обозначение

оценка согласованности суждений экспертов - student2.ru . (8.5)

Используя (8.5), запишем оценку дисперсии (8.1) в виде

оценка согласованности суждений экспертов - student2.ru . (8.6)

Подставляя (8.4), (8.6) в (8.3) и сокращая на множитель (m-1), запишем окончательное выражение для коэффициента конкордации

оценка согласованности суждений экспертов - student2.ru . (8.7)

Данная формула определяет коэффициент конкордации для случая отсутствия связных рангов. При W=0 согласованность оценок различных экспертов отсутствует, а при W=1 согласованность мнений экспертов полная.

При крайних коэффициентах конкордации могут быть даны следующие рекомендации. Если W=0, то для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов. При W=1 не всегда можно считать оценки объективными, поскольку может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов.

Необходимо, чтобы найденное значение W было больше заданного значения WЗ (W>WЗ). Обычно принимается W=0,5, т.е. при W>0,5 выводы экспертов согласованы в большей мере (сходятся в оценке событий), чем несогласованы. При W<0,5 оценки нельзя считать в достаточной степени согласованными.

При наличии связных рангов коэффициент конкордации вычисляется по формуле

оценка согласованности суждений экспертов - student2.ru , (8.8)

где

оценка согласованности суждений экспертов - student2.ru , (8.9)

В формуле (8.9) Ts - показатель связных рангов в s-й ранжировке, Hs - число групп равных рангов в s-й ранжировке, hk - число равных рангов в k-й группе связных рангов при ранжировке s-м экспертом. Если совпадающих рангов нет, то Hs=0, hk=0 и, следовательно, Ts=0. В этом случае формула (9.8) совпадает с формулой (8.7).

Коэффициент конкордации представляет собой случайную величину. Оценка значимости W может быть произведена по критерию Пирсона χ2. Величина d(m-1)W имеет χ2 = распределение с χ = m-1 степенями свободы.

При наличии связных рангов χ2 = распределение с ν = m-1 cтепенями свободы имеет величину

оценка согласованности суждений экспертов - student2.ru . (8.10)

ПРИМЕР 1. Результаты ранжировки шести объектов (X1, X2, X3, X4, X5 и X6) пятью экспертами (s1, s2, s3, s4, s5) представлены в табл.8.6.2

Таблица 8.6.2

Сводная таблица результатов ранжирования

оценка согласованности суждений экспертов - student2.ru

Вычислим коэффициент конкордации и произведем оценку его значимости. Среднее значение оценка согласованности суждений экспертов - student2.ru по формуле (8.2) равно

оценка согласованности суждений экспертов - student2.ru .

Величина S в соответствии с формулой (8.5) равна

оценка согласованности суждений экспертов - student2.ru .

Поскольку в ранжировке имеются связные ранги, то вычисление коэффициента конкордации выполняется по формуле (8.8). Предварительно вычисляются Ts, используя формулу (8.9). В данном примере из табл. 8.6.2 следует, что в ранжировке экспертом s1 имеется одна группа связных рангов, поэтому Н1=1, а в этой группе содержится два связных ранга, равных 2,5, поэтому k=1 и h1=2. Отсюда Т1=23-2=6. Аналогичным образом вычисляются Т2...Т5:

Ò2=33-3=24; Ò3=23-2+23-2=12; Ò4=23-2+23-2=12; Ò5=23-2=6.

Подставляя значения Тs, S и m=6, d=5 в формулу (8.8) и произведя вычисления, получаем

W = 12´361 / [52(63-6)-5´60] = 0,874.

Оценим значимость коэффициента конкордации. В данном случае число степеней свободы ν=m-1=6-1=5. Табличное значение оценка согласованности суждений экспертов - student2.ru для ν=5 и 5% уровня значимости равно 11,07 (табл. 8.6.2). Вычисляя значение χ2 по формуле (8.10), получаем

χ2 = 12´361 / [5´6´7 - 0,25´60] = 21,8.

Поскольку 11,07<21,8, то гипотеза о согласии экспертов в ранжировках принимается.

Наши рекомендации