Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить

В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Рассмотрим сначала вопрос оценки согласованности двух экспертов i и l. Для сравнения оценок, полученных по методу ранжирования, можно использовать коэффициенты ранговой корреляции по Спирмену и по Кендэлу [6]. Более надежным из них является коэффициент ранговой корреляции по Спирмену, который в дальнейшем и будет использоваться:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (24)

Получим выражение для Si и Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (25)

Среднее значение рангов

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (26)

тогда для случая, когда в оценках эксперта нет связанных рангов, выраже­ние (25) будет иметь вид:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Учитывая, что Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , выражение для Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru перепишется в виде:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (27)

При наличии t связанных ранггов у эксперта значение суммы Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru в выражении (27) уменьшится на

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Если в оценках эксперта i имеется несколько групп связанных рангов, то уменьшению Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru будет соответствовать

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru ,

где ni – число различных рангов, присвоенных экспертом i объектам (очевидно, что ni<n, а при отсутствии связанных рангов ni = n ); Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru – число повторений j ранга в оценках i эксперта.

Обозначим через Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Таким образом, при наличии связанных рангов Si будет определяться выражением:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (28)

Следует отметить, что при отсутствии связанных рангов (все Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru и Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru ) и выражение (28) совпадает с (27), значит (28) является общим для вычисления Si.

Получим выражение для Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru :

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (29)

К правой части выражения (29) прибавим и вычтем Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , после чего получим:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Обозначим через Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , тогда с учетом (26) и (27) последнее выражение примет вид:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (30)

Если в оценках i или l экспертов присутствуют связанные ранги, то Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru уменьшается на Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru или Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Тогда выражение для ковариации будет иметь вид

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (31)

С учетом (31) и (28) общее выражение для коэффициента корреляции запишется в виде:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (32)

Преобразуем знаменатель Ril:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

Если Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru много меньше Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , то тогда

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (33)

Если же Ti = Tl = 0 то

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (34)

Для проверки значимости Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , т.е. проверки гипотезы о независимости оценок i и l экспертов, используем в качестве статистики Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . При небольшом числе объектов (n < 10) для проверки значимости используются таблицы распределения Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , приведенные в приложении 1.

Распределение Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru симметрично (см. рис. 3), Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru соответствует Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , тогда из (34) и (33) следует, что Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru = Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . Среднее значение Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru равно Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Задав уровень значимости для проверки гипотезы H0, по таблице находится α-квантиль Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (если альтернативная гипотеза заключается в положительной связи) или Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ruАнализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (если альтернативная гипотеза H1 заключается в отрицательной связи).

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

Решающим правилом для отвержения гипотезы является или

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

или (35)

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

Перепишем выражение (24) для Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru в виде

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (36)

В соответствии с выдвинутой гипотезой, Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru и Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru независимы, поэтому:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , а Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (37)

При достаточно большом числе слагаемых в (36) (n Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru ), в соответствии с центральной предельной теоремой, Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru распределено по нормальному закону. Учитывая первые два момента Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (37), получаем, что

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru – (38)

нормально распределенная величина с параметрами N(0;1).

Поэтому при ( Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru ) для проверки значимости коэффициента ранговой корреляции по заданному уровню значимости Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru определяется Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . Решающее правило для того, чтобы считать коэффициент Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru значимым, имеет вид Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Коэффициент ранговой корреляции используется для оценки связи рангов каждого эксперта с групповыми рангами объектов.

Получим выражение для коэффициента согласия всех экспертов E:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Для случая отсутствия связанных рангов в оценках экспертов с учетом (26) и (27) выражение для E перепишется в виде:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Обозначив через Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , запишем формулу для вычисления коэффициента согласия в виде:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , (39)

где Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (40)

Если в оценках всех экспертов присутствуют связанные ранги и Ti одинаковы, то с учетом (28):

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Если же Ti отличаются друг от друга незначительно, то приближенная формула для E записывается в виде:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru . (41)

Выражение (41) обычно и используется при ручном расчете коэффициента согласия.

При малых значениях m и n для проверки значимости коэффициента согласия используются специальные таблицы (см. приложение 2), в которых в качестве статистики выступает величина S, вычисляемая по формуле (40).

При m(n-1 )> 20 и m < 7 для проверки значимости коэффициента согласия используется распределение Фишера:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , (51)

.

при числе степеней свободы Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru

При достаточно большом числе экспертов Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru распределение E стремится к распределению c2 (Пирсона). Покажем это.

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , (54)

где Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

При достаточно большом m yj распределено по нормальному закону. Параметры нормального распределения с учетом (27) и (27) будут равны:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Пронормируем yj в соответствии с выражением:

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Тогда (54) перепишется в виде Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , где uj нормально распределена с Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru и Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Как указывалось в п.5, сумма квадратов независимых нормально распределенных случайных величин распределена по закону c2 с числом степеней свободы Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru .

Получили, что если гипотеза о независимости оценок экспертов (m>7) верна, то статистика

Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru (55)

распределена по закону Пирсона с числом степеней свободы n = n-1. Таким образом, в зависимости от количества экспертов т, числа оцениваемых объектов n,для проверки значимости Е необходимо вос­пользоваться или таблицами распределения S (когда т(п-1) £ 20 ), или распределением Фишера ( Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru , а т £ 7 ), или Анализ достоверности групповых оценок. В методе ранжирования оценку достоверности можно проводить - student2.ru -распределени­ем (т > 7).

В соответствии с заданным уровнем значимости гипотезы о неза­висимости оценок экспертов α находятся или Sтабл, или Fтабл или c2табл.

Решающими правилами для того, чтобы считать коэффициент согла­сия значимым, т.е. чтобы считать групповые оценки достоверными, являют­ся:

Sрасч > Sтабл ; Fрасч > Fтабл ; c2расч > c2табл.

Следует подчеркнуть, что при расчете по формулам (53) числа степеней свободы для F-распределения n1 и n2 их следует округлять в большую сторону.

Наши рекомендации