Шкала относительной важности

Интенсивность относительной важности	Определение	Объяснения
	Равная важность	Равный вклад двух видов деятельности в цель
	Умеренное превосходство одного над другим	Опыт и суждения дают легкое превосходство одному виду деятельности перед другим
	Существенное или сильное превосходство	Опыт и суждения дают сильное превосходство одному виду деятельности над другим
	Значительное превосходство	Одному виду деятельности дается настолько сильное превосходство, что оно становится практически значительным
	Очень сильное превосходство	Очевидность превосходства одного вида деятельности над другим подтверждается наиболее сильно
2, 4, 6,8	Промежуточные решения между двумя соседними суждениями	Применяются в компромиссном случае
Обратные величины приведенных выше чисел	Если при сравнении одного вида деятельности с другим получено одно из вышеуказанных чисел (например,3), то при сравнении второго вида с первым получим обратную величину (т.е. 1/3)

Как и в предыдущем методе, теперь нужно определить приоритеты, или ранги факторов. Это может быть получено любым способом нормирования рангов. Например, применяются следующие методы:

Ø Эксперты совместно обсуждают свои оценки и в результате принимают единые оценки по каждому фактору, вырабатывая таким образом одну матрицу парных сравнений на всех;

Ø Эксперты не могут выработать единого мнения, представляют свои таблицы парных сравнений, и на их основе каким-нибудь способом усреднения получают одну таблицу; в качестве способа усреднения могут применяться среднее геометрическое для каждой ячейки, среднее (арифметическое) взвешенное и другие.

При любом подходе получается обобщенная матрица парных сравнений факторов.

На следующем шаге обработки мнений экспертов необходимо оценить степень согласованности их мнений ИС - индекс согласованности.

Проверка согласованности и достоверности экспертных оценок

Групповая оценка может считаться достаточно надежной лишь при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от экспертов, должна включать в себя оценку степени согласованности мнений.

Оценки, полученные от экспертов, могут рассматриваться как случайная переменная, распределение которой отражает мнения экспертов о вероятности того или иного выбора события (фактора). Поэтому для анализа разброса и согласованности оценок экспертов применяются обобщенные статистические характеристики – средние и меры разброса:

— средняя квадратичная ошибка,

— вариационный размах min – maх,

— коэффициент вариации V=ср.квадр.откл./ средняя арифм. и т.п.

Для оценки меры сходства мнений каждой пары экспертов могут быть использованы самые разные методы:

коэффициенты ассоциации, с помощью которых учитывается число совпадающих и несовпадающих ответов,

коэффициенты противоречивости мнений экспертов,

Коэффициенты ранговой корреляции Кендалла и Спирмена.

Все эти меры можно использовать либо для сравнения мнений двух экспертов, либо для анализа связи между рядами оценок по двум признакам.

Коэффициент корреляции рангов Спирмена:

где n – число экспертов,

c_k – разность оценок i-го и j-го экспертов по всем T факторам.

В практике экспертных оценок, однако, часто приходится сопоставлять много признаков. В таких случаях попарное сравнение комбинации факторов (например, по Спирмену) может оказаться чрезвычайно трудоемким, поэтому были разработаны специальные критерии, позволяющие относительно просто оценить согласованность мнений экспертов по ряду факторов.

Конкордация

Согласованность мнений по нескольким факторам оценивается с помощью коэффициента конкордации W, то есть общего коэффициента ранговой корреляции для группы, состоящей из m экспертов.

Доказано, что величина S, когда все эксперты дают одинаковые оценки по всем факторам, имеет максимальное значение, равное

где n – число факторов,

m – количество экспертов.

Однако, на практике такое событие невероятно, поэтому согласованность (коэффициент конкордации W) определяется как отношение фактической меры согласованности S к S_max :

W = S/S_max , или

Формула для расчета S приведена ниже:

,

где обозначения те же, что выше.

Рассмотрим процесс определения коэффициента конкордации на примере ранговых оценок, выданных 7-ю экспертами по 6-ти факторам (табл. ниже )

Для расчета сначала находится сумма оценок (рангов) по каждому фактору, полученная от всех экспертов, затем их средняя арифметическая, отклонения суммарной оценки фактора от средней и сумма их квадратов:

Таблица — Оценки факторов (объектов) экспертами фирмы
Эксперты	Факторы
C1	C2	C3	C4	C5	C6
Э1
Э2
Э3
Э4
Э5
Э6
Э7
Сумма R = S(Ri)
Средняя арифметическая по всей таблице. Она равна Rср = m*(n+1)/2 или вычисляется как обычно с помощью функции СРЗНАЧ()	Rср =24,5
Отклонения от средней суммы рангов (Rср)	-12,5	-1,5	1,5	11,5	15,5	-14,5
квадраты	156,25	2,25	2,25	132,25	240,25	210,25	S = 743,5
Rmin
Vi=Rmin/S	0,83	0,43	0,38	0,28	0,25		3,18
Wi=Vi/Svi	0,26	0,14	0,12	0,09	0,08	0,31

В нашем случае S_max = 1/12*6*49*(36 - 1) = 857,5, а S = 743,5

Коэффициент конкордации равен отношению W= S / S_max, , причем если W близок к 1, то все эксперты дали примерно одинаковые оценки, их мнения достаточно согласованны.

W = S/S_max = 743.5 / 857,5 = 0,87

Согласованность мнений экспертов высокая.

Еще раз хотелось бы подчеркнуть, что приведенные формулы пригодны только при строгом ранжировании (как в примере — у каждого эксперта все оценки попарно разные).

Список использованных источников по теме:

1. Саати Т., Кернс К. Аналитическое планирование: Организация систем : Пер. с англ. — М.: Радио и связь, 1991. — 224 с.
2. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993. — 320 с.
3. Таха Х. А. Введение в исследование операций, 6-е издание : Пер. с англ. — М.: Издательский дом «Вильямс», 2001. — 912 с.
4. Блюмин С.Л., Шуйкова И.А. Введение в математические методы принятия решений. — Липецк: ЛГПИ, 1999
5. Карлберг К Бизнес-анализ с помощью Excel 2000.: Пер. с англ.: Уч. пособие. – М.: Изд. Дом “Вильямс”, 2000. – 480 с.
6. Берк К, Кэйри П. Анализ данных с помощью Microsoft Excel: пер. с англ. – М.: Издательский дом «Вильямс», 2005. – 560 с.: ил.
7. Бешелев С. Математико-статистические методы экспертных оценок, 1980