Метод ранга (балльных оценок). Оценка качества экспертизы

Пусть имеется m экспертов Э₁, Э₂, …, Э_m и n альтернатив А₁, А₂, …, А_n. Каждый эксперт оценивает важность альтернатив, пользуясь некоторой балльной шкалой оценок (например, 10-, 12-, 100-балльные шкалы). В этих условиях веса альтернатив определяются следующим образом:

1. Составляется исходная матрица предпочтений с оценками ρ_ji:

	А1	А2	…	Аn
Э1	ρ11	ρ12	…	ρ1n
Э2	ρ21	ρ22	…	ρ2n
…	…	…	…	…
Эm	ρm1	ρm2	…	ρmn

0 ≤ ρ_ji ≤ К; К=10, 12, 100 – в зависимости от используемой шкалы, j = ; i = .

2. Вычисляются искомые веса альтернатив:

ω_i = ; .

Для оценки качества экспертизы, проведенной с использованием метода ранга, могут быть рассчитаны дисперсии:

1) дисперсии, характеризующие близость суждений каждого отдельного эксперта с коллективным суждением группы экспертов –

, ;

2) дисперсии, характеризующие согласованность экспертов при оценке каждой альтернативы –

.

Чем меньше величина дисперсии, тем больше степень согласованности и меньше разброс мнений.

Метод предпочтений. Оценка согласованности экспертов

Пусть имеется m экспертов Э₁, Э₂, …, Э_m и n альтернатив А₁, А₂, …, А_n. Каждый эксперт оценивает важность альтернатив, пользуясь числами натурального ряда, причем наиболее важной альтернативе присваивается 1, следующей по важности -2 и т.д. В этих условиях веса альтернатив определяются следующим образом:

3. Составляется исходная матрица предпочтений с оценками K_ji:

	А1	А2	…	Аn
Э1	K11	K12	…	K1n
Э2	K21	K22	…	K2n
…	…	…	…	…
Эm	Km1	Km2	…	Kmn

1 ≤ K_ji ≤ n; j = ; i = .

4. Составляется модифицированная матрица предпочтений с оценками:

K^/_ji = n - K_ji.

5. Находятся суммарные оценки предпочтений альтернатив:

K_i = .

6. Вычисляются искомые веса альтернатив:

ω_i = ; .

Для оценки согласованности экспертов используется коэффициент конкордации Кендалла:

W = , .

Согласованность считается достигнутой, если значение коэффициента конкордации больше 0,5.

Расчет коэффициента производится следующим образом:

· находится вспомогательная величина:

А = ;

· определяется разности значений по каждой альтернативе:

R_i = S_i – A,

где S_i – сумма оценок по каждой альтернативе на основе исходной матрицы предпочтений;

· находится сумма квадратов разностей:

S = ∑ R_i².

Метод парных сравнений

Экспертам предлагается произвести сравнение n альтернатив А₁, А₂, …, А_n попарно, с тем, чтобы установить наиболее значимую в каждой паре. Для облегчения этой процедуры составляют матрицы парных сравнений, в которых все сопоставляемые альтернативы записываются дважды: по горизонтали и по вертикали. Каждый эксперт, заполняющий такую матрицу, должен проставить на пересечении сравниваемых альтернатив оценку с использованием определенной шкалы, например:

и .

Матрица парных сравнений

	А1	А2	…	Аn
А1	×	a12	…	a1n
А2	a21	×	…	a2n
…	…	…	…	…
Аn	an1	an2	…	×

Если процедура сравнения выполняется несколькими экспертами, то в результате сложения одноименных элементов частных матриц составляется суммарная матрица, отражающая предпочтения всех экспертов.

В таких условиях веса альтернатив определяются следующим образом:

· определяется цена каждой альтернативы как сумма оценок по строке матрицы –

;

· вычисляются искомые веса альтернатив путем нормирования цен альтернатив –

, .

Алгоритм Кемени – Снелла

Эвристический алгоритм Кемени – Снелла предназначен для определения результирующего ранжирования альтернатив. Реализуется алгоритм в несколько этапов.

1. Исходя из частных ранжирований n альтернатив А₁, А₂, …, А_n определяются матрицы бинарных предпочтений (по каждому эксперту Э₁, Э₂, …, Э_m) с оценками :

и ..

Например, известны частные ранжирования 8 экспертами 4 альтернатив (в экспертизе использован метод предпочтений):

Эj	Аi
А1	А2	А3	А4
Э1
Э2
Э3
Э4
Э5
Э6
Э7
Э8

Исходя из указанных частных ранжирований, определяем матрицы бинарных предпочтений каждого эксперта с оценками .

Э1

А1

А2

А3

А4

Э2

А1

А2

А3

А4

Э3

А1

А2

А3

А4

Э4

А1

А2

А3

А4

А1

×

-1

-1

+1

А1

×

+1

+1

+1

А1

×

-1

-1

+1

А1

×

+1

-1

+1

А2

+1

×

-1

+1

А2

-1

×

+1

+1

А2

+1

×

+1

+1

А2

-1

×

-1

-1

А3

+1

+1

×

+1

А3

-1

-1

×

+1

А3

+1

-1

×

+1

А3

+1

+1

×

+1

А4

-1

-1

-1

×

А4

-1

-1

-1

×

А4

-1

-1

-1

×

А4

-1

+1

-1

×

Э5

А1

А2

А3

А4

Э6

А1

А2

А3

А4

Э7

А1

А2

А3

А4

Э8

А1

А2

А3

А4

А1

×

-1

-1

+1

А1

×

+1

-1

-1

А1

×

-1

+1

А1

×

-1

+1

А2

+1

×

+1

А2

-1

×

-1

-1

А2

+1

×

+1

+1

А2

×

-1

+1

А3

+1

×

+1

А3

+1

+1

×

+1

А3

-1

×

+1

А3

+1

+1

×

+1

А4

-1

-1

-1

×

А4

+1

+1

-1

×

А4

-1

-1

-1

×

А4

-1

-1

-1

×

2. Определяется матрица потерь с оценками :

, .

По данным примера определим матрицу потерь с оценками :

Матрица потерь

	А1	А2	А3	А4
А1	×	9
А2		×
А3			×
А4				×

Например, элемент рассчитан следующим образом:

.

3. Выполняется обработка матрицы потерь в несколько циклов. В каждом цикле рассчитываются суммы оценок потерь по строкам матрицы, находится альтернатива с минимальной суммой, которая исключается из матрицы потерь.

Выполним обработку матрицы потерь по данным примера:

Циклы вычислений
А1	24 (=9+13+2)	11 (=9+2) ←min А1 исключается из матрицы	-
А2	20 (=7+9+4)	11 (=7+4) ←min А2 исключается из матрицы	-
А3	10 (=3+7+0)←min А3 исключается из матрицы	-	-
А4	42 (=14+12+16)	26 (=14+12)

4. Находится результирующее ранжирование альтернатив (ранжирование определяется порядком исключения альтернатив из матрицы потерь).

Результирующее ранжирование альтернатив в примере получено таким: .

Метод анализа иерархий

Метод анализа иерархий (МАИ) разработан американским исследователем Томасом Саати. Этот метод ориентирован на сложные системные задачи с плохой структурой (слабоструктуризованные и неструктуризованные), которые решаются в условиях многовариантности, многокритериальности, неопределенности и риска.

Метод основан на структуризации решаемой задачи в виде многоуровневой иерархической модели (выполняется декомпозиция решаемой сложной задачи на более простые составляющие) и активном использовании процедур парных сравнений, учитывающих субъективные предпочтения ЛПР.

МАИ прошел апробацию и доказал свою эффективность на самых разных уровнях управления; позволяет работать с неполными и неточными исходными данными, представленными в различной форме – в виде количественных оценок, качественных оценок, оценок типа «да» - «нет», интервальных оценок, результатов ранжирования и др.; постоянно развивается и используется в компьютерных системах поддержки принятия решений различных уровней и назначения (например, Expert Choice, Decide, ПРАИС).

Недостатком метода является большой объем данных, которые запрашиваются у пользователя СППР в процессе решения сложной системной задачи.

На основе МАИ могут быть решены следующие задачи:

ü задачи планирования и управления (планирование инвестиций, разработка программ развития предприятий, отраслей экономики, территорий и др.);

ü задачи проектирования (выбор проектов строительства сооружений различного назначения, вариантов конструкций, модификаций изделий и др.);

ü задачи прогнозирования (разработка сценариев развития отраслей экономики, научных направлений и различных систем);

ü задачи реинжиниринга бизнес-процессов и организаций;

ü задачи принятия компромиссных решений в конфликтных ситуациях.

Для реализации процедур парных сравнений (при заполнении матриц парных сравнений) Т. Саати предложил использование следующей шкалы оценок:

1 – А_j и А_i одинаково важны;

3– А_j незначительно важнее, чем А_i;

5– А_j значительно важнее, чем А_i;

7 – А_j явно важнее, чем А_i;

9– А_j абсолютно превосходит А_i.

Примечание: j - строки, i - столбцы матрицы; допускаются промежуточные оценки 2, 4, 6, 8 и используются обратные (например, ⅓, ⅛).

Матрице парных сравнений свойственна обратная симметричность: интенсивность предпочтения А_j над А_i обратна интенсивности предпочтения А_i над А_j.

Для расчета весов критериев и получения оценок альтернатив по результатам парных сравнений Т. Саати разработал 4 вычислительных приближенных алгоритма (методы получения приоритетов объектов сравнения):

1. Суммируются элементы каждой строки матрицы; полученные значения нормируются - сумма каждой строки делится на общую сумму.

2. Элементы столбцов суммируются; для каждой суммы находится обратное значение; полученные значения нормируются.

3. Каждый элемент столбца нормируется относительно суммы элементов по столбцу; нормированные элементы строк суммируются; полученные значения делятся на n - число альтернатив или критериев (объектов).

4. Для каждой строки находится средняя геометрическая величина (n элементов строки перемножаются, и извлекается корень степени n); полученные значения нормируются.

Указанные алгоритмы обеспечивают достаточную для практики точность, причем они расположены в порядке возрастания точности – наилучшее приближение дает применение четвертого алгоритма. Точное решение получается путем возведения матрицы в произвольно большие степени и деления суммы каждой строки на общую сумму элементов матрицы.

Оценка степени согласованности при заполнении матрицы парных сравнений производится по формуле:

где В – расчетная величина, получаемая следующим образом: суммируются оценки по каждому столбцу матрицы, затем сумма каждого столбца умножается на вес соответствующей альтернативы, после этого полученные значения суммируются;

С – коэффициент, определяемый по данным таблицы:

n
С			0,58	0,90	1,12	1,24	1,32	1,41	1,45	1,49

Если d≤20%, то достигнута приемлемая степень согласованности при заполнении матрицы парных сравнений. В противном случае необходимо пересмотреть исходные данные и заново заполнить матрицу парных сравнений.

Рассмотрим сущность метода на примере выбора рационального варианта для размещения офиса.

Некоторая фирма провела анализ рынка офисных помещений и отобрала несколько потенциально возможных вариантов:

Критерии оценки альтернатив	Варианты офисных помещений
А1	А2	А3	А4	А5
К1 – общая площадь помещений, кв.м
К2 – состояние помещений	требуется ремонт	не требуется ремонт	требуется ремонт	требуется ремонт	выполнен косметический ремонт
К3 – возможность парковки	нет	нет	есть	нет	есть
К4 – уровень телефонизации, кол-во линий
К5 – стоимость помещений, у.е./кв.м

Система предпочтений на множестве частных критериев: К₁, К₂, К₅, К₃, К₄.

Множество Парето оптимальных вариантов офисных помещений – А₂, А₃, А₅.

Определим рациональный вариант для размещения офиса на основе МАИ.

Этап 1.Решаемая задача представляется в виде многоуровневой иерархической модели

Рациональный офис

Уровень1

(стратегическая цель)

К5

К4

К3

К2

К1

Уровень 2

(множество критериев)

А5

А3

А2

Уровень 3

(множество альтернатив)

Этап 2.Выполняется сравнение критериев попарно по их важности; рассчитываются веса частных критериев

Используя шкалу оценок Т. Саати, заполняем матрицу парных сравнений критериев по важности:

	К1	К2	К3	К4	К5
К1
К2	1/2
К3	1/6	1/5			1/3
К4	1/8	1/7	1/3		1/5
К5	1/4	1/2

Расчет весов частных критериев произведем по алгоритму 4:

Находим средние геометрические по строкам матрицы (извлекаем корень 5-й степени из произведений элементов строк матрицы):

К₁ – 3,288; К₂ – 2,036; К₃ – 0,506; К₄ – 0,260; К₅ – 1,134.

Нормализуем полученные значения (делим каждую среднюю на общую сумму):

3,288+2,036+0,506+0,260+1,134=7,224;

ω₁ = 3,288/7,224 = 0,455; ω₂ = 2,036/7,224 = 0,282; ω₃ = 0,07; ω₄ = 0,036; ω₅ =0,157.

Этап 3. Выполняется сравнение альтернатив попарно по их предпочтительности по каждому критерию в отдельности

Используя ту же шкалу оценок, заполняем матрицы парных сравнений альтернатив по каждому критерию и рассчитываем оценки альтернатив по алгоритму 4:

К1	А2	А3	А5	оценка альтернативы
А2		1/9	1/2	0,07
А3				0,80
А5		1/8		0,13
К2	А2	А3	А5	оценка альтернативы
А2				0,75
А3	1/8		1/5	0,06
А5	1/6			0,19
К3	А2	А3	А5	оценка альтернативы
А2		1/7	1/7	0,06
А3				0,47
А5				0,47

К4	А2	А3	А5	оценка альтернативы
А2			1/4	0,25
А3	1/6		1/8	0,06
А5				0,69
К5	А2	А3	А5	оценка альтернативы
А2		1/8	1/3	0,08
А3				0,83
А5		1/7		0,09

Этап 4.Определяются обобщенные скалярные оценки альтернатив

Находится сумма произведений оценок, полученных каждой альтернативой в парных сравнениях по каждому критерию, и весов соответствующих критериев:

Q(A₂)= 0,07·0,455+0,75·0,282+0,06·0,07+0,25·0,036+0,08·0,157=0,27;

Q(A₃)=0,546; (max)

Q(A₅)=0,185.

Этап 5. Выбирается рациональное решение по критерию максимума обобщенной скалярной оценки

Наибольшее значение обобщенной скалярной оценки получено у варианта А₃, следовательно, он и является рациональным вариантом для размещения офиса фирмы.

Метод функционально стоимостного анализа (ФСА)

Метод ФСА предусматривает двухкритериальную оценку альтернатив – по критерию эффективности (Э) и критерию стоимости (С). Метод ФСА включает 5 основных операций:

1) построение модели эффективности;

2) построение модели стоимости;

3) формирование альтернатив (вариантов решений);

4) построение обобщающего критерия;

5) выбор рациональной альтернативы.

При построении моделей используется вся объективная и субъективная информация. Выходные данные моделей синтезируются в обобщающий критерий, позволяющий анализировать альтернативные варианты. Базируясь на обобщенных оценках альтернатив, возможно выбрать рациональное решение. Выбор обобщающего критерия осуществляется на основе субъективных суждений лица, принимающего решение (ЛПР).

Обобщающий критерий может иметь следующий вид:

ü максимум эффективности при фиксированной стоимости: ;

ü минимум стоимости при постоянной эффективности:

;

ü максимум удельной эффективности:

;

ü минимум удельной стоимости:

;

ü максимум разности эффективности и стоимости:

.