Результаты реализации эксперимента (процедура 5)

Типы	Результаты эксперимента (сравнения)
ПС	В1	В2	В3	В4	В5	В6	В7	В8	В9
a1
a2
a3
a4

Продолжение таблицы 3

Типы	Результаты эксперимента (сравнения)
ПС	В10	В11	В12	В13	В14	В15	В16	В17	В18
a1
a2
a3
a4

Рассмотрим еще одну ситуацию: сравниваются девять ПС-претендентов (n=9) при условии, что каждый эксперт знаком лишь с тремя системами (n₁ = 3). В этих условиях можно использовать сбалансированный решетчатый план, в котором эксперты соответствуют блокам, а элементами являются сравниваемые ПС, т.е. число элементов в блокеk = n₁ = 3; число блоков (экспертов)b = k (k + 1) = 12; число реплик (число оценок, полученных каждой ПС) r =k + 1 = 4.

Замечание. При сравнении нового и эксплуатируемого ПС более дорогостоящими обычно являются ошибки 1-го рода (принятие ошибочной гипотезы о том, что новое ПС лучше), поэтому значение вероятности отклонить верную нуль-гипотезу целесообразно выбирать в пределах 0,01,..., 0,001.

6. n > 2; m экспертов разделены на n(n - 1)/2 независимых (непересекающихся) групп с m_t,(t n(n-1)/2; m=еm_t) экспертами в группе.

Процедура сравнения 6.1. Каждая группа экспертов оценивает все n(n - 1)/2 пар программных средств и сообщает вероятность P_ij^r того, что ПСa_iпревосходит a_j по заданному критериюK_r. ПричемP_ij равно доле (относительному числу) экспертов вt-й группе, предпочитающихa_i по сравнению с a_j. Затем оценивается доля групп экспертов, предпочитающихa_i по сравнению с a_j, т.е. доля групп экспертов, у которыхP_ij > 0,5. Эта доля будет численно характеризовать относительное качество ПСa_iпо критериюK_r.

Процедура сравнения 6.2. Если каждая группа экспертов оценивает (сравнивает) не все, а только одну пару ПС, то вероятность того, что ПС ai лучше всех остальных прямо пропорциональна величине P_i = ПP_ij, (i№j) [5].

7. n > 2; m = en(e№1). Причем эксперты достаточно компетентны, чтобы оценивать все nсравниваемых ПС.

Процедура сравнения 7.1.n₁=n. Каждая из eгрупп экспертов попарно сравнивает ПСa_i c a_j(i№j; i,jОn) по оцениваемому показателю K_r и выбирает лучшее ПС из пары, т.е. осуществляет (n-1) сравнение. Объект (программный продукт), выбранный большим числом экспертов, считается лучшим по показателю K_r среди nсравниваемых.

Если требуется получить количественные оценки рангов (весовых коэффициентов) всех n=n1 программных продуктов, то результаты сравнения и выбора каждого эксперта можно представить в виде матриц доминирования и затем эти матрицы сложить, а к полученной матрице (содержащей информацию о мнениях всех экспертов) применить процедуру 1, т.е. возвести эту матрицу в невысокую степень и найти суммы элементов каждой строки.

Процедура сравнения 7.2. n1<n. При этих условиях, наряду с эффектом очередности, усиливается влияние на результаты сравнения индивидуальных характеристик эксперта. Поэтому из-за необходимости увеличения числа экспертовm брать n1>4, по-видимому, вряд ли оправдано.

Пример плана эксперимента для процедуры 7.1 с n=n1=6; m=6e, (eі1) дан в табл.4 (здесь каждая процедура выбора B_jможет реализовываться eраз), а для процедуры 7.2 при n=6; n₁=3; m=e·18, (eі1) - в табл.5 (таблица базируется на использовании данных табл.4).

Таблица 4

План эксперимента (для условий 7.1)

Последовательность процедур сравнения экспертами Bj ПС ai-aj, (i№j; i,j О1,6), n1=6
B1	...	B5	B6
а1		а5	а6
а2		а6	а1
а3		а1	а2
а4	...	а2	а3
а5		а3	а4
а6		а4	а5

Таблица 5

План эксперимента (для условий 7.2.)

Последовательность процедур сравнения экспертами Bj ПС ai-aj, (i-j; i,j Î 1,6), n1=3
B1	B2	B3	B4	B5	...	B16	...	B18
a1 }1 а2	a2 }1 а3	a3 }1 а1	a2 }1 а3	a3 }1 а4	...	a6 }1 а1	...	...
}2	}2	}2	}2	}2		}2
a3	a1	a2	a4	a2		a2	...	...
...	...	...	...	...	...	...	...	...

Процедура сравнения 7.3. Каждый из m экспертов, ориентируясь на заданный показатель качества Kr, ранжирует nсравниваемых ПС. Для получения согласованного мнения экспертной группы проводится несколько туров опросов и обработки результатов эксперимента в соответствии с описанной в [1,2] методикой получения и анализа априорной информации (здесь процедура ранжирования ПС по заданному критерию качества отождествляется с процедурой отбора определяющих факторов-объектов при построении экономико-математических моделей; методика может использоваться и при ранжировании показателей, характеризующих качество ПС).

Предложенный подход оказался весьма продуктивным и многократно применялся автором и его коллегами при решении прикладных задач. Главная его особенность заключается в том, что

а)дельфийская процедура используется при ранжировании факторов-объектов (а не для прогнозирования будущего);

б)для количественного анализа степени сходимости мнений экспертов после каждого тура опросов, выявления согласованных групп экспертов и оценки целесообразности завершения экспертизы используется расстояние Кемени (мера близости на отношениях линейного порядка), а в качестве результирующего ранжирования - медиана Кемени (впоследствии, в 1978 году была доказана теорема, согласно которой, "медиана Кемени - единственное результирующее строгое ранжирование, являющиеся нейтральным, согласованным и кондорсетовым" - см.: [8]).

Однако, поскольку задача отыскания медианы Кемени относится к задачам дискретной оптимизации и ее точное решение достаточно трудоемко, при n=n₁і10ё20 и m і 20, по-видимому, вполне оправдано выбирать в качестве результирующего то из ранжирований участников экспертизы, которое имеет минимальное суммарное расстояние от остальных - либо от всех, либо от взаимосвязанного подмножества, включающего основную часть экспертной группы.

Пример. Пусть m экспертам необходимо проранжировать n, (n=n₁) программных систем по одному из показателей потребительского качества, например, по показателю (критерию) "удобство сопровождения". Проводится несколько туров опросов. После обработки результатов очередного тура в опросных анкетах проставляется средний, минимальный и максимальный ранги по всем n ПС, а также пояснения экспертов, сделанные в защиту сильно отличающихся ответов. Каждое ранжирование представляется в виде матрицы упорядочения в канонической форме, а затем рассчитываются меры близости (расстояния) Кемени между всеми ранжированиями. Расстояние Кемени d_ijчисленно характеризует степень рассогласования между ранжированиями двух экспертов (d_max=n(n-1)). В матрице D={d_ij}, (i,jОm) будут представлены все (m-1)m/2 расстояний между ранжированиями. D - симметричная положительная матрица с нулевыми диагональными элементами:

d_ij=d_ij; d_ii=0; d_ijі0.

Сумма элементов i-й строки матрицы D соответствует величине рассогласования i-го эксперта с остальными (расстояние i-го ранжирования от всех остальных). Сопоставляя суммы всех элементов матриц D, получаемых после каждого тура опросов, можно оценить скорость сходимости мнений экспертов, определить наиболее (наименее) согласованные со всеми ранжирование и выделить согласованные группы экспертов (выбирая различные пороговые значения меры близости d_ijЈe_d). Элементы матрицы непосредственных путей для графа взаимосвязи между ранжированиями определяются так:

Граф взаимосвязей можно строить и по матрице D⁰, получаемой из D:

Если мнения экспертов относительно рангов ПП по заданному критерию качества полностью совпадают, d⁰_ij=0, если противоположны - d⁰_ij=1.

Выводы

1. Выполнена классификация условий проведения экспериментов при сравнении сложных систем с использованием экспертных методов.

2. Предложены корректные процедуры сравнения и выбора, адекватные условиям решаемой задачи.

Тема 9: Сравнение сложных систем по критерию функциональной полноты

Предварительное замечание

Постановка задачи

Алгоритм сравнения

Пример реализации