Ниже представлена методика расчетной оценки качества экспертов.
Исходные данные: зачетное число специалистов-экспертов, из которых формируется экспертная группа – , число ранжируемых факторов рисковой ситуации – .
1. Каждому -тому эксперту ( = 1, 2, … , ) предлагается проранжировать все расчетные факторы, влияющие на ситуацию, для которой в дальнейшем будет проводиться экспертная оценка рисков, то есть предлагается установить -ранг -того фактора, = 1, 2, … , .
В результате получается матрица-строка мнений каждого -того эксперта относительно значимости всех факторов (по отдельности для каждого фактора):
(1)
Отсюда можно определить среднее значение модуля оценки -того фактора по всем экспертам:
(2)
2. При этом отклонение мнения каждого эксперта от среднего мнения группы относительно значимости -того фактора равно:
(3)
Эта процедура дает матрицу-строку отклонений мнений -того эксперта по всем факторам (элементы этой матрицы соответствуют по отдельности каждому фактору):
(4)
3. Повторив последнюю процедуру по каждому -тому эксперту, получим матрицу отклонений мнений всех экспертов от средних мнений (по каждому фактору отдельно):
(5)
4. Затем определяем сумму отклонений мнений -того эксперта по всем факторам:
(6)
5. Далее определяем сумму отклонений мнений всех экспертов по всем факторам:
(7)
6. После этого определяем среднее отклонение мнений -того эксперта по всем факторам от среднего мнения группы:
(8)
7. В результате предыдущего действия получаем матрицу-строку отклонений для всех экспертов:
(9)
8. Далее следует перенумеровать экспертов в зависимости от расстояния их мнений от средних, так, чтобы на 1 месте был эксперт с наименьшим расстоянием от среднего по группе, далее – по возрастанию отклонений, а на последнем месте – эксперт с наибольшим расстоянием от среднего по группе. В результате получаем упорядоченный кортеж отклонений:
(10)
Соответствующий список экспертов по новым номерам: , , … , , (в порядке убывания качества мнений).
9. Окончательная (зачетная) численность экспертной группы может быть определена путем исключения из списка тех экспертов, мнение которых находится на большом расстоянии от центра.
В ходе определения оптимальной численности экспертной группы необходимо учитывать, что при малом их числе появляется излишнее влияние оценки каждого эксперта на общий результат. В свою очередь, при большом числе трудно вырабатывается единое (консолидированное) мнение экспертной группы. В общем случае следует отметить, что численность экспертной группы зависит от требований к точности результатов экспертизы и допустимой трудоемкости оценочных процедур.
Далее проведем пример расчета оценки качества экспертов на основе моделируемой ситуации.
Задание №1.
Руководство строительной инжиниринговой компании приняло решение о привлечении группы внешних экспертов для анализа рисков нового строительного проекта и выбора проектной организации. Допустим (условно), что по результатам отбора кандидатов в эксперты качественным методом было выбрано четыре эксперта с одинаковыми или очень близкими параметрами соответствия заявленным критериям отбора. Зачетная численность экспертной группы: четыре человека.
Итак, четырем кандидатам (=4) было предложено проранжировать 6 критериев (=6) выбора проектной компании:
– стоимость разработки проектно-сметной документации;
– минимальный срок разработки;
– опыт компании при проектировании аналогичных строительных объектов;
– репутация на рынке проектной организации;
– объем выполненных работ за предыдущий год;
– текущее финансовое состояние организации.
Наиболее важному критерию присваивается 1-й ранг, наименее важному 6-й.
По результатам ранжирования определены:
- матрица–строка 1-го эксперта ;
- матрица–строка 2-го эксперта ;
- матрица–строка 3-го эксперта ;
- матрица–строка 4-го эксперта .
Решение.
Данные запишем в общую матрицу ранжирования.
Таблица 1
Общая матрица ранжирования
- № эксперта | ||||||
Сумма: |
Далее используя формулы 3, 4 получим таблицу средних значений рангов.
Таблица 2
Средние значения рангов
Ранги | Обозначение критерия | |||||
Сумма рангов | ||||||
Среднее значение | 1,5 | 2,25 | 2,5 | 5,5 | 5,25 |
Далее составляем по формуле 5 матрицу отклонений мнений экспертов от среднего мнения:
Далее используем формулы 6 - 9, получим, суммарное отклонение мнений -того эксперта по всем критериям, суммарное отклонение мнений всех экспертов по всем критериям, а также среднее отклонение мнений -того эксперта от среднего мнения группы по всем критериям.
Таблица 3
Отклонения по всем критериям
Номер эксперта (первоначальный) | ||||
Среднее отклонение | 2,5 | 4,5 | ||
Суммарное отклонение мнений всех экспертов по всем критериям | 2,67 | |||
Модуль частного отклонения | 0,17 | 2,33 | 1,83 | 1,33 |
Применив формулу 10, получаем матрицу-строку модулей частных отклонений:
Таким образом, кортеж отклонений даст изменение номеров экспертов:
Отсюда следует, что эксперт, имеющий новый номер i=4, может быть исключен из состава экспертной группы, так как его мнения наиболее удалены от среднего мнения.