Вопрос 5 – Обработка получаемой информации

Для получения и обработки экспертной информации применяются различные методы:

Ранжирование.

Ранжированием называется расположение показателей (факторов, явлений, объектов) в порядке возрастания (убывания) некоторого общего признака.

Ранжирование применяется, если:

- рассматриваемые показатели имеют различную природу;

- представляет интерес только взаимное упорядоченное (пространственное или временное) расположение объектов;

- часть показателей измерить невозможно.

Каждый эксперт присваивает n объектам ранжирования номера натурального ряда 1, 2, 3, …, n (ранги) в порядке возрастания (убывания) заданного качества. Мера этого качества определяется при этом чисто субъективно, с точки зрения опыта, знаний, предположений эксперта. Если некоторым S объектам присвоен один и тот же ранг, например, они поделили n_k-n_k+s места, то после проведенного экспертами ранжирования осуществляется стандартизация рангов. Этим объектам присваиваются ранг, равный среднеарифметическому мест, которые они поделили:

.

Данная формула получена, исходя из предположения, что общее число рангов равно числу ранжируемых объектов. Тогда будет выполняться условие:

,

где x_i – ранг i-го объекта.

Если ранжирование осуществляется несколькими экспертами, то для получения итоговых рангов необходимо просуммировать стандартизированные ранги, указанные группой экспертов для каждого из исследуемых объектов. После этого ранг 1 присваивается объекту с наименьшим суммарным рангом, и т. д.

Полученная от экспертов информация может быть использована для определения коэффициентов весомости различных объектов (параметров):

,

где x_ij – стандартизированный ранг, назначенный j-м экспертом i-му объекту;

m – количество экспертов.

Метод непосредственной оценки.

Суть метода состоит в том, что диапазон изменения качественной переменной, по которой происходит изменение параметров, разбивается на несколько интервалов, каждому из которых присваивается определенный балл. Эксперт должен каждому параметру (объекту) приписать определенный бал в пределах используемой шкалы в соответствии с его мнением о значимости каждого из рассматриваемых параметров. Нескольким параметрам может быть приписан один и тот же балл. Затем аналогично предыдущей формуле можно найти коэффициенты весомости параметров, только вместо рангов будут фигурировать балльные оценки.

Метод парных сравнений.

Трудности ранжирования или оценивания, особенно в случае большого числа параметров, можно уменьшить, если предложить экспертам осуществлять сравнение параметров попарно, с тем, чтобы установить в каждой паре наиболее важный (значимый).

Для этого составляется таблица (матрица) сравнений, в которой оцениваемые параметры (объекты) записываются дважды – в заголовках строк и столбцов. В каждую клетку, кроме диагональных (т. е. клетки (i; k), i≠k), заносится номер параметра (i или k), которому отдается предпочтение, причем эксперт должен отдать предпочтение одному из них.

По заполненным каждым экспертом матрицам подсчитывается и заносится в итоговый столбец частота превосходства i-го параметра в строке i (r_ij), в итоговую строку – частота превосходства k-го параметра в столбце k (S_kj) над всеми остальными.

Затем для каждого параметра определяется суммарная частота его предпочтения, указанная j-м экспертом:

M_ij = r_ij + S_kj.

Средняя для всех экспертов частота превосходства i-го параметра равна:

.

Тогда коэффициенты весомости параметров можно рассчитать как:

,

где L – общее число сравнений, проведенных каждым экспертом:

L = n * (n – 1).

Для ускорения процедуры экспертизы может применяться метод частичного парного сравнения, когда в матрице сравнений заполняются лишь клетки, находящиеся справа от диагонали. Тогда величина L будет в два раза меньше. Однако при этом возможны ошибки, выражающиеся в том, что эксперты чаще предпочитают параметр, стоящий первым из двух сравниваемых.

При статистическом анализе ответов экспертов необходимо оценить степень согласованности их мнений по всем вопросам, выявить группы с расходящимися мнениями, установить и устранить причины рассогласованности, ко­торая делает групповую оценку ненадежной.

Наиболее точными методами проверки согласованности оценок, полученных от экспертов, являются методы ранговой корреляции:

1. Для оценки согласованности мнений двух экспертов применяется коэффициент Спирмэна:

,

где d_i – разность между рангами i-го параметра, указанными экспертами.

Чем ближе значение ρ к единице, тем больше степень согласованности экспертных оценок.

2. Для оценки согласованности мнений группы из m экспертов по n параметрам применяется коэффициент конкордации (общий коэффициент ранговой корреляции для группы, состоящей из m экспертов):

,

где S – сумма квадратов отклонений суммы рангов, полученной от всех экспертов по каждому параметру, от среднеарифметической сум­мы рангов по всем параметрам:

.

Если некоторые эксперты не могут установить ранговое различие между несколькими показателями и присваивают им одинаковые ранги, коэффициент конкордации определяется по формуле:

,

где T_j – показатель равных (связанных) рангов в оценках j-го эксперта:

,

где t_lj – число равных рангов в l-й группе оценок j-го эксперта;

h – число групп равных рангов в оценках j-го эксперта.

Коэффициент конкордации принимает значения в интервале от 0 (отсутствие согласованности мнений экспертов) до 1 (полная согласованность).

Для оценки значимости коэффициента конкордации используют критерий χ²:

.

Если расчетное значение критерия больше табличного (при доверительной вероятности α и (n – 1) степенях свободы), то можно утверждать, что коэффициент конкордации значим, т. е. согласованность мнений экспертов является неслучайной.