Математические методы обработки высказываний экспертов

Одним из принципиальных вопросов, возникающих при использовании мнений экспертов, является вопрос о том, в какой степени сохраняется объективность исследования, если в него в качестве существенных факторов вводятся субъективные мнения тех или иных экспертов, даже если они являются специалистами в своей области.

Поскольку мнения экспертов по оцениваемому вопросу, как правило, расходятся, то для правильной интерпретации суждений группы экспертов необходимо их мнения каким-то образом систематизировать. Особое значение при этом придается методам обработки коллективных экспертных оценок. Обработка данных экспертных оценок производится в соответствии с целевым назначением эксперимента: прежде всего для выяснения соответствующих показателей обобщенного мнения экспертов о важности тех или иных факторов (параметров); степени согласованности мнений экспертов и выявления как отдельных групп экспертов, согласованность мнений внутри которых особенно высока, так и экспертов, имеющих оригинальные суждения; степени представительности группы экспертов, выдавших свои заключения, и их «активности» (степени участия в оценке различных факторов).

При этом методы обработки экспертных оценок должны обеспечивать возможность учета соответствующих показателей степени компетентности в отношении каждой из производимых ими оценок. Эти показатели в свою очередь должны учитывать такие факторы, как аргументированность (т.е. совокупность аргументов, послуживших эксперту основанием для выдачи соответствующей оценки), степень знакомства эксперта с обсуждаемой проблемой и т.д.

Важное значение имеет определение способов работы экспертов по формализации их мнений, представляемых в анкетах. Так, например, мнения экспертов о степени важности каждого из факторов могут быть формализованы различными способами. На практике наибольшую применимость находит метод ранжировки, метод шкальных оценок и метод парных сравнений [Тараканов В.К., 1974].

Метод ранжировки.Существо метода ранжировки состоит в том, что каждый эксперт располагает факторы (параметры) по порядку в соответствии с убыванием степени их важности. Затем каждому фактору придается порядковый номер (число натурального ряда) места, занимаемого этим фактором в ранжированной последовательности: х₁, х₂,..., х_n. При этом самый важный фактор имеет порядковый номер, равный единице, а наименее важный фактор - номер n.

Если среди параметров х₁, х₂,..., х_n нет групп факторов, равнозначных с точки зрения их важности, то порядковый номер фактора в ранжированной последовательности будет, например, х₃⁽¹⁾, х₆⁽²⁾, х_i⁽³⁾,…, х_k⁽ⁿ⁾. Такой порядковый номер фактора называется рангом фактора.

Для каждой группы равнозначных факторов берется сумма их порядковых номеров и делится на число факторов, входящих в группу. Затем каждому фактору из этой группы присваивается один и тот же ранг, равный полученному таким образом среднему арифметическому соответствующей выборки из натурального ряда чисел. Естественно, что при этом могут появиться (чаще всего именно так и бывает) дробные ранги.

На практике возможны случаи, когда эксперты затрудняются в ранжировке факторов или факторов слишком много, чтобы их можно было обоснованно расположить в порядке возрастания или убывания важности. В таких случаях если и удается получить ранжировку, то говорить о ее достоверности трудно. Тогда ранжировку факторов можно получить методом парных сравнений.

Метод парных сравненийдает определение только порядка расположения некоторых факторов с точки зрения их важности. При применении этого метода каждый эксперт сравнивает один с другим поочередно все nфакторов. В результате проведения таких сравнений эксперт отдает предпочтение каким-то факторам по сравнению с остальными факторами. Результаты попарных сравнений сводятся в таблицу, в которой в ячейку ij записывается единица, если фактор х_i, более важен, чем х_j, и нуль - в противном случае.

Суммирование чисел по строкам или по столбцам в такой таблице дает возможность ранжировать факторы в порядке убывания сумм по строке (чем меньше сумма по строке j, тем меньшее количество факторов преобладает над фактором х_j) или возрастания сумм по столбцу (чем больше сумма по столбцу i,тем над большим числом факторов преобладает фактор х_i).

Далее возможны два пути - либо каждый из экспертов проводит ранжировку факторов х₁, х₂, ..., х_nописанным способом, либо применяются специальные методы обработки результатов парных сравнений mэкспертами.

Метод шкальных оценокпозволяет получить количественную оценку степени важности каждого из факторов, входящих в некоторую совокупность. В этом случае оценки относительной важности каждого фактора выражаются в баллах по какой-либо балльной системе. Чаще всего используется 100-балльная шкала, где максимально возможной важности отвечает оценка в 100 баллов, минимально возможной важности - оценка в 0 баллов. При обработке экспертных данных результаты опроса сводятся в таблицу.

Использование метода шкальных оценок значительно облегчает математическую обработку результатов экспертных заключений и их интерпретацию.

Для статистической обработки данных эксперимента могут использоваться показатели обобщенного мнения и показатели степени согласованности мнений экспертов. В качестве показателя обобщенного мнения могут использоваться среднее арифметическое оценок и частота максимальных оценок, а в качестве показателей степени согласованности мнений экспертов могут использоваться коэффициент вариации оценок и коэффициент конкордации (коэффициент согласия).

Среднее арифметическое оценок С_iкаждого из факторов определяется выражением

С_i = 1/m_i (1)

где т_i - число экспертов, оценивавших важность фактора х_i.

Величины С_ijи, соответственно, С_iмогут выражаться как в баллах (числовых величинах), так и в рангах. В первом случае величина С_i носит название среднего балла (средней величины) фактора х_i, во втором – среднего ранга.

К числу показателей обобщенного мнения относится также частота К_i максимальных оценок в баллах или присуждений экспертами первого места фактору

К_i = m_i⁽¹⁾ / m_i, (2)

где m_i – число экспертов, оценивших важность данного фактора;

m_i⁽¹⁾ – число экспертов, присудивших этому фактору первое место или поставивших ему максимальную оценку в баллах.

Для суждений о степени согласованности мнений экспертов чаще используют такие показатели как коэффициент вариации оценок V_i и коэффициент конкордации W.

Коэффициент вариации V_i определяется для каждого фактора и характеризует степень согласованности мнений экспертов об относительной важности фактора х_i

V_i = G_i / C_i, (3)

где G_i = - среднеквадратическое отклонение оценок каждого из факторов (параметров);

D_i = 1/m_i ² – дисперсия оценок.

Из выражения (3) видно, что меньше значение V_i, тем выше степень согласованности мнений экспертов относительно важности i-го фактора.

Для оценки степени согласованности мнений группы экспертов в целом по совокупности факторов используется коэффициент конкордации

W = 12 • ∆S² / m² (n³ – n), (4)

где ∆S² – мера степени согласованности суждений экспертов (сумма квадратов отклонений фактических значений рангов от их «идеальных» значений последовательности), определяемая по формуле

∆S² =m² - )² (5)

Коэффициент конкордации меняется от 0 до 1. W=0 означает, что не существует связи между ранжировками экспертов; W=1 означает, что все эксперты одинаково ранжируют факторы по степени их важности. Изменение Wот 0 до 1 соответствует увеличению степени согласованности мнений экспертов.

Каждый из вышеперечисленных методов имеет свои преимущества и недостатки. Так, во многих случаях эксперты могут расходиться во мнениях относительно численных значений балльных оценок, хотя в принципе у них нет разногласий относительно упорядоченной последовательности убывания важности параметров. В этом случае метод ранжировки дает согласованный ответ на вопрос, какие из факторов следует стараться изменить в первую очередь в целях улучшения работы системы.

С другой стороны, мнения экспертов, работающих по методу ранжировки, могут совпадать относительно трех-пяти первых по важности факторов и расходиться относительно остальных. Если факторов много, то при этом резко ухудшается показатель согласованности мнений, хотя, может быть, факторы, важность которых вызывает разногласия, являются третьестепенными, что легко можно было бы установить, пользуясь методом шкальных оценок. Кроме того, при использовании метода шкальных оценок значительно облегчается математическая обработка результатов экспертных оценок и их интерпретация.

По-видимому, разумный оптимум состоит в одновременном использовании обоих методов. Метод парных сравнений удобно применять при выработке первоначальных рабочих гипотез о порядке ранжировки факторов. Применение же его в качестве основного рабочего инструмента затруднительно, с одной стороны, из-за сложности математических алгоритмов обработки результатов в случае ярко выраженного отсутствия свойства транзитивности, а с другой — по тем же причинам, что и при ранжировке.

К преимуществам метода шкальных оценок можно отнести то обстоятельство, что он дает в явном (численном) виде значения оценок важности факторов. Это в свою очередь обеспечивает возможность распределить усилия по воздействию на факторы, по крайней мере, в первом приближении, пропорционально этим оценкам.

При обработке результатов экспертных оценок следует также учесть степень компетентности каждого эксперта, выражаемую, например, ранжировкой самих экспертов по степени их компетентности или просто соответствующими оценками. Компетентность эксперта может быть получена и на основе учета степени влияния различных источников аргументации на выдаваемый им ответ, а также учета степени знакомства с обсуждаемой проблемой. Имея сравнительную характеристику компетентности экспертов, при обработке их мнений можно ввести вклад каждого эксперта в суммарные показатели обобщенного мнения.

[1] Собрание законодательства Российской Федерации.

[2] Ведомости Съезда народных депутатов Российской Федерации и Верховного Совета Российской Федерации.

[3] Собрание актов Президента и Правительства Российской Федерации.