Экспертные методы прогнозирования
В случае чрезвычайной сложности системы (объекта прогнозирования), его новизны, неопределенности формирования некоторых существенных признаков, недостаточной полноты информации и невозможности полной математической формализации процесса решения поставленной задачи приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающим проблему экспертам.
Их решение задачи, аргументация, подход, формирование количественных оценок результатов, обработка последних формальными методами получили название метода экспертных оценок.
Этот метод включает три составляющие:
· интуитивно-логический анализ задачи или ее фрагмента;
· решение и выдачу количественной или качественной характеристики (оценка, результат решения);
· обработку результатов решения – полученных от экспертов оценок.
Интуитивно-логический анализ строится на логическом мышлении и интуиции экспертов и базируется на их знаниях и опыте. Это индивидуальный процесс. Каждый из экспертов не только моделирует, но и производит сравнительный анализ альтернатив решения, их количественные измерения. Часто этот процесс осуществляется в условиях недостаточности и недостоверности данных об исследуемом объекте, условиях, в которых он функционирует и будет развиваться. Это обусловливает уровень требований, предъявляемых к экспертам.
Принятие экспертом решения по рассматриваемой проблеме и оценке ожидаемого результата – завершающая часть индивидуальной работы эксперта.
Полученные от эксперта решения используются для обобщения и формирования результирующего показателя – итоговой оценки явления, проблемы. Это очень трудоемкий процесс, поскольку в зависимости от поставленной цели (определение согласованности мнений экспертов, построение обобщенной оценки объекта, явления, процесса на основе индивидуальных оценок экспертов и др.) изменяется количество выполненных расчетных и логических процедур, набор учитываемых показателей. Поэтому для оперативности получения результата и минимизации ошибок целесообразно использовать ЭВМ. Несмотря на то, что это требует формализации процессов обработки экспертной информации (для алгоритмизации и программирования), выигрыш столь существенен, что данный путь вполне оправдан.
Методами экспертных оценок решается целый ряд задач планирования и прогнозирования. Основными являются: распределение различных видов ресурсов с установлением приоритетности; формирование целей и задач планирования по уровням управления и их ранжирование по важности; определение возможных вариантов решения задач с оценкой предпочтительности каждого из вариантов; оценка степени влияния на объект различных факторов; определение перспективных направлений развития производственной системы, организационно-функциональной структуры; оценка деятельности предприятий или подразделений (когда оценка производится по множеству показателей, большинство из которых– качественные); определение очередности выполнения работ; оценка качества выпускаемой продукции; научно-техническое и экономическое прогнозирование; формирование тематики НИОКР; выбор вариантов технического и социально-экономического развития предприятия; определение перспективных направлений развития производственных систем, организационно-функциональных структур; прочие задачи.
Экспертное оценивание своими источниками восходит к глубокой древности и связано с формированием и развитием человеческого общества (советы старейшин, государственные и военные советы, сенаты, коллегии и т.п.). Особое место занимают экспертные оценки в управлении. Сложность процесса управления народным хозяйством требует анализа целей и задач деятельности, путей и средств их решения, а также условий, в которых происходит сам процесс управления. Недостаточная полнота и достоверность информации часто не позволяет применять математические методы для решения задач прогнозирования, планирования, оперативного и стратегического управления.
Суть экспертного оценивания состоит в том, что для облегчения работы ЛПР и помощи ему в формировании решения привлекаются специалисты-эксперты. Эксперты помогают ЛПР описать качественно или количественно (если это возможно) проблемную ситуацию; определить время и ресурсы для принятия решений; проиграть множество вариантных ситуаций; сформулировать множества целей и возможных решений; высказать свои предпочтения по ситуации, решениям и целям; предложить возможные критерии оптимального выбора решений.
В общем случае предпочтения экспертов могут не совпадать с предпочтениями ЛПР, что позволяет ему критически осмыслить свою точку зрения и более обоснованно выбрать наилучшее решение. Таким образом, эксперты в задаче принятия решений выполняют информационную и аналитическую работу по формированию научно обоснованного решения.
Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов.
Полученное в результате обобщенное мнение экспертов принимается как решение проблемы.
Роль экспертов в реализации различных функций управления с позиций принятия решений заключается в том, что эксперты описывают проблемную ситуацию So и определяют множество целей Ц (см. п. 1.1). Далее эксперты формулируют множество альтернативных вариантов развития S, которое совпадает с множеством решений У. Каждый из вариантов контролируется в перечне причинно-следственных событий и сроков их свершения. В качестве критерия выбора может быть принят критерий максимума достоверности прогнозных расчетов (если экспертные оценки используются при прогнозировании), либо минимум затрат на ресурсы при ограничениях на сроки (в процессе планирования), а также иные критерии оптимальности решений.
В процессе организации работ по применению экспертного оценивания можно выделить несколько этапов:
1 этап. Подготовка руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В документе отражаются следующие вопросы: постановка задачи эксперимента, его цели; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ. Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы.
2 этап.Формирование группы управления и осуществление работы по подбору экспертной группы. На этом этапе решаются следующие задачи: определение долевого состава экспертов и их количества; составление предварительного списка экспертов в группе с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.
Параллельно с процессом формирования группы экспертов управление проводит разработку методики проведения опроса и его организации. При этом решаются следующие вопросы: место и время проведения экспертизы; количество туров опроса и его задачи; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.
3 этап. Определение организации и методики обработки результатов опроса. Здесь определяются задачи и роли обработки, процедуры и алгоритмы обработки, средства для ее проведения.
4 этап (заключительный). Оформление результатов работы. На этом этапе осуществляется анализ результатов экспертного оценивания, составляется отчет, а также обсуждаются основные результаты и подводятся итоги.
При проведении процедуры подбора экспертов должны учитываться следующие их характеристики:
1. Компетентность –степень квалификации эксперта в определенной области знаний. Компетентность экспертов можно оценить с помощью коэффициента компетентности
(2.21)
где Ки - коэффициент информированности по проблеме, получаемый на основе самооценки эксперта по 10-ибальной шкале и умножением этой оценки на 0,1;
Ка - коэффициент аргументации, получаемый суммированием баллов по эталонной таблице (табл. 2.5).
Таблица 2.5
Эталонная таблица для оценки уровня аргументации экспертов
| Источники аргументации | Степень влияния источника на мнение эксперта | ||
| высокая | средняя | низкая | |
| 1. Теоретический анализ 2. Производственный опыт 3. Обобщение работ отечественных авторов 4. Обобщение работ зарубежных авторов 5. Личное знакомство с зарубежным опытом 6. Интуиция | 0,3 0,5 0,05 0,05 0,05 0,05 | 0,2 0,4 0,05 0,05 0,05 0,05 | 0,1 0,2 0,05 0,05 0,05 0,05 |
Эксперту эта таблица предлагается без цифр, он отмечает (крестом), какой источник он оценивает по градациям ''высокая'', ''низкая''. После наложения таблицы эксперта на эталонную таблицу (табл. 2.5) подсчитывается количество баллов под крестами по всем источникам аргументации. Если Ка=1, то степень влияния всех источников высокая, если Ка=0,8 – средняя, и если Ка=0,5, то степень аргументации низкая. Таким образом, коэффициент компетентности 0 £ K £ 1.
2. Креативность– это способность к творческому решению поставленной задачи.
3. Отношение к экспертизе. Негативное или пассивное отношение специалиста к решению проблемы, большая его значимость и прочие факторы могут существенно повлиять на выполнение экспертами своих функций.
4. Конформизм – это подтверждение влияния авторитетов. Мнения признанных авторитетов в ходе открытой дискуссии может подавлять мнение лиц, имеющих высокую степень конформизма.
5. Аналитичность и широта мышления.Специалист, не обладающий этими качествами, часто не может решать проблемы, требующие нестандартных решений, выходящих за рамки сложившихся стереотипов.
6. Конструктивность мышления – это прагматический аспект мышления. Эксперт должен давать те решения, которые обладают свойствами практичности и реальности будущей реализации.
7. Коллективизм. Это свойство должно учитываться при проведении открытых дискуссий. Этика поведения эксперта в коллективе часто может влиять на психологический климат и успешность решения поставленной проблемы.
8. Самокритичность эксперта проявляется при самооценке уровня собственной компетентности и при принятии решения по рассматриваемой проблеме.
Все перечисленные характеристики описывают необходимые качества, влияющие на успешность решения задачи экспертного оценивания. Однако следует иметь в виду, что ряд характеристик эксперта могут оказаться положительными, а часть – отрицательными. Для устранения указанной трудности целесообразно сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества. В качестве такой характеристики можно принять достоверность суждений эксперта [18].
Количественно достоверность суждений эксперта оценивают по формуле
(2.22)
где Nn –число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой;
N – общее число случаев участия i-го эксперта в решении проблемы.
Также можно учесть вклад каждого эксперта в достоверность суждений всей группы экспертов. Эта относительная достоверность определяется по формуле
(2.23)
где m – число экспертов в группе; в знаменателе – средняя достоверность группы экспертов.
Достоверность экспертизы зависит от количества экспертов в группе и их качественных характеристик. Часто можно отметить монотонное возрастание достоверности экспертизы в зависимости от числа экспертов в группе (рис. 2.5).
 |
Рис. 2.5. Зависимость достоверности экспертизы от количества экспертов
В то же время затраты на экспертизу тем выше, чем больше численность группы экспертов и выше их квалификация. Это определяет максимально допустимое количество экспертов в группе с учетом их квалификации.
Количество требуемых для экспертизы специалистов различных профилей определяет минимальную численность экспертной группы.
В процессе разработки решения для минимизации расходов необходимо привлекать минимальное число экспертов при условии обеспечения ошибки не более a, где 0 < a < 1. Минимальное число экспертов (Nmin) определяют по формуле (2.26)
(2.26)
При этом должна наблюдаться стабилизация средней оценки исследуемой характеристики.
Полученные от эксперта решения используются для обобщения и формирования результативного показателя – итоговой оценки явления, проблемы. Это очень трудоемкий процесс, поскольку в зависимости от поставленной цели (определение согласованности мнений экспертов, построение обобщенной оценки объекта, явления, процесса на основе индивидуальных оценок экспертов и др.) изменяется количество выполненных расчетных и логических процедур, набор учитываемых показателей. Поэтому для оперативности получения результата и минимизации ошибок целесообразно использовать ЭВМ. Несмотря на то, что это требует формализации процессов обработки экспертной информации (для алгоритмизации и программирования), выигрыш столь существенен, что данный путь вполне оправдан.
Экспертные оценки делятся на индивидуальные и коллективные. К индивидуальным относят сценарии, метод «интервью», аналитические докладные записки.
"Интервью" предполагает беседу организатора прогнозной деятельности с прогнозистом – экспертом, которая включает вопросы о будущем состоянии системы и ее среды.
Метод аналитических докладных записок означает самостоятельную работу эксперта над анализом деловой ситуации и возможных путей ее развития.
Коллективные экспертные оценки (метод "комиссий", метод "мозгового штурма", метод Дельфи и др.) включают:
· подготовку и сбор индивидуальных экспертных оценок;
· статистические методы обработки полученных материалов.
Метод "комиссий" может означать организацию "круглого стола" и других подобных мероприятий, где происходит согласование мнений экспертов.
Для метода "мозгового штурма (атаки)" характерна коллективная генерация идей и творческое решение проблем. Мозговая атака представляет собой свободный, неструктурированный процесс генерирования любых идей (включая самые невероятные) по избранной теме, которые спонтанно высказываются участниками встречи [7,18].
Сущность метода состоит в разделении решения двух задач:
· генерирование новых идей;
· анализ и оценка предложенных идей.
Соответственно образуются две группы: группа генераторов идей и группа аналитиков. Группа генераторов идей состоит из 4-15 человек, но может быть и больше.
При проведении экспертизы должны соблюдаться следующие правила:
· любые критические высказывания или оценки ценности предложенной мысли, идеи недопустимы;
· должно быть достаточное количество и многообразие высказанных идей;
· необходимо "свободное парение" мысли: чем необычнее идея, тем лучше;
· мысли, идеи должны подхватываться, развиваться, комбинироваться, результатом должна быть лавина идей.
В завершение "мозгового штурма" производится тщательный анализ, критика высказанных точек зрения и отбор наиболее ценных из них. Первоначально отбрасываются предположения, явно не представляющие ценности, оставшиеся классифицируют на группы по категориям, зависящим от сущности проблемы, а затем производят оценку как внутри группы, так и межгрупповую.
Отделение этапа анализа от этапа генерирования идей лишь способствует углубленно анализа, усилению критики и делает ее более объективной и разносторонней.
Метод "мозгового штурма (атаки)" целесообразно использовать в критических ситуациях дефицита творческих решений, новых идей, свежих концепций в качестве одного из этапов системы поиска путей решения поставленной проблемы [18].
Метод Дельфи был разработан известным экспертом из исследовательской корпорации "Рэнд" Олафом Хельмером.
Суть метода - проведение анкетных опросов специалистов в выбранной области знаний. Основными особенностями этого метода являются:
· полный отказ от личных контактов экспертов и коллективных обсуждений;
· многоуровневая процедура опроса экспертов;
· обеспечение экспертов информацией, включая и обмен информацией между ними после каждого тура опроса при сохранении анонимности оценок, аргументации и критики;
· обоснование ответов экспертов по запросу организаторов.
Обычно после первого тура опроса наблюдается значительный разброс мнений. Поэтому процедура осуществления метода Дельфи предполагает проведение 3-4 опросов, в преддверии которых каждого из экспертов знакомят с итогами предыдущих туров для того, чтобы эксперт мог получить предварительную информацию о предмете опроса.
Чаще всего после третьего или четвертого тура опроса ответы экспертов перестают изменяться, что и является сигналом к прекращению опросов.
Организация экспертизы по методу Дельфи включает следующие этапы [18]:
- предварительную ориентировку экспертов, включающую формулирование проблемы и инструктаж экспертов;
- формулирование вопросов экспертам в виде, требующем четких количественных и качественных оценок;
- разработку способов и порядка информационного обеспечения экспертов, включая обмен аргументацией;
- разработку алгоритмов и порядка промежуточной и окончательной обработки результатов.
Метод Дельфи обладает определенными недостатками: большими затратами времени на многотуровую экспертизу, полным исключением прямого столкновения мнений экспертов, необходимостью неоднократного пересмотра оценок.
Отмеченные недостатки могут быть устранены путем создания автоматизированной системы сбора и обработки мнений экспертов и их информационного обеспечения на основе ЭВМ, а также использованием различных модификаций метода Дельфи.
Метод построения сценариев
Особое место среди экспертных оценок занимает построение сценариев, так как помимо традиционной экспертизы этот метод включает целый ряд параметрических подходов и тяготеет к комбинированным методам.
Впервые термин «сценарий» был употреблен футурологом Х. Каном в 1960 г. при разработке картин будущего, необходимых для решения военных стратегических вопросов.
Сценарий – это описание (гипотетическая картина) будущего, составленное с учетом наиболее правдоподобных предположений.
Сценарии разрабатываются для определения рамок будущего развития технологии, рыночных сегментов, стран, регионов, отдельных фирм и т.д. Экономические организации со сложной структурой и разноплановой деятельностью в меньшей степени поддаются прогнозированию в рамках сценария.
Для прогнозируемой ситуации характерно существование определенного количества вероятных вариантов развития системы (рис. 2.6). Поэтому прогноз включает в себя несколько сценариев ("трубку сценариев"). В большинстве случаев это три сценария: оптимистический, пессимистический и средний – реалистичный (наиболее вероятный).
Рис. 2.6. Модель сценариев
При построении сценариев принято отвечать на три основных вопроса [47]:
· каковы тенденции развития системы в различных условиях и какими факторами они определяются?
· с какими проблемными ситуациями и «узкими» местами может встретиться развитие системы в будущем и как это повлияет на прогнозирование состояния системы?
· какие управленческие решения и в какой степени влияют на траекторию будущего развития прогнозируемой системы, каковы последствия различных альтернатив рассматриваемого решения?
Конкретная формулировка поставленных вопросов определяет целевую установку исследования.
Вся совокупность причин, определяющих функционирование и развитие исследуемого объекта, называется факторами:
· внутренние (эндогенные) факторы обусловлены закономерностями развития отдельных элементов и системы как целого, возникают в результате саморазвития системы;
· внешние (экзогенные) факторы определяются взаимодействием системы между собой и внешней средой, то есть с более широкой системой, в которую прогнозируемая система входит как один из элементов.
Влияние внешней среды называют прогнозным фоном, а параметры, описывающие влияние фоновых факторов, – фоновыми переменными.
Факторы, с помощью которых осуществляется целенаправленное воздействие на систему в целом и ее элементы, называются управляющими параметрами.
Факторы, значение которых объективно непредсказуемо и составляет систему предположений об условиях будущего развития хозяйственной системы, называются сценарными параметрами.
При построении сценариев следует учитывать воздействие двух основных групп ограничений:
1 группа – это ограничения, накладываемые законами природы (например, по ресурсам). Такие ограничения являются естественными и носят постоянный характер;
2 группа связана с процессами жизнедеятельности систем (особенно социальных). Их называют ограничениями по состоянию системы, в реальных системах такие ограничения принимают форму нормативных ограничений. Они закрепляются в законодательном порядке, то есть носят правовой характер, и с помощью нормативных ограничений обеспечивается динамическое равновесие системы.
Эти ограничения меняются с развитием системы, и одной из наиболее сложных задач прогнозирования является предсказание этих изменений.
Одним из приемов разрешения неопределенности, связанной с неточным знанием границ состояния прогнозируемой системы, является введение индикаторов состояния.
Индикатор – это критический к предельным состояниям системы параметр, который должен измеряться количественно. В качестве индикаторов обычно выбираются объективно измеряемые параметры системы с известными предельными значениями, выход за пределы которых вызывает неустойчивость системы и возможность ее перехода в другое качественное состояние или ведет к гибели. Например, цена на товар – индикатор состояния рынка; темпы инвестиций – показатель экономической активности.
Важной и сложной проблемой является выбор методов варьирования значений сценарных параметров. Одним из таких методов является гарантированный прогноз. Процедура гарантируемого прогноза включает следующие шаги:
1) задаются максимально возможные значения параметров, характеризующих факторы, положительно влияющие на развитие исследуемой системы, и минимальные значения тех факторов, которые препятствуют ее развитию. Таким образом, выбирается "идеальное", то есть наилучшее состояние системы;
2) для определения нижнего предела поступают наоборот;
3) получают "трубку сценариев" развития системы, которая подвергается дальнейшему анализу.
Процесс построения сценариев можно разбить на два больших этапа:
· предсценарный предназначен для содержательного и формального исследования и описания прогнозируемых процессов, построения моделей системы и подготовки всей необходимой информации для синтеза сценариев;
· сценарный этап как конечный результат прогнозирования, когда проводятся расчеты по всем базовым сценариям и даются рекомендации по результатам прогнозирования с подробным описанием последствий реализаций каждой из предложенных альтернатив.
На предсценарном этапе формулируется исходная гипотеза о целенаправленном развитии рассматриваемой системы, которая оформляется в виде рабочего документа, содержание которого максимально структурировано и отвечает принципам системного описания объекта прогнозирования. На данном этапе определяется объект и предмет прогнозирования.
Системное описание объекта начинается с его декомпозиции на элементы, и строится первая матричная схема целостной системы. Далее отбираются и фиксируются факторы, определяющие эволюцию системы, т.е. возможности перехода из одного состояния в другие. По результатам этой работы строится матрица "Состояния-факторы" (рис. 2.7). За каждым фактором или группой факторов стоит конкретный объект или явление, которые являются или элементами рассматриваемой системы, или элементами более высокого порядка (внешней среды). Это означает, что каждому содержанию матрицы "Состояния-факторы" соответствует определенная декомпозиция прогнозируемой системы.
| Состояния | Внешние факторы | Внутренние факторы | |||||||||||||||
| Эко-номи-ческие | Поли-тичес-кие | . . . | |||||||||||||||
| Факторы | |||||||||||||||||
| Параметры | |||||||||||||||||
| А | |||||||||||||||||
| Б | |||||||||||||||||
Рис. 2.7. Матрица"Состояния-факторы"
После формирования матрицы выбирается минимальное число параметров, характеризующих состояние системы относительно целей прогнозирования. Параметры могут быть как количественными, так и качественными. Качественные параметры можно представить шкалой качественных значений (баллов). Если число параметров велико, то из них выбирают индикаторы, доминирующие показатели, по которым судят о состоянии системы.
После построения матрицы "Состояния-факторы" переходят к этапу ее анализа и уточнения. Все факторы ранжируются по степени влияния на состояние прогнозируемого объекта, для чего может быть использована шкала оценок от 0 до 5 (0 – отсутствие влияния, 5 – наибольшее влияние). В матрице оставляют только «главные факторы» (не менее 3 по принятой шкале), а остальные переносятся на другие уровни представления системы.
Классификация состояний системы и факторов сужает первоначальную неопределенность и позволяет построить "трубку" возможных траекторий развития объекта.
Затем ищется «идеальное» управление, ведущее к достижению целей исследуемой системы. Данная процедура позволяет получить базовый сценарий (а в ряде случаев – несколько базовых сценариев), что завершает предсценарный этап.
Построение сценариев развития системы как конечного результата прогнозирования предполагает проведение расчетов по всем базовым сценариям на системе математических моделей. Цель расчетов – проверка содержательных базовых сценариев на допустимость и реализуемость, уточнение исходных фоновых переменных и суммарных параметров, а также количественно-качественный анализ сценариев.
Расчеты удобно начинать снизу, т.е. на моделях нижнего уровня, а по мере отработки базовых сценариев двигаться вверх по иерархии системы моделей. На этом этапе прогнозирования возможно сочетание различных математических методов параметрического прогнозирования и моделирования, методов оптимизации, экстраполяции и т.п. и эвристических методов (экспертных оценок), что позволяет получить относительно точный и надежный прогноз.
Анализ схемы, представленной на рис. 2.8, показывает, что построение сценариев представляет собой многошаговый процесс. Особый интерес представляют третий и четвертый шаги. Если на третьем шаге фирма определяет будущее состояние среды и ее влияния исходя из собственных целей, то на четвертом этапе возможное развитие сфер влияния определяется исходя из их современного состояния и возможных изменений. На пятом этапе сопоставляются результаты третьего и четвертого шагов, повышенные или заниженные показатели состояния среды корректируются при помощи данных, полученных на четвертом шаге.
 |
Рис. 2.8. Логическая схема построения сценариев развития объекта
Прогнозирования
Введение на шестом шаге разрушительных событий объясняется тем, что в реальной ситуации могут иметь место инциденты, которые не были спрогнозированы, но при этом могли изменить направление тенденции. Разрушительные события могут иметь как определенный результат (катастрофы, аварии и т.п.), так и положительный (политические примирения, технологические прорывы, открытие месторождений и т.п.). Из возможных разрушительных событий выделяются те, которые оказывают наибольшее влияние, и их учитывают при составлении сценариев.
На заключительных шагах сопоставляются стратегические проблемы фирмы и выбранные варианты развития среды, определяется характер и степень воздействия тех или иных вариантов развития на стратегические области действий фирмы, и рекомендуются конкретные меры по преодолению возможных проблем.
Построение прогнозных сценариев используется в практике прогнозирования как самостоятельный метод, так и как элемент прогнозирования с использованием других методов (т.е. может выступать элементом комплексной системы прогнозирования) [1].
Для оценки согласованности мнений экспертов можно использовать дисперсионный коэффициент конкордации:
|
, где
|
. В формулах (2.27) и (2.28) 
– показатель связанных (одинаковых) рангов в j-ой ранжировке, 
– число групп равных рангов в j–ой ранжировке; 
– число равных рангов в k-ой группе связанных рангов при ранжировке j-ым экспертом, n – число объектов, m – число экспертов 
|
, где 
– ранг, присваиваемый j-ым экспертом i-ому объекту;
– средний ранг, равный:
|
. Если коэффициент конкордации равен 1, то все ранжировки экспертов одинаковы; W = 0, если все ранжировки различны, то есть совершенно нет совпадений. Мнения экспертов согласованны, если W > 0,6.
Применение экспертных оценок позволяет решать сложные неформализуемые проблемы. Знание научно обоснованного подхода к применению этого метода в технологии функционального управления является необходимым условием эффективной работы руководителей разного уровня.