Моделирование и математические методы в управлении перевозками
Общие положения
При решении современных задач управления перевозками требуется учитывать большое число факторов различной природы. В формировании и анализе моделей принятия решения должны участвовать разработчики разной специализации. Процесс в таких условиях превращается в проблему выбора целей, критериев, средств и вариантов достижения целей. Проблема считается формализованной, если удается найти выражение, которое бы связывало цель принятия решения со средствами ее достижения.
Получить такое выражение (его называют критерием функционирования, показателем эффективности, целевой или критериальной функцией) относительно легко, если на основе статистических исследований или, исходя из наиболее часто встречающихся на практике экономических или функциональных зависимостей, определены закономерности, позволяющие связать цель со средствами. Задача существенно усложняется, если необходимо выбрать или разработать теорию, в которой бы содержался ряд утверждений и правил, позволяющих сформулировать концепцию и сконструировать на ее основе процесс принятия решения. При отсутствии теории требуется выдвинуть приемлемую гипотезу и на ее основе создать имитационную модель, с помощью которой провести исследование возможных вариантов решения, т.е. задача переходит в разряд имитационных. При этом она может оказаться настолько сложной, что потребуются не только учет и варьирование средств достижения целей или критериев, отражающих требования и ограничения, но и корректировка самих целей, если первоначальная их формулировка не дает желаемого результата.
Характеристика методов моделирования
Спектр методов, позволяющих формализовать проблемы, связанные с принятием решений, достаточно широк. Их цель—сократить время, затрачиваемое на постановку задачи, анализ целей и определение возможных средств, а также время, необходимое для отбора информации, характеризующей условия принятия решения и влияющей на выбор критериев и ограничений.
Постановка любой задачи заключается в том, чтобы перевести ее словесное (вербальное) описание в формальное. В случае относительно простых задач такой переход осуществляется на основе использования знаний человека. Если полученная формальная модель опирается на фундаментальный закон или подтверждается экспериментом, то этим доказывается ее адекватность отображаемой ситуации, и модель рекомендуется для решения всех подобных задач. По мере усложнения задач получение модели и доказательство ее адекватности усложняется. Применительно к транспортным объектам эксперимент часто является нереализуемым, и постановка задачи, формирование модели, т.е. перевод словесного описания в формальное, становится важной составной частью процесса принятия решений. Причем эту составную часть не всегда можно выделить как отдельный этап, завершив который, можно обращаться с полученной формальной моделью так же, как с обычным математическим описанием, строгим и абсолютным. В большинстве реальных ситуаций формальные модели необходимо постоянно корректировать и развивать. При этом возможно изменение не только модели, но и метода моделирования, что часто является средством развития представлений о моделируемой ситуации.
Для решения проблемы перевода вербального описания в формальное в настоящее время существуют и развиваются специальные приемы и методы, которые получили название «сценариев», экспертных оценок и др. В свою очередь, развитие математики идет по пути расширения средств постановки и решения практических задач. Наряду с детерминированными, аналитическими методами классической математики применяются теория вероятности и математическая статистика, которые используются как средство доказательства адекватности модели на основе представительской выборки и понятия правомерности вероятности использования модели и результатов моделирования. Для задач с большей степенью неопределенности привлекаются методы теории множеств, математической логики, лингвистики и теории графов.
Таким образом, между неформальным мышлением человека и формальными математическими моделями складывается целый ряд методов, которые помогают получать и уточнять (формализовать) вербальное описание проблемной ситуации, с одной стороны, и интерпретировать формальные модели, т.е. связывать их с реальной действительностью, с другой.
Строгого разделения на формальные и неформальные методы в настоящее время не существует. Например, при разработке экспертами «сценариев» могут применяться статистические данные, проводиться некоторые расчеты; с формализацией связаны получение и обработка экспертных оценок, методы морфологического моделирования. С другой стороны, в рамках любой формальной модели имеются положения, истинность или ложность которых нельзя доказать ее собственными средствами. Для преодоления проблемы необходимо расширять формальную модель, опираясь на неформальный анализ. Для решения сложных задач применяются методы, базирующиеся на сочетании методов, использующих опыт и интуицию, и методов формализованного представления. К ним относятся имитационное, динамическое, ситуационное, структурно-лингвистическое моделирование.
Математические методы
В практике моделирования широко используются теория множеств, математическая логика, математическая лингвистика и другие направления современной математики. Среди них, как правило, выделяются следующие обобщенные группы методов:
- аналитические методы (методы классической математики, включая интегрально-дифференциальное исчисление, методы поиска экстремумов функций, вариационное исчисление и т.д., методы математического программирования, классической теории игр и т.п.);
- статистические методы (методы теории вероятностей, математической статистики и методы, использующие стохастические представления, —теории массового обслуживания, статистических испытаний (основанные на методе Монте-Карло), выдвижения и проверки статистических гипотез и другие методы статистического имитационного моделирования);
- методы дискретной математики (теоретико-множественные, логические, лингвистические и семиотические представления, составляющие теоретическую основу разработки языков моделирования, автоматизации проектирования, информационно-поисковых языков);
- графические методы (методы, базирующиеся на теории графов, а также графическом представлении информации типа диаграмм, гистограмм и т.п.).
Кроме перечисленных, постоянно возникают новые направления на пересечении известных математических методов. В частности, на пересечении аналитических и теоретико-множественных представлений возникла и развивается алгебра групп; параллельно в рамках алгебры групп и теории множеств развивается комбинаторика; теоретико-мно-жественные и графические представления стали основой возникновения топологии; статистические и теоретико-множественные методы инициировали возникновение теории «нечетких» множеств, которая, в свою очередь, явилась началом развития нового направления—нечетких форматизаций и т.д.
Характеристика выделенных групп методов может включать в себя понятийный (терминологический) аппарат, а также направления (теоретические и прикладные), которые возникают и развиваются на базе представлений соответствующей группы.
Аналитическими считаются методы, которые отображают реальные объекты в виде точек (безразмерных в математических доказательствах), совершающих какие-либо перемещения в пространстве или взаимодействующих между собой.
В основе понятийного аппарата этих представлений лежат понятия классической математики (величина, формула, функция, уравнение, система уравнений, логарифм, дифференциал, интеграл и т.п.). На базе аналитических представлений возникли и развиваются различные математические теории, спектр которых широк: от аппарата классического математического анализа (методов исследования функций, их вида, способов представления, поиска экстремумов и т.п.) до новых разделов современной математики, таких как математическое программирование (линейное, нелинейное, динамическое и т.п.) и теория игр (матричные игры с чистыми стратегиями, дифференциальные игры и т.п.). Эти теоретические направления стали основой многих прикладных направлений, в том числе теории автоматического управления, теории оптимальных решений и т.д.
Аналитические методы применяются в тех случаях, когда свойства объектов можно отобразить с помощью детерминированных величин или зависимостей, т.е. когда знания о процессах и событиях в некотором интервале времени позволяют полностью определить поведение их вне этого интервала. Эти методы используются при решении задач движения, оптимального размещения, распределения работ и ресурсов, выбора наилучшего пути, оптимальной стратегии поведения и т.п. В то же время при практическом применении аналитических представлений для отображения сложных систем следует иметь в виду, что они требуют установления всех детерминированных связей между учитываемыми компонентами и целями системы в виде аналитических зависимостей. Для сложных многокомпонентных, многокритериальных систем получить требуемые аналитические зависимости крайне трудно. Даже если это и удается, то практически невозможно доказать правомерность применения таких выражений, т.е. адекватность модели рассматриваемой задаче.
Разновидностью аналитических методов можно считать методы математического программирования. Особенностью методов математического программирования является то, что в отличие от классической математики они содержат некоторые средства постановки задачи. В частности, термин «целевая функция» часто используется даже в тех случаях, когда очевидна невозможность формального установления детерминированных взаимосвязей между компонентами и целями системы. Способствует постановке задачи и понятие «область допустимых решений». Этим можно объяснить популярность рассматриваемого направления.
Основу статистических методов составляет отображение явлений и процессов с помощью случайных (стохастических) событий и их поведения, которые описываются соответствующими вероятностными (статистическими) характеристиками и статистическими закономерностями. По аналогии с аналитическими статистические отображения объектов можно представить как бы в виде «размытых» точек (областей). «Размытую» точку следует понимать как некоторую область, характеризующую движение объекта (его поведение), при этом граница области задается с некоторой вероятностью («размыта») и поведение точки описывается случайной функцией. Закрепляя все параметры этой области, кроме одного, можно получить картину воздействия данного параметра на поведение объекта, описываемую статистическим распределением по этому параметру.
Статистические закономерности можно представить в виде дискретных случайных величин и их вероятностей или в виде непрерывных зависимостей распределения событий, процессов. Для дискретных событий соотношение между возможными значениями случайной величины и их вероятностями называют законом распределения. Закон распределения представляют либо в виде функции распределения (интегральный закон распределения), либо в виде плотности вероятностей (дифференциальный закон распределения). Закон распределения является удобной формой статистического отображения поведения объекта. Однако получение закона распределения или определение изменений этого закона представляет собой трудную, часто невыполнимую задачу. Поэтому в ряде случаев пользуются не распределением, а его характеристиками —математическим ожиданием и дисперсией случайной величины. При этом на практике иногда используется даже не дисперсия, а среднее квадратическое отклонение.
Доказательство адекватности распределения при применении его для конкретных приложений базируется на понятии выборки. Выборкой называют часть изучаемой совокупности явлений, на основе исследования которой получают статистические закономерности, присущие всей совокупности и распространяемые на нее с какой-то вероятностью. Для того чтобы полученные при исследовании выборки закономерности можно было распространить на всю совокупность, выборка должна быть представительной (репрезентативной), т.е. обладать определенными качественными и количественными характеристиками.
Качественные характеристики представительности выборки связаны с содержательным аспектом выборки, т.е. — с определением, являются ли элементы, входящие в выборку, элементами исследуемой совокупности и правильно ли отобраны эти элементы с точки зрения цели исследования. Количественные характеристики представительности выборки связаны с определением объема выборки, достаточного для того, чтобы на основе ее исследования можно было делать выводы о совокупности в целом.
На базе статистических представлений развивается ряд математических теорий: математическая статистика, объединяющая различные методы статистического анализа (регрессионный, дисперсионный, корреляционный, факторный и т.п.); теория статистических испытаний, основой которой является метод Монте-Карло, а развитием — теория статистического имитационного моделирования; теория выдвижения и проверки статистических гипотез, базирующаяся на общей теории статистических решающих функций; теория потенциальной помехоустойчивости; обобщающая последние два направления теория статистических решений.
Перечисленные направления в большинстве своем носят теоретико-прикладной характер, хотя и возникли из потребностей практики. Однако есть и ряд дисциплин, которые имеют более выраженный прикладной характер. В их числе — экономическая статистика, теория массового обслуживания и др., а также развившиеся из направлений, возникших на базе аналитических представлений, стохастическое программирование, некоторые разделы теории игр и др.
Необходимость в методах дискретной математики возникает в тех случаях, когда алгоритм, который всегда в конечном итоге желательно получить для обеспечения повторяемости процесса принятия решения, не удается сразу представить с помощью аналитических или статистических методов. В этих случаях теоретико-множественные, логические, лингвистические или графические методы помогают зафиксировать в алгоритме опыт или эвристики человека.
В принципе, для отражения в алгоритме эвристик допустимы любые неформальные отображения. Однако такие эвристические алгоритмы широкого класса (отражающие способы решения переборных задач при моделировании решения) часто оказываются далеко неэффективными, а в ряде случаев не позволяют получить решение даже в обозримые сроки. Для предварительной оценки реализуемости алгоритма, введения некоторых формальных правил преобразования, позволяющих применить ЭВМ и ускорить получение решения, и оказываются полезными методы дискретной математики.
Теоретико-множественные представления базируются на понятиях «множество», «элементы множества», «отношения на множествах».
При использовании теоретико-множественных представлений, в соответствии с концепцией Кантора, можно вводить любые отношения. В простейших случаях используются отношения, подобные функциям алгебры логики, и в первую очередь — бинарной алгебры логики Буля. Для более сложных проблем отношения заимствуются из математической лингвистики, а при отображении особо сложных проблемных ситуаций с неопределенностью применяются отношения произвольного типа. При этом не только установление какого-либо вида специальных отношений, но и формирование элементов нового множества путем простого «помещения рядом» элементов исходных множеств позволяет получать эффект появления нового смысла, что обеспечивается доосмыслением отношений человеком на основе его предшествующего опыта.
Это приобретает значение при моделировании ситуаций с большой исходной неопределенностью, когда неизвестен характер взаимоотношений между элементами разных групп (подмножеств), выявленных для отображения объекта, проблемной ситуации.
Благодаря тому что применение теории множеств допускает введение любых произвольных отношений, теоретико-множественные представления используются как обобщающий язык при сопоставлении различных направлений математики и других дисциплин, являются основой для возникновения новых научных направлений или развития существующих. Вместе с тем при произвольных отношениях в формализованном с их помощью описании проблемной ситуации довольно быстро могут обнаружиться неразрешимые противоречия —парадоксы, что не позволяет оперировать с получаемыми теоретико-множественными моделями таким же образом, как с классическими соотношениями, и полностью доверять достоверности полученных результатов.
Базовыми понятиями математической логики являются: «высказывание», «предикат», «логические функции (операции)», «квантор», «логический базис», «логические законы».
Под высказыванием в алгебре логики понимается суждение, которое характеризуется определенным значением истинности. Если используются два значения истинности («да» — «нет», «истинно» — «ложно» и т.п.), то такая алгебра логики называется бинарной алгеброй логики Буля.
Под предикатом понимают выражение, грамматически имеющее ' форму высказывания, но содержащее переменные некоторых подмножеств, на которых они определены. При замене переменных элементами соответствующего подмножества предикат обращается в высказывание. Применение переменных высказываний служит для выражения общности и позволяет формулировать законы алгебры логики для любых высказываний данного вида. Из одного или нескольких высказываний или предикатов можно образовать новые высказывания или предикаты. Объединение простых высказываний в сложные производится без учета смысла этих высказываний (предикатов) на основе определенных логических правил (операций, функций).
Кроме логических функций в логике предикатов имеются операции квантификации — кванторы. Это специальные операции, которые служат для выражения общности суждений и связанных с ними понятий и позволяют на формальном языке исчисления предикатов говорить не об одном объекте, а о целом классе объектов.
Полную систему логических функций называют логическим базисом. В условиях выполнения требований к базису в алгебре логики доказывают теоремы, демонстрирующие свойства операций над высказываниями. Применяя эти теоремы (логические законы), формально можно получить правильный результат, не вникая в смысл проводимых исследований. Из элементарных функций алгебры логики формируют последовательности действий, отображающие процессы в системе от входа до выхода, т.е. логические алгоритмы.
Существует много форм записи логических алгоритмов: в виде функций алгебры логики, в форме таблиц или матриц, «машин Тьюринга», логических схем Ляпунова, с помощью рекурсивных функций, на языке нормальных алгоритмов Маркова, в виде программ для ЭВМ на одном из языков программирования, в форме диаграмм Насси-Шнайдер-мана. В случае необходимости логические алгоритмы могут преобразовываться с использованием логических законов.
На базе логических представлений возникли и развиваются теории логического анализа и логического синтеза. Логические представления применяют в случаях исследований новых структур объектов разной природы, в которых характер взаимодействия между элементами еще не настолько ясен, чтобы возможно было их представление аналитическими методами, а статистические исследования либо затруднены, либо не привели к выявлению устойчивых закономерностей.
В настоящее время логические представления широко применяются при исследовании и разработке автоматических систем контроля, при решении задач распознавания образов и т.д. На их основе развивается самостоятельный раздел теории формальных языков моделирования проблемных ситуаций.
Математическая лингвистика и семиотика — самые «молодые» методы формализованного отображения систем. Включение их в разряд математических не считается общепризнанным.
Основными понятиями, на которых базируются лингвистические представления, являются понятия: «тезаурус», «грамматика», «семантика», «прагматика».
Тезаурус определяется как множество смысловыражающих элементов языка с заданными смысловыми отношениями. Это определение позволяет представить структуру языка в виде уровней (страт) множеств (слов), смысловыражающие элементы каждого из которых формируются из смысловыражающих элементов предшествующих структурных уровней. В таком определении понятие тезаурус можно конструктивно использовать при создании искусственных языков: языков моделирования, автоматизации проектирования, информационно-поисковых языков. Ьно позволяет охарактеризовать язык с точки зрения уровней обобщения, ввести правила их использования при индексировании информации. Можно говорить о глубине тезауруса того или иного языка, о видах уровней обобщения и, пользуясь этими понятиями, сравнивать языки, выбирать более подходящий для рассматриваемой задачи или, охарактеризовав структуру языка, организовать процесс его разработки.
Под грамматикой понимаются правила, с помощью которых формируются смысловыражающие элементы. Пользуясь этими правилами, можно «порождать» (формировать) грамматически правильные конструкции или распознавать их грамматическую правильность. Под семантикой понимается содержание, значение, смысл формируемых или распознаваемых конструкций языка; под прагматикой — полезность для данной цели, задачи.
При создании и использовании искусственных языков применяют такие понятия структурной лингвистики, как порождающая и распознающая грамматика. Под порождающей грамматикой понимается совокупность правил, с помощью которых обеспечивается возможность формирования (порождения) из первичных элементов грамматически правильных конструкций. Под распознающей грамматикой — правила, с помощью которых обеспечивается возможность распознавания грамматической правильности фрагментов языка.
Рассмотренные понятия в равной мере используются как в математической лингвистике, так и в лингвистической семиотике. Некоторую условную границу между ними можно провести путем введения понятия «классы формальных грамматик» (как теорий математической лингвистики). На этой основе развивается теория формальных грамматик Н. Хомского, предназначенная для исследования семантических возможностей языков. Семиотические представления пользуются собственными специфическими средствами исследования семантических возможностей языков. В частности, понятием треугольника Фреге, согласно которому любой знак имеет форму, синтаксис и семантику. Такая исходная терминология позволяет отойти от представлений формальных грамматик Н. Хомского, имеющих отношения типа подстановки, и конструировать грамматику, используя более широкий спектр отношений.
Графические представления позволяют наглядно отображать структуры сложных объектов и процессов. Обычно такие средства, как графики, диаграммы, гистограммы, древовидные структуры, относят к средствам активизации интуиции человека. Возникшие на основе графических представлений методы позволяют ставить и решать вопросы оптимизации процессов организации, управления, проектирования; являются математическими методами в традиционном смысле. Таковы, в частности, геометрия, теория графов, прикладная теория сетевого планирования и управления (СПУ), ряд методов статистического сетевого моделирования с использованием вероятностных оценок графов.
6.4. Методы активизации опыта специалистов
Термин «методы активизации опыта специалистов» довольно точно отражает суть методов, к которым прибегают специалисты в тех случаях, когда не могут сразу описать рассматриваемую проблемную ситуацию аналитическими зависимостями или выбрать один из методов формализованного представления для формирования модели принятия решения.
К методам активизации опыта специалистов относят:
- методы типа сценариев;
- системно-структурные методы (методы построения сетевых, матричных и других структур);
- методы типа дерева целей (дерево решений, прогнозный граф и т.п.);
- методы экспертных оценок (метод суммарных оценок, методы попарных сравнений, методы согласования оценок и т.п.);
-методыорганизации сложных экспертиз (методика ПАТТЕРН, метод решающих матриц Г.С. Поспелова).
Возникновение перечисленных групп методов, как правило, связано с конкретными условиями проведения исследований или даже с именами их авторов. Однако варианты последующего применения методов настолько разнообразны, что в настоящее время трудно говорить об однозначности использования их первоначальных названий, поэтому в ряде случаев подчеркивается, что выделяемая группа объединяет методы типа сценариев и т.д.
Первоначально метод типа сценариев предполагал подготовку текста, содержащего логическую последовательность событий или возможные, развернутые во времени, варианты решения проблемы. Однако позднее это требование было снято, и сценарием стал называться любой документ, содержащий анализ рассматриваемой проблемы и пред-ложения-по ее решению, независимо от того, в какой форме он представлен.
В настоящее время сценарий предусматривает не только содержательные рассуждения, помогающие не упустить детали, которые невозможно учесть в формальной модели (в этом заключается основная роль сценария), но и содержит, как правило, результаты количественного технико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подготавливающая сценарий, обычно пользуется правом получения необходимых сведений от предприятий и организаций, а также проведения с ними необходимых консультаций. Сценарий позволяет создать предварительное представление о проблеме в ситуациях, которые не удается сразу отобразить формальной моделью. Однако сценарий — это текст, обусловливающий возможность неоднозначного его толкования. Поэтому его рассматривают как основу для разработки более формализованного представления о будущей системе или решаемой проблеме.
Структурные представления разного рода позволяют разделить сложную проблему с большой неопределенностью на более мелкие, лучше под дающиеся исследованию. Такой метод получил название системно-структурного.
Виды структур, получаемые путем расчленения объекта во времени (сетевые структуры) или в пространстве (иерархические структуры разного рода, матричные структуры) хорошо известны. Методы структуризации являются основой любой методики системного анализа, любого алгоритма организации проектирования или принятия управленческого решения.
Идея метода дерева целей впервые была предложена в связи с проблемами принятия решений в промышленности. Термин «дерево» подразумевает использование иерархической структуры, получаемой путем расчленения общей цели на подцели, а их, в свою очередь, на более детальные составляющие, которые в конкретных приложениях называют подцелями нижележащих уровней, направлениями, проблемами, а начиная с некоторого уровня — функциями.
При использовании метода дерева целей в качестве средства принятия решения часто применяют термин «дерево решений». При применении метода для выявления и уточнения функций системы управления говорят о «дереве целей и функций». При структуризации научно-исследовательской тематики пользуются термином «дерево проблемы», а при разработке прогнозов — «дерево направлений развития (прогнозирования развития)» или «прогнозный граф».
Формы и методы получения и обработки экспертных оценок достаточно разнообразны и используют способы анализа разного рода мер близости. Среди них известны: методы ранжирования и гиперупорядочивания, методы попарных сравнений Черчмена-Акофа, Терстоуна, метод «смешанной альтернативы» Неймана-Моргенштейна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Паре-то, методы определения предпочтений на множестве многомерных альтернатив и т.п.
При обработке индивидуальных экспертных оценок обычно применяется метод согласования оценок, который имеет много вариантов, различающихся способами, при помощи которых из индивидуальных получается обобщенная оценка. Известны различные методы согласования оценок: от простейших, путем получения средней вероятности, до специальных методов оценки измерения и повышения коэффициентов согласованности (или коэффициентов непротиворечивости) мнений экспертов или методов, основанных на отборе экспертной группы с высоким коэффициентом согласованности мнений.
При изучении особенностей и возможностей применения методов экспертных оценок рассматривается широкий круг вопросов, касающихся:
1) проблем формирования экспертных групп, включая требования к экспертам, размеры групп, вопросы тренировки экспертов, оценки их компетентности;
2) форм экспертного опроса (анкетирование, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, деловые игры и т.п.);
3) подходов к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, попарных сравнений и т.п.);
4) методов обработки экспертных оценок;
5) способов определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.) и методов повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.
Выбор подходов, способов и методов зависит от характера проблемы, который требуется учитывать при проведении экспертных опросов.
Как правило, проблемы по своему характеру делятся на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для решения которых эксперта можно считать хранителем большого объема информации, а групповое мнение экспертов — близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно и необходимо осторожно подходить к обработке результатов экспертного опроса. Поскольку в этом случае мнение одного (единичного) эксперта, уделяющего исследованию малоизученной проблемы больше внимания, чем другие, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса, в основном, следует применять качественную обработку результатов. Использование методов усреднения (справедливых для проблем первого класса) в данном случае может привести к существенным ошибкам.
Другая особенность, которая учитывается при применении экспертных оценок, заключается в том, что даже в случае рассмотрения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно субъективные черты, которые не исчезают при обработке результатов опроса.
Недостатки методов экспертных оценок приводят к необходимости создания методов, повышающих объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше под дающиеся осмыслению. Такие методы называют методами организации сложных экспертиз.
В качестве простейшего из этих методов предлагается способ усложненной экспертной процедуры, предложенный в методике ПАТТЕРН. В этой методике выделяются группы критериев оценки и рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцированно, а весовые коэффициенты повышают объективность результатов оценок.
Более сложным методом является метод решающих матриц, идея которого была предложена Г.С. Поспеловым. В этом случае проблема представляется в виде нескольких уровней. Относительные веса по всем уровням нормируются. Используя метод решающих матриц и сформировав многоуровневую структуру факторов, можно провести тщательный анализ вклада конкретных факторов каждого уровня этой структуры (многие из которых могут быть оценены с помощью детерминированных или вероятностных характеристик) на проблему.