Методы обработки и анализа числовых данных
Методы обработки и анализа числовых данных представлены большим многообразием и включают в себя как классические методы элементарной математики (методы приближенных вычислений, комбинаторики, алгебраические методы и др.), так и методы, оформившиеся в результате развития отрасли системно-кибернетических исследований. Следует сразу оговориться, что по предмету анализа (тому, что стоит за числами) эти методы различаются существенно, а вот, что касается формального аппарата, то в целом он универсален для всей математики. Речь не идет о том, что авторы не видят различий между формализмом методов дифференциального исчисления и методов комбинаторики. Речь идет о другом — о том, что ни один из методов обработки числовых данных при анализе сложных систем не является самодостаточным.
Семантическая компонента формальной системы, используемой для представления данных, полученных в результате процедур принципиально различного типа, обычно остается вне поля зрения аналитика вплоть до завершения цикла аналитической обработки, когда привлекается модель интерпретации результатов. Но, в то же время, именно семантическая компонента определяет саму схему обработки данных (содержание метода).
В рамках рассмотрения методов обработки и анализа числовых данных мы не будем рассматривать математические процедуры и операции, традиционно используемые для обработки результатов инструментальных измерений. Наше внимание будет сосредоточено на проблемах обработки численных данных, полученных в результате проведения опроса экспертов, поскольку этот класс данных отличается отсутствием возможности аналитическим путем оценить точность полученных данных. В числе таких методов следует выделить два класса:
- методы экспертных оценок;
- метод решающих матриц.
Методы экспертных оценок представляют собой еще одну разновидность способов привлечения опыта и знаний экспертов для решения задач управления и анализа сложных систем. Метод экспертных оценок представлен множеством модификаций, и, по мнению некоторых авторов, является более широким классом, нежели такие классы методов, как мозговые атаки, методы типа Дельфи и иные, основанные на опросе мнений экспертов. Но авторы этой книги считают иначе — не стоит смешивать различные виды классификаций: классификацию по способу активизации мышления, классификацию по источнику знаний и классификацию по способу обработки полученных данных.
По причине такого смешения и возникла путаница — методы экспертных оценок по источнику знаний равноценны методам коллективной генерации идей, методам типа Дельфи и методам опроса экспертов, по способу обработки — включает перечисленные методы, а к классу методов активизации мышления вообще никак не относится. Заметим, что в данном случае мы сосредоточим внимание на способе обработки данных, полученных в ходе экспертных опросов, на методах анализа экспертных оценок.
Рассматривая возможность использования экспертных оценок, обычно исходят из того, что неизвестная характеристика исследуемого явления может трактоваться как случайная величина, знаниями о законе распределения которой располагает специалист-эксперт. Также предполагается, что эксперт в силах оценить достоверность и значимость того или иного события, происходящего в системе. То есть, применительно к группе экспертов, считается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, полученных от группы, и что в результате обобщения мнений экспертов может быть получена достоверная оценка.
Однако это не всегда так, поскольку все зависит от первоначального объема знаний о системе и степени изученности проблемы. Если знания экспертов в данной предметной области достаточно обширны, для того, чтобы полагать группу экспертов «хорошим измерителем», тогда, действительно, предположение об адекватности коллективной оценки небеспочвенно. Но если такой уверенности нет, многие приемы обработки данных экспертных опросов оказываются не только неэффективны, но и вредны. Организатор опроса должен сознавать, в какой из перечисленных ситуаций он пребывает. В зависимости от этого, внимание может концентрироваться на «случайных выбросах», как элементе нового знания, которое стоит рассматривать, как вероятно плодотворный подход (коль скоро общепринятые теории не дают желаемого результата).
 |
Надо сказать, что должность эксперта не является экзотической для государственного устройства России. Так, мало кто из опрошенных нами сотрудников информационно-аналитических подразделений смог расшифровать хорошо известное по школьному курсу русской литературы словосочетание «коллежский асессор». Каково же было их удивление, когда они узнали, что на самом деле оно соответствует современной должности «эксперт коллегии», «научный консультант»!
Обычно, когда речь идет о применении экспертных оценок, рассматривается целый комплекс проблем, так или иначе связанных с этой процедурой, при этом рассматривают:
1. Процедуры формирования экспертных групп (это и требования к квалификации экспертов, их психологическим характеристикам, размерам групп, и вопросы тренировки экспертов);
2. Формы проведения экспертного опроса (способы проведения анкетирования, интервьюирования, смешанные формы) и методики организации опроса (создание психологической мотивации, методики анкетирования, применения методов активизации мышления);
3. Подходы к оцениванию результатов (ранжирование, нормирование, различные виды упорядочения, включая методы предпочтений, попарных сравнений и др.) и методы обработки экспертных оценок;
4. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (например, статистические методы оценки дисперсии, оценки вероятности для заданного диапазонаизменений оценок, оценки ранговой корреляции, коэффициента конкордации и иные);
5. Методы повышения согласованности оценок путем применения соответствующих способов обработки результатов экспертного опроса.
Пункты 1 и 2 данного перечня отчасти рассмотрены в подразделе, посвященном методам активизации мышления, и в большей степени относятся к проблемам организационного плана. Здесь же наш интерес будет сосредоточен на проблемах, перечисленных в пунктах 3‑5.
Существенный интерес с точки зрения механизмов обработки экспертных оценок представляет проблема выбора вида шкал, используемых в ходе опроса. Выделяются следующие классы шкал:
- шкалы равномерные и неравномерные;
- шкалы абсолютные и нормированные;
- шкалы дискретные и непрерывные;
- шкалы одноуровневые и иерархические;
- шкалы измерений и отношений;
- шкалы одномерные и многомерные.
Равномерные шкалы представляют собой такой вид шкал, для которых расстояние (модуль метрики) между любой парой ближайших терминов является постоянным, это условие должно выполняться и для пространственной интерпретации шкалы.
Неравномерные шкалы представляют собой такой вид шкал, для которых либо геометрическое расстояние, либо расстояние измеренное в пространстве признаков (модуль метрики) между соседними двумя терминами не является постоянным в рамках шкалы. Используются тогда, когда некий интервал значений представляет особый интерес для исследователя, для чего число терминов в этом интервале увеличивается, либо производится смена масштаба отображения (что редко обходится без введения новых терминов или их квантификаторов).
Абсолютные шкалы — это шкалы, на которых в качестве терминов выступают конкретные значения абсолютных величин. Чаще всего такие шкалы используются при отображении результатов, полученных на выборках равного объема, либо для протоколирования оценок экспертов.
Нормированные шкалы — это шкалы, на которых расстояние между соседними терминами измеряется в долях или кратно (в разах) некоторой величине, то есть, эти шкалы выражаются в относительных единицах. В качестве «нормы» может быть взят объем конкретной выборки (при сопоставлении частотно-рангового распределения выборок разного объема), максимальное значение некоторой величины и иные величины, относительно которых могут выполняться операции сравнения. Например, в качестве величины, относительно которой может быть нормирована некая шкала, иногда рассматривают и значение наименьшей величины — в этом случае расстояние между терминами этой шкалы будет по модулю равно этой величине.
Применение дискретных шкал основано на установлении соответствия между некоторым фиксированным множеством терминов-оценок и совокупностью численных показателей, подлежащих дальнейшей обработке. Такой подход позволяет сократить разброс характеристик к необходимому уровню разнообразия и стандартизировать тезаурус. Существует ряд ограничений на мощность множества терминов, связанных с тем, что чрезмерное разрастание этого множества ухудшает восприятие шкалы из-за усложнения процедуры различения смежных терминов экспертом. В ряде случаев это может привести к снижению темпов работы экспертов, возникновению стрессовых ситуаций в ходе опроса, вызванных сложностью идентификации термина с оценкой эксперта. Другой крайностью является излишняя терминологическая бедность шкалы, приводящая к снижению точности оценки. Разрешению этой проблемы отчасти может способствовать использование иерархических шкал.
Непрерывные шкалы получили особое распространение в системах анкетирования, реализованных на базе ЭВМ, однако используются и на традиционных носителях. Данная разновидность шкал отличается тем, что для оценивания используется пространственная интерпретация шкалы, в виде некоторого непрерывного интервала, заданного двумя терминами, используемыми для обозначения верхней и нижней границы диапазона (этот диапазон ставится в соответствие шкале оценок заданной инструментальной точности). Этим снимается проблема «терминологического» стресса, однако возникает проблема точности установления экспертом пространственной координаты, соответствующей его субъективной оценке. В случаях, когда перед экспертом стоит задача ранжирования оценок, такой вид шкал может оказаться менее удобен, поскольку отсутствие явной маркировки осложняет решение задачи сравнения.
Одноуровневые или плоские (flat) шкалы предполагают размещение всего множества терминов в рамках одного диапазона без введения элементов иерархического упорядочения. Этот вид шкал наиболее распространен, и по своей сути представляет собой разновидность одноуровневой классификации. Применение такого вида шкал является оправданным при малом количестве терминов, выражающих субъективную оценку эксперта, однако по мере роста мощности множества терминов, точность результатов начинает снижаться. Для непрерывных шкал одноуровневое представление является наиболее естественным.
Иерархические шкалы представляют собой интерпретацию иерархической классификации, в которой разделение на классы осуществляется на основе критерия принадлежности к некоторому диапазону. Использование иерархических шкал позволяет улучшить различимость терминов, упорядочить их и обеспечить их согласование с тезаурусом пользователя. Попадая в тот или иной диапазон, заданный термином (или парой терминов) более высокого уровня в иерархической классификации, эксперт получает возможность уточнить его на более низком (детальном) уровне. За счет использования такого подхода компенсируются недостатки дискретных одноуровневых шкал, снимается «терминологический» стресс и повышается инструментальная точность измерения. В сочетании с непрерывными шкалами, как правило, не применяются. Наиболее распространены при проведении опроса с помощью ЭВМ.
Шкалы измерений предназначены для протоколирования субъективных оценок экспертами некоторых величин и позволяют сформулировать мнение о значении или диапазоне значений некоторой величины в абсолютных терминах.
Шкалы отношений отличаются тем, что предназначены для протоколирования субъективных оценок экспертами отношений порядка, причинно-следственных отношений и иных. Данная разновидность шкал оперирует относительными терминами. Наиболее распространены они при решении задач с высокой неопределенностью.
Одномерные шкалы применяются в тех случаях, когда свойства объекта/процесса достаточно полно могут быть выражены в одномерном пространстве признаков. При этом одномерная шкала может быть как дискретной, так и непрерывной.
Многомерные шкалы применяются, если свойства объекта/процесса не могут быть адекватно выражены в одномерном пространстве признаков (такое, например, бывает в случае, когда одним термином описывается некое комплексное явление, характеризующееся большим разбросом несвязанных между собой параметров). Нередко используются так называемые номографические шкалы, для которых характерно выделение на шкале, построенной в некоторой системе координат, кривых или поверхностей, для которых выполняется некоторое условие (функциональная зависимость), связывающее параметры, отложенные по координатным осям. Номографические шкалы позволяют оценить область пространства, в которой находится некоторая группа решений задачи или, наоборот, выдвинуть гипотезу о принадлежности априори неизвестной функциональной зависимости некоторому классу. Для представления многомерных шкал часто используются различные двухмерные отображения объемных тел, выступающих в качестве метафоры многомерного пространства. Однако, в силу действия ограничений пространственного мышления человека, в случае необходимости отображения многомерной шкалы с количеством параметров, превышающим три, как правило, используются связные развертки таких тел или совокупность связных (по одному или двум параметрам) двухмерных или трехмерных шкал.
Приведенная классификация шкал позволяет осмыслить ранее введенное понятие метрики или меры близости, поскольку использование шкал дает возможность перейти от абстрактного к предметному мышлению, благодаря возможности пространственной интерпретации терминов. Следует заметить, что переход от абстрактного мышления к предметному является одним из мощнейших инструментов активизации мышления, такие переходы на некоторых этапах анализа обеспечивают возможность априорной верификации гипотез (без проведения эксперимента). В явном виде представленное пространство признаков позволяет выбрать класс метрик, пригодных для сравнения экспертных оценок, и методов их анализа.
В зависимости от типа геометрической интерпретации пространства могут использоваться различные методы упорядочения, сравнения, вычисления среднего значения и так далее. Пространства признаков могут быть векторными (с учетом направления), скалярными, неметризованными, евклидовыми, сферическими и иными — в зависимости от выбора для выполнения перечисленных операций используется различный математический аппарат. Наиболее распространенными видами геометрической интерпретации пространства признаков являются так называемые евклидовы векторные пространства, в которых определены операции сложения и умножения на действительные числа, а также операция скалярного произведения, что позволяет вводить метрику для определения расстояний, длин векторов и решения иных задач. Характерно, что такие системы могут быть переведены в ортонормированный базис, что позволяет воспользоваться привычными приемами тригонометрических вычислений.
После того, как некоторым способом (анкетирование, опрос по системе Дельфи, мозговой штурм и т. п.) была получена совокупность экспертных оценок по некоторой проблеме, от этапа сбора данных методом экспертных оценок переходят к процедуре обработки и оценивания результатов. Здесь большую роль играет то, каким образом на этапе составления анкеты или логической схемы опроса было организовано пространство признаков, соответствовала ли система шкал задачам, решаемым в ходе опроса, существует ли возможность сопоставить полученные результаты и вывести по ответам экспертов некую закономерность. Мы не случайно вновь упомянули шкалы и пространство признаков: очевидно, что одно дело обрабатывать величины дискретные, а другое — непрерывные, или, что решение задачи меньшей размерности проще, чем решение задачи большой размерности, в которой трудно выделить логически независимые блоки.
Для решения задачи обработки и анализа экспертных оценок широко используются как общие математические и статистические методы, так и специфические методы — такие, как:
- методы ранжирования и гиперупорядочения;
- методы попарных сравнений;
- метод отбрасывания альтернатив;
- алгоритмы отыскания медианы и иные.
Важную группу методов образуют методы математической обработки результатов измерений[76]:
- методы отбраковки результатов аномальных измерений;
- методы оценки ошибок и погрешностей;
- методы обработки неравноточных измерений;
- метод наименьших квадратов;
- методы корреляционного анализа.
При обработке индивидуальных экспертных оценок обычно применяется метод согласования оценок, имеющий массу вариантов реализации, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. Для этого в качестве оценки могут использоваться усредненная вероятность, средневзвешенное значение вероятности (когда учитываются также и веса, приписываемые оценке каждого эксперта) — вплоть до специальных методов оценки измерения и повышения коэффициентов согласованности (конкордации или коэффициентов непротиворечивости) мнений экспертов. Кроме того, еще на этапе формирования экспертной группы могут применяться методы, основанные на отборе экспертов с высоким коэффициентом согласованности мнений.
Существенную роль в обработке числовых данных — именно к этому типу преобразовывается большинство терминов, используемых для обозначения точек в пространстве признаков — играют методы, основанные на преобразовании типов шкал. К числу таких преобразований могут быть отнесены преобразования дискретной шкалы в непрерывную, абсолютной — в нормированную и иные. Такие методы могут применяться как до, так и после выполнения процедуры ранжирования (например, до построения частотно-рангового распределения оценок и группирования экспертов по степени согласованности ответов на поставленные вопросы).
В качестве одного из методов повышения согласованности экспертных оценок применяют метод Дельфи.
Метод решающих матриц, идея которого была предложена Г.С. Поспеловым, относится к еще одному классу методов — к методам организации сложных экспертиз. Идея метода заключается в управлении процессом синтеза нового знания в ходе многоэтапного экспертного опроса. Это достигается за счет стратифицированного (послойного) рассмотрения проблемы по уровням, относящимся к различным этапам ее решения. Для научных исследований рассматриваются слои, соответствующие этапам фундаментальных научно-исследовательских работ, прикладных научно-исследовательских работ, опытно-конструкторских работ и подпроблем. Для решения проблем управленческой деятельности эти слои могут быть иными, например, следующими: методологический, организационный, технологический слои и слой подпроблем.
На начальном этапе в результате проведения экспертного опроса в общей (глобальной) проблеме выделяются подпроблемы (направления), сумма весов которых (полученных опять же в результате опроса) равна ста процентам. Количество столбцов матрицы определяется числом подпроблем или направлений работы, строки же соответствуют слоям. В каждом слое некоторому направлению ставится в соответствие одно мероприятие, преимущественно нацеленное на решение той или иной задачи в сфере методологического, организационного или технологического обеспечения решения подпроблемы (перечень мероприятий также получают в ходе очередного тура экспертного опроса). Однако, поскольку любое мероприятие дает помимо основного результата еще и ряд косвенных, постольку в ходе следующего тура эксперты оценивают относительный вклад предшествующих мероприятий в проведение последующих (сумма весов дуг входящих в элемент более высокого уровня со стороны элементов более низкого уровня также должна быть равна ста процентам). В результате пересчета весов каждого элемента решающей матрицы могут быть аналитически исчислены коэффициенты важности мероприятий. Соответственно, неопределенность снижается поэтапно, и те данные, которые не могли быть получены методом прямого экспертного опроса, становятся доступными, благодаря разбиению исходной неопределенности на меньшие фрагменты, не требующие от эксперта стратегического мышления.
В завершение этой главы отметим, что ни одна сложная реальная задача, стоящая перед коллективом аналитиков, не может быть решена исключительно за счет применения какой-то одной неизменной совокупности процедур. Чаще всего, новый проект становится в том числе и вкладом в методологическое, технологическое и организационное обеспечение аналитической деятельности. Это и не удивительно — достаточно обратиться к реальным примерам масштабных проектов, чтобы убедиться в этом и понять причины, по которым так происходит.
Пример организации процесса комплексного перспективного моделирования приведен в Приложении 1 к этой книге. Данный пример иллюстрирует то, каким образом в 1996-98 годах специалистами ВВС США проводилось формирование перспективного плана развития ВВС на период до 2025 года в контексте оценки альтернатив развития мировой ситуации. Многие пункты подготовленного в результате этой работы отчета сегодня подтверждаются реальным развитием мировой ситуации.
В этой главе мы попытались вчерне, без прорисовки деталей, обозначить контуры методологии информационно-аналитической деятельности. К сожалению, штрихи, которыми мы пытались очертить эти контуры, оказались слишком крупными — многих проблем, существующих в этой области, нам даже вскользь затронуть не удалось… Это вызвано многообразием методов аналитической деятельности и ограниченностью объема данной книги. Еще одним фактором сдерживания явилась ограниченная применимость ряда специфических методов и методик.
Однако авторы надеются, что им удалось главное — пробудить интерес к аналитике и ее методам, а также показать, что в сущности, ничего особенно сложного и недоступного пониманию в аналитике нет — все определяется уровнем изложения. Этот раздел, как это ни странно, совершенно не содержит формул... Плохо ли это? — Для кого-то — да, для кого-то — нет. Формулы чаще всего требуются тем, кому еще не удалось выйти на тот уровень, на котором требуется практическая аналитика, вернее ее результаты. Но уж, коль скоро вышел на него, то знания столь высокой степени детализации могут оказаться и бесполезными, более того, их может оказаться мало. А управлять аналитиками нужно, причем весьма квалифицированно — иначе шансов получить от них именно то, что требуется, очень мало.
Неслучайно, что авторами книги особый упор был сделан на методы системно-кибернетических исследований — идеи, изначально заложенные в эту отрасль научного знания, оказались настолько плодотворны, что у них оказалось большое число последователей в других отраслях. Таким образом, системно-кибернетическая отрасль стала тем ядром, вокруг которого в настоящее время сформировалось множество школ аналитической мысли. Мы считаем, что крайне опасно оставаться в плену какой-то одной группы дисциплин — будь то естественнонаучные, технические или гуманитарные дисциплины. Следует видеть, сколь тесно переплетаются различные дисциплины, как только речь заходит об аналитике.
В ходе дальнейшего рассмотрения аналитики, как комплексной научной дисциплины, мы сконцентрируем внимание на организационных и технологических аспектах аналитической деятельности.
Несмотря на довольно обширную отечественную литературу по различным проблемам научной деятельности, число работ, специально посвященных методологиианалитической работыв научных исследованиях, бизнесе и других сферах деятельности, относительно невелико.
Среди них можно отметить следующие работы: Рузавин Г.И. Методология научного исследования. М.:ЮНИТИ, 1999; Гроза П.И. Организация и методика проведения научно-исследовательских работ.- М.,1988; Дорожкин А.М. Научный поиск как постановка и решение проблем -Нижний Новгород, 1995; Мерзон Л.С. Проблемы научного факта.- Ленинград, 1972; Варшавский К.М. Организация труда научных работников — М.:Экономика, 1975; Кара-Мурза С.Г. Проблемы организации научных исследований — М.: Наука, 1981; На пути к теории научного знания — М.:Наука, 1984; Волкова В.Н.. Денисов А.А. Основы теории систем и системного анализа,- С.-Петербург: изд-во СПбГТУ, 1997 и др.
Более обширна литература, посвященная отдельным аспектам и этапам научного поиска. К ней относятся работы В.Ф.Беркова, В.Е.Никифорова, И.Г.Герасимова, Е.С.Жарикова, А.А.Ивина, Е.А.Режабека, В.С.Степина, В.А.Лекторского и др.
Глава III