Методика экспертных оценок В. Б. Тихомирова 3 страница
Ключевые понятия
Алгоритм— правило проведения операции, стандартизированная последовательность действий. Термин произошел от фамилии узбекского математика IX в. аль-Хорезми, который впервые сформулировал правила четырех основных арифметических действий. Первоначально именно эти правила назывались алгоритмами, но затем в математике алгоритмом стал называться любой способ вычислений, единый для некоторого класса исходных данных, например нахождение производной функции. Как обобщающее понятие может употребляться без непосредственной связи с математическими вычислениями.
Вероятность— количественная характеристика возможности появления некоторого события при определенных условиях.
Гипотеза— предположение о закономерностях какого-либо явления, которая предполагается, но должна быть доказана. В прикладном исследовании — утверждение о возможных отношениях, существующих между двумя или более переменными. Гипотезы выдвигаются с целью решения конкретной проблемы, объяснения новых фактов, устранения противоречий в наблюдениях. Гипотеза считается обоснованной, если она является следствием некоторой теории. Тем самым устанавливается согласованность гипотезы с более широкой областью знания.
Данные— результаты наблюдений или информация о действительности, получаемая в ходе исследования.
Информатика— наука о методах формализации и компьютерной обработки информации; играет ведущую роль в создании и развитии информационных технологий. Теоретической основной информатики является разработанная в 30-х годы XX в. теория алгоритмов.
Искусственный интеллект— область прикладной математики, основной функцией которой является развитие формальных средств представления и обработки знаний. В узком смысле — техническая система обработки информации на основе моделирования познавательных процессов человека; компьютерная модель рационального мышления.
Категория— понятие, рассматриваемое в качестве исходного, неопределяемого через другие понятия. Каждая наука опирается на соответствующую систему взаимосвязанных категорий. Наиболее часто термин используется применительно к философским понятиям, рассматриваемым в качестве основополагающих понятий бытия и мышления. К числу категорий обычно относят следующие понятия: объект, отношение, свойство, суждение, умозаключение, истина и др. В гуманитарных исследованиях категории формулируются в соответствии с предметной спецификой, например политическое пространство и политическое время.
Переменные— в социальных исследованиях обозначают наблюдаемые феномены, которые изменяются в зависимости от количества или качества. Они могут быть определены как зависимые или независимые переменные. Зависимые переменные — это те феномены, которые испытывают влияние других переменных. Например, при выдвижении гипотезы, что обороноспособность государства зависит от уровня военных расходов, т.е. определяя связь между бюджетом и безопасностью, расходы рассматривают как независимую переменную. В точных науках под термином «переменная» подразумевается символ, вместо которого допускается подстановка некоторых других символов. Простейшим видом переменной является, например, символ х в математическом уравнении типа (х + 1)2= х2 + 2х + 1. Объекты, символы которых допускается подставлять вместо переменной, образуют область значений данной переменной.
Системная динамика— область прикладной математики, которая исследует нелинейные отношения, основана на системной теории и кибернетике, позволяет прогнозировать долгосрочные процессы.
Функция— отношение между множествами, при котором каждому элементу одного множества соответствует некоторый элемент другого множества. Обычно функция записывается в виде формулы у = f (а), где х — независимая переменная, или аргумент, у — зависимая переменная, a f — функциональная переменная.
Вопросы и задания для обсуждения
1. Охарактеризуйте важнейшие проблемы интеграции гуманитарного и точного знания в прикладных исследованиях внутриполитической и международной проблематики.
2. Приведите известные вам примеры работ отечественных и зарубежных авторов, выполненных на основе междисциплинарного подхода. Какие из результатов показались вам наиболее интересными; какие моменты вызвали затруднения в понимании?
3. Используя литературу, расскажите о типологии математических средств, применяемых в политических исследованиях.
4. Какие методики обработки количественных данных вам известны и какие из них вы можете применять самостоятельно?
5. Предложите набор зависимых и независимых переменных для модели конфликтной или переговорной ситуации.
6. Какова роль гипотезы в процессе проведения количественного исследования? Сформулируйте гипотетические предположения в отношении конкретных политических явлений и определите возможные пути их обоснования.
7. Какие вопросы и в какой последовательности необходимо ставить при разработке плана междисциплинарного исследования.
Литература
Основная
Акимов В. П., Луков В. В., Паршин II Б., Сергеев В. М. Карибский кризис: Опыт моделирования. «США: экономика, политика, культура». 1989. № 5.
Плотипский Ю. М. Моделирование социальных процессов. М., 2001.
Саати Т. Математические модели конфликтных ситуаций. М., 1977.
Сартори Дж. Искажение концептов в сравнительной политологии // Полис. 2003. № 3. С. 67-77.
Шабров О. Ф. Системный подход и компьютерное моделирование в политологическом исследовании // ОНС. 1996. № 2.
Шродт Ф. А. Математическое моделирование // Д. Мангейм, Р. Рич. Политология. Методы исследования. М., 1997.
Яковлев И. Г. Информационно-аналитические технологии и политическое консультирование // Полис. 1998. № 2.
Champney L. Introduction to Quantitative Political Science. HarperCollege Publishers, 2000.
Maxim P. Quantitative Research Methods in the Social Science. Oxford, 1999.
Дополнительная
Арнольд В. Ф. Теория катастроф. М., 1990.
Лаптев А. А. Математическое моделирование социальных процессов// Математические структуры и моделирование. Омск, 1999. № 3. С. 109-124.
Саати Т., Керне К. Аналитическое планирование. Организация систем. VI., 1991.
Форстер Э., Ренц Б. Методы корреляционного и регрессионного анализа. М., 1983.
Шабров О. Ф., Анохин М. Г., Дзлиев М. И. Компьютерное моделирование :оциально-политических процессов. М., 1994.
Шеннон Р. Дж. Имитационное моделирование систем — искусство и наука. М., 1978.
Adcoc R. and Coller D. Measurement Validity: Ashared Standard for Qualitative and Quantitative Research//American Political Science Review. 2001. Vol. 95. №3.
Policy Analysis Methods // Ed. by St. Nagel. N.Y., 1999.
The Practice of Policy Analysis. N.Y., 1991.
Глава 7
ПОДГОТОВКА ИТОГОВЫХ ДОКУМЕНТОВ ПРИКЛАДНЫХ ПРОЕКТОВ
Роль завершающего этапа научного исследования. Особенности итоговых документов прикладных проектов. Информационный и аналитический разделы. Определение величины итогового документа. Конкретность и обоснованность выводов. Реалистичность практических рекомендаций. Стиль аналитических документов: краткость, простота, содержательная емкость.
-| Отличие итоговых документов прикладных аналитических разработок от фундаментальных исследований политических ситуаций и процессов
В этом параграфе мы рассмотрим, чем итоговые документы прикладных аналитических разработок отличаются от материалов, обобщающих фундаментальные исследования политических ситуаций и процессов.
Завершающий этап научного исследования, связанный с написанием отчетов и представлением результатов проведенной работы, является, без преувеличения, самым ответственным моментом реализации прикладного проекта. Идеи, выводы и рекомендации, которые он содержит, будут востребованы, только если они будут адекватно сформулированы. В этой связи перед исполнителями стоит задача наглядно отразить проведенную работу, придерживаясь принципа полноты и достаточности в изложении содержания. Кроме того, им придется неоднократно выверять итоговые заключения, добиваясь предельной четкости формулировок. Именно четкость вербальных конструкций, общих описаний и приводимых для их характеристики деталей придают любому служебному документу не просто завершенность, но и особую убедительность.
Хотя различные научные, ведомственные или информационные структуры обычно опираются на специальные (иногда сугубо внутренние) стандарты документации, практика современной информационно-аналитической работы позволяет предложить несколько общих рекомендаций, касающихся текстового оформления результатов прикладных проектов.
В первом приближении различия между двумя типами материалов, завершающих процесс научного изучения, достаточно очевидны. Прежде всего, они касаются объемов текстовой информации, в которой отражено содержание проведенной работы, и типом представляемых выводов. Итогом фундаментальных исследований по политической проблематике обычно выступает монография, сборник трудов авторитетных специалистов, учебник или другие публикации, включающие сотни страниц печатного текста. Помимо основных выводов эти работы очень часто завершаются рекомендациями в области продолжения исследований, постановкой вопросов, решение которых необходимо для повышения точности знания. Что касается итоговых материалов прикладных проектов, то их главной особенностью является сравнительно небольшой объем и особая лаконичность изложения результатов научного наблюдения. Эти документы завершаются также более конкретными и определенными выводами, чем фундаментальные исследования. Ориентация на получение прикладных суждений о политической действительности позволяет авторам соответствующих разработок существенно ограничивать общие рамки изучения и включать в спектр рассматриваемых проблем только те, которые определены при формулировании темы. В этой связи заключительные разделы прикладных проектов содержат выводы, которые отличаются особой предметностью и детализацией основных положений. Кроме того, чтобы полнее отвечать поставленным целям, они обычно дополняются несколькими рекомендациями относительно тактики поведения актора перед лицом вызовов политической среды. Разумеется, завершая научное исследование подобным образом, важно не утратить чувство меры и не рассматривать итоговые рекомендации приклад ных разработок в качестве единственно возможной основы реальных действий. Если в случае фундаментального исследования относительность научного знания подчеркнута указаниями на желательность дальнейшего изучения вопроса, то в прикладных разработках неоднозначность выводов минимальна. Однако сами выводы этих разработок многократно перепроверяются сведениями из других аналитических источников и соответствующей практикой.
Еще одним важным отличием итоговых документов фундаментального и прикладного формата является степень научной новизны представляемых результатов. В первом случае она должна носить принципиальный и универсальный характер. Обобщающие характеристики наблюдавшихся явлений должны раскрывать их важнейшие качества, неизвестные ранее профильным специалистам. В прикладных проектах качество новизны достигается путем прагматичной оценки нового знания, учета его полезности в конкретных обстоятельствах. При этом в фундаментальных и прикладных исследованиях по-разному обеспечивается репрезентативность информационно-аналитической работы, выступающей основой нового научного знания. Безусловно, и фундаментальные, и прикладные проекты требуют корректного обращения с информационными источниками, однако характер их представления в материалах исследования имеет свои особенности. В первом случае источники, как правило, непосредственно включены в основной текст, а во втором — фиксируются в материалах приложений. Прямое цитирование как фактологическая или аналитическая иллюстрация суждений в рамках прикладных проектов встречается крайне редко. В целом же для прикладных проектов характерно отсутствие описаний промежуточных этапов работы с информацией, результатов ее формальных преобразований и процедур количественных операций с эмпирическими данными. В случае необходимости все технические и вспомогательные этапы обработки исследовательских материалов отражаются в специальных приложениях. Но такие ситуации сравнительно редко встречаются в повседневной практике, особенно если речь идет о выступлениях экспертов, об аналитических записках или оперативных публикациях. Хотя все рабочие материалы прикладных проектов должны быть упорядочены, главным при представлении результатов является их содержание, а не способы получения.
В фундаментальных проектах, напротив, чтобы наиболее полно передать содержание научного знания и обеспечить его вери-фицируемость, немаловажно, по возможности, описать основные промежуточные этапы проведенного исследования. И выводы, и способы их получения фактически одинаково значимы в комплексной оценке полученных результатов, и только стандартный формат академических изданий не позволяет приводить целиком все вспомогательные материалы.
И наконец, фундаментальные и прикладные проекты отличаются по способам верификации. В фундаментальных исследовани-
ях проверка нового знания проводится в ходе дополнительных на учных наблюдений, экспериментов и сравнений, организованных как сугубо научное исследование. Новое научное знание может быть подтверждено или опровергнуто только знанием, полученным на основе стандартных правил ведения научной работы. В прикладных исследованиях главным критерием адекватности результатов выступает практика. Их верификация носит эмпирический характер и в основном сводится к проверке технических условий получения выводов, например, полноты и достаточности информационной базы, отсутствия искажений (подтасовок) в процессе обработки данных, грубых логических ошибок при интерпретации.
Список отличий итоговых документов фундаментальных и прикладных проектов по политической проблематике может быть значительно расширен. Тем не менее, для начинающих аналитиков необходимо ясно представлять себе три основных момента, которые влияют не только на оформление результатов научного поиска, но и на предыдущие этапы работы. Этими моментами являются:
■ объем и содержание заключительного текста;
■ способы подтверждения новизны и значимости полученных выводов;
■ подходы к верификации нового знания.
Они приобретают особое звучание в контексте окончательной формулировки темы исследования, поскольку при подготовке прикладных аналитических или информационных материалов необходимо четко определить общий заголовок работы.
З |
аголовок передает основную идею, вызывает у читателя те или иные ожидания. Важно определить задачу, которую аналитик ставит перед собой (что он хочет осветить в работе).
В одном аналитическом документе представляется оптимальным отразить 4-5 главных (ключевых) идей, относящихся к освещаемой теме.
Непременное условие — прежде чем начать формулировать текст, надо составить план-проспект работы, т.е. наметить ее структуру, основные разделы.
Особое внимание уделяется формулировке первого предложения, которое, по существу, должно быть «забойной фразой», своего рода «несущей конструкцией» всей работы. Первое предложение должно вводить потребителя информации в тему, оно в
принципе должно быть аналитическим, обобщающим, а не сводиться к констатации частного случая, факта'.
Как показывает практика, эффективность исследовательской работы многократно возрастает, если, приступая к осмыслению темы, целей и задач научного проекта, аналитик учитывает в том числе и главные отличительные признаки итоговых документов, которые должны завершить его творческие усилия.
<~% Структура и объем прикладного проекта
Успешное представление результатов прикладного исследования в значительной степени зависит от решения проблемы его структуризации. Структуризация и упорядоченность необходимы не только с точки зрения последовательности рассмотрения изучаемых вопросов, но и определения границ между аналитическими и информационными разделами. В методическом плане эти границы важны для сопоставления исходной и заключительной информации, в рамках научного исследования. Являясь одним из видов такого исследования, прикладной проект содержит два основных функциональных раздела: информационный и ансигитический. В одном из них с известной степенью лаконичности излагаются факты, на которых основаны выводы, а в другом отражается процесс осмысления этих фактов. Например, проведя контент-анализ важного политического текста и получив количественные показатели распределения его содержательных элементов, мы увеличиваем потенциал информационного раздела проекта, а сформулировав на этой основе заключения о развитии ситуации, усиливаем его аналитический раздел.
В зависимости от характера исследования информационный и аналитический разделы могут быть равнозначны либо асимметричны по объему, но ни один из них не должен составлять исключительное содержание проекта. Даже документы, относящиеся к категории информационных справок, записок и т.д., построенные на максимально нейтральном представлении обобщенных сведений (данных), включают элементы аналитики (что проявляется, например, в отборе фиксируемых фактов). В то же время любая
аналитика неизбежно предваряется указаниями на исходную информацию. Все это определяет органичность сочетания информационного и аналитического разделов в рамках единого проекта, поскольку ни фактология, ни декларативная аналитика сами по себе научного интереса не представляют.
Вместе с тем информационный и аналитический разделы имеют и собственную специфику. Она определяет их содержательный состав, а также форму представления материала, особенности соответствующих лингвистических конструкций, включение иллюстративных фрагментов и т.д. Так, информационный раздел преимущественно ориентирован на отражение релевантных для исследования сведений. Эти данные могут иметь разнообразную природу и представляться различным образом, например как описание основных характеристик ситуации, событийная хронология, статистика, результаты применения аналитических методик и т.д. Их можно представить в виде текстовой информации или преобразовать в таблицы, графики, схемы. Но главным условием оформления раздела является акцент на фактологию и минимизацию интерпретации фактов. Аналитический раздел проекта со своей стороны преимущественно содержит логические рассуждения при сопоставлении различных фактов, объяснения явлений и их взаимосвязей, а также в нем формулируются обобщающие заключения и прогнозные предположения.
Примечательно, что в некоторых публикациях обобщающие аналитические заключения и прогнозные предположения упоминаются как самостоятельные результаты научной работы. Однако такое разделение представляется искусственным. Современные прикладные проекты в сфере политических исследований все в большей степени характеризуются прогностической направленностью, и, по сути, аналитические обобщения и прогнозные заключения выступают в них как две стороны одной медали. Без элементов прогнозирования трудно представить себе серьезную аналитику, а серьезное прогнозирование невозможно без солидной аналитической базы. Поэтому, проводя различия между собственно аналитическими заключениями и прогнозными предположениями, мы должны иметь в виду скорее методические особенности проведения исследований, связанных с моделированием. В исследованиях, проводимых без применения формализации и математических подходов, грань между общими выводами и прогнозами значительно нивелируется. Оценка их адекватности обеспечивается доступностью логической проверки гипотетических заключений (прогнозов) с предваряющими их аналитикой и фактологией.
Содержательные различия между информационными и аналитическими разделами прикладных проектов проявляются в стилистических особенностях изложения материала, а также могут определять последовательность включения этих разделов в структуру единого итогового документа. Роль информационного раздела — будет ли он предварять аналитический, является факультативным или иллюстративным — определяется в зависимости от целей и задач исследования. Но общим в подготовке итоговых документов является сужение рамок информационного раздела проекта по сравнению с аналитическим.
Еще один немаловажный момент, который необходимо учитывать при написании итогового документа, — оптимальные размеры текстового материала.
Понятие оптимальный и производные от него выражения выступают постоянными атрибутами любой рекомендации, но они чаще всего это лишь претензия на совершенство. В отношении объемов текстовых материалов и документов, завершающих прикладной проект, можно давать только примерные рекомендации. С одной стороны, их подготовка является продолжением процесса научного творчества и отражает личностные качества исполнителей. С другой — сами проекты, их научный статус, условия проведения информационно-аналитической работы весьма вариативны. Так, в каждом ведомстве существуют свои, иногда даже неписаные правила объемов аналитической документации. Во многом они определяются рабочим временем, в течение которого необходимо дать практический ответ на информационных запрос. Фразы типа: «этот материал нужен через час» или «записка должна быть готова через день» являются самыми обычными для аналитиков, непосредственно включенных в бюрократический процесс. В научных центрах, институтах и других аналогичных структурах сроки подготовки документов несравненно более эластичны, но и здесь фактор времени является одним из главных ресурсов исследовательской работы и возможностей оформления ее результатов. Объемы итоговых материалов часто зависят и от стандартов, установленных для научных публикаций, оттого, сколько печатных листов зарезервировано для них в издательском плане. Поэтому объемы документов, завершающих прикладные проекты, строго не фиксированы.
Тем не менее, аналитик с самого начаїа должен ориентироваться на то, что размеры текста итоговых материалов мельче, чем у обычных научных публикаций. Они не определяются ни масштабами информационной базы исследования, ни сложностью про-
цедур обработки информации, ни затраченным на выполнение проекта временем. Главным критерием в этом плане является уровень потенциального политического решения, которое предстой! принять на основе проведенного исследования. Поэтому весьма распространенным является положение, при котором чем более общезначима рассматриваемая проблематика, тем короче должен быть документ, посвященный ее аналитическому обобщению.
Необходимость адекватно изложить результаты масштабной исследовательской работы на нескольких страницах текста предполагает высокий уровень квалификации аналитиков. Поскольку подготовить короткий содержательный материал всегда сложнее, чем развернутое описание. Желательно, чтобы итоговый документ прикладного проекта в среднем не превышал одного печатного листа. Но еще предпочтительнее может оказаться формат в половину печатного листа или даже меньшего объема.
А |
налитический документ, как правило, должен уложиться на 2—3 страницах. Если у эксперта есть полезные сведения, которые не укладываются в такой объем, но он считает их полезными для потребителя, то можно подготовить аналитический документ из двух частей: наиболее важные оценки, выводы и предложения изложить в основной записке (на 2—3 страницах), а к ней приложить более подробный дополнительный материал'.
При этом весь информационный раздел не должен превышать трети всего документа или вообще может быть представлен в виде приложения. В силу отсутствия жестких критериев определения объемов итоговых документов прикладных проектов целесообразно формулировать их в предварительном плане на начальных этапах каждого конкретного исследования и учитывать при выполнении всех промежуточных этапов работы над проектом.
2 Подготовка аналитических выводов ^ и практических рекомендаций
Выводы и рекомендации, завершающие прикладное исследование чрезвычайно важны. Они свидетельствуют о количестве и качестве проведенной научной работы и одновременно являются
основами для воздействия на реальную политическую ситуацию. В итоговых документах прикладных политических исследований выводы и рекомендации чаще всего тесно взаимосвязаны, и при их формулировании аналитики придерживаются предметной совместимости обобщающих оценок и выдвигаемых с их учетом предложений. Кроме того, к их содержанию предъявляется целый ряд требований: актуальность, адекватность и доступность для понимания. В сущности, этим требованиям должны отвечать заключительные разделы всех научных исследований, однако строгость их соблюдения в рамках прикладных разработок значительно выше.
Учитывая растущее число различных прикладных проектов по политической проблематике и большой общественный резонанс, который получают соответствующие публикации, следует обратить особое внимание на вопросы подготовки рекомендательной части итоговых документов. По своей сути, они являются заключениями о путях адаптации конкретных акторов к существующим угрозам со стороны политической среды или о способах адаптации политической среды к интересам конкретного актора. Эти суждения могут быть представлены как относительно изолированно, так и на фоне гипотетических сценариев развития ситуации, что позволяет предложить несколько возможных вариантов тактических шагов. Тем самым рекомендации, содержащиеся в итоговых документах прикладных проектов, побуждают акторов не столько к продолжению осмысления действительности, сколько к активным действиям. Поэтому ключевым вопросом, возникающим в этой связи, является вопрос о принципиальной выполнимости рекомендаций.
Помимо этических ограничений, о которых упоминалось в начале учебника, условия выполнимости рекомендации определяются и другими моментами. Например, формулируя их содержание, аналитик должен соотносить предлагаемые действия с временными и материальными ресурсами потенциальных инициаторов внутриполитических или внешнеполитический акций. Бюджет, кадровое обеспечение, техническая оснащенность часто ускользают из поля зрения исследователей, воспитанных в традициях академической науки. Не всегда удается должным образом учитывать и «человеческое измерение» дистанции между идеально спланированным решением и его административным воплощением. Хотя степень выполнимости научных рекомендаций в сфере общественных отношений всегда относительна, важнейшим критерием при
их разработке должна неизменно выступать реалистичность предполагаемых действий.
Кроме того, если работа завершается несколькими сценариями развития ситуации, их должно быть немного. Четыре или пять возможных вариантов изменения политической обстановки даже при формальной корректности научной разработки не снижают неопределенность на этапе принятия решений. Она может даже возрасти, если сделать «уточняющее» предположение о вероятном сочетании элементов нескольких основных сценариев. Документы, предлагающие широкий спектр нормативных образов политического будущего, не могут рассматриваться как реальное завершение прогнозно-аналитической деятельности. Оптимально предложить сосредоточить внимание на двух наиболее вероятных с точки зрения проведенного анализа альтернативах и указать факторы, способные существенно изменить ведущие тенденции развития обстановки.
Важным условием эффективности всех видов итоговых заключений прикладных проектов является учет фактора времени, определяющего этапы развития конкретной ситуации. Четкого научного решения, к которому стремились многие авторы прикладных эмпирических исследований, в этом плане нет. Значительно легче предположить параметры возможных событий, их тип, будущих инициаторов и даже последствия для различных звеньев политической системы, нежели определить момент будущего, в который они могут произойти. Поэтому использование критерия времени для повышения точности итоговых заключений прикладных проектов скорее принадлежит той области политики, которая относится к искусству и не имеет прочной научной основы.
Тем не менее, при формулировании итоговых заключений аналитик должен постоянно обращать внимание на временные этапы, в рамках которых будут разворачиваться предполагаемые события. Обычно опорными в этом смысле понятиями выступают такие определения, как краткосрочная (оперативная), среднесрочная и долгосрочная перспектива. Акцент на долгосрочных перспективах и прогнозах более характерен для прикладных исследований, проводимых преимущественно в научных целях, а анализ краткосрочных (оперативных) и среднесрочных перспектив отражает также непосредственные интересы политической практики.
Рамки определения краткосрочных и среднесрочных этапов политического будущего достаточно условны. Часто при общем прогнозе развития политических процессов речь идет о полутора-двух годах как краткосрочной перспективе и 5—7 годах как перс-