Пилотажные исследования. Метод экспертной оценки.

1.2. Пробное и пилотажное исследования

Термин «пробное исследование» в литературе употребляется как: 1) синоним поискового (разведывательного) исследования; 2) синоним пилотажного исследования; 3) собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное — два основных подвида пробного исследования.

^ Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выдвижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно желательно в том случае, если литература по интересующей вас тематике отсутствует или ее недостаточно.

Разведывательное исследование — наиболее простой вид социологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; данные нерепрезентативные. Ученый получает лишь прикидочные сведения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг — приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими методами: интервью (лучше неформализованное) с потенциальными респондентами; наблюдение; фокус-группа по центральной проблеме исследования; опрос экспертов — специалистов или просто людей, имеющих отношение к интересующей вас проблемной области; изучение документов, статистических данных, содержащих не­обходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают экспресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы — от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень грамотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные обществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную информацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там,

где не требуется великой строгости, где нужно лишь как-то сориентироваться в проблеме (разведать объект), оперативный опрос вполне годится.

Разведывательное исследование часто называют также пилотажным исследованием. Хотя правильнее считать его самостоятельным видом социологического исследования. Разведывательное и пилотажное исследования похожи в двух аспектах:

♦ Цель — получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.

♦ Объект — для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего — для апробации вопросника. Предварительная про­верка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка — для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:

♦ Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования4.

♦ Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество — разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.

♦ В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анке- \ ты, времени опроса и др. В зарубежной и отечественной практи-ке применения тестов (тестологии) пилотажа (рабочий термин — «претест») служит средством выявления некоторых стандартов ос-новного теста.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанно-сти инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответ-ствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расхо-ды и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробо-вать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее запол-нение (или интервью), а в случае почтовой рассылки — сколько дней проходит с момента отправления анкеты до получения от-ветов.

Пилотажное исследование представляет собой исследование по «укороченному» плану — в нем используются малые выбор-ки, не в полной степени проводится сбор информации, получен-ная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «от-точить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Про-ведение пилотажного исследования в этом случае позволяет из-бежать сбора информации по «пустым» вопросам, ответы респон-дентов на которые не подлежат анализу, или неадекватно (не-однозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет инфор-мацию для уточнения многих пунктов программы, что в даль-нейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для: а) тестирования инструментария, в ко-тором исследователь вполне уверен, б) усовершенствования ин-струментария в ситуации, когда предмет исследования хуже из-

вестен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе, Предварительное тестирование такого типа может включать в себя:

1. Тестирование различных словесных формулировок и форм вопросов.

2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.

3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окон­чательном варианте.

4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них5.

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается методическая информация, т.е. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.

Пилотаж проводится в двух вариантах. В первом — всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются 40

в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неотве-тивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3—4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается примерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных^ин-тервью с несколькими респондентами, принадлежащими к целевой группе (обычно 3—5 респондентов, при сложных исследованиях — 10—15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По ре­зультатам пилотажа, если необходимо, в анкету вносятся коррективы. Особенности проведения пробного опроса подробно обсуждаются также на «круглых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фиксирующие замечания респондентов и социо­логов, а также доработанный вариант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических ошибок, доработки инструментария.

Пилотажное исследование составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочета нии с количественными методами оценки и обработки по­лучаемых результатов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на про­фессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

Индивидуальные экспертные оценки основаны на использовании мнений экспертов-специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью, аналитический, написания сценария.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос—ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного спе­циалиста-эксперта в смежных областях знаний.

Метод написания сценария следует отнести как к индивидуальным, так и к коллективным экспертным оценкам. Его сущность и основные характеристики будут рас­крыты ниже.

Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. В современных условиях используется математико-статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: дисперсия оценок, среднеквадратическое отклонение оценок и на этой основе — коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта. Определяется цель прогноза, разрабатываются вопросы для экспертов. При проведении оп-оса необходимо обеспечить однозначность понимания отдельных вопросов и независимость суждений экспертов. После опроса осуществляется обработка материалов, полученных в результате коллективной экспертной оценки. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов.

Также могут использоваться и другие подходы. При разработке, научно-технических дрогнозов методика статистической обработки материалов предусматривает использование совокупности оценок относительной важности, сделанных экспертами по каждому из оцениваемых направлений научных исследований. Оценки важности выражается в баллах и могут принимать значения от 0 до 1, от 0 о 10, от 0 до 100 и т.д.

В мировой практике широкое применение нашли такие методы коллективных экспертных оценок, как метод коллективной генерации идей, метод 635, метод Дельфи, метод "комиссий", метод написания сценария. Рассмотрим сущность перечисленных методов.

Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей , а затем их деструктурирование (разрушение, критику) с выдвижением контр-идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.

Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап — этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжи­тельность «мозговой атаки" — не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. Группа состоит из 20—25 человек. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.

Метод «635» — одна из разновидностей мозговой атаки. Цифры б, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Метод Делъфи — одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т. Гордоном и О. Хелмером — сотрудниками одной из корпораций США, которые в 1964 г. опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Он используется при прогнозировании развития науки и техники, нвестиций и других аспектов.

Цель метода Дельфи — разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в поль­зу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3—4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение отно­сительно перспектив развития объекта.

Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы

при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего

тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод комиссий — один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководству­ется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательнос­ти событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: от каких простейших форм к более сложным должен пройти этот процесс; как он повлияет на национальное хозяйство и экономические связи стран; каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период. Он обычно носит многовариантный характер и освещает три линии поведения: оптимистическую — развитие системы в наиболее благоприятной ситуации; пессимистическую — развитие системы в наименее благоприятной ситуации; рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

При анализе и прогнозе систем широко используются прогнозный граф и дерево целей. Графом называют фигуру, состоящую из точек-вершин, соединенных отрезками-ребрами. Дерево целей — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей.

Дерево целей предполагает выделение нескольких структурных или иерархических уровней. Каждая цель верхнего уровня должна быть представлена в виде подцелей сле­дующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

Построение дерева целей требует решения многих прогнозных задач: прогноза развития объекта в целом; формулировки сценария прогнозируемой цели, уровней и вер­шин "дерева целей"; критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод морфологического анализа включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.