А.К. Замбржицкая Пилотирование формулировки анкетного вопроса

В повседневной деятельности социологов пило­таж обычно понимается как пробный, сокращен­ный вариант основного поля. И логика проведе­ния такого пилотажного исследования проста: собрать некоторое количество анкет, обсудить затруднения респондентов, внести необходи­мые изменения в формулировки вопросов. Мы провели ряд экспериментов по освоению новых приемов, полезных при проведении пи­лотажа. Мы представляем рефлексивные на­блюдения за собственным опытом во время про­ведения пилотажного маркетингового исследо­вания, главной целью которого была апробация вопросника с последующим анализом исполь­зовавшихся в нем методических приемов и про­цедур. Таким образом, была наработана эконо­мичная и эффективная схема проведения пило­тажа в маркетинговом исследовании. Пилотажное исследование состояло из следую­щих этапов. Подготовка интервьюеров к ап­робации вопросника. Когда интервьюер при­ступает к работе по новой для него анкете, он обязательно «осваивает» вопросник: пробует звучание формулировок вопросов, оценивает и запоминает логику расположения тематических блоков, переходов от вопроса к вопросу. И, не­смотря на строгие инструкции задавать вопро­сы именно так, как они написаны, невольно из­меняет их формулировки на более удобные для себя и работает уже не по написанным, а «при­своенным» вопросам. В поле он постепенно пе­рестраивает вопросы еще и с учетом реакции респондентов. Мы полагаем, что процесс «при­своения» вопросов интервьюером не нужно ис-

коренять в соответствии с требованиями унифи­кации процедуры сбора данных. Мы предлага­ем использовать этот процесс для апробации «кабинетных» вопросов.

Инструкция, которую мы давали интервьюерам перед пилотажным исследованием, первым пунк­том содержала следующее замечание: «Вы мо­жете переформулировать вопросы, как Вам и респондентам будет удобно. Но обязательно запоминайте, как именно Вы задаете вопрос. Если Вы несколько раз будете менять формули­ровку, постарайтесь запомнить все варианты». Таким образом, мы планировали получить набор из различных формулировок одного и того же вопроса и соответствующих им реакций респон­дентов, чтобы к полевому этапу выбрать те,

которые будут самыми «хорошими», т.е. адек­ватными содержательным целям исследования. Мы обращались к интервьюерам как активным помощникам и союзникам исследователя, и, как оказалось, наши надежды полностью оправда­лись: интервьюеры с любопытством и энтузиаз­мом приняли это задание и старательно наблю­дали за своей речью и поведением респонден­тов во время пилотажа.

Проведение пилотажа. В нашем исследовании опрашивались покупатели и посетители магази­нов детских игрушек при выходе из магазина,

Неустойчивые вопросы не только длиннее устойчивых, но содержат грам­матически более сложные слова. Отсюда вытекает практический совет соци­ологу: формулируй свои мысли не только кратко, но и просто, иначе проиг­раешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиональным делам социологов наблюдался в 1960—1970-е гг., когда в США происходило активное обсуж­дение таких аспектов, как методические особенности использования откры­тых и закрытых вопросов, влияние альтернатив, порядка их расположения отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансиро­вать специальные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публикации обобщающие методический опыт, проекты, наработки. Ученые в таких цент­рах проводят как специализированные методические эксперименты, «об­катывая» формулировки вопросов из своей исследовательской копилке, так

поэтому анкета по размеру была короткой (один лист), а интервью в целом занимало от 3 до 10 минут. Мы не ограничивали пилотаж каким-то заранее заданным количеством анкет, а от­вели первый день опроса на апробацию. Каждый сделал около 20 интервью, и этого оказалось до­статочно для того, чтобы интервьюер получил представление о том, каким образом респон­денты воспринимают те или иные вопросы, и проэкспериментировал с формулировками воп­роса, подстраиваясь под респондентов. Послепилотажное групповое обсуждение. Снять содержание этих мини-экспериментов можно через введение в ситуацию интервью третьего персонажа — наблюдателя, который бы фиксировал ходы, сделанные интервьюером, и реакции респондентов на них. Такой материал позволил бы точно отследить все возможные ва­рианты и формулировки. В идеальном случае таким наблюдателем могли бы стать скрытая от респондента видео- и аудиозапись, поскольку присутствие третьего лица, не влияющее на си­туацию опроса, вообразить сложно. Мы не мог­ли выделить каждому интервьюеру дополни­тельное техническое обеспечение (опять же из соображений экономии средств заказчика). По­этому мы опробовали групповое обсуждение как форму фиксации результатов пилотажа. Это обсуждение организовывалось в свободной форме (без жесткого вопросника для дискус­сии). Обсуждались следующие основные вопро­сы: что было сложным для вас, когда вы прово­дили интервью? Какие вопросы вы переформу­лировали? Что вам или респондентам в них было ^неУДобно/непонятно? Как именно вы задавали этот вопрос? Какие вопросы для респондентов были трудными? Какую эмоциональную реакцию ^вызывал вопрос у респондентов?

Само по себе обсуждение с интервьюерами ка­чества инструмента очень полезно и для интер­вьюера (меняется его отношение к работе, ста­новится более ответственным и осмысленным), и для социолога, который получает важные све­дения для коррекции инструмента. Преимуще­ство группового обсуждения заключается в том, что высказывания одного из участников стиму­лируют работу памяти другого, и он более точ­но воспроизводит свои ситуации опроса. Таким образом, были высказаны все наработанные впечатления и замечания, которые появились в процессе пробного опроса, и тут же были най­дены и оформлены рекомендации по улучшению анкеты.

После группового обсуждения целый ряд вопро­сов был существенно изменен. Таким образом, мы получили практически новый вариант воп­росника, который тоже нужно было апробиро­вать перед основным полем. По окончании опроса мы провели еще одн> групповую встречу с интервьюерами и обсуди­ли эффективность новых формулировок. Такое послеполевое обсуждение дало нам возмож­ность еще раз «подчистить» вопросы, прежде чем положить их в «копилку» для будущих ис­следований. Мы поняли, что нельзя экономить место на вопросах-фильтрах, что порядок за­даваемых вопросов влияет на характер отве­тов респондентов и понимание смысла вопро­са, научились сложные вопросы разбивать не простые и делать многое другое, что состав ляет методическую культуру современного со циолога.

Сокращено по источнику: Замбржицкая А.К Эмпирическая апробация вопросника в марке тинговом исследовании // Социологические ис следования. 1999. № 11. С. 115-122.

и вторичный анализ данных, в которых использовались сходные формули­ровки вопросов.

Большая работа была проделана университетами Мичигана и Северной Ка­ролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка. Он гласил, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, сто­ящую в конце списка. Возможно, респонденты лучше запоминают слова, услы­шанные в последнюю очередь. Данные психологических экспериментов свиде­тельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажет­ся для него более притягательной, а стало быть, и более выбираемой⁹.

Рис. 14. Необходимо наличие внешнего контроля за интервьюерами

В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных со­вершенствовать исследовательский инструментарий. Крупные исследова­тельские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формули­ровок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единообразие и позволяют сравнивать данные иссле­дований разных периодов. Зачастую критерием адекватности вопроса (со­зданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15—20%), исследователи предпочитают не про­водить специальных экспериментов и не менять формулировки. «Менее

⁹ См.: Методология и методы социологических исследований (Итоги работы поисковых исследова­тельских проектов за 1992-1996 годы) / Ин-т социологии РАН. М., 1996.

С2

крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или от­дельные фирмы. Из-за ограничения бюджета исследования возникают слож­ности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, ко­личество которых не поддается исчислению. Некоторые из ошибок, обнару­живаемых даже при логическом анализе вопросов, приводят к серьезным сме­щениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно мно­го. При этом большинство из них затратны, требуют значительных матери­альных и временных ресурсов»¹⁰.

«ЭФФЕКТ ИМЕНИ» ПРИ ФОРМУЛИРОВКЕ ВОПРОСОВ

Специалисты, профессионально занимающиеся методическими экспери­ментами, давно предупреждают социологов, работающих над конструирова­нием анкет, что респонденты чувствительны к любым, даже малейшим, нюансам в формулировке вопроса. И это представляет для них чрезвычай­ную опасность. Был составлен особый список так называемых формулиро-вочных эффектов, куда помимо прочего вошли привлекательность средней альтернативы, роль вопросного формата и контекста, влияние эмоциональ­но тонированных слов, в том числе и политико-идеологических ярлыков. Среди них не последнее место, особенно в политических рейтингах, зани­мает «эффект имени» — влияние на ответ респондента известной фамилии. Еще в середине XX в. на свет появилось методическое правило, согласно которому исследователям при составлении вопросников рекомендуется из­бегать упоминания авторитетных личностей и организаций.

Первыми «эффект имени» в формулировке вопроса обнаружили и изучили в 1930—1940-е гг. американские социологи И. Лодж, С. Стагнер, Д. Рагг и X. Кантрила. Как оказалось, использование в опросах популярных имен ве­дет к серьезным искажениям результатов. Когда респондентов просили выс­казаться о необходимости помочь Англии и Франции со стороны США, то многие колебались. Но когда в другой раз добавили фразу «...в их борьбе против Гитлера», число положительных ответов возросло с 13 до 22% ".

Аналогичные результаты в 1977 г. получили Г. Шуман и С. Прессер. Они провели методический эксперимент, в котором участвовали студенты Ми­чиганского университета. Результаты получились более чем любопытные. Сравнивались ответы на два почти похожих вопроса об уровне преподава­ния со стороны профессоров. Только в одном из них в преамбуле к вопро­су сообщалось, что президент университета не так давно заявил, что ему якобы нередко приходится слышать жалобы студентов на низкое качество

Замбржицкая А.К. Эмпирическая апробация вопросника в маркетинговом исследовании // Социо-логические исследования. 1999. № 11. С. 115-116.

Rugg D., Cantril H. 1944. The Wording of Questions // Cantril H. (ed.) Gauging Public Opinion. Princeton: Princeton Univ. Press. P. 23-50.

профессорских лекций. «Эффект имени» не заставил себя ждать: после зна­комства с мнением своего ректора мало кто из студентов не захотел с ним согласиться¹².

Согласно выводам Г. Шумана и С. Прессера, имена известных полити­ков, встроенные в формулировки вопросов, обладают не только большой эмоциональной силой, но и мощным информационным потенциалом. Они помогают определиться с мнением и избавиться от затруднений при выборе ответа.

В 1998 г. социологи из Ивановского госуниверситета (под рук. А.Ю. Мяг­кова) провели методический эксперимент. Из квотной выборки общим объе­мом 200 человек, репрезентировавшей взрослое население Иванова по полу, возрасту и роду занятий, были сформированы две одинаковые по численно­сти и выровненные по структуре группы — контрольная и эксперименталь­ная. Первую группу респондентов просили ответить на ряд вопросов, не со­державших в формулировках ссылок на мнения известных российских по­литиков и государственных деятелей. В анкетах, предлагавшихся второй (экспериментальной) группе, те же самые вопросы-суждения «привязыва­лись» к конкретным фамилиям (Б. Ельцина, В. Жириновского, А. Лебедя и А. Чубайса). Политические высказывания были отобраны из периодических изданий. Данные, полученные в ходе исследования, показывают, что в трех из пяти случаев респонденты все-таки реагировали на известные фамилии. Однако реакции на различных авторов оказались разными. Упоминание в вопросах авторитетных людей, как правило, способствует увеличению под­держки высказываемых ими мнений. В то время как ссылка на одиозную личность, напротив, уменьшает число сторонников предлагаемых ею идей. Увеличение и уменьшение колебалось в диапазоне от 5 до 12%. Материалы исследования свидетельствуют, что «эффект имени» в социологических оп­росах встречается довольно часто. Испытуемые нередко меняют свои отве­ты в зависимости от автора высказывания. Нередко имена производят эф­фект «замещения» источников мнений. Иногда фамилии знаменитостей выполняют образовательную функцию, но чаще способствуют формирова­нию пристрастных политических мнений¹³.

Несмотря на все запреты и предостережения, многие социологи по-пре­жнему используют престижные имена и названия организаций для иденти­фикации политических позиций. Известное имя, например Жириновского или Явлинского, для респондентов, плохо разбирающихся в политических тонкостях, помогает более ясно сформулировать свои предпочтения. В этой ситуации «эффект имени» выполняет позитивную функцию. Но имя может сыграть негативную роль, если с его помощью оказывается давление на рес­пондента, который не уверен в своем мнении или еще не определился, кого поддерживать. В подобных случаях респондент выбирает не формулировку политической позиции партии, а популярное имя, которое ему нравится. Правда, в прошлом, как отмечают специалисты, именные формулировки использовались гораздо чаще, чем сегодня.

¹² Schuman H., Presser S. Questions and Answers in Attitude Surveys: Experiments on Question Form, Wordingand Context. N.Y.: Academic Press, 1981. P. 295.

¹³ Мягков А.Ю. Влияние известных политических имен в формулировке вопроса на результаты соци­ологического исследования // Социологические исследования. 2001. № 3. С. 94—103.