Глава 1. форма вопроса в социальном контексте
Сеймур Садмен, Норман Брэдбери
С 14 Как правильно задавать вопросы: введение в проектирование массовых обследований / Пер. с англ. А.А. Виницкой; Научный редактор перевода Д.М. Рогозин. М.: Институт Фонда «Общественное мнение», 2002, 382 с.
ISBN 5-93947-005-Х
В монографии профессоров университета штата Иллинойс рассматривается процесс преобразования программного вопроса в вопросы, предъявляемые респондентам. Основная идея книги может быть сведена к следующему правилу: «Все время спрашивайте себя: «Почему я задаю этот вопрос?», и тогда вы сможете понять, насколько анкетный вопрос связан с программным».
Книга предназначена для специалистов по проектированию опросного инструмента, а также для изучающих социологию, социальную психологию и теорию коммуникации.
ББК 60.54
ISBN 5-93947-005-Х
© Jossey-Bass Publishers, 1982
350 Sansome Street,
San Francisco, California 94104
© Издание на русском языке
Институт Фонда «Общественное мнение», 2002
© А.Р. Ким, дизайн обложки, 2002
Сеймур Садмен –почетный профессор маркетинга и социологии, ведущий специалист лаборатории массовых опросов Университета штата Иллинойс. В 1949 г. окончил математический факультет Университета Рузвельта. Докторскую диссертацию защитил в Чикагском университете. С 1962-го по 1968 г. руководил отделом проектирования выборки в Национальном центре изучения общественного мнения при Чикагском университете. С. Садмен был членом Американской статистической ассоциации, Американской ассоциации маркетинга, Американской ассоциации изучения общественного мнения (в 1981-1982 гг. избирался ее президентом). В числе книг С. Садмена – написанные в соавторстве с Н. Брэдберном монографии «Реактивные эффекты в массовых обследованиях» (1974), «Метод интервью и проектирование опросного инструмента» (1979). Совместно с Н. Брэдберном и Т. Шварцем он издал книгу «Исследование ответов» (1996). Перу С. Садмена также принадлежат книги «Прикладные вопросы выборочного исследования» (1976), «Потребительские панели» и многие другие труды.
Профессор С. Садмен ушел из жизни в апреле 2000.
Норман Брэдбери –почетный профессор факультета психологии и Высшей школы социальной политики имени Харриса при Чикагском университете. В течение многих лет он возглавлял Национальный центр изучения общественного мнения при Чикагском университете. Окончил Чикагский университет (1952) и Оксфордский университет (1955). Специализировался по клинической психологии. Степень Ph.D по социальной психологии получил в 1960 г. в Гарвардском университете. С 1960 г. преподает в Чикагском университете. В 1970-1971 гг. стажировался в качестве стипендиата Фонда Гумбольдта в Кельнском университете. В настоящее время Н. Брэдбери является заместителем директора Национального научного фонда США по социальным, поведенческим и экономическим наукам. Кроме книг, написанных в соавторстве с С. Садменом, Н. Брэдбери опубликовал монографию «Слова о счастье» (совместно с Д. Кэпловицем, 1965), «Структура психологического благополучия» (1969), а также другие книги и статьи.
Он является членом Американской статистической ассоциации, Американской академии наук и искусств, Международного статистического института, Американской ассоциации изучения общественного мнения (избирался ее президентом), Международной ассоциации изучения общественного мнения. В 1993-1998 гг. Н. Брэдбери был председателем комитета по национальной статистике Национального научного совета США.
В 1987 г. С. Садмен и Н. Брэдбери были удостоены премии Американской ассоциации изучения общественного мнения за выдающийся вклад в массовые обследования.
Посвящение
Эта работа посвящается Стэнли Пэйну, чья книга «Искусство задавать вопросы» в течение более чем трех десятилетий служила источником вдохновения для нас и всего сообщества социологов. Студенты, впервые взявшие его книгу в руки, всегда поражались тому, что научный труд может быть не только полезен, но и остроумен. Мы тоже попытались сделать свою книгу не скучной для читателя.
Один из авторов данной работы (Садмен) имел удовольствие работать вместе со Стэнли Пэйном в Американской корпорации по исследованию рынка. Впечатления от чтения его книги и от общения с ним совпадают, он – человек добрый, с мягким чувством юмора и глубоко заинтересованный в том, чтобы исследования проводились на высоком уровне. У всех, кто когда-либо с ним работал, осталось чувство благодарности и сопричастности выдающейся личности.
Предисловие к русскому изданию
Обследования общественного мнения – одно из наиболее замечательных нововведений в общественных науках XX столетия. Первоначальный импульс своего развития они получили в 1930-е годы в Европе, благодаря работе Пола Лазарсфельда, а также в Соединенных Штатах, где массовые опросы проводились Джорджем Гэллапом, Элмо Роупером и Арчибальдом Кроссли. Опросы общественного мнения стали важнейшим инструментом социальных, политических и маркетинговых обследований. Сегодня этот инструмент распространился по всему миру. Вряд ли можно найти страну, в которой не существовала бы, пусть в зачаточной форме, индустрия массовых опросов.
Несмотря на огромное распространение массовых обследований, до недавнего времени практически не уделялось внимания анализу возникающих при опросах ошибок, за исключением, пожалуй, ошибок выборки. Выборочный метод опирается на мощную математическую теорию. Именно этим обстоятельством и объясняется активный интерес исследователей к проблемам выборки и точному измерению ошибок выборочного наблюдения. Однако встречаются и такие ошибки, которые не поддаются точному измерению. Это не означает, что они не имеют значения и ими можно пренебрегать. Ошибки измерений, обусловленные используемыми в массовых обследованиях вопросниками, могут быть даже более серьезными, чем ошибки выборки, поскольку никогда нельзя утверждать, что они являются случайными.
Хотя уже пионерам полевых обследований было совершенно ясно, что способ задавания вопросов может существенно изменить ответы, систематические исследования, опирающиеся на теоретическую базу социальных и когнитивных наук, стали проводиться относительно недавно. Серьезные методические разработки с использованием эмпирических данных относятся к 1970-м годам, и к настоящему времени в этой области достигнуты значительные успехи. Книга «Как правильно задавать вопросы» написана в те времена, когда методические исследования опросного инструмента только начинались, но ее общие выводы и практические рекомендации, как нам представляется, сохраняют свое значение и поныне.
Создание опросного инструмента для замеров поведения и установок людей – нелегкая задача. Она требует внимательного отношения к нюансам речи и этикетам межличностного общения. Принципы работы с опросным инструментом и практические советы исследователям, изложенные в книге, были сформулированы исходя из многолетнего опыта проведения массовых обследований в США, хотя в определенной степени нами учтен опыт и европейских коллег. Мы убеждены, что ключевые принципы массовых опросов применимы ко всем культурам и ко всем языкам, но в то же время рассчитываем, что читатель будет сообразовывать наши советы с собственным опытом. Русский язык во многом отличается от английского, в нем возможны такие конструкции, которые делают наши рекомендации относительно оптимальных англоязычных формулировок вопросов неприменимыми для носителей русского языка. Вероятно, здесь возникают проблемы, связанные с изучением межкультурных аспектов проектирования опросного инструмента. Такие исследования могут оказаться весьма продуктивными для методики массовых опросов.
Русский перевод книги увидел свет благодаря плодотворной инициативе Президента Фонда «Общественное мнение» Александра Ослона. Мы признательны профессору Геннадию Батыгину за его глубокую заинтересованность в нашей работе. Особую благодарность следует выразить Адели Виницкой и Дмитрию Рогозину, которые выполнили в высшей степени аккуратный перевод нашей книги, сделав ее доступной широкому кругу русскоязычных специалистов. Я надеюсь, что книга найдет свою аудиторию в России и будет способствовать развитию массовых опросов в этой стране.
Норман Брэдбери
Чикаго, Иллинойс
Август 2001 г.
Предисловие
Умение задавать вопросы – необходимое требование для многих профессий. Врач, пишущий историю болезни пациента, юрист, выясняющий круг проблем клиента, журналист, собирающий информацию для публикации, исследователь социальных проблем или конъюнктуры рынка, проводящий опрос населения или коммерческих фирм, – все они должны знать, как задавать вопросы. Однако делать это можно разными способами. Одни вопросы уникальны, возникают только в конкретной ситуации и не предполагают каких-либо инструкций, другие – легко вписываются в контекст структурированного интервью, что позволяет опрашивать много людей, не теряя при этом информацию при обработке ответов. В последнем случае задача интервьюера состоит в том, чтобы наиболее корректно получить информацию от одних людей и передать ее другим. Мы рассматриваем типы вопросов, которые задаются в ходе структурированного интервью при проведении социальных или маркетинговых исследований. Однако основные принципы составления вопросов могут использоваться также при анкетировании или в неформальных и неструктурированных интервью.
Эта книга окажется полезной социологам, психологам, политологам, социальным работникам, исследователям, занимающимся вопросами маркетинга и рекламы, многим другим, кому приходится по роду своих занятий получать информацию от клиентов, покупателей или рабочих коллективов.
Мы старались сделать книгу доступной для любого читателя, включив в нее библиографию, охватывающую множество аспектов обсуждаемой проблемы. Возможно, кому-то захочется обратиться к нашим работам, изданным ранее, в которых более подробно обсуждаются эмпирические данные, послужившие основой предлагаемых нами рекомендаций [13, 85].
В настоящей книге основное внимание обращено на проектирование вопросника, а не на проведение опроса в целом. Проблемы, связанные с формированием выборки и статистической обработкой результатов опроса, уже рассмотрены во многих других публикациях. Мы подчеркиваем, что, прежде чем приступить к проектированию вопросника, необходимо очень серьезно подойти к формулированию основной задачи исследования. Однако мы не даем рекомендаций относительно того, как выбирать и формулировать наиболее важные проблемы. Для этого нужно знать сферу вашей деятельности, чему, в частности, способствует изучение результатов опросов, проводившихся ранее. Задачи исследования должны быть тщательно продуманы. Только после этого есть смысл обратиться к предлагаемой книге, которая поможет задавать «правильные» вопросы.
В первой главе обсуждается наш основной тезис: для получения точных и достоверных результатов опроса необходимо четко сформулировать вопросы. Приводятся также примеры «хороших» и «плохих» вопросов, вводится понятие интервью при социальном опросе, рассматриваются этические нормы, которые должны соблюдаться в социологическом исследовании, – право на личную неприкосновенность, информированное согласие и конфиденциальность. Кроме того, обсуждаются источники ошибок в ответах респондентов.
Вторая глава посвящена нейтральным поведенческим вопросам (касающимся характеристик людей, их действий и поступков, событий, связанных с их жизнью). В третьей главе анализируются поведенческие вопросы, вызывающие опасения респондентов (например, связанные с участием в выборах, употреблением алкогольных напитков или наркотиков, нарушением правил дорожного движения). В четвертой главе описаны способы формулирования вопросов о знании (позволяющих установить, что знает респондент по данной теме/темам). В пятой и шестой главах обсуждаются вопросы об установках (для выяснения отношения, мнений и убеждений респондента в конкретном направлении). В пятой главе речь идет о формулировке и контексте вопроса, в шестой – о предлагаемых респонденту вариантах ответа. Все главы проиллюстрированы примерами, взятыми из исследований, проводимых такими организациями, как Служба Гэллапа, Центр Роупера, Социологический исследовательский центр университета штата Мичиган, наш собственный Национальный социологический исследовательский центр и Лаборатория социологических исследований. В седьмую главу в основном включены рекомендации Совета по исследованиям в области общественных наук по унификации формулировок демографических вопросов о составе членов домохозяйства, их поле и возрасте, семейном статусе, этнической принадлежности, религиозных убеждениях, уровне образования, занятости, специальности, семейном доходе и месте проживания.
В остальных главах обсуждается вопросник в целом. В восьмой главе обосновывается логическая последовательность обращения к различным темам. В девятой описываются форматы вопросников с объяснением их отдельных элементов, таких, как инструкции пропуска, обращение к интервьюеру и предварительное кодирование, что может быть особенно полезно для начинающих исследователей. Десятая глава посвящена взаимосвязи построения вопросника со способом проведения опроса, в частности личным и телефонным интервью или почтовым опросом. В завершающей одиннадцатой главе рассмотрена последовательность действий, необходимых для построения вопросника. В ней мы подчеркиваем важность пилотажного тестирования и последующей коррекции вопросника.
В книге используются термины, понятные социологам, но не всегда очевидные для непосвященных. Поэтому в кратком словаре (приложение А) объясняются значения наиболее часто используемых терминов. Многие из них подробно обсуждаются в настоящей работе. Кроме того, мы включили в книгу полные тексты конкретных вопросников (приложения Б, В, Г).
В большинстве глав даются рекомендации по проектированию вопросника. Их можно рассматривать как предварительные указания по ключевым позициям, которые следует учитывать еще на стадии подготовки к составлению вопросника. Начинающим исследователям книгу нужно читать с самого начала. Тем же, кто уже знаком с социальными опросами и интересуется отдельными проблемами, можно посоветовать обращаться к соответствующим главам.
И последний совет. Тех, кто надеется получить инструкции по составлению совершенного вопросника, хочется предостеречь, что эта цель достойна похвалы, но нет гарантий, что она будет достигнута. Тех же, кто намерен исследовать проблему проектирования вопросника, хочется уверить, что их поиск не будет напрасным и в этой области есть еще много непознанного.
Благодарность
Выражаем свою признательность нашим друзьям и коллегам, которые прочитали черновой вариант книги и сделали весьма полезные замечания. Это Роберт Фербер, Диана О'Рурке и Джуна Сибестик из Лаборатории социальных исследований (ЛСИ) Университета штата Иллинойс; Дональд Фиск, Поль Шитсли, Кэрол Стокинг, Пирл Зиннер и Силия Хомэнс из Национального центра исследования общественного мнения (НЦИОМ), Чикагский университет, а также Говард Шуман из Социологического исследовательского центра университета штата Мичиган.
Карла Бухэнен из ЛСИ и Джулия Энтелмен из НЦИОМ добросовестно, терпеливо и не без юмора печатали многочисленные черновые варианты этой книги.
Дороти Конвей из Джосси-Бэсс внесла очевидную ясность в изложение книги при вдумчивом и тщательном ее редактировании. Грасиа Элкерма проявила изобретательность при оформлении иллюстративного материала. Читатели, так же, как и мы, приносят всем им глубокую благодарность.
Сентябрь 1982 г. Сеймур Садмен
Шампань, Иллинойс
Норман М. Брэдбери
Чикаго, Иллинойс
Глава 1. ФОРМА ВОПРОСА В СОЦИАЛЬНОМ КОНТЕКСТЕ
Постановка проблемы
Формулировка вопроса играет исключительно важную роль в обеспечении достоверности данных социального обследования. Значение точной формулировки вопроса* может быть проиллюстрировано анекдотом. Доминиканец и иезуит спорят о том, грешно ли курить и молиться одновременно. Не сумев прийти к соглашению, они решают посоветоваться со своими наставниками. Вскоре встречаются. «Что же сказал твой наставник?» – спрашивает доминиканец. Иезуит отвечает: «Он сказал, что это допускается». «Ничего себе, – удивляется доминиканец, – а мой наставник сказал, что это грешно». Иезуит: «Что ты у него спросил?». – «Я спросил, допустимо ли курить во время молитвы». – «А я спросил, – говорит иезуит, – можно ли молиться, когда куришь».
* Wording of question, wording question или просто wording обозначают не только написание вопроса, но и форму его предъявления. Например, вопрос может быть представлен респонденту на карточках, в виде списка или устно. В зависимости от контекста используются термины «форма» или «формулировка вопроса». – Прим. ред.
Уже при проведении первых социальных обследований стало ясно, что незначительные изменения в формулировке вопроса могут вызывать существенные различия в ответах. И все же принято полагать, будто составление вопросника – самая простая часть проектирования исследования, поэтому зачастую ей не уделяется достаточного внимания. Поскольку кодифицированных правил составления вопросов не существует, может возникнуть впечатление, что если и есть критерии, позволяющие отличить хорошие вопросы от плохих, то их очень мало. На наш взгляд, это не так. В данной работе приводятся правила, которые могут помочь как начинающим, так и опытным социологам выбрать наиболее подходящие вопросы. Кроме того, при освещении темы мы будем ссылаться на примеры, показывающие, как форма вопроса порождает смещения. Многие примеры заимствованы из национальных обследований, результаты которых опубликованы в журнале Public Opinion Quarterly*. Посмотрим на опросный лист, применявшийся группой политического лоббирования.
* Журнал Public Opinion Quarterly является официальным изданием Американской ассоциации по исследованию общественного мнения (American Association for Public Opinion Research). На веб-сайте этой ассоциации (http://www.aapor.org/poq/) размещен указатель статей, опубликованных в журнале с 1937 года по настоящее время. Кроме этого, с 2000 года полнотекстовые статьи журнала размещены в открытом доступе. – Прим. ред.
| Отношение к праву на труд | Да Нет |
| Считаете ли Вы, что в руках профсоюзных лидеров сконцентрировано слишком много власти? | _____ _____ |
| Выступаете ли Вы за то, чтобы для сохранения мест профсоюзных лидеров в правительстве принуждать государственных, окружных и муниципальных служащих платить профсоюзные взносы? | _____ _____ |
| Выступаете ли Вы за то, чтобы разрешить профсоюзным боссам своей властью прекращать все работы на строительной площадке из-за спора с одним из подрядчиков, тем самым принуждая большее число рабочих подчиниться требованиям профсоюзов? | _____ _____ |
| Хотите ли Вы, чтобы руководство профсоюзов действительно решало, сколько муниципальных служащих Вы, налогоплательщик, должны финансировать? | _____ _____ |
| Следует ли принуждать всех строительных рабочих к вступлению в профсоюзы путем открытого пикетирования, взвинчивая тем самым цены на строительство Ваших школ, больниц и домов? | _____ _____ |
| Будете ли Вы голосовать за того, кто принудил государственных служащих вступить в профсоюз под угрозой увольнения? | _____ _____ |
Даже неискушенный читатель видит, что опросный лист перегружен оценочными выражениями: «принуждать», «профсоюзные боссы», «подчиняться» и т. д. Очевидно, что группа лоббирования заинтересована не в беспристрастном анкетировании, а в одобрении тех, кто поддерживает ее позицию. Кроме того, вопросник сопровождается просьбой о внесении взноса на возмещение расходов по проведению опроса и публикации его результатов. Опросы такого типа проводятся скорее для сбора денежных средств, чем для получения объективной информации. Американская ассоциация по исследованию общественного мнения квалифицировала их как не заслуживающие доверия и неэтичные. Тем не менее подобные опросы не запрещены.
Хотя этот пример относится к разряду крайних случаев, он показывает, что автор вопросника осознанно или неосознанно может сформулировать вопросы так, чтобы получить желаемый ответ. В других примерах, приведенных ниже, мы не обнаружим явного стремления задавать преднамеренные вопросы, однако они тоже свидетельствуют о том, что трудно составлять хорошие вопросы.
Рассмотрим, как политически окрашенная лексика влияет на распределение ответов.
Отношение к войне в Корее
Как Вы думаете, совершили ли Соединенные Штаты ошибку, приняв решение защитить Корею? (Служба Гэллапа, январь 1951)
| Ошибка | 49% |
| Ошибки нет | 38% |
| Не знаю | 13% |
Как Вы думаете, Соединенные Штаты поступили правильно или неправильно, направив американские войска предотвратить вторжение коммунистов в Южную Корею?
| Неправильно | 36% |
| Правильно | 55% |
| Не знаю | 9% |
Использование выражения «вторжение коммунистов» значительно увеличило долю одобрительных оценок. Различия в распределении ответов между вопросами, предлагаемыми Службой Гэллапа и Национальным центром, наблюдались в течение двух лет, иными словами, этот результат очень устойчив. Другие исследователи также обнаружили, что одобрение внешней политики Соединенных Штатов усиливается, если принятое правительством решение формулируется как попытка «остановить коммунистов».
Не каждое изменение формы вопроса приводит к смещению распределения ответов. Рассмотрим другой пример.
| Ответственность правительства за безработицу | |
| Как Вы думаете, следует или не следует нашему государству обеспечивать всех людей, которые не имеют средств к существованию? (Роупер, июнь 1939) | Да-69% |
| Как Вы думаете, является ли обязанностью государства выплата средств к существованию нуждающимся людям, находящимся без работы? (Гэллап, январь 1938) | Да-69% |
Следует отметить, что в этом примере оба вопроса носят общий характер. Количество положительных ответов уменьшается, как только вопросы становятся более конкретными. Этот факт подтверждается смещением в ответах на три вопроса Гэллапа, задававшихся с мая по июнь 1945-го.