Эффекты ответа при разных способах проведения опроса

Детальный аналитический обзор литературы [85] по методам проведения интервью показал, что результаты, получаемые при различных способах опроса, имеют незначительные отличия. Основные отличия относились к результатам почтовых опросов и личных интервью.

Эффекты памяти. Как можно было предположить, когда отсутствуют уточняющие вопросы, при заполнении анкет респонденты пропускают события относительно удаленного прошлого. Так, для периода времени более тринадцати недель и описания обыденных событий, таких, как покупки или способы проведения досуга, в анкетных интервью отмечается существенно большее преуменьшение событий, чем в личных. С другой стороны, отмечается меньшая тенденция смещать сроки и преувеличивать число событий при заполнении анкет, если речь идет о недавних событиях. При рациональном выборе отрезков времени, обсуждаемых в опросе (см. вторую главу), различия в ответах при проведении анкетного опроса и личного интервью незначительны. Возможно, это связано с тем, что ошибки невелики сами по себе, но, кроме того, пропуски данных и смещения во времени частично компенсируют друг друга.

Грувз и Кан [38] выдвинули гипотезу, согласно которой респонденты прилагают меньше усилий для выполнения поставленной задачи при участии в телефонном интервью по сравнению с личным. По 14 демографическим вопросам около 6% респондентов дали ответы «Не знаю» в телефоном интервью и около 5% –в личном. Это устойчивые различия, но особого значения они не имеют. Естественно, число ответов «Не знаю» и «Нет ответа» существенно выше в почтовых опросах.

Социально неодобряемое поведение. Существует общепринятое представление, что чем меньше респондент связан присутствием посторонних лиц, тем легче он сообщает о социально неодобряемом поведении. Иначе говоря, следует ожидать, что анкеты, отправляемые по почте, более приемлемы для изучения неодобряемого поведения, по сравнению с телефонными интервью, которые, в свою очередь, имеют преимущества перед личными интервью. Свидетельств в пользу этого мнения не так уж много и очевидно, что в ряде случаев нет никакой разницы между результатами, полученными с помощью разных методов. (Мы исключаем различия при ответах на вопросы, по которым респондент получал письменную или устную консультацию.)

Рассмотрим три примера, иллюстрирующих довольно противоречивые факты. Хочстим [39] сравнивал ответы женщин на вопросы о здоровье при почтовом опросе, телефонном и личном интервью. Полученные им данные свидетельствуют, что в личном интервью женщины считают нежелательным сообщать об употреблении алкогольных напитков. По остальным вопросам он не обнаружил каких-либо значимых различий, связанных с методом опроса.

Коломботос [23] сравнивал результаты опроса врачей по телефону и в личном интервью. По телефону врачи были более откровенны и чаще признавали, что пошли в медицину из экономических или престижных соображений. Нов ответах на большинство вопросов существенной разницы не было.

В нашем исследовании [13] был проведен сравнительный анализ всех трех методов опроса. Мы задавали два вопроса, вызывающих серьезные опасения респондентов: 1) подвергались ли они когда-либо аресту за вождение в нетрезвом виде и 2) приходилось ли им когда-либо заявлять о своем банкротстве. У исследователей была возможность верифицировать ответы по документам суда. Никакого влияния способа ведения опроса на ответы в смысле преуменьшения информации мы не обнаружили. Около половины респондентов не сообщили о том, что к ним были применены меры пресечения за вождение в нетрезвом виде, и примерно 30% скрыли факт своего банкротства в прошлом. Мы сделали вывод, что, если вопросы вызывают очень серьезные опасения респондентов, именно они оказывают большее влияние на ответы, чем способ ведения опроса.

В нашем исследовании интервьюеры сами раздавали и собирали анкетные формы, чтобы быть уверенными в сопоставимости взаимодействия с респондентами во всех рассматриваемых методах проведения опроса. Респонденты не воспринимали эту процедуру как полностью анонимную, поскольку была возможность проследить, кому принадлежат конкретные анкеты. При благоприятных обстоятельствах, чтобы продемонстрировать анонимность исследования, можно провести совместное анкетирование группы респондентов без включения в анкеты вопросов, позволяющих идентифицировать отдельных лиц. Именно таким образом проводились опросы об употреблении наркотиков и юношеских правонарушениях. Насколько нам известно, исследований с целью сопоставления результатов, получаемых с помощью группового анкетирования и других способов проведения опроса, не проводилось.

Убедить респондента в анонимности интервью можно также, используя процедуру рандомизированных ответов (см. третью главу). Респондент случайным образом (используя монеты, коробочки или бусины и др.) выбирает из двух вопросов, вызывающего и не вызывающего опасения, тот, на который ему предстоит дать ответ. Поскольку только респонденту известно, на какой вопрос дан ответ, метод можно рассматривать как абсолютно анонимный. Исследователь, зная вероятностные законы, может сделать общие выводы относительно всей выборки и предполагаемого распределения вопросов, не вызывающих опасения [40].

К сожалению, процедура рандомизированных ответов связана с некоторыми проблемами, поэтому мы рекомендуем обращаться к ней только в отдельных случаях. Основная проблема состоит в том, что нельзя получить информацию на индивидуальном уровне. Выводы можно делать только для всей выборки, причем она должна быть достаточно большой. Кроме того, когда задают вопросы, вызывающие особые опасения, то есть когда, казалось бы, этот метод должен быть наиболее подходящим, число респондентов, дающих откровенные ответы, несколько уменьшается. Так, при использовании этого метода 35% респондентов утверждали, что не подвергались аресту за вождение в нетрезвом виде (при других методах опроса их доля составила 50%). Однако в ходе выяснения вопроса о банкротствах метод рандомизированных ответов позволил получить вполне корректные оценки [13]. В настоящее время этот метод применяют только в некоторых личных интервью и иногда, с определенными ограничениями, – в телефонных опросах (с подбрасыванием одной или трех монет).

Социально одобряемое поведение. Метод исследования в известной мере влияет на результаты при обсуждении социально одобряемого поведения. Респонденты менее склонны к преувеличениям при анкетировании, по сравнению с телефонными опросами, и в большей степени готовы преувеличивать в личных интервью. Например, Коломботос [23] сообщает, что по данным личного интервью число врачей, утверждавших, что они читают шесть и более журналов, было в два раза больше, чем по данным телефонного интервью. При тех же методах интервью соотношение врачей, утверждавших, что у них опубликовано более трех статей в медицинских журналах, составляло 39 к 24%.

Наши исследования подтверждают отмеченную выше тенденцию, но в несколько меньшей степени [13]. Мы задавали три вопроса, ответы на которые можно было проверить: наличие библиотечной карточки, регистрация для голосования и участие в первичных выборах. При заполнении анкет преувеличения составили 22%, в телефонном интервью – 23% и в личном интервью –25%.

Если отличное состояние здоровья относить к социально одобряемым факторам, еще одним примером могут служить данные Хочстима [39]. Так, об отличном состоянии здоровья сообщили 44% респондентов в личном интервью, 37% – в телефонном и 30% – при заполнении анкет. Эти данные можно объяснить привычкой на вопрос: «Как вы себя чувствуете?» – автоматически отвечать: «Отлично».

Вопросы об установках. Больше всего способ опроса влияет на ответы респондентов при выяснении их установок. Если респондент не очень твердо придерживается каких-то установок, он старается высказать свое мнение таким образом, чтобы не задеть или не обескуражить интервьюера. При заполнении анкет респонденты ведут себя наиболее откровенно.

Кан [45] сопоставил ответы 162 почтовых служащих при проведении анкетного опроса и личного интервью, в ходе которых обсуждались условия труда. Как и предполагалось, удовлетворение работой в большей мере проявилось в личном интервью. Наиболее значимые различия отмечены в отношении к своим компаниям. В личном интервью 73% респондентов сообщили, что дела у компании идут хорошо, а 64% – сказали, что у них хорошее место работы. При заполнении анкет те же установки зафиксированы соответственно у 40 и 43% респондентов. В анкетных опросах служащие выразили более критичное отношение к работе и к своим начальникам, чем при иных способах интервью. В меньшей мере различия проявились в отношении к коллективу, в котором работал респондент. Возможно, это связано с тем, что оба опроса проводились на рабочем месте. Если бы респондентов опрашивали на дому, вероятно, различия между отношением к начальнику и коллективу были бы меньшими.

Способ проведения опроса не влияет на ответы, если речь идет о закрытых вопросах об установках, которые нельзя явно отнести к социально одобряемым или не одобряемым. Это подтверждают Грувз и Кан [38], проводившие телефонные и личные интервью с большим количеством закрытых аттитьюдных вопросов. Они отметили одинаковые тенденции по отношению к аттитьюдным и поведенческим вопросам – по телефону респонденты несколько чаще отвечали «Не знаю». Зафиксировано 9% ответов «Не знаю» в опросе по телефону и 8% в личном интервью (всего задавался 41 вопрос). Хотя эта разница статистически значима, она не имеет практического значения. Несколько большие различия наблюдались в ответах на ряд открытых вопросов. Так, на вопрос: «Какие, по Вашему мнению, наиболее важные проблемы стоят перед нашей страной?» в личном интервью, после ряда уточняющих вопросов, более трех проблем назвали около 70% респондентов, в телефонном – около 59%. Отмеченные различия скорее связаны с поведением интервьюера, чем со способом ведения интервью.

Резюме

Представленные в настоящей главе результаты достаточно разнородны. При обсуждении тем, вызывающих опасения респондентов, желательно использовать опросы с меньшим участием интервьюера, хотя в большинстве случаев различия в ответах обнаружить не удается. Открытые вопросы лучше задавать в личных интервью, чтобы ответы были более полными. Такие вопросы, кстати, не всегда можно задавать при анкетировании.

Таким образом, не существует общего ответа на вопрос: «Какой метод мне следует использовать?». В принятии решения важную роль могут сыграть определенные обстоятельства, не рассмотренные в этой книге: характер взаимоотношений и уровень сотрудничества с респондентами, возможные смещения результатов, затраты на исследование и наличие свободных ресурсов. В любом случае предпочтительнее, на наш взгляд, наиболее дешевый способ, позволяющий получить необходимую информацию.

Начинающие исследователи зачастую предпочитают личное интервью другим способам проведения опроса, особенно когда речь идет о темах, вызывающих опасения респондентов. Приведенные в этой главе материалы, может быть, внесут некоторое разнообразие в представления исследователей и дадут повод обратить внимание на преимущества каждого из существующих способов опроса.

Дополнительное чтение

Читателей, интересующихся деталями проведения телефонных интервью, наверняка заинтересует книга Грувза и Кана «Телефонные опросы: Сопоставление с личными интервью в рамках национального исследования» [38]. Можно также порекомендовать наши книги, выпущенные ранее: Садмен и Брэдбери «Эффекты ответов в социальных исследованиях» [85], а также Брэдбери и Садмен «Усовершенствование метода проведения интервью и проектирование вопросника» [13]. У Диллмана [24] во второй главе рассмотрены достоинства и недостатки почтового, телефонного и личного интервью. Обсуждаются различные факторы, влияющие на результаты исследования, такие, как смещение выборки, умение получить ответы на все заданные вопросы, точность и регистрация ответов. Еще одна книга, полезная при проведении почтовых исследований, – это «Профессиональные почтовые опросы» Ёдоса и Моргана [25].