Предварительное тестирование
Предварительное тестирование опросного инструментария и всех сопутствующих процедур организации опроса столь же важен для успеха исследования, как пробная поездка – для успешной покупки подержанного автомобиля. Он помогает обнаружить проблемы, которые в полной мере могут проявиться только в реальных полевых условиях.
Предварительное тестирование проводится с помощью опроса небольшой выборки респондентов, сходных по ряду свойств с теми, которые будут опрашиваться в составе большой выборки. Выборка в предварительном тестировании не обязательно должна быть представительной в отношении более крупной группы населения. Куда важнее, чтобы она была построена таким образом, чтобы в процедуру предварительного тестирования оказались включенными члены всех таких групп респондентов, которые способны реагировать на инструментарий по-разному. Если, к примеру, имеются основания полагать, что малообразованные люди будут испытывать трудности в пользовании инструментарием, исследователь должен приложить все усилия, чтобы включить в предварительное тестирование респондентов с низким уровнем образования, даже если они составляют лишь незначительную часть исследуемой группы населения.[c.211]
Предварительное тестирование может служить как для тестирования инструментария, в котором исследователь вполне уверен, так и в целях усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором же случае исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе. Предварительное тестирование такого типа может включать в себя:
1. Тестирование различных словесных формулировок и форм вопросов.
2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в очном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.
После внесения в инструментарий коррективов исследователю следует еще раз опробовать его в предварительном тестировании, чтобы выяснить, не сохранилось ли в нем каких-либо недочетов и не возникло ли новых ошибок.
При предварительном тестировании инструмента, рассчитанного на интервьюирование, исследователь может сам провести ряд интервью, чтобы почувствовать инструмент в работе и чтобы увидеть, сколь он эффективен в работе с типическими респондентами. Если это невозможно, то исследователь по крайней мере должен сразу после того, как интервьюеры вернутся с опроса, сесть с каждым из них за стол и еще раз детально просмотреть весь инструмент и сопутствующие процедуры, чтобы установить, в каких пунктах инструкция неясна, какие конкретно процедуры неуклюжи или неудобны в применении, какие вопросы смущают или сбивают с толку респондентов.
Зачастую предварительное тестирование является способом проверки не только опросного инструмента, но и [c.212] техники взятия выборки, а также процедур оперирования с данными. Если в результате применения интервьюером предписанной выборочной техники выясняется, что выборка в предварительном тестировании совершенно нерепрезентативна или что число отобранных респондентов неоправданно мало, то применимость данной выборочной техники в данной исследовательской ситуации ставится под вопрос и требует пересмотра. Если интервьюер, используя отобранные для предварительного тестирования процедуры, испытывает затруднения в фиксировании и получении данных, то для массового полевого исследования следует разработать другие процедуры.
Иногда, когда социологи и политологи предполагают осуществить совершенно новый для них проект исследования, они должны взять на вооружение процедуру пилотажного исследования. Пилотажное исследование – это и есть осуществление широкомасштабного проекта, только в миниатюрном виде. Оно составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.
Конечно, предварительное тестирование требует средств и времени, но оно абсолютно необходимо, потому что без его проведения исследователь рискует получить негодные или вводящие в заблуждение данные. К проведению предварительного тестирования надо относиться как к покупке страховки, без которой вы можете в какой-то момент оказаться перед целой горой очень дорогостоящей, но негодной информации, чего не случится, если вы вовремя обнаружите и откорректируете все возможные недочеты.[c.213]
ПРОВЕДЕНИЕ ОПРОСА
Завершив подготовительную работу, мы можем наконец приступить к собственно опросу. Он является ядром всего исследования, поскольку именно в ходе него происходит непосредственный сбор данных. То, какие процедуры производятся на этом этапе, зависит от типа [c.213] проводимого опроса. В гл.7 мы приведем несколько советов касательно очного и телефонного интервьюирования. Здесь же мы упомянем о важнейших моментах проведения почтового опроса.
Самые серьезные проблемы, связанные с почтовым опросом, – это невозвращение и задержки с возвращением анкет, искажения в ответах и неправильно заполненные анкеты. В среднем для почтового опроса считается вполне допустимым возврат анкет в размере 50% общего числа разосланных, а 70%-ный возврат считается очень хорошим показателем. Однако отсутствие искажений в ответах важнее, чем высокий процент возврата анкет, поскольку задержка с возвращением анкет чревата лишь тем, что выборка будет нерепрезентативной. Существует несколько методов обеспечения большего процента возврата. Они включают в себя следующее.
В почтовом опросе обычно в одном конверте посылаются анкета, сопроводительное письмо, разъясняющее цель опроса, и пустой конверт для отсылки анкеты обратно. Если опрос невелик, анкеты могут непосредственно вручаться респондентам кем-нибудь из персонала опроса, а затем таким же путем забираться у них обратно. В этом случае респонденту труднее забыть по рассеянности об опросе и не заполнить анкету.
Повторное напоминание по почте помогает не только существенно ускорить возврат анкет, но и установить, кто из респондентов почему-либо не получил первого письма. Обыкновенно бывает достаточно трех почтовых отправлений (первого и двух других с напоминаниями). При условии, если возможно легко определить адреса респондентов, уже вернувших анкеты, повторные письма из соображений экономии имеет смысл рассылать только тем, кто анкет не вернул. Если же адреса вернувших анкеты установить затруднительно или не удается вовсе, хорошим решением может явиться рассылка повторных писем всем членам выборки с выражением благодарности в адрес тех, кто ответил, и с напоминанием о необходимости ответить всем остальным. Повторное почтовое отправление должно содержать письмо с просьбой прислать обратно заполненную анкету и дополнительный экземпляр анкеты на тот случай, если первый экземпляр был утерян или не дошел до респондента.[c.214]
Во все почтовые отправления бывает разумно вложить номер телефона, по которому респонденты могут обращаться с вопросами. Это ускоряет процесс возврата анкет и, кроме того, снижает число анкет, заполненных неправильно. Следует также учитывать, что люди, как правило, более склонны отвечать на вопросы анкеты, если она анонимна. Поэтому процент возврата анкет увеличится, если на анкете не будет стоять никаких лишних, непонятных респонденту отметок или цифр (например, ее порядкового номера), которые респондент может воспринять как способ опознания его личности.
Некоторые исследователи предпочитают платить респондентам за возврат анкеты. Процесс получения ответов может ускориться, однако при этом увеличивается риск искажения результатов, ибо те, кого привлекают столь небольшие суммы денег, какиеим обычно готов предложить исследователь, вполне могут оказаться нетипичными для данной группы населения в целом и практика денежного вознаграждения может привести к нерепрезентативному переполнению выборки подобными респондентами. Кроме того, оплачивание труда респондентов исключает анонимность опроса, поскольку, прежде чем заплатить, исследователь должен быть в состоянии определить, кто из респондентов вернул анкеты, а кто нет.[c.215]
НАБЛЮДЕНИЕ ЗА ХОДОМ ОПРОСА (МОНИТОРИНГ)
Мониторинг опроса необходим для обеспечения валидности и обобщаемости результатов. С помощью тщательного мониторинга можно выявить случаи чересчур медленного или неравномерного хода опроса и внести в него нужную коррекцию. Во всех типах опроса это предполагает аккуратное сохранение всех заполненных инструментов по мереих поступления.
В случае почтового опроса каждая возвращенная анкета должна быть вскрыта, проверена на предмет правильности ее заполнения и подшита в общий комплект (файл). Каждой анкете должен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших за день, должно отмечаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращенной анкете можно установить личность респондента, то исследователю [c.215] следует фиксировать поступление анкет таким образом, чтобы при этом выявлялись возможные диспропорции в ходе их возврата. Если выяснится, что какая-то географическая или демографическая группа респондентов очень пассивно отвечает на анкеты, то может понадобиться лишний раз напомнитьим об опросе – иначе выборка может стать нерепрезентативной. Вдобавок к этому просматривание поступающих анкет помогает обнаружить промахи, допущенные респондентом, например пропуск последней страницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анкеты. Последующий телефонный звонок или уточняющее письмо (в случае неанонимного опроса) может помочь спасти анкету, которую иначе придется признать недействительной.
В случае очного опроса мониторинг производится главным образом посредством выслушивания исследователем устных отчетов интервьюеров, по мере того как они возвращаются с опроса. Исследователь или его опытный ассистент должен проверять заполненные бланки интервью с целью определения: (1) те ли люди (те ли семьи) были опрошены, (2) все ли опросные листы были заполнены и возвращены, (3) указаны ли в путеводителе дата и время проведения интервью, (4) проставлены ли в бланке код интервьюера и опознавательный номер респондента, (5) для всех ли отказов давать интервью изложены соответствующие причины и везде ли, где надо, отмечена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен). Все это помогает обеспечить правильность выборки и способствует дальнейшей верификации данных.
Мониторинг телефонного опроса включает в себя периодическую проверку записей интервьюеров по тем же параметрам, что и в случае очного интервьюирования. Кроме того, у исследователя или руководителя полевого обследования зачастую имеется возможность тайно прослушивать выборочные интервью. Эта мера усиливает у интервьюеров чувство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемыеими в ходе применения инструмента.
Тщательный мониторинг способен сыграть значительную роль в обеспечении валидности результатов опроса.[c.216]
КОНТРОЛЬНАЯ ПРОВЕРКА
Контрольная проверка (верификация) особенно важна при очном опросе, когда интервьюер – в случае его недобросовестности – имеет возможность сфальсифицировать результаты интервью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, что непрофессиональные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев дома и давали за них интервью. Контрольная проверка позволяет исследователю устранить ошибки этого типа и удостовериться в том, что выборка формируется согласно установленной процедуре.
Верификация итогов очного интервью обычно сводится к дополнительной встрече (разговору) с тем или иным респондентом с целью определения: (1) имело ли место интервью на самом деле, (2) все ли вопросы задал интервьюер и все ли ответы он правильно записал. Чтобы это выяснить, спросите респондента, когда имело место интервью и сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попросите его ответить еще раз на два простых вопроса (взятых из середины и из конца интервью) под тем предлогом, что его первоначальные ответы были записаны неразборчиво. Сверьте новые ответы с теми, которые были зафиксированы ранее.
Поскольку методика построения выборки иногда не позволяет исследователю заранее знать имена или адреса респондентов, то тогда ему имеет смысл воспользоваться обратным телефонным справочником, где телефонные номера перечисляются в порядке их возрастания, который соответствует расположению дома на местности, а не тому или иному порядку расположения фамилий абонентов. Исследователю следует набирать номера тех домов, которые, согласно выборке, должны были попасть под опрос. В подобном случае неправильно было бы звонить просто тем респондентам, фамилии которых указаны в возвращенных анкетах.
Если телефонная связь оказывается неэффективной, то по тем адресам, которые должны были попасть в опрос, могут быть разосланы письма (со вложенными в них открытками с обратным адресом и с упомянутыми выше [c.217] вопросами), обращенные к тому из членов семьи, кто давал интервью, с просьбой заполнить и отослать обратно открытку.
В широкомасштабных опросах верификация осуществляется на выборочной основе, поскольку связываться еще раз со всеми респондентами может оказаться чересчур накладно. Однако если в ходе выборочной проверки в материалах интервьюера обнаруживается хоть одна значительная ошибка или хоть один случай фальсификации, то проверке должны быть подвергнуты и все остальные взятыеим (ею) интервью.[c.218]