Использование результатов тестирования

Во многих исследованиях часто приходится сталкиваться с тем, что после завершения пилотажа у авторов вопросников не остается достаточно времени, чтобы досконально изучить выявленные проблемы и внести качественные изменения. Пилотажное исследование позволяет выяснить, какие вопросы необходимо изменить или исключить из вопросника из-за трудностей, связанных с их пониманием. Например, вопрос, включенный в интервью как независимая переменная для выяснения поведения или установок, оказывается ненужным, если почти все респонденты отвечают на него одинаково. Ответы на открытые вопросы могут оказаться неприемлемыми с точки зрения кодирования в теоретически допустимой размерности. Кроме того, тестирование позволяет оценить, сколько времени уходит на интервью. Если оно занимает много времени, то некоторые, даже абсолютно корректные, вопросы следует исключить. Пилотажное исследование может занять несколько больше времени, чем основное, так как интервьюеры, поработав с вопросами в ходе теста, ведут опрос быстрее. Однако, если тест проводят опытные интервьюеры, а полное исследование – начинающие, время полного исследования может превысить время, потребовавшееся на проведение теста.

Тестирование позволяет также установить, насколько правильно была организована последовательность вопросов. Так, вы можете понять, что первый вопрос слишком труден для респондента и с него нельзя начинать. Или вы обнаружите, что первые по очередности вопросы меняют контекст, в котором должны восприниматься последующие.

Если пилотажное тестирование свидетельствует о необходимости внесения изменений в текст вопросника, после этой процедуры нужно снова провести тест. Не сделав этого, вы можете встретиться с серьезными проблемами. Когда исключаются вопросы, необходимо провести тест повторно, чтобы получить точные оценки времени, требуемого для интервью. Следовательно, планируя график работы, вы должны предусмотреть время для повторного тестирования.

Окончательная редакция

По завершении последнего теста вряд ли стоит ожидать появления новых проблем. Тем не менее, даже на этой стадии возможны неточности, которые нужно исправить. Если вы вносите какие-то коррективы при написании последней редакции инструкции для интервьюеров, вам потребуется внести их в вопросник, несмотря на то что он уже отпечатан. Так, может понадобиться добавить еще одну страницу. Подобные вставки следует вводить только если необходимость их очевидна, поскольку они могут вызвать новые проблемы. Некоторые незначительные погрешности, остающиеся перед тренировкой интервьюера и самим интервью, можно либо устранить, корректируя или расширяя инструкции для интервьюера, либо проигнорировать их и учесть все отклонения на стадии обработки данных.

Оценка результатов по завершении интервью

После завершения интервью всегда полезно проанализировать отчет интервьюера, в котором описаны все проблемы, возникшие в ходе опроса. Интервьюер может высказать исследователю ряд суждений, предупреждающих о необходимости, например, изъять карточки по некоторым вопросам или более внимательно обрабатывать данные в связи с неожиданными проблемами, возникшими при опросе. Все это может быть полезно и при работе над следующим вопросником.

Заключительные замечания

Описанный в этой главе процесс может показаться слишком сложным для очень простых вопросников. Большинство же вопросников требует, однако, не только .большой тщательности при составлении первой редакции, но и очень внимательного изучения работы интервьюера, персонала, обрабатывающего и анализирующего данные. На конечной стадии, если вопросник спроектирован правильно, обычно уже не требуется много времени и сил для уточнения каких-то деталей. На каждой последующей стадии поводов для беспокойства автора становится все меньше.

Начинающий автор, следуя всем указаниям, приведенным в этой главе, может написать качественный вопросник. Имеется в виду, что может быть обеспечен хороший контакт с респондентом и получены все необходимые для исследования данные. Мы верим, что это возможно, и в этой книге показано, как этого достичь. Опытный автор многое делает автоматически и может избежать многих ошибок при составлении первой редакции вопросника. Описанный в этой главе процесс повторной корректуры вопросника направлен на устранение всех возможных ошибок, вызванных неопытностью разработчика.

Последние напутственные слова: Даже правильно спроектированный вопросник с хорошо сформулированными вопросами может оказаться неудовлетворительным, если с его помощью не удается получить информацию, необходимую для достижения поставленных в исследовании целей. В сущности, неважно, по какой причине это происходит. Если же постановку цели вы откладываете до того момента, когда будут получены данные опроса, то даже самый лучший вопросник не поможет решить проблемы, которые при этом неминуемо возникнут.

После выполнения длительной и кропотливой работы по проектированию вопросника получаешь огромное удовлетворение, слушая интервью и читая заполненные формы. Ты видишь, что вопросник позволил получить данные, необходимые для анализа. Мы надеемся, что наши читатели скоро смогут испытать такое же состояние.

Приложения