Повышение надежности информации
Объектами информации могут быть самые различные стороны жизни людей, их субъективные состояния, наблюдения за происходящими вокруг событиями. Как задавать вопросы, относящиеся к этим многообразным сведениям, чтобы повысить достоверность и надежность ответов? В первую очередь это зависит от содержания или от характера планируемой информации, но не в меньшей степени от языка анкеты или используемой интервьюером терминологии.
Лексика опроса. В массовых опросах слишком трудный и, значит, малопонятный для респондентов язык — не меньшая опасность, чем наивное подлаживание под стилистику и хуже того — жаргон определенной группы аудитории. Особые требования предъявляются к стилистике опросов экспертов.
Г.И. Саганенко и О.Б. Божков предлагают разрабатывать дифференцированную систему оценки трудности того или иного конкретного вопроса и анкеты (или путеводителя интервью) в целом. Возможны следующие критерии оценки:
(а) Структурные параметры вопросов: сложность грамматики и лексики. Для каждого типа аудитории экспертным путем может быть установлена оптимальная длина предложений (допустим, более 20 слов — "трудный вопрос", менее пяти — "слишком упрощенный") и уровень сложности грамматической структуры (сложносоставленные предложения и фразы, содержащие избыточное число общих терминов, и т.п.), а также мера понятности основных терминов.
(б) Уровень ясности смысла вопроса — второй важнейший критерий.
Недопустимы формулировки с двойным отрицанием, а при опросах экспертов крайне опасно использовать исключительно обыденную лексику. Напротив, здесь терминология должна подчеркивать особое отношение исследователя к опрашиваемому специалисту и учитывать его стиль мышления.
Грубейшая ошибка — смешение так называемых программных вопросов, т.е. формулировок, нацеленных на получение запрограммированной информации, и вопросов-"индикаторов", а точнее, анкетных формулировок, адресованных респонденту. Социологи из ГДР называют программные вопросы "индикатами", а задаваемые респонденту — "индикаторными". Одному индикату, как правило, соответствует несколько индикаторных вопросов. Суммарная информация по ответам на индикаторные вопросы и составляет искомую, программную информацию [202, с. 256—259]. Например, программный вопрос о возможном влиянии окружающих на выбор профессии школьником никоим образом нельзя задавать в его общей прямой форме ("Что, как Вы считаете, повлияло на Ваш выбор профессии, работы?"), но лишь в целом ряде более понятных и простых вопросов ("Каким образом Вы выбрали это место работы (эту профессию)? Вы решили сами, Вам посоветовали родители, учителя, друзья?... Вам вовсе не пришлось выбирать?...).
(в) Третий параметр — оценка трудности формирования ответа: уровня компетентности, припоминания событий, представления воображаемой (гипотетической) ситуации, исчисления (например, среднего дохода), сравнения значительного количества отдельных событий, наблюдений и т.п.
Надо помнить, что полнота и глубина информации существенно зависят от общей культуры и кругозора респондентов.
Так, советскими исследователями было найдено, что люди с относительно высоким уровнем образования способны оценивать вероятную достоверность своих сведений, тогда как респонденты с низким уровнем образования не могут этого сделать.
Как уже говорилось, достоверность полученных сведений прямо зависит от содержания планируемой информации. Остановимся на этих особенностях подробнее.
Статус (положение) опрашиваемого. Какова бы ни была тема опроса, обычно требуются некоторые сведения, которые на социологическом жаргоне называют "паспортичкой": пол, возраст, образование, стаж работы, семейное положение, размер заработка и т.п. На первый взгляд кажется, что нет ничего проще, чем получить надежные данные такого рода. В действительности это не так.
(1) Категории для ответов — первая трудность. Следует ли задавать паспортные вопросы в открытой (без подсказки вариантов ответа) или закрытой форме (с подсказкой). В открытой — явно плохо, ибо мы не знаем, что вздумается написать в ответ на простейшие вопросы: "Ваше семейное положение?" ("женат - холост"; "семейный - несемейный"; "одинокая — многодетная"; или "семейное положение неопределенно: снимаю угол"); "Ваш возраст?" ("19 лет", или "родился в 1968г.", или "пенсионер"); "Образование?" ("неполное среднее", "9 классов", "учусь в техникуме").
В закрытом варианте сведения такого рода более надежны. Но здесь возникает проблема выделения обоснованных группировок для ответа. Скажем, в информации о возрасте целесообразно использовать группировку, отвечающую целям исследования и в то же время принятую в государственной статистике. Так, ЦСУ СССР использует возрастные группировки: 0-9, 10-15, 16-19, 20-24, 25-29, 30-34, 35-39, 40-44, 45-49, 50-59, 60-69, 70 лет и старше.
Демографы, изучающие рождаемость, предпочитают группировки, связанные с возрастом рожающих женщин (фертильность): 15—19, 20—24 и т.д. с интервалом в 4 года до 45—49 лет. При изучении самодеятельного трудоспособного населения используют неравные интервалы, подчеркивая переходные группы (вступление в трудовую жизнь и пенсионный возраст): до 15, 16-19, 20-29, 30-39, 40-49, 50-54, 55-59, 60 лет и старше.
Исследователь должен решить, какие пороговые группировки представляют для него особый интерес и можно ли в дальнейшем сопоставить полученный материал с имеющейся статистикой. Важно помнить, что для многих статистических операций с данными необходимы равные интервалы в числовом ряду. Поэтому принятые интервалы (если они неравны) должны поддаваться укрупнениям и выравниванию.
(2) Закрытый вопрос на статус должен быть сформулирован в терминах, не допускающих двусмысленного толкования. Это относится и к словам, и к единицам счета, и к построению фраз.
Например, в закрытом вопросе о роде занятий целесообразно указать перечень групп профессий и квалификации, не прибегая к выражениям вроде "неквалифицированный рабочий". Лучше: грузчик, такелажник и т.п. — все эти занятия, с точки зрения рабочего данной профессии, требуют высокого навыка и квалификации, хотя по сравнению с другими профессиями попадают в категорию неквалифицированного или малоквалифицированного физического труда. В группировках счета не следует использовать неопределенный термин "в среднем" (средний заработок, размер среднедушевого дохода...), ибо нам не известны эталоны усреднения, которыми пользуется опрашиваемый. Надо предложить одинаковые эталоны: заработок за последние три месяца; общий доход на всю семью за три месяца и далее — число членов семьи. Усреднения производит сам исследователь. (Комический случай ответа на вопрос статистической ведомости: "Какова смертность в вашей деревне?" — имел место во Франции, когда староста одного селения не без иронии ответил: "В нашей деревне рано или поздно умирает каждый".)
Неотчетливы выражения "семейный" — "несемейный", которые следует заменить более развернутыми и строгими вариантами ответов: "женат, имею детей", "живу с родными, не женат" и т.д.; в следующем пункте уточняется число членов семьи, ведущей общее хозяйство, и семьи-конгломерата, ведущей раздельное хозяйство.
"Паспортичка", к которой мы еще вернемся, предлагается опрашиваемому в заключение интервью или в конце анкеты. Если она составлена в недвусмысленных терминах, заполнение этого раздела не представит трудностей даже в том случае, когда опрашиваемый уже не столь внимателен, как в начале или в середине беседы.
Событийная информация или сведения о фактах поведения в прошлом и настоящем, а также о продуктах деятельности требует прежде всего контроля на компетентность опрашиваемого.
Оценка уровня компетентности респондента зависит, во-первых, от содержания требуемой информации и, во-вторых, от ее характера: является ли она событийной (фактической) или оценочной.
В последнем случае, если мы имеем дело с массовыми опросами, а не с опросами экспертов, необоснованные оценки при фактической осведомленности о данном предмете столь же "надежны", как и обоснованные. В этом смысле проверка компетентности опрашиваемого сводится к тому, чтобы уяснить, известны ли ему оцениваемые события? Такова типичная ситуация при опросах общественного мнения. Оно может быть справедливым и объективным, несправедливым и ошибочным с точки зрения непредвзятого и серьезного анализа проблемы. Однако знание о мнениях и оценках общественности, какими бы ни были эти мнения и оценки, - это объективная и достоверная информация, если опрашиваются люди, знакомые с тем, о чем их спрашивают, если они сталкиваются с данными событиями или фактами в своей повседневной жизни. Скажем, вряд ли можно рассчитывать на компетентную информацию о наилучшей социально-бытовой инфраструктуре села, опрашивая на эту тему горожан. Мало полезного извлечет социолог и в том случае, если будет опрашивать сельских жителей о режиме работы городского транспорта.
Проблема компетентности респондента в массовых опросах — это прежде всего уяснение объективной возможности получить достоверную информацию от данной категории населения и соответственно построить выборку опрашиваемых.
Иначе обстоит дело, если проводится экспертный опрос. Опрашиваемые — специалисты, их компетентность должна быть безусловной. В этом случае важна не только объективно обусловленная возможность респондента судить по данному предмету, но реальная способность высказать обоснованное мнение. Поэтому для экспертных опросов тщательнейшим образом отбирают только тех, кто вполне заслуживает статуса компетентного лица в данной области. Например, экспертный опрос в сфере организации досуга может охватить ответственных работников отделов культуры народных советов, клубных работников, актив общественных организаций, а экспертизу по проблемам организации труда следует, конечно, осуществлять с помощью специалистов совершенно иного профиля.
Рассматривая далее способы повышения надежности опросных данных о фактических событиях, мы будем помнить, что это информация именно о событиях и фактах (не о мнениях и оценках), притом получаемая в массовых опросах (в отличие от экспертных).
Каковы же главные требования к вопросам этого характера?
(1) Прежде всего, как мы теперь знаем, следует выяснить уровень компетентности опрашиваемого в данной области и по данному предмету.
К примеру, мы хотим собрать у рабочих сведения о стиле работы мастера. В интервью следует вначале попросить возможно детальнее описать, как мастер дает задание (насколько подробно объясняет задачу, проверяет ход выполнения, контролирует все основные этапы работы или же, полагаясь на опыт рабочего, ограничивается самым общим указанием; допускает ли мастер использование нестандартных приспособлений и технологических приемов или требует строго придерживаться технологической карты и т.п.). Лишь после того, как мы убедились, что опрашиваемый достаточно осведомлен о приемах руководства мастера, можно переходить к выявлению мнений и оценок о стиле руководства.
В заочном опросе та же цель достигается контрольными вопросами на информированность ("От кого Вы получаете производственное задание, и кто контролирует ход выполнения работы?"):
Данные тех, кто максимально осведомлен о работе мастера, обрабатываются отдельно от менее достоверных сведений, полученных от остальных опрошенных.
Для контроля состава опрашиваемых по уровню осведомленности в теме опроса используют так называемые прямые фильтры и "ловушки". Например, при опросе на семейно-бытовые темы можно ввести "фильтр" по критерию наличия детей ("Следующие вопросы относятся только к тем, у кого есть дети дошкольного возраста и школьники младших классов").
Вопросы-ловушки помогают определить добросовестность респондента. Так, азербайджанские писатели-фантасты предложили своим читателям список из 41 произведения с просьбой оценить их достоинства. В списке значилась несуществующая книга вымышленного автора (Н. Яковлев. "Долгие сумерки Марса"), которую "читали" 10% опрошенных, правда ... значительной части она "не понравилась". Лица, отвечающие на такие вопросы, подозреваются в невнимательности или заведомой недобросовестности.
Вместе с тем замечено, что обилие фильтрующих вопросов, и к тому же располагаемых цепочкой, ведет к увеличению доли неответивших. Сталкиваясь с большим числом фильтров, респонденты настолько запутываются, что перестают отвечать и на те вопросы, для которых ограничений не указано [44, с. 121].
(2) Здесь, как и во всех других случаях, важно четко отделять событийную информацию от оценок и интерпретации. В формулировке вопросов событийного характера не должно содержаться оценочных выражений вроде: "много — мало", "хорошо — плохо", "сильно — слабо", "удачно — неудачно", "достоверно - недостоверно" и т.д.
У каждого свои собственные критерии оценок, что хорошо видно из любопытного эксперимента, проделанного А. Мурутаром во время обследования работников двух заводов в Эстонии. На вопрос: "Сколько времени у Вас уходит на чтение газет?" — ответили "много" 18% из тех опрошенных, кто затрачивает на чтение газеты до 15 минут, 46% из тех, кто уделяет этому более часа. На тот же вопрос отвечали "мало" 71% из тех, кто просматривает газету за 15 минут, и почти 40% из тех читателей, кто посвящает этому более часа. Понятно, что оценки "много — мало" хороши лишь для характеристики субъективного отношения, но никак не с точки зрения информации о реальном поведении.
(3) В вопросах о давно происходивших событиях недостоверность сведений может объясняться ошибками памяти. Следует помочь опрашиваемому восстановить общий контекст ситуации. На вопрос: "В каком году Вы подали свое первое рационализаторское предложение?" — люди могут отвечать уверенно, называя дату. Но, чем более давний срок они указывают, тем он сомнительнее. Нужно проверить достоверность наводящими вопросами: "Не вспомните ли, где Вы тогда работали? С чем было связано это предложение? Как возникла его идея? и т.п. Затем мы вновь просим указать дату ("Простите, я не успел записать: когда Вы подали первое рацпредложение?"). В заочных анкетах вопрос расчленяют на подобные элементы для воссоздания ситуации прошлого.
(4) Максимальная дробность пунктов информации - хорошее основание достоверности сведений о событиях.
Примером может быть анкета, составленная К. Марксом в 1880 г. для выяснения положения рабочих. В анкете К. Маркса было 100 вопросов об условиях труда, быта, отношениях с хозяевами. Вот некоторые из них [3]:
Укажите обычную продолжительность рабочего дня и обычное число рабочих дней в неделю.
Укажите число праздничных дней в году.
Какие перерывы бывают в течение рабочего дня, их длительность?
Приходится ли работать в часы, отведенные для еды?
Укажите рабочее время для детей и подростков моложе 16 лет.
Насколько удлиняется обычный рабочий день в период промышленного оживления?
Сколько времени Вы затрачиваете ежедневно, чтобы добраться из дому к месту работы и обратно домой после работы?
Семь вопросов отведены только лишь для оценки продолжительности рабочего дня. Обратите внимание, как точно Маркс формулирует вопросы, не прибегая к оценочным выражениям или туманным единицам счета. Аналитический ум исследователя подсказывает такую детализацию пунктов, которая обеспечивает надежные сведения.
В.И. Ленин также собирал детальную информацию о жизни рабочих и условиях работы по отдельным заводам, а в целом — о положении рабочего класса и готовности пролетариата к выполнению своей революционной роли [14].
Вопросы на мотивацию, оценки и мнения представляют наиболее сложную часть процедуры.
(1) Особенно опасны "наводящие" вопросы, внушающие определенный ответ. Так, в следующих примерах ответ внушается интервьюером:
Любите ли Вы свою работу? (высказано сомнение: интервьюер явно заинтересован в ответе, но, в каком именно, — это неясно опрашиваемому; он будет стараться уловить, какой ответ желателен).
Вы любите свою работу? (в зависимости от ударения и интонации внушается определенный ответ).
Вы не любите свою работу, не так ли? (утверждение, которое предполагает согласие).
Нравится или не нравится Вам Ваша работа? (категорический вопрос, требующий окончательного решения, когда как возможна целая гамма промежуточных состояний и оценок).
Правильная формула предполагает нейтральную интонацию: "В какой мере Вас привлекает выполняемая работа?". В закрытом варианте ответа следует предложить шкалу: "работа очень нравится", "пожалуй, нравится", "трудно сказать определенно", "скорее не нравится, чем нравится", "совершенно не нравится".
(2) Стереотипные формулировки вопроса вызывают столь же стереотипные ответы.
Например, нежелательно в качестве варианта ответа предлагать суждения: "труд есть средство существования", "труд — средство существования и морального удовлетворения", "труд — источник морального удовлетворения". Опрашиваемые будут стремиться отыскать наиболее распространенный стереотип (в опытах на конструирование таких вопросов мы получили концентрацию ответов во втором варианте). Менее стереотипная формула даст более широкий разброс мнений: "работа хороша, если хорошо оплачивается", "заработок — главное, но надо думать и о смысле работы", "главное — смысл работы, но нельзя забывать и о заработке".
(3) Широко распространенная ошибка — ставить лобовые вопросы: "Почему Вы так считаете?", "Если да (или нет), то почему?". Желая выяснить основание оценки или мнения, социолог как бы принимает позу следователя.
Чтобы добиться развернутого ответа, вместо общего "почему?", желательно предусмотреть более детализированные вопросы [310]: (а) Конкретная ситуация, в которой высказываются оценки и мнения или контекст восприятия респондентом событий (как случилось, что Вы пошли работать по этой специальности? Каковы были обстоятельства, в которых Вы определили свое профессиональное будущее?), (б) Содержание побуждения, мотива поступков или оценок (что в общем показалось Вам наиболее привлекательным в выборе этой профессии, специальности?).
(в) Попытка определить атмосферу общественного мнения среды, в которой действовал субъект (что думали об этом Ваши родные, друзья, знакомые? Советовались ли Вы с ними или они Вам что-то советовали?).
(г) Собственно мотив поступков, действий, оценок (можно сказать, что в конце концов Вы приняли решение о выборе профессии по каким-то определенным основаниям? Не могли бы Вы указать эти основания?).
(д) Контрольный вопрос на специфичность мнений или оценок относительно ситуации (если бы Вы имели другие возможности выбора, как бы Вы поступили: избрали бы ту же самую специальность или какую-то иную?).
(4) Проективные вопросы — хороший способ выявить общую направленность интересов, мотивов деятельности, ценностные ориентации. Респонденту предлагают набор ситуаций, которые могли бы встретиться в жизни, просят указать предпочтительный вариант проведения или мнения в заданных условиях. Принцип проекции положен в основу специальных психологических процедур, с которыми мы ознакомимся ниже.
Приведем пример использования проективной техники в анкетном опросе.
Для определения уровня ориентации инженеров на относительно самостоятельную (относительно несамостоятельную) деятельность в своей профессиональной сфере им предлагалось задание.
"Представьте, что Вы поступаете на работу в конструкторское бюро. Это происходит в данный момент. Возникают следующие 14 ситуаций.
1. Предположим, что Вас хотят назначить руководителем группы (или подразделения) , но предлагают выбрать (либо - либо) :
(а) коллектив, состоящий из молодых специалистов, не очень опытных, но перспективных;
(б) коллектив, состоящий из опытных и знающих работников.
2. Вам предлагают на выбор два отдела, куда направляют рядовым сотрудником:
(а) отдел, руководитель которого обычно дает своим сотрудникам разнообразную работу;
(б) отдел, руководитель которого, как правило, определяет каждому постоянную, достаточно узкую работу.
3. Предлагается на выбор два отдела, причем известно, что
(а) в отделе "А" руководитель обычно дает исчерпывающие указания и постоянно корректирует работу подчиненных;
(б) в отделе "Б" руководитель обычно выдвигает лишь общую идею, дает общий детальный совет, но дальше предпочитает не вмешиваться в ход работы подчиненного".
----------------------------------------------------------------------------------------------
Эксперты (76 инженеров, представляющие микромодель объекта изучения) определяли вначале соотносительный "вес" каждой из 14 ситуаций, а затем — "вес" каждого из возможных выборов в этих ситуациях с точки зрения того, насколько данная ситуация и данный выбор в ней свидетельствуют в пользу ориентации инженера на самостоятельность. Техника судейства напоминает ту, что используется при взвешивании пунктов шкалы Тёрстоуна. В нашем примере ответы 1а, 2а и 36 говорят о склонности быть самостоятельным. Соответственно в шкале от +10 до -10 судейские "веса" этих ответов: 8, 6 и 9.
(5) Полезно дополнять вопросы о содержании вопросами на интенсивность мнений. Так, в последнем примере целесообразно фиксировать не только качество выбора (какую альтернативу предпочел опрашиваемый), но и степень уверенности в сделанном выборе. Такое измерение хорошо для последующей квантификации данных в сводном индексе или шкале.
Каждый из выборов в предложенных ситуациях сопровождался вопросом: "В какой мере Вы уверены в своем выборе?" — с вариантами ответа: "Совершенно уверен — уверен — не очень уверен - трудно сказать". Можно использовать "шкалу термометр": 100 ... 90 ... 80 ... 70 ... 60 ... 50 - с просьбой пометить степень уверенности ("Обведите в кружок соответствующее деление").
(6) Следует обратить внимание на такой весьма тонкий аспект оценочной информации, как асимметрия позитивного и негативного полюсов оценок. Дело в том, что люди вообще более тонко дифференцируют негативную зону восприятий (и эмоций), более грубо — позитивную. Это связано и с нашими психофизиологическими особенностями, благодаря которым сигналы опасности воспринимаются более надежно (так называемая позитивно-негативная асимметрия восприятия). Предлагая шкалу оценок мнений, мы почти всегда можем полагаться на ответы негативной зоны (например, оценки неудовлетворенности), но менее уверенно — на ответы позитивной зоны.
Итак, выяснение мнений — довольно сложная процедура, предполагающая отбор со стороны компетентности, уточнение мотивов оценок и т.д. Для такого рода процедур можно использовать технику постадийного развертывания вопроса [310].
(а) Фильтрующий вопрос, предназначенный для отсеивания некомпетентных, (б) Прямой вопрос, выявляющий общую направленность мнения, обычно такого типа: "Что Вы думаете по поводу?..." или "Каково Ваше мнение о достоинствах и недостатках... (такого-то общественного действия, высказывания...)?", (в) Дихотомический вопрос, уточняющий общую направленность: "Если брать в целом, Вы одобряете или осуждаете; согласны или не согласны; Вам нравится или не нравится...?", (г) Уточнение основания оценки или мнения, которое обычно вводится фразой: "Если в основном Вы не согласны с тем, что ... не могли бы Вы пояснить свою мысль?", или "Если Вы одобряете ... чем это можно было бы объяснить?", или «Итак, Вы высказались "за" (или "против") того-то. Пожалуйста, объясните свое мнение...», (д) Последний вопрос: определение интенсивности мнения. "В какой степени Вы уверены в своем суждении?" или "Насколько Вы уверены в своей оценке?". И далее следует шкала интенсивности мнения.