Контроль и ремонт выборки

Качество социологической информации может снизить множество фак­торов: неправильно сформулированные анкетные вопросы, не так выбран­ный метод исследования, пропущенные ответы в анкетах, нечетко сплани­рованная выборка и др.

Практика эмпирических исследований — зарубежных и отечественных, фундаментальных и прикладных — свидетельствует, что ошибки, в том чис­ле при составлении выборки, встречаются почти в каждом исследовании. Такого рода смещения могут быть значимыми или незначимыми.

Контролем выборки будем называть процесс научного сравнения генераль­ной и выборочной совокупностей, выявление степени их расхождения, обна­ружение причин отклонения и разработку возможных способов устранения погрешностей. В узком смысле — это уравнивание выборочных и генеральных распределений социально-демографических характеристик респондентов.

Под ремонтом выборки надо понимать сам процесс устранения погреш­ностей, т.е. расхождения двух совокупностей, теми способами, методами и инструментами, которые предлагает методическая наука.

Таким образом, второй прием выступает практической реализацией пер­вого, аналитического, а оба они составляют два обязательных этапа прове­дения социологического исследования.

Часто контроль выборки употребляют в расширенном значении, включая в него также ремонт выборки. В этом случае говорят о широком понимании ре­монта выборки как первичной статистической обработки данных, включаю­щей коррекцию: а) выборочной совокупности; б) распределений социально-

Батыгин Г.С. Лекции по методологии социологических исследований. С. 154.

демографических характеристик респондентов; в) резко выделяющихся и про­пущенных ответов, а также взвешивание исходных данных. Указанные виды коррекции призваны отремонтировать самое главное — выборку исследования, повысить степень ее репрезентативности. Почему это главное? Анкета может быть исключительно интересной, глубокой и содержательной, но запустили ее на плохом массиве, т.е. нерепрезентативной выборке. Усилия всего коллек­тива пошли насмарку, так как цена такой информации почти нулевая. Вот почему в рассматриваемых ниже видах коррекции, даже если они касаются заполнения анкеты и к выборке имеют вроде бы косвенное отношение, фокус внимания один-единственный — выборка.

Основная цель ремонта выборки — повышение качества уже собранной информации. Процедура ремонта выборки включает несколько операций³³.

Коррекция выборочной совокупности. Далеко не всегда отобранные респонден­ты, по самым разным обстоятельствам, могут или желают отвечать на вопросы. Кто-то заболел или уехал в срочную командировку, другой отказывается по идей­ным соображениям или не способен отвечать в силу умственной недостаточно­сти. Кого-то трудно застать дома, хотя анкетер приходил к нему не единожды.

Возникает проблема замены респондентов, которая может быть решена с по­мощью нескольких методов^-, выбор следующего по списку респондента (напри -мер, следующего номера в телефонном справочнике), использование первона­чальной выборки больших размеров и формирование повторной выборки. В пос­леднем случае, если процент ответов оказался намного ниже, чем ожидалось, основа выборки расширяется за счет дополнительных имен, найденных, напри­мер, случайным образом. Самым эффективным способом считается поиск эк­вивалентной замены. Если, к примеру, в вашу выборку попал работающий пен­сионер такой-то национальности и овдовевший, то желательно подыскать ему в качестве замены другого пенсионера сходного возраста, национальности, ов­довевшего и работающего. Нередко подобный способ превращается в трудо- и времязатратное мероприятие. Если список генеральной совокупности невелик и найти замену не удается, следует отказаться от эквивалентного метода и пе­рейти к другому.

Коррекция распределений демографических характеристик респондентов. Если по окончании исследования в паспортичке вашего исследования полу­чилось, что у вас, к примеру, перебор женщин, людей с высшим образова­нием или пожилых людей в сравнении с теми процентными долями, кото­рые они имеют в генеральной совокупности, то можно применить три спо­соба: 1) удалить те группы респондентов, которые оказались представлены в избыточном количестве; 2) доопросить те группы, которые оказались пред­ставленными в недостаточном количестве; 3) математически повысить зна­чение ответов, представленных недостаточно, или снизить — представлен­ных избыточно. Но сначала желательно выяснить, а влияет ли то и другое на содержание ответов. Может быть, все можно оставить и так.

Взвешивание исходных данных — математический способ повышения или понижения значения ответов конкретной группы респондентов (например, незамужних сельских женщин в возрасте от 30 до 45 лет). Взвешивание означа­ет присваивание каждому респонденту определенного веса (коэффициента, на

³² Давыдов А. А., Крыштановский А. О. Ремонт выборки//Социологические исследования. 1989. № 5, С 100-105.

который нужно умножить все мнения-ответы одного или группы респонден­тов ради восстановления репрезентативности). По мнению А. Балабанова³⁴, взве­шивание — единственный способ восстановления репрезентативности в панель­ных исследованиях без потери точности. Поскольку способов взвешивания су­ществует очень много, то перед социологом возникают достаточно непростые методологические проблемы, которые без соответствующей подготовки и зна­ний решить невозможно. Весовые коэффициенты можно определять по-разно­му, а сам процесс присвоения коэффициентов почти невозможно контролиро­вать со стороны, другим исследователям. Самый простой способ — численность конкретной социально-демографической группы, например подростков от 13до 17 лет, из генеральной совокупности (Л') делят на количество респонден­тов, представляющих данную возрастную группу (л), полагая, что один респон­дент представляет мнение ^человек генеральной совокупности.

Сотрудники Института социологии АН СССР А.А. Давыдов и А.О. Крыш-тановский в свое время установили любопытные факты³⁵. Оказывается, де­мографические признаки респондентов почти никак не связаны с ответами об удовлетворенности работой и жизнью, оценкой темпов перестройки, одоб­рением деятельности политических лидеров, оценкой внешнеполитических событий и т.д. Другими словами, мужчины и женщины одинаково отвечают на вопросы об удовлетворенности жизнью или о политических событиях. Для этих индикаторов перевзвешивание проводить не нужно. Если же одна ха­рактеристика, например пол, тесно связана со всеми содержательными воп­росами или разные вопросы связаны с различными характеристиками, то коррекцию придется делать по схеме, описанной в пособии³⁶.

Коррекция резко выделяющихся ответов респондентов. При опросе иног­да попадаются такие ответы респондентов, которые резко выделяются на об­щем фоне. Причины могут быть самые разные: респондент неправильно понял вопрос анкеты, у него оригинальные взгляды на мир или попросту решил подшутить над учеными. Могут быть и другие причины. Но вернуть­ся к нему и переспросить уже нельзя. В таком случае, особенно если анкет много, бракованный экземпляр лучше удалить из общего массива.

Коррекция пропущенных ответов. Пропуски чаще всего возникают в откры­тых и табличных вопросах. Самый простой способ коррекции — исключить их или всю анкету из научного анализа. При пропуске не содержательного вопроса, а того, что имеется в паспортичке, поступают так. Если социально-демографические характеристики не связаны с содержательными ответами, то анкете с пропущен­ными значениями следует присвоить наиболее часто встречающиеся в выборке социально-демографические характеристики либо определить их случайным образом или пропорционально (если таких анкет много). Если же связь есть, то следует определить, к ответам какой группы (например, мужчин или женщин) ближе ответы в анкете, где графа «пол» не указана, и внести этот признак³⁷.

Сокращение выборочной совокупности. Таким образом ремонт выборки осу­ществляется в случаях, когда данных получено много. По мнению А.А. Да-

³⁴ Балабанов А. Лекция 3. Что такое Репрезентативность, и как с ней бороться // http://4p.ru/theory/tj_m_3.html

³⁵ Давыдов А.А., Крыштановский А.О. Ремонт выборки // Социологические исследования. 1989. № 5.С 100-105.

³⁶ Там же. С. 104.

³⁷ Процесс обработки данных анкетных опросов на ЭВМ. М.: ИС АН СССР, 1985.

выдова и А.О. Крыштановского, это наиболее рациональный подход к ремон­ту выборки, поскольку данная стратегия не опирается ни на какие дополни­тельные допущения. Если же объем выборки незначителен, то для ее ремонта нужно принимать ряд дополнительных допущений, которые не следуют из собранного материала и истинность которых трудно проверить.

Переформирование выборки осуществляется тогда, когда проверка показа­ла, что выборка не представляет совокупность в целом. В этом случае выбира­ются новые респонденты, и они добавляются к ранее использованной выбор­ке, пока не достигается удовлетворительный уровень репрезентативности.

Далеко не все социологи, организующие эмпирическое исследование, включают данные о контроле и ремонте выборки в его паспортичку. Так, среди 300 исследований, содержавшихся в Банке данных ИС АН СССР на 1988 г., лишь в десяти осуществлялся ремонт выборки³⁸. Для сравнения от­метим: за рубежом ремонт выборки уже давно стал распространенным ме­тодом повышения качества социологической информации.

Эффективным контролем выборки и вообще качества данных в исследовании служит публикация ключевых характеристик исследования, прежде всего мето­дического инструментария. Если автор исследования скрывает информацию, указывая на коммерческую тайну, то обязательно должно возникнуть подозрение в его нечистоплотности. Как справедливо замечает А. Балабанов, все методики измерений, даже в сфере маркетинговых исследований и масс-медиа, давно из­вестны, они абсолютно открыты и не могут являться объектом коммерческой тайны. Более того, отсутствие данных о методике измерений является наруше­нием всех имеющихся в мире соглашений, в частности о медиаизмерениях³⁹.