Эскалация ошибок: интервью Е. Башкировой

Большинство случаев непреднамеренной фаль­сификации данных возникает на этапе построе­ния выборки. Специалистов по грамотному по­строению выборки в России мало, поэтому даже в некоторых достаточно известных компаниях выборка составляется недостаточно професси­онально. Например, часто нарушается основной принцип выборки — ее репрезентативность. На­рушения при составлении национальной репре­зентативной выборки возможны как при выборе населенных пунктов, так и при отборе конкрет­ных респондентов. В связи с этим необходимо требовать от социологической компании обосно­вание выбора тех или иных точек опроса и конт­ролировать процедуру отбора респондента в семье. Объем выборки, т.е. количество людей, которые должны быть опрошены, определяется в зависимости от целей и задач исследования и с учетом ошибки выборки. Минимальная в Рос­сии ошибка выборки составляет плюс-минус 3— 4%. У многих активно действующих на российс­ком рынке социологических центров ошибка выборки значительно превышает эту величину. При этом данные этих социологических центров активно тиражируются через СМИ и дают невер­ное представление об электоральных настроени­ях в России. Объем всероссийской представи­тельной выборки с ошибкой 3—4% для адекват­ного анализа должен быть не менее 1500

человек. Для обеспечения репрезентативности выборки необходимо также иметь достаточное число точек опроса (не менее 160). Меньшее число точек опроса означает, что выборка не представляет всю страну. Существует также серьезная проблема сдвига выборки (например, в сторону лиц с высшим образованием, пожилых людей, представителей электората одной партии

в определенных регионах и т.д.). При подобных сдвигах выборки есть опасность значительных искажений данных. Выборка, анонсируемая как всероссийская репрезентативная, должна пред­ставлять собой микромодель общества. При не­соблюдении необходимых параметров построе­ния выборки используется перевзвешивание. Эта трудоемкая процедура требует серьезной мето­дической подготовки, а также специального тех­нического обеспечения, которым не обладают многие из действующих на рынке социологичес­ких компаний.

На практике чаще применяется так называемый слабый вариант доказа­тельства конструктивной валидности, который еще именуется номологичес-ким. Его требование звучит так: если социолог провозглашает, что его тео­рия конструктивно валидна, то, будучи профессиональным ученым, он от­дает себе отчет в том, что четко и ясно представляет себе, как работает его теория и используемые в ней понятия, в том, что при случае он может пре­доставить убедительные свидетельства того, что провозглашаемое им в тео­рии не расходится с практикой. Номологическая валидность, введенная в науку в 1955 г. Л.Кронбахом и П.Милем, постулирует некие общефилософ­ские принципы, которым должна подчиняться всякая научная теория, на­пример, требование о том, что теория должна иметь такие переменные, ко­торые можно измерить на практике.

Конструктивная валидность указывает на приблизительную истинность выводов о том, что проведенная вами операционализация достаточно точно отражает исходные теоретические понятия. Ее можно установить нескольки­ми способами. Первый — самый легкий и самый поверхностный: вы сами как автор анализируете исходное понятие или группу понятий, например, касаю­щиеся подростковой преступности, и убеждаетесь в том, что оно или они дей­ствительно описывают суть явления. Такая «на первый взгляд» валидность, или как ее называют американцы—face validity, может быть усилена в том случае,

Многочисленные нарушения связаны и с работой с вопросником. Как основной инструмент для получения информации, вопросник должен быть четким и лаконичным. Все вопросы должны быть понятны людям и заданы по всем методическим правилам, с учетом адекватности формулиров­ки и строгого выбора порядка постановки вопро­сов. Неясно заданные вопросы приведут к тому, что респонденты будут либо отказываться отве­чать на них, а это потеря информации, либо бу­дут давать случайные ответы, что также ведет к искажению результатов. В связи с этим до нача­ла этапа опроса следует провести пробные ин­тервью (так называемый пилотаж), с тем чтобы убедиться, что вопросы понятны всем, включая людей с невысоким уровнем образования. В ходе опроса, или интервьюирования, также возникают различные искажения данных. Преж­де всего имеет место фактор влияния личности интервьюера на результат опроса. Квалифициро­ванный интервьюер должен строить общение с респондентом по следующей схеме: с одной сто­роны, расположить его к себе, вызвать на откро­венность, а с другой стороны, не оказывать ни малейшего влияния на его мнение. Помимо это­го существуют и факты вопиющей недобросове­стности интервьюеров, даже работающих на из­вестные социологические службы, которые не Уделяют достаточного внимания контролю за Деятельностью интервьюеров: некоторые из них сами заполняют анкеты, не опрашивая респон­дента или задавая ему лишь часть вопросов.

Техническая процедура ввода данных также может привести к серьезным искажениям ин­формации. При переносе полученных данных из анкет в компьютер возможны ошибки, когда че­ловек, осуществляющий ввод данных, путает, например, номера кодов. Для того чтобы избе­жать таких ошибок, в мировой социологической практике принято использовать технологию двойного ввода данных. В российских компани­ях такая практика почти не используется, пото­му что она требует наличия соответствующих программных продуктов и подготовленности со­трудников. Практически подобное обеспечение двойного ввода существует только в одной рос­сийской социологической службе. На стадии обработки данных также возможен ряд серьезных ошибок и нарушений. Ошибки возможны, когда для анализа данных использу­ются некоторые статистические показатели или сложные статистические методы (такие, как кла­стерный, факторный анализ и пр.). Для эффек­тивной работы со шкалами необходимо обла­дать серьезной профессиональной подготовкой в области методологии.

Таким образом, в ходе проведения электораль­ных исследований возможен целый ряд наме­ренных и ненамеренных нарушений. Источник: К ВОПРОСУ О РЕЙТИНГАХ... (интер­вью с Еленой Башкировой, генеральным дирек­тором независимого исследовательского цент­ра РОМИР) // http://www.romir.ru/socpolit/actual/ october/rating. htm

если свою программу исследования, ее теоретическую часть, вы отсылаете экспертам и просите их беспристрастно оценить адекватность используемых вами понятий. В том и другом случае валидность доказывается не очень на­дежным способом, а именно при помощи субъективных оценок.

Рис. 67. До начала опроса следует провести пробные интервью (пилотаж)

Второй канал подтверждения конструктивной валидности именуют содер­жательным, или контент-валидностью (content validity). Она заключается в тща­тельной проработке всех аспектов исходного понятия и выявлении всего кру­га критериев, при помощи которых фиксируется это понятие. Кпримеру, опе-рационализируя подростковую преступность, вы учли в исходной модели очень немногие источники. На их основе построили систему показателей, которая может быть полной, а может оказаться и неполной. Не проводя дополнитель­ной проверки, вы лишь увеличиваете вероятность ошибки, т.е. возможность упустить нечто важное. В таком случае надо еще раз обратиться к источникам — монографиям, словарям, справочникам — и составить список всех определе­ний подростковой преступности, особенно тех, что встречаются в специаль­ной юридической литературе. Как социолог, вы не можете знать всех нюан­сов проблемы. Обращение к специалистам поможет выйти на правильную до­рогу. Это поможет составить классификацию видов подростковой преступности, выяснить критерии и признаки, их идентифицирующие, сте­пень распространенности того или иного вида преступности, его причины и последствия. Не менее важным моментом станет определение круга явлений, которые лишь по форме похожи на подростковую преступность, но по суще­ству к ней не относятся. В завершение надо составить точный и полный спи­сок критериев подростковой преступности, приписав каждому способ его эм­пирического обнаружения.

К сожалению, не для всех понятий можно подобрать необходимый спи­сок критериев, признаков или показателей, которые на практике помогут

установить изучаемое явление. Социолог вторгается в такие сферы, которые еще не изучены юристами, психологами и экономистами, либо он имеет дело с такой стороной уже известного явления, которое не относится к компетен­ции родственных наук и ими всесторонне не описаны. В любом случае со­циолог имеет дело с еще непознанной сферой реальности. Установить, что такое интеллигентность, весьма затруднительно: во-первых, это крайне раз­мытая область реальности, во-вторых, психологи, педагоги и антропологи, пытавшиеся его определить, наверняка не позаботились о социологе и не дали таких критериев явления, которые могли бы его удовлетворить. В этом слу­чае подтвердить конструктивную валидность употребляемой вами формулы интеллигентности очень трудно, а другому человеку проверить либо опро­вергнуть ваши домыслы почти невозможно. Если вы используете такое поня­тие, то знайте, что в литературе — книжной и электронной — вы встретите необозримое число его определений, противоречащих друг другу либо вы­зывающих неподдельное недоумение из-за своей нелепости. В такой ситуа­ции вам остается лишь полагаться на свой здравый смысл и пробовать — про­бовать и ошибаться, исправляясь и со­вершенствуясь.

Итак, конструктивная валидность характеризует законность (или умест­ность) использования тех конкретных понятий, которые социолог получил, проведя долгий и кропотливый процесс операционализации исходных, часто весьма абстрактных, категорий, на которых строится его теоретическая модель предмета исследования. Повысить ее качество можно разными путями, самые простые и доступные были указаны выше. Есть и более изощренные. Но они касаются не отдельных понятий, а их совокупности, соединенных по прави­лам логического суждения. Если, скажем, в своей теоретической модели вы предполагаете, что у выпускников престижных вузов первая зарплата в тру­довой карьере выше, чем у выпускников непрестижных вузов, то эмпиричес­кое подтверждение этой гипотезы будет служить прямым или косвенным под­тверждением валидности исходного понятия. Но при том непременном усло­вии, что выдвигаемое вами предположение отражает суть исходного понятия. Подобная разновидность называется предсказательной валидностью {predictive validity) и тесно связана с операционализацией. Иными словами, ваша гипо­теза входит как органическая часть в операционализацию исходного понятия. В своей теоретической модели, всесторонне рассматривая это явление, вы в числе прочих утверждений, операционализирующих исходное понятие, выд­винули и суждение о том, что величина интеллектуального капитала прямо связана с престижем вуза, а значит, и качеством образования в нем (ибо в пре­стижные вузы чаще всего стремятся более талантливые преподаватели), и кос-веннно — с получаемым после его окончания заработком. В результате вы ус­тановили теоретическую связь (корреляцию) между несколькими понятиями, а затем эмпирически проверили ее.

Таким образом, конструктивная валидность показывает, насколько точ­но и адекватно теоретические идеи переведены на язык измерения, найде­ны ли достойные факты, подтверждающие их. Даже в простой беседе с при­ятелем вам нужно подыскать точные слова для того, чтобы правильно пере-

дать свои идеи. Часто приходится иллюстрировать свою теорию. Но о чем сви­детельствуют ваши примеры? Подтверждают ли они ваши слова или, напро­тив, говорят не в вашу пользу? Неожиданно ваш собеседник заявляет, что приведенные вами примеры свидетельствуют против ваших мыслей. Что это? Скорее всего, вы неправильно перевели теорию на язык фактов: думаете об одном, а примеры приводите совсем о другом.

Конвергентная валидность утверждает: те переменные, которые в теории считаются взаимосвязанными (коррелирующими), должны быть таковыми и в эмпирии.

Дискриминантная валидность утверждает: те переменные, которые в те­ории считаются невзаимосвязанными (некоррелирующими), должны быть таковыми и в эмпирии.

Количественную меру взаимосвязи, т.е. корреляции, устанавливает коэф­фициент корреляции.

ДОПОЛНИТЕЛЬНОЕЧТЕНИЕ

К. Гемпель