Анализ эквивалентности

«В буквальном смысле «выражаться» означает выражаться, а «кумовство» — это кумовство. Однако, в определенном смысловом контексте, «выражаться» может означать «наносить оскорбление» или «делать комплимент», а «кумовство» может означать «коррупцию» или «обязательство». Это замечание Пшеворского и Тьюна⁴⁶ кратко иллюстрируют взгляд на смысл поведения как феномена, который зависит от культурного контекста. Это верно не только для поведения, с точки зрения этнографа, но также и для интервью (открытых или стандартизированных), опросников и психометрических тестов. Если результаты по ним нельзя интерпретировать тем же способом (например, при прогнозировании критерия или измерении результатов), то, следовательно, они не имеют того же психологического значения в разных культурных контекстах. Тогда они называются несопоставимыми, неэквивалентными или культурно искаженными. В этом разделе мы опишем некоторые психометрические подходы к проблеме эквивалентности.В дополнении 11.2. приводим краткое описание этого подхода.

Проблему эквивалентности данных необходимо учитывать еще в самом начале

⁴⁶ См. Przeworksi & Teune, 1970, с. 92.

Дополнение 11.2.Определение культурного искажения

При кросс-культурном сравнении психологических данных следует различать три аспекта: (1) сравниваемые группы людей А и В, (2) психологическое понятие С (например, область характерных черт или область поведения), и (3) данные по переменной D из обеих групп. Сравнение данных может вводить в заблуждение по двум причинам. Во-первых, понятие С может не быть инвариантным для групп А и В. Непсихологический пример состоит в следующем: если С соответствует весу в группе А и длине в группе В, то сравнение мер из А и В логически лишено смысла. Что-то подобное происходит, если тест по арифметике с устно формулируемыми заданиями создает языковые проблемы, например, для детей иммигрантов.

Во-вторых, взаимосвязь наблюдаемой итоговой переменной D в двух группах, D(a) и D(b), с понятием С могут быть несопоставимыми. Примером может служить измерение в градусах Цельсия и Фаренгейта, которые не соотносятся с понятием температуры равным образом. Поэтому сравнение на основании температуры, которая измеряется по Цельсию для А и по Фаренгейту для В, очевидно, будет вводить в заблуждение.

Важно отметить, что в этом примере шкала измерений (°F или °С) отличается от основного понятия (температуры). Выводы делаютс точки зрения понятия, которое является главным основанием для сравнения. Различия оценок двух групп А и В (по измерительным шкалам) не так важны, основное значение имеют заключения и интерпретации. Принимая этово внимание, можно сформулировать следующее определение культурного искажения.

Данные искажены или неэквивалентны, если различия наблюдаемых оценок между популяциями не сопоставлены с соответствующими различиями по шкале, которая используется для сравнения .

Следствие этого определения заключается в том, что искажение рассматривается как обусловленное не качеством применяемых методик, а качеством интерпретаций и выводов, сделанных на основе кросс-культурных различий результатов.

* См. Poortinga, 1989, с. 738; 1995.

кросс-культурного исследовательского проекта. В ряде руководств по кросс-культурной адаптации педагогических и психологических тестов (гл. 5) рекомендуется проводить разработку инструментов исследования с участниками из всех культурных популяций, которые принимают учатие в исследовании⁴⁷. Однако в большинстве культурно-сравнительных исследований используются уже существующие инструменты. Именно эту,

⁴⁷ См. Hambleton, 1994; Van de Vijver & Hambleton, 1996.

более распространенную ситуацию мы рассмотрим дальше.

Анализ контекста стимула

Первым шагом при анализе эквивалентности должно быть исследование содержания стимулов (или заданий) инструмента (методики). Необходима тщательная проверка каждого стимула для идентификации возможных характерных особенностей смысла или других причин

того, почему этот стимул может оказаться неприемлемым в отдельной культуре. Существует два вида методов — так называемые методы суждений и методы эквивалентности перевода.

При использовании метода суждений экспертов просят высказать свое мнение о содержании стимула. Обычно они оценивают каждый стимул на принадлежность/непринадлежность к интересующей модели поведения, выясняют предполагает ли он особые знания или опыт, более доступный для одной из групп.

Для качественной оценки эксперты должны быть близко ознакомлены с культурами из сравнительного исследования, а также с теорией и идеями, на которых основана данная методика исследования. Методы суждений в основном использовались в США в педагогических тестах и тестах интеллекта, в которых могут быть и предвзяты по отношению к женщинам или этнокультурным группам. Обзор темы можно найти у Титтла⁴⁸. Хотя эксперты могут быть уверенными в том, какие задания теста содержат предвзятость, эти представления довольно часто не подтверждаются эмпирическими результатами; оказывается, нелегко спрогнозировать, по каким заданиям та или иная группа покажет относительно низкий уровень выполнения заданий.

В психологии изучаемое- понятие часто не поддается наблюдению (является гипотетической моделью). Для подобных понятий не существует общепринятой шкалы измерения, но ее можно создать в результате исследования одной из групп. Тогда анализ эквивалентности сводится к вопросу о том, будут ли масштабы изучаемой переменной инвариантны в разных популяциях, или нет.

⁴⁸ См. Tittle, 1982; ср. также Van Leest, 1997.

В кросс-культурных исследованиях часто нелегко найти квалифицированных экспертов; самое малое, что можно сделать для идентификации неприемлемых стимулов, это проконсультироваться с коллегами — представителями изучаемых культур.

Необходимо тщательно проверять эквивалентность перевода всякий раз, когда вербальные стимулы или инструкции используются кросс-культурно⁴⁹. Обычно исследователи убеждены, что перевод эквивалентен, если после перевода с языка оригинала на целевой язык с последующим независимым обратным переводом, оригинальное словоупотребление воспроизводится более или менее точно. Методика требует, чтобы были доступны переводчики, одинаково хорошо владеющие исходным и целевым языком. Процедура прямого и обратного перевода должна иногда повторяться независимой командой, пока оригинальная версия не будет воспроизведена с достаточной точностью. Брислин заметил, что зачастую приходится заменять первоначальный стимул, так как он оказывается просто непереводимым. Он рекомендует, чтобы и первоначальная, и видоизмененная версии на исходном языке предьявлялись группе лиц для проверки того, имели ли изменения какое-либо систематическое влияние на оценки.

Процесс перевода тесно связан с тем, что Вернер и Кемпбелл (1970) называли «децентрированием». Так как методики исследования разрабатываются в отдельно взятом культурном контексте, они будут содержать определенные характерные признаки этой культуры, которые могут быть слабо связаны с оцениваемой чертой. При кросс-культурном

⁴⁹ См. Brislin, 1976, 1980, 1986.

сравнении таких обстоятельств этого следует избегать, вплоть до того, что исходный инструмент исследования также должен быть изменен. Подразумевается, что нужны не только изменения словесной формулировки, но и изменения содержания стимулов. Таким образом, мы должны считаться с вероятностью, что содержание стимула (предъявляемого материала) вообще неадекватно для другой культуры. Тогда единственный выход — это исключить его из экспере-мента. Если подобные стимулы встречаются часто, культурное децентрирова-ние вызывает более фундаментальный вопрос: указывает ли неэквивалентность стимулов на кросс-культурную неидентичность самой черты, которая измеряется с помощью методики исследования. Мы еще вернемся к этому вопросу.

Исследователю приходится сталкиваться еще с одной проблемой в установлении лингвистической эквивалентности. Она заключается в том, что говоряощие на двух языках, заполняя опросник на определенном языке, несколько адаптируют свои ответы, согласно стереотипам, которые у них существуют по отношению к данной культуре⁵⁰. Так, Брислин (1986) указал, что для оценки эквивалентности перевода необходимы люди, говорящие как на одном, так и на другом языке.

Психометрический анализ

Психометрический анализ эквивалентности совокупностей данных, полученных от выборок из разных культурных популяций, основывается на предполагаемой структуре исследования. Например, задания в опроснике по установкам могут ранжироваться от положительных до отрицательных оценок, а задания в ⁵⁰ См,, например, Bond, 1983.

тесте способностей ранжируются от легких к сложным. Для эквивалентных или сопоставимых показателей имеет смысл предположить, что в кросс-культурном отношении будет наблюдаться тот же самый порядок сложности или предпочтений. Аналогично, следует ожидать того, что корреляции между переменными в одной культуре также должны быть обнаружены и в других культурах, если методика исследования измеряет одну и ту же черту. Эти соображения могут лечь в основу требований, которым будут соответствовать эквивалентные данные, но вряд ли им будут соответствовать неэквивалентные результаты. Ван де Вийвер и Ленг (1997а, 1997b) предложили проводить различие между тремя уровнями эквивалентности, которые мы рассмотрим ниже (см. также гл. 4).

Уровни эквивалентности

Первый вопрос, который требует ответа, — отражает ли инструмент исследования одно и то же базовые понятие или модель в разных культурах. Например, есть свидетельство того, что в африканской концепции умственного развития важны социальные аспекты, но они едва ли соответствуют западным показателям умственных способностей, которые подразумевают аналитические когнитивные способности (Сигалл, 1999). Подобно этому, Хо (1996) доказывал, что понятие «сыновней (или дочерней) почтительности к родителям», которое ассоциируется с понятием хорошего сына или дочери для родителей, охватывает более широкий диапазон поведения в Китае, чем в западных странах. В этих двух примерах содержится понятие, которое различается кросс-культурно, таким образом, для его измерения не

может быть никакой общей шкалы, что исключает возможность любого сравнительного измерения. Однако, часто, исследователь сталкивается с ситуацией, где неясно, действительно ли методика исследования измеряет одно и то же понятие в исследуемых культурных популяциях. Тогда он может использовать корреляционные методики — для проверки взаимосвязи пунктов (или субтестов) методики исследования в разных культурах. Условием структурной эквивалентности является кросс-культурная идентичность паттернов корреляций между пунктами методики.

Подобные корреляционные паттерны обычно исследуются с помощью факторного анализа. Исследовательский факторный анализ в каждой культурной выборке, который позволяет получить воспроизводимую методикой факторную структуру, является лучшей, проверенной временем. Соответствие факторных структур может оцениваться с помощью различных показателей, из которых чаще других в литературе встречается ц (фи) индекс Такера. Существует некоторое разногласие относительно того, какой должна быть величина этого индекса, чтобы признать сходство или идентичность факторов, но нижний предел, равный 0,90, часто упоминается для признания того, что факторы подобны⁵¹.

Инвариантность или сходство факторных структур на индивидуальном и по-пуляционном уровнях может рассматривать как условие эквивалентности на этих двух уровнях обобщения. Широкое распространение получили многоуровневые методики, которые были разработаны в педагогической психологии. Ван де Вийвер и Пуртинга (в печати) описали

⁵¹ См,, например, Van de Vijver & Poortinga, 1994.

методику, основанную на факторном анализе. Применив эту методику к шкале постматериалистических ценностей из «Обзора мировых ценностей»⁵², они смогли доказать сомнительность тезиса, что постматериализм имеет одно и то же значение на двух уровнях. Этот подход ограничен, так как для того, чтобы получить стабильных результатов необходимо довольно большое число культурных популяций, каждая из которых представлена выборкой значительных размеров.

Коэффициент корреляции обеспечивает информацию скорее о структурных или качественных аспектах значения оценок (измерялось ли то же самое понятие или параметр?), а не о количественных аспектах (проводилось ли измерение с помощью идентичной шкалы?). Следовательно, сходство величин корреляции оставляет открытой возможность того, что существуют количественные различия по оценкам, которые не связаны с тем понятием, для измерения которого предназначена данная методика (ср. с дополнением 9.2.). Это становится очевидно на примере следующей ситуации. Если ко всем значениям по какой-либо переменной добавить постоянную величину, то величина корреляции этой переменной с другими переменными не изменится. Точно так же, если искажение влияет на все данные по одной группе, а по другим группам нет, то это влияние не изменит величин корреляций. Короче говоря, недостаточно только сходства корреляций между тестами в разных культурах, чтобы гарантировать корректное сравнение количественных различий в оценках.

Единицы измерения эквивалентны, когда метрика шкалы (единица измерения)

⁵² См. Inglehart, 1997; См. гл. 3.

одна и та же в разных группах. Если это условие эквивалентности выполняется, количественные различия между паттернами оценок (например, тех, что были получены в различные моменты времени, или для различных подшкал) допустимо сравнивать кросс-культурно. Например, мы уже видели ранее, что результаты применения опросника могут различаться вследствие кросс-культурных различий ответов респондентов, но вполне резонно предположить, что такие же различия можно получить, если опросник применять в различных ситуациях (например, до и после некоторого воздействия).

Полная эквивалентность результатов достигается, когда и начало шкалы (обычно нулевая точка), и метрика переменной идентичны для разных культурных групп. Интерпретация количественных различий по отдельной результирующей переменной может иметь смысл только тогда, когда выполняется это условие. Позже мы увидим, что во многих кросс-культурных исследованиях трудно установить эту форму эквивалентности, особенно в том случае, когда оцениваются такие понятия, как черты личности или когнитивные способности.

Последние две из рассмотренных форм эквивалентности связаны с количественными оценками. Существуют различные методы анализа, например, регрессионный и дисперсионный анализ, которые, по своей сути, позволяют отразить оба аспекта эквивалентности, иногда даже в масштабе одного анализа. Например, неэквивалентность переменной в двух культурных группах может служить доказательством неэквивалентности оценок (уровневый параметр) или неэквивалентности единицы измерения (искажение).

В дисперсионном анализе статистически значимый эффект взаимодействия культурно обусловленных факторов ставит под сомнение полную эквивалентность показателей.

Структурные и метрические аспекты анализа искажений могут сочетаться, если применяются методы моделирования с помощью структурных уравнений, например LISREL⁵³. Особенность этих методов состоит в том, что определенный набор условий можно проверять, задавая все менее и менее строгие ограничения на эквивалентность⁵⁴.

Источники культурного искажения

Недостаток эквивалентности может быть результатом множества причин, которые относятся к родовому термину — культурное искажения.Влияние искажающего фактора может ограничиваться одним или несколькими пунктами методики (например, вследствие ошибок перевода). Это называется искажением методики или различным функционированием пункта методики. Такие эффекты могут также влиять на ответы по большинству или по всем пунктами, приводя к искажению всей методики. Наконец, искажение может относиться к операционализации или определению концепции; это мы воспринимаем как искажение концепции или искажение модели. Обзор различных источников искажения представлен в таблице 11.4. Более полное обозрение можно найти у Ван де Вийвера и Танзера(1997)и у Ван де Вийвера и Ленга (1997b).

⁵³ См. Joreskog & S6rbom, 1999.

⁵⁴ См., например, Byrne & Campbell, 1999; Little, 1997;
Marsh & Byrne, 1993.

Очевидно, что существует соответствие между уровнями эквивалентности и источниками искажения. Это наиболее четко проявляется на уровне искажения понятия с такими факторами, как неравноценное определение представления о понятии, что приводит к систематическим различиям в представлении понятия в разных культурах. Последствия для эквивалентности наименее ясны в случае искажения пункта методики. Если есть свидетельства искажения только отдельного пункта или нескольких пунктов, их можно исключить, что улучшит эквивалентность результатов. Однако свидетельство об искажении пункта или искажении стимула также можно воспринимать как признак того, что инструмент исследования недостаточно точно отражает идентичные черты.

Понятие искажения вопроса-задания методики сразу становится ясно, если поразмыслить над следующим примером: задание с вопросом о названии столицы страны намного более легко для граждан этой страны, чем для иностранцев.

Однако искажение пункта методики может быть также следствием мелких различий в оттенках значения⁵⁵. Содержание пункта (задания) считается искаженным, если для испытуемых, принадлежащих к разным популяциям и получивших одинаковые результаты по всему тесту, различаются вероятности определенного ответа (например, ответ «да» — правильный ответ) по этому пункту⁵⁶. Таким образом, суммарная оценка по всему инструменту в целом используется как стандарт для оценивания каждого отдельного задания. Есть несколько простых показателей искажения, таких, как корреляция между уровнями сложнос-

²⁰ См. Ellis, 1989; Ellis, Becker & Kimmel, 1993.

²¹ См. Shepard, Camilli & Averill, 1981.

ти пунктов теста на способности в двух культурах, или между частотой ответов на вопросы пунктов опросника. Другой показатель искажения пункта — это взаимодействие между факторами пунктов и культуры при дисперсионном анализе.

Более сложные психометрические методы основаны на теории ответа на вопрос (IRI — item respons teory) или на логарифмических линейных моделях⁵⁷. Популярная методика анализа искажений в дихотомических вопросах (например, да/нет; правильно/неправильно) — это методика Мантеля-Хеншеля⁵⁸. Для пунктов со шкалой ранжированных ответов доступная информация используется лучше, если дисперсионный анализ проводится для оценок по отдельным пунктам в качестве зависимых переменных, а для суммарных оценок по всей методике и культуре — в качестве независимых переменных⁵⁹.

Важно отметить, что методы анализа, как мы уже говорили, изучают взаимосвязи пунктов в рамках методики исследования. При использовании этих методов для анализа внутренних искажений, весьма возможно, что искажение методики (которое влияет на все пункты или на большую их часть) так и останется не обнаруженным. Для анализа искажения методики необходимы внешние стандарты или критерии. В культурно-сравнительных исследованиях, где трудно найти такие общие критерии, анализ искажения методики требует значительных усилий, так как обычно необходимо получить обширные дополнительные данные. Например, в гл. 5 мы

²² См. Hambleton, Swaminathan & Rogers, 1991, а так
же Van der Flier, Mellenbergh, Adler & Wijn, 1984, соот
ветственно.

⁵⁸ См. Holland & Wainer, 1993.

²³ Относительно обзоров методик См. Van de Vijver &
Leung, 1997b; Van de Vijver & Poortinga, 1991.

Таблица 11.4. Три типа искажений и их возможные источники

(по Van de V!jver& Poortinga, 1997)

увидели, что трудно исключить влияние знакомства со стимулом как источником кросс-культурных различий в когнитивной деятельности. Источники искажения метода, представленные в таблице 11.4. наиболее распространены. Это может отражать важность этой категории искажения, что, большей частью, игнорировали в кросс-культурных исследованиях. Главный способ Борьбы с влиянием искажений метода, — это стандартизация

данных таким образом, чтобы разброс оценок в каждой выборке составлял в среднем 0,0 при стандартном отклонении 1,0⁶⁰, прежде чем будет проведен дальнейший анализ. Тогда можно продолжать исследовать структурные аспекты и относительные различия между оценками по пунктам (или оценками по подшкалам). Однако точные последствия подобных нелинейных преобразова-

⁶⁰ См., например, Leung & Bond, 1989.

Дополнение 11.3.Сомнительная

основная (нулевая)гипотеза

При экспериментальном изучении исследовательская гипотеза принимается, если основную (нулевую) гипотезу можно отклонить с некоторой степенью доверия. При проверке нулевой гипотезы можно совершить две ошибки. Имеет место ошибка I рода, когда нулевую гипотезу неправильно отклоняют. Нет никаких различий между условиями, но результат приводит исследователя к убеждению, что они существуют. Ошибку II рода совершают, когда нулевая гипотеза фактически ложна, но ее не отклоняют*. Для идеального эксперимента можно оценить вероятность обоих типов ошибки. Точность статистической проверки нулевой гипотезы можно улучшить за счет увеличения размера выборки или в результате повторных исследований. Иначе говоря, вероятность ошибки может быть снижена, если приложить большие усилия. Однако, если различие между группами обусловлено фактором, который лишь немного отличается от изучаемой особенности, увеличение объема данных приведет не к повышению достоверности межгрупповых различий, но к росту уверенности в достоверности нулевой гипотезы.