Отклонения, связанные с методом 1 страница
Очевидно, отклонения, связанные с выборкой, представляют тем большую опасность для кросс-культурных сравнений, чем больше отличаются исследуемые культуры; значительная культурная дистанция часто увеличивает количество альтернативных объяснений кросс-культурных различий, которые приходится принимать во внимание. Как правило, конкурирующими являются два типа объяснений: кросс-культурные различия связываются с социальной желательностью или знакомством со стимулами (testwiseness — тестовая осведомленность). Основная проблема, касающаяся как желательности в социальном плане, так и тестовой осведомленности, это их взаимосвязь с благосостоянием страны, которое в рабочем порядке часто определяется через валовой национальный продукт (на душу населения). Ван Хемерт, ван де Вивьер, Пуртинга и Георгас (Van Hemert, van de Vijver, Poortinga & Georgas, в печати) исследовали взаимосвязь оценок по Шкале лжи (шкала желательности в социальном плане, которая является составной частью Личностного опросника Айзенка) и валового национального продукта. Они обнаружили высокий уровень негативной корреляции -0,70. В странах с более высоким уровнем благосостояния оценки желательности в социальном плане были, как правило, более низкими. Подобным образом, Уильяме, Саттеруайт и Сейз (Williams, Satterwhite& Saiz, 1998) обратились к студентам из 10 стран (Чили, Китай, Корея, Нигерия, Норвегия, Пакистан, Португалия, Сингапур, Турция и США) с просьбой расположить 300 терминов, описывающих человека, в порядке привлекательности связанных с ними понятий. Привлекательность, очевидно, тесно связана с желательностью в социальном плане. Среднее значение по стране по 300 пунктам (которое предположительно отражает желательность в социальном плане, поскольку предложенные прилагательные представляли собой обширную выборку как привлекательных, так и не вызывающих одобрение качеств) находилось в соотношении -0,66 с уровнем благосостояния.
Процедура отбора испытуемых является еще одним потенциальным источником отклонений, связанных с выборкой, при проведении когнитивных тестов. Так, мотивация при демонстрации установок или способностей может зависеть от общего количества психологических тестов, которые прошел испытуемый, от добровольности участия в тестировании и других моментов, влияющих на результаты.
Отклонения при проведении тестирования могут быть вызваны различиями физического, технического или социального характера, касающимися внешних условий проведения теста. Например, когда интервью проводится в доме респондента, физические условия (например, шум, присутствие посторонних) затрудняют проведение кросс-культурного исследования. Примерами внешних условий социального характера служат индивидуальное (или групповое) тестирование, пространство между тестируемыми (при групповом тестировании) или размер класса (при тестировании в условиях учебного заведения). К прочим источникам отклонений, связанным с проведением тестирования, относятся нечеткость инструкций при проведении теста и неопределенность установок проводящих тестирование или различия в восприятии данных инструкций. Степень влияния экспериментатора или интервьюера на результаты оценок изучалась эмпирическим путем; к сожалению, отдельные исследования характеризовались неадекватным планированием, при котором не изучались все возможные комбинации культур испытуемых и экспериментаторов. При когнитивном тестировании присутствие экспериментатора обычно не создает больших помех (Jensen, 1980). При опросах общественного мнения имеется большее количество доказательств влияния, которое оказывает интервьюер (Singer & Presser, 1989). Зафиксировано проявление уважительного отношения к интервьюеру; испытуемые склонялись к выражению более позитивного отношения к представителям определенной культурной группы, если интервью проводилось тем, кто к ней принадлежит (например, Aquilino, 1994; Cotter, Cohen & Coulter, 1982; Reese, Danielson, Shoemaker, Chang, Hsu, 1986).
Последним источником отклонений, связанным с проведением тестирования, являются проблемы коммуникационного характера, возникающие между респондентом и лицом, осуществляющим тестирование/интервьюером. Например, на конечный результат может повлиять вмешательство переводчика. Проблемы коммуникации не сводятся к работе с переводчиками. Языковые проблемы могут быть источником значительных отклонений, когда, что нередко при проведении кросс-культурных исследований, тестирование или интервью проводятся на втором или третьем языке для интервьюера или респондента. Случаи непонимания носителями языка тех, для кого он иностранный, можно найти в работе Гасса и Варониса (Gass & VaronisT1991).
Отклонения, связанные с инструментарием исследования, распространены при проведении когнитивных тестов. Интересным примером является применение Писвангером (Piswanger, 1975) Венского теста матриц (Formann & Piswanger, 1979), рисуночного теста индуктивного мышления по Равену, в старших классах школ Австрии, Нигерии (арабской образовательной ориентации) и Того. Наиболее замечательным открытием были кросс-культурные различия, которые проявились в трудности выполнения тестовых заданий, предполагавших выявление и применение закономерностей перемещения по горизонтали (то есть слева направо). Объяснялось это различным направлением письма латиницей (слева направо) и арабским шрифтом (справа налево).
Отклонения, связанные с тестовыми заданиями
Отклонения, связанные с тестовыми заданиями, обычно вызываются неудачным переводом тестовых заданий, неоднозначностью тестовых заданий, низким уровнем осведомленности о содержании тестового задания или недостаточной адекватностью его содержания в отношении определенных культур, влиянием культурной
специфики, такой как факторы, создающие помехи, или иной коннотацией слов, входящих в состав тестового задания. Перевод тестового задания может оказаться неудачным как из-за ошибок при переводе, так и в связи с лингвистическими особенностями определенного стиля. Даже переводы, корректные с точки зрения лингвиста, могут тем не менее обладать низким качеством с точки зрения психолога. Хороший пример дает Хамблтон (Hambleton, 1994, р. 235). Тест, проверявший достижения в учебе в рамках крупного международного исследования, содержал вопрос: «Где должны обитать птицы с перепончатыми лапами?» По сравнению с повсеместно полученными результатами, данный вопрос оказался чрезвычайно легким для шведов. Когда был сделан обратный перевод со шведского языка, стало понятно, почему. Шведский перевод с английского языка сочетания «птица с перепончатыми лапами» был таков «птица с лапами для плавания», что давало куда более надежную подсказку для ответа на вопрос, чем английский вариант.
Культурная специфика, связанная с содержанием и/или с коннотацией тестового задания, представляет собой распространенный источник отклонений, связанных с тестовыми заданиями. Следующий пример, данный Салей (Szalay, 1981), может служить иллюстрацией обладающей культурной спецификой коннотации.
Английское слово corruption (порча, развращенность, коррупция) вне всяких сомнений точно соответствует корейскому слову pupae [при его написании использован специальный фонетический значок. — Т. Г.], но это еще не гарантирует совпадение значения этих слов в разных культурах. Разный культурный опыт ведет к различной интерпретации, которая не дается в традиционных словарях. Систематическое сравнение корейских и американских значений слова corruption показывает, что для обеих групп данное понятие включает дурное, предосудительное поведение. Важное различие состоит в том, что в соответствии с американской интерпретацией такое поведение отвергается по соображениям нравственности: это недостойное поведение и это преступление. Для корейца коррупция не является недостойным поведением с точки зрения нравственности; такое поведение является неподобающим в том смысле, что создает помехи в выполнении правительством и социальными институтами своих функций; к тому же оно ведет к негативным социальным последствиям (р. 141).
Отклонения, связанные с тестовыми заданиями, могут возникать также в связи с идиоматическими выражениями или неточно переведенными словами, как, например, известное немецкое Zeitgeist, которое не имеет точного соответствия в английском языке, или английское слово distress (страдание, несчастье, утомление, нужда, нищета), которое во многих языках не имеет эквивалента.
Как справиться с отклонениями
Есть разные пути, помогающие справиться с отклонениями (ср. Poortinga & Van der Flier, 1988). Первый способ — пренебречь ими. На первый взгляд предложение не принимать отклонения во внимание может показаться парадоксальным, поскольку игнорирование отклонений не может рассматриваться как вариант решения вопроса. Причина того, что этот путь упоминается здесь, в его популярности. Многие кросс-культурные исследования, отчеты о которых опубликованы в литературе, не включают анализ отклонений и интерпретируют все наблюдаемые кросс-культурные различия в соответствии с их видимой значимостью. С методе-
логической точки зрения, подход, которому свойственны такие «набеги», едва ли можно оправдать; именно он вполне может быть одним из факторов медленного теоретического прогресса в кросс-культурной психологии. Второе, отклонения могут рассматриваться как показатель того, что инструмент является неадекватным для кросс-культурного сравнения; если наблюдаются отклонения, исследователь может принять решение воздержаться от таких сравнений. Такой подход разумен, однако ставит слишком много ограничений. Отклонения могут быть неизбежны, в особенности, когда речь идет о сравнении весьма непохожих культурных групп (например, различная тестовая осведомленность при сравнении учеников, представляющих различные системы образования). Третье, отклонения могут рассматриваться как источник важных сведений, дающих ключ к пониманию кросс-культурных различий. При таком подходе отклонения определяют культурную специфику, тогда как инструменты (или их части), которые не обнаруживают отклонений, указывают на универсалии.
Сравнения вызывающих и не вызывающих отклонения составляющих инструмента дают богатый материал, касающийся кросс-культурных различий. Например, Танака-Мацуми и Марселла (Tanaka-Matsumi & Marsella, 1976) попросили японцев и американцев назвать слова, которые связаны с депрессией; вторая группа чаще называла слова, определяющие настроение, в то время как первая предпочитала понятия соматического характера. Это говорит о том, что анализ отклонений показал бы, вероятно, в данном случае наличие структурной эквивалентности для некоторых соматических симптомов и отсутствие структурной эквивалентности для большинства прочих симптомов. Соматические реакции определяют общие аспекты, а настроение представляет собой культурную специфику данного явления.
Четвертое, можно попытаться снизить отклонения. Известным способом снижения отклонений, связанных с методом, является культурная децентрализация (Werner & Campbell, 1970) (табл. 5.2). Слова и понятия, которые специфичны для отдельного языка или культуры, опускаются (например, Cortese & Smyth, 1979). Этот подход работает наилучшим образом при проведении одновременно лингвистической и культурной экспертизы всех культур, которые являются объектом исследования. Другой путь преодоления отклонений, связанных с конструктом, это конвергентный подход: инструменты исследования независимо разрабатываются в рамках различных культур (на разных языках), затем все инструменты переводятся и предлагаются испытуемым, представляющим все эти культуры (Campbell, 1986).
Некоторые приемы снижения отклонений применимы при сочетании отклонений, связанных с конструктом, с отклонениями, связанными с методом. Такие приемы предполагают работу с нестандартными выборками или методами сбора данных. Например, можно обратиться к информантам местного происхождения с просьбой оценить адекватность инструмента, провести на месте опросы общественного мнения, использовать инструменты нестандартным путем, чтобы проверить, правильно ли понимаются задаваемые вопросы. Роль информантов местного происхождения хорошо проиллюстрирована в исследовании Брандта с соавторами (Brandt & Boucher, 1986), которые интересовались местом депрессии в эмоциональных лексиконах. Эти авторы не предъявляли список терминов, связанных с эмоциями, но собирали такие термины с помощью местных информантов (в Австралии, Индонезии, Японии, Корее, Малайзии, Пуэрто-Рико, Шри-Ланке и США). Четко выделенная совокупность терминов, связанных с депрессией, была обнаружена только в Японии, Индонезии, Шри-Ланке и США. Для других языков слова, которые ассоциируются с депрессией, прежде всего связываются с совокупностями, обозначающими печаль.
То, что может быть полезна нестандартная процедура проведения теста, проиллюстрировано в исследовании Броера (Вгоег, 1996). Он хотел дать Венский тест матриц студентам первого курса в Чили и в Австрии. В процессе предварительного исследования было обнаружено, что чилийцам требуется больше времени для ответа на вопросы. В руководстве указывалось общая продолжительность проведения теста, составляющая 25 минут, время, достаточное для большинства испытуемых из Австрии (где был разработан данный тест), чтобы выполнить задание. При кросс-культурном исследовании эти ограничения были сняты, чтобы у всех испытуемых было достаточно времени на выполнение теста. Выяснилось, что за 25 минут выполнили тест более 90 % австрийцев и лишь 55 % чилийцев. Средние тестовые оценки, полученные при неограниченном времени на выполнение теста, отличались не существенно. Интересно, что оценки были зарегистрированы и по истечении 25 минут, и на этот момент времени различия между представителями двух стран были весьма существенными. Данные по кросс-культурным различиям, полученные в соответствии со стандартными инструкциями, могли показать существенное расхождения, тем самым заставляя сделать неправильный вывод о разном уровне навыков индуктивного мышления в группах.
Иногда при проведении исследований есть возможность включить в них билингвов. Например, Хокевар, Эль-Захар и Комбос (Hocevar, El-Zahhar & Combos, 1989) дали билингвам англо-венгерского происхождения опросники тревожности и возбудимости на обоих языках. Работа с билингвами сама по себе весьма заманчива, хотя, надо признать, имеет свои недостатки. Билингвы, как правило, не являются типичными представителями населения, поскольку часто они более образованны и находятся в более широком контакте с другими языками и культурами.
Более основательная подготовка экспериментаторов и стандартизация процедуры тестирования, которая должна быть детально изложена в руководстве по проведению теста, является важным средством, позволяющем уменьшить отклонения, связанные с методом. Если культуры близки друг другу, такой стандартизации достаточно, чтобы предотвратить появление нежелательных различий в оценках.
Таблица 5.2
Стратегии выявления и преодоления отклонений при кросс-культурной оценке
Вид отклонений | Стратегии |
Отклонения, связанные с конструктом | Децентрализация (то есть одновременная разработка одних и тех же инструментов в рамках нескольких культур) Конвергентный подход (то есть независимая разработка инструментов в рамках каждой из культур с последующей кросс-культурной апробацией всех инструментов) |
Отклонения, связанные с конструктом и/или с методом | Использование информантов, обладающих специальными знаниями, связанными с местной культурой и языком Включение в выборки испытуемых-билингвов Использование опросов местного населения (например, контент-анализ ответов на открытые вопросы) Использование нестандартных инструментов (например, размышления вслух) Кросс-культурное сравнение помологических схем (например, исследования конвергентной/дискриминантпой валидности, коннотация ключевых фраз) |
Отклонения, связанные с методом | Более основательная подготовка экспериментаторов (например, повышение уровня культурной чувствительности) Подробное руководство/протокол по проведению тестирования, подведению итогов и интерпретации результатов Подробные инструкции (например, снабженные достаточным количеством примеров и/или упражнений) Использование испытуемых с различными переменными (например, разный уровень образования) Использование побочной информации (например, поведение при получении задания или отношение к тестированию) Оценка стиля ответов Использование тест-ретестовых, учебных и/или промежуточных исследований |
Отклонения, связанные с тестовыми заданиями | Оценочные методы выявления отклонений (например, лингвистический и психологический анализ) Психометрические методы выявления отклонений (например, анализ различной функциональной значимости тестовых заданий) Анализ ошибок или сомнительных моментов |
Источник: van de Vijver & Tanzer, 1997.
Если культурная дистанция между группами велика, основательной подготовки и подробного руководства, возможно, будет недостаточно, и потребуются дополнительные меры. Примером таких мер могут стать использование побочной информации, связанной с тестированием (например, поведение при получении задания или время, требуемое на выполнение задания в тесте максимальных возможностей), оценка связанных с результатом характеристик, по которым отличаются культуры. Например, уместна оценка образовательного уровня при проверке умственных способностей или использование опросников, определяющих желательность в социальном плане, при исследованиях личности или установок. Пуртинга и ван де Вивьер (Poortinga & van de Vijver, 1987) для характеристик людей, выборок и процедуры проведения теста, которые предположительно влияют на результат исследований, вводят термин переменные контекста.Включая переменные контекста в исследование, становится возможным статистически проверить их влияние в процессе ковариационного анализа или иерархического регрессивного анализа, даже если культурная дистанция между группами столь велика, что данные переменные нельзя сопоставить между собой или же такое сопоставление дает выборки, нетипичные для населения, которое они представляют.
В качестве примера Пуртинга (Poortinga & van de Vijver, 1987) исследовал выработку навыков ориентирования у представителей неграмотных индейских племен и у голландских новобранцев. Амплитуда реакции электропроводимости кожи, зависимая переменная, была значительно выше в группе индейцев. Он выдвинул предположение, что причиной этих различий между группами могут быть различия в возбуждении. Возбуждение измерялось как самопроизвольные флуктуации реакции электропроводимости кожи в контрольных условиях. Кросс-культурные различия в выработке навыков ориентирования исчезли после статистической проверки этих флуктуации методом иерархического регрессионного анализа.
Свидетельства наличия отклонений, связанных с методом, можно собрать также в процессе применения тест-ретестовых, учебных и/или промежуточных исследований. Так Нкая, Нюто и Боннэ (Nkaya, Huteau & Bonnet, 1994) использовали Стандартные матрицы Равена, работая с учениками шестых классов во Франции и Конго. В условиях неограниченного времени оценки улучшались в обеих группах сходным образом, но при временных ограничениях конголезские ученики между второй и третьей сессиями делали большие успехи по сравнению с учениками-французами. Группа ученых показала (Ombredane, Robaye & Plumail, 1956), что в некоторых группах повторное проведение теста также может оказывать влияние на взаимосвязь с внешними параметрами. Было обнаружено, что прогностическая валидность оценок в соответствии с тестом Равена повышается после повторного проведения в группе неграмотных конголезских рабочих. Судя по всему, на результаты обоих исследований оказывает влияние процесс научения, поскольку по ходу тестирования улучшается понимание испытуемыми поставленной задачи и растет их осведомленность о самом тесте и процедуре его проведения. С учетом этих доводов валидность результатов при первом проведении теста ставится под сомнение в связи с наличием источников отклонений, связанных с методом.
Последней группой подходов, позволяющих справиться с отклонениями, являются подходы, которые имеют дело с отклонениями на уровне тестовых заданий. Отклонения, связанные с тестовыми заданиями, обычно определяются одним из двух методов: оценочным (лингвистическим и/или психологическим) и психометрическим. Пример лингвистического метода можно найти в работе Гриль и Бар-тель (Grill & Bartel, 1977). Они проанализировали Grammatic Closure субтест, входящий в Тест психолингвистических способностей штата Иллинойс, на предмет наличия отклонений в отношении носителей английского языка, не соответствующего установленным нормам. Ответы, содержащие ошибки, сделанные белыми и чернокожими американскими детьми, показали, что более половины ошибок были сделаны за счет ответов, приемлемых для языка, в котором не соблюдаются установленные нормы. За последние десятилетия были разработаны десятки статистических приемов, позволяющих выявить отклонения, связанные с тестовыми заданиями, определить такие отклонения позволяет и модификация существующих методов; примерами тому могут служить метод Мантеля-Хенцела (Holland & Wainer, 1993), логистическая регрессия (Pogers & Swaminathan, 1993) и теория реакции на тестовое задание (Hambleton & Swaminathan, 1985).
Эмпирические исследования психометрических методов весьма многочисленны. Валенсиа, Рэнкин и Ливингстон (Valencia, Rankin & Livingston, 1995) исследовали отклонения, связанные с заданиями Шкалы умственных способностей Оценочной батареи Кауфмана для детей, на базе выборок американских учеников мексиканского и европейского происхождения. Используя коэффициент частной корреляции (для поправки на возраст, пол и способности), авторы обнаружили, что из 120 заданий первой шкалы 17, а из 92 заданий последней шкалы 58 ведут к отклонениям. Понятно, что вряд ли оставшиеся 34 задания представляют собой адекватный инструмент, при помощи которого можно оценить данный конструкт во всей его полноте. Эллис, Беккер и Киммел (Ellis, Becker & Kimmel, 1993) исследовали эквивалентность англоязычной версии Трирского личностного опросника и оригинальной версии на немецком языке. Из 120 заданий 11 были причиной отклонений. Повторное исследование на базе новой выборки из США показало, что 6 заданий из выявленных 11 вновь вызывали отклонения. Это количество гораздо выше того, которое предполагается большинством исследований отклонений, связанных с тестовыми заданиями.
С моей точки зрения, на основании многочисленных исследований отклонений, связанных с тестовыми заданиями, можно сделать некоторые предварительные выводы. Выявление в процессе кросс-культурного исследования источников отклонений на уровне тестовых заданий, вне всяких сомнений, весьма важно как с теоретической, так и с практической точки зрения, однако решение этой проблемы сопряжено со значительными трудностями. Первое, часто бывает трудно понять, почему тестовое задание вызывает отклонения. Второе, применение различных методов по выявлению отклонений часто приводит к разным результатам. Конвергенция статистических данных по отклонениям изучалась с нескольких точек зрения. Иногда исследователи обращались к конвергенции данных, полученных при помощи различных статистических методик. Неоднократно отмечалась низкая или умеренная корреляция различных методов, в особенности в более ранних исследованиях (например, Devine & Raju, 1982; Ironson & Subkoviak, 1979; Rudner, Getson & Knight, 1980; Shepard, Camilli & Averill, 1981). Более современные исследования говорят о повышении уровня согласованности данных, возможно, в связи с тем, что становится понятны наиболее подходящие методы статистического анализа (например, Huang, Church & Katigbak, 1997; Raju, Drasgow & Slinde, 1993; Rogers & Swaminathan, 1993). К тому же стабильность статистических Данных по отклонениям, связанным с тестовыми заданиями, невысока, что показывают тест-ретестовые и сравнительные исследования (например, Skaggs & Lissitz, 1992). Наконец, обнаружен низкий уровень соответствия результатов, полученных оценочными и статистическими методами (Engelhard, Hansche & Rutledge, 1990; Van Leest 1997a, 1997b). Таким образом, едва ли мы способны определить заранее, какого рода тестовые задания приведут к появлению отклонений или, как это выразил Л. Бонд (Bond, 1993): «Теории о том, почему тестовые задания по-разному воспринимаются разными группами, можно назвать не иначе как примитивными» (р. 278). Неудивительно, что исследования отклонений, связанных с тестовыми заданиями, не выработали определенных принципов проведения кросс-культурного исследования.
Сосредоточение на тестовых заданиях как на единственном источнике отклонений привело к удивительной и прискорбной ограниченности современных представлений об отклонениях и методах обращения с ними. Эмпирические исследования отклонений в основном сосредоточены исключительно на отклонениях, связанных с тестовыми заданиями, косвенно исходя из некорректного предположения, что если устранить отклонения данного типа, то с отклонениями будет покончено (например, Thissen, Steinberg & Gerrard, 1986). Такой ход рассуждений базируется на упрощенном представлении об источниках отклонений в кросс-культурном исследовании и не воздает должное отклонениям, связанным с конструктом и методом исследования. При этом именно отклонения, связанные с методом, оказывают разностороннее влияние на отдельные тестовые задания инструмента. Различный уровень знакомства со стимулами часто влияет на все задания, которые содержит тест, задавая разные точки отсчета при оценивании разных групп. Эквивалентность единиц измерения является в таком случае максимально достижимым уровнем эквивалентности. Кроме того, если мы обращаемся только к отклонениям на уровне тестового задания, то будет невозможно обнаружить, что при оценке сыновней благодарности, проводимой среди испытуемых в США и в Китае, проявляются отклонения, связанные с конструктом. Игнорируя источники отклонений на уровне инструмента, выборки, процедуры тестирования и лежащего в основе конструкта, трудно или даже невозможно выявить, среди прочего, культурные различия при определении понятий на житейском уровне, различия, связанные с желательностью в социальном плане, различия в условиях процедуры тестирования и несравнимость выборок. Таким образом, сосредоточение на отклонениях, связанных с тестовыми заданиями, становится помехой на пути преодоления отклонений, вызываемых применением многих западных теорий и инструментов, поскольку при таком сосредоточении упускаются из виду все остальные источники отклонений.
Многоязычные исследования
Кросс-культурное исследование часто является многоязычным. В литературе прослеживается явная тенденция к интеграции лингвистических, психологических и методологических аспектов, когда речь идет о создании инструментария на разных языках. По общему признанию, перевод психологических инструментов представляет собой нечто большее, чем просто передача текста на другом языке (Bracken & Barona, 1991; Brislin, 1986; Geisinger, 1994; Hambleton, 1994). Недавно группой психологов, обладающих опытом перевода текстов, был опубликован ряд практических советов; их рекомендации представлены в приложении (см. также Hambleton, 1994; van de Vijver & Hambleton, 1996). В них ясно прослеживается интеграция лингвистических и культурных аспектов, а также обращение к проблемам отклонений и эквивалентности.
Существуют две разновидности процедуры перевода в зависимости от того, разрабатывается ли для использования в условиях разных языковых сред новый инструмент исследования, или необходим перевод уже существующего инструмента. Первый случай определяется как одновременная разработка, а второй — как последовательная разработка. При одновременной разработке вероятность столкнуться с проблемой отклонений и отсутствия эквивалентности уменьшается, поскольку существует достаточная свобода отбора стимульного материала, которая дает возможность пренебречь стимульным материалом, вызывающим сомнения по части отклонений. Основной причиной того, что мы уделяем достаточное внимание последовательной разработке, является частота ее применения в кросс-культурных исследованиях; случаи же одновременной разработки скорее исключение.
Помимо проблем, связанных с отклонениями и эквивалентностью и общих для всех кросс-культурных исследований, существуют методологические аспекты, уникальные для многоязычных исследований. Например, методика перевода, которую следует избрать. Существуют два подхода, которые на практике часто используются вместе. Первый использует схему перевод — обратный перевод; обратные переводы используются для проверки адекватности выполненного перевода (Werner & Campbell, 1970). Текст переводится с исходного на целевой язык, а затем осуществляется независимый перевод с целевого языка на исходный язык. Сходство оригинала и версии, полученной в результате обратного перевода, свидетельствует об адекватности перевода. Этот метод получил широкое применение, и с его помощью можно выявить различные типы ошибок, даже если исследователь не владеет целевым языком. Недостатком метода обратного перевода является то, что первоочередное внимание уделяется точности перевода, при этом могут упускаться из виду другие моменты, такие как удобочитаемость и легкость восприятия исходного текста, а также применимость содержания тестовых заданий в целевой культуре. Выявление последней проблемы делается возможным в процессе применения второго подхода, при котором создается комиссия по переводу. Перевод делает группа специалистов, в которую входят люди, компетентные в различных соответствующих исследованию областях (таких, как культура, лингвистика и психология). Сильной стороной такого подхода является широкомасштабное сотрудничество специалистов, обладающих специальными знаниями в областях, значимых для данного перевода.