Способы измерения межгрупповой сравнимости латентных конструктов
Аннотация
Сравнимость значений различных показателей, полученных на основе опросов гетерогенных выборок, и особенно в международных опросах, всегда стоит под вопросом. Особенно критичен этот вопрос при сравнении значений и взаимосвязей латентных переменных, часто измеряемых индексами – из-за различий в структуре индексов на разных выборках сравнения значений индексов могут приводить к ложным результатам. В связи с этим возник ряд методов, позволяющих проверять сравнимость показателей на основании исследования инвариантности структур индикаторов латентных переменных. В статье обсуждаются различные методыоценки сравнимости измерений и на данных Европейского социального опроса рассматривается инвариантность измерения ценностных категорий «Самоутверждение» и «Забота» среди русскоязычных респондентов из четырех стран. Результаты многогруппового конфирматорного факторного анализа демонстрируют частичную скалярную инвариантность этих ценностей, что указывает на возможность сравнения средних между этими группами респондентов.
Ключевые слова: инвариантность измерения, конфирматорный факторный анализ, базовые жизненные ценности
ВВЕДЕНИЕ
Проблема надежности и валидности измеряемых конструктов все чаще поднимается в социологической науке. Средисоциологоврастет осознание того, что меры скрытых, или латентных, конструктов могут обладать ошибкой измерения, которую возможно отделить от собственно латентной переменной. Тем не менее, проверка валидности и надежности латентных переменных еще недостаточно широко вошла в повседневные практики социологов[1]. В частности, часто упускается из внимания такой вид валидности, как одинаковоефункционирование индикаторов в различных условиях измерения, или инвариантностьи(эквивалентность)измерения[2, p.117]. Индикаторы латентной переменной могут работать по-разному, то есть иметь различную структуру корреляций в различных группах населения, таким образом, один и тот же индикатор может иметь различный «вклад» в дисперсию латентной переменной в различных группах. Отсутствие инвариантностиприводит к некорректности сравнений значений и взаимосвязей латентной переменной в этих группах населения. В случае отсутствия инвариантности измерения может оказаться, что под видом латентной переменной сравнивается уровень одного индикатора в первой группе и другого индикатора – в другой группе.
В международных исследованиях, таких как Европейское социальное исследование (ESS), Международная программа социальных исследований (ISSP), Всемирное и Европейское исследования ценностей (WVS/EVS) и многихдругих, проблема сравнимости данных стоит особенно остро, поскольку вопросы задаются респондентам на разных языках и в разных социокультурных контекстах. Организаторы ESS осознали эту проблему и стремятся ее преодолеть, включая только такие индикаторы, которые засвидетельствовали свою сравнимость, хотя бы в небольшом количестве стран. В частности, в каждый раунд ESSвключается инструмент измерения базовых жизненных ценностей Ш. Шварца. Его теория постулирует наличие одних и тех же ценностей, которые могут быть одинаково хорошо измерены среди людей из разных культур и стран [3]. Эта теория и связанная с ней методика измерения ценностей обязана своим успехом именно вниманию к межстрановой инвариантности. Однако одна из недавних модификаций методики Шварца, включенная в ESS, способна измерить лишь небольшое количество ценностей, которые могут сравниваться ссущественными ограничениями и далеко не во всех странах, включенных в ESS[4]. Задача данной работы –оценить инвариантность измерения ценностей Шварца на материале стран с русскоговорящимнаселением, а именно, проверить инвариантность ценностных измерений «Самоутверждения» и «Заботы» среди русскоязычных респондентов Латвии, России, Украины и Эстонии, и обсудить на этом примере методы проверки межгрупповой сравнимости латентных переменных.
ДАННЫЕ
Результаты исследований, описывающих культурные различия, обнаруженные с помощью анкетных опросов, часто критикуют за то, что они неспособны отделить фактор культуры от эффекта перевода анкеты на другой язык (см.[27]). С этой точки зрения отсутствие инвариантности на двух выборках, опрошенных на разных языках, может означать как культурные различия, так и недостатки/особенности перевода анкеты. Чтобы избежать этой двойственности интерпретации результатов, отобрали лишь тех респондентов, которые опрашивались на русском языке.
В статье используются данные Европейского социального исследования[28]. Были отобраны респонденты из четырех стран, в которых опрос проводился на русском языке, при этом, чтобы сделать количество респондентов достаточным, были слиты данные по 3 и 4 раундам, проводившимся в 2006 и 2008 гг.Таким образом, из Латвии в анализе участвовало 853 респондента, из России – 5094, из Украины – 2067, и из Эстонии – 853. Среди стран ESSприсутствуют также Литва и Израиль, в которых часть респондентов опрашивалась на русском языке, однако их количество оказалось слишком мало для использования в конфирматорном факторном анализе (178 респондентов в Израиле и 74 – в Литве).
Как отмечалось выше, при ответе на вопросы, являющиеся индикаторами ценностей, респонденты из разных стран должны были оценить 21 ценностный портрет по 6-балльной шкале от «очень похож на меня» до «совсем не похож на меня». Инструкция и подписи на шкале оценок в четырех странах совершенно одинаковы, однако перевод отдельных ценностных портретов немного различается. В приложении 1 приведены формулировки 9 ценностных портретов, являющихся индикаторами рассматриваемых в данной работе ценностных категорий «Самоутверждения» и «Заботы о людях и природе».
ЗАКЛЮЧЕНИЕ
В данной работе мы продемонстрировали один из нескольких способов измерения межгрупповой сравнимости – с помощью проверки равенства факторных нагрузок и констант в различных выборках.
Мы показали, что в четырех русскоязычных группахценности «Самоутверждения» и «Заботы о людях и природе» измерены на уровне частичной скалярной инвариантности, что, с небольшими оговорками, говорит о полной сравнимости этих двух ценностей в разных странах, включая сравнение средних.Три отклонения от полной скалярной инвариантности могут быть объяснены использованием различных формулировок одних и тех же ценностных портретов. Так, в России, Украине и Латвии вторая часть формулировки ценностного портрета «уважение» состоит из утверждений о важности того, чтобы «окружающие делали то, что он говорит», а в Эстонии эта формулировка усилена добавлением слова «слушались» и звучит так: «Он хочет, чтобы люди слушались его и делали так, как он им скажет» (полные формулировки приведены в Приложении 1). Следовательно, есть основания предполагать, что эстонские респонденты, обладающие одним и тем же уровнем ценности «Самоутверждения», что и респонденты из других рассматриваемых стран, могли ставить заниженные оценки из-за усиленной формулировки этого пункта. То есть одинаковый уровень латентного признака у эстонца и, скажем, россиянина, в данном случае может противоречить разным уровням оценок этого индикатора. Трудно сказать, за какую часть отсутствия инвариантности отвечают подобные методические нестыковки, но очевидно, что они вносят в нее свой вклад. Вместе с тем, для сделанного нами вывода это не представляет опасности – две категории ценностей измерены инвариантно и на достаточно высоком, скалярном, уровне.
Полученные результаты дают возможность сравнивать средние ценностей «Заботы о людях и природе» и «Самоутверждения» в группах русскоязычных из четырех стран. Предыдущие исследования не включали эти страны в исследование инвариантности измерения ценностей, и в этом смысле наше исследование внесло новую информацию. И хотя мы не можем сказать, что данные позволяют сравнивать ценности в этих четырех странах с ценностями в остальных странах Европы, теперь мы знаем, что индикаторы в достаточной мере позволяют говорить о тех же ценностях и сравнивать их и использовать в моделях для указанных четырех стран.
Методическим результатом исследования является тот факт, что даже очень близкие по своей культуре и истории группы русскоязычных демонстрируют отсутствие полной скалярной инвариантности из-за изменений в формулировках. Смысловое усиление отдельных частей ценностных портретов в анкете, буквальная замена одного-двух слов, привела в возникновению различий в оценках этих портретов, что, в свою очередь отразилось на проблемах инвариантности измерения латентных конструктов. Таким образом, исходная попытка обойти основной источник отсутствия инвариантности – перевод анкеты на другой язык – оказалась не вполне успешной из-за различий в русских версиях анкеты. В связи с этим, можно предложить Центральной Команде Европейского социального исследования координировать различные переводы на один и тот же язык в разных странах-участницах исследования.
«Недавние исследования показывают, что когда полная или частичная инвариантность не обеспечена, вполне может быть, что факторы эквиваленты» - пишет Эльдад Давидов[4, p. 43], указывая на то, что требования к инвариантности, применяемые в конфирматорном факторном анализе, слишком строги, поскольку далеки от реальности массовых опросов. Сложные статистические методы, развитие которых обусловлено развитием компьютерных технологий,в последние годы оказались доступны всем исследователям, ответы респондентов на вопросы по-прежнему достаточно произвольны и неточны. Как показала данная работа,даже перестановка слов в анкете может повлиять на ответы респондентов – можно вообразить, какая ошибка вносится при переводе анкеты на различные языки. Однако общепринятые требования к инвариантности измерения с помощью анкет на разных языках остаются очень высокими (см. например [12;13]). Именно по этой причине существует так мало конструктов, которые обладают межстрановой инвариантностью измерения. Последний факт не может не фрустрировать исследователя, что часто, в ситуации «производственной необходимости» сравнения различных групп или стран, приводит к отказу от проверки сравнимости данных. В таких случаях можно попытаться содержательно объяснить отсутствие инвариантности, или обратиться к менее строгим методам проверки инвариантности –многомерномушкалированию, когнитивным интервью, или байесовскомуподходу в факторном анализе.
Каждый раз, обращаясь к данным опросов, исследователь сталкивается с проблемой стандартизации – то есть допущением о том, что все респонденты одинаково понимают вопрос и варианты ответов. Всякий раз, когда у исследователя возникает подозрение, что между группами могут существовать различия в структуре латентного конструкта или в различной трактовке задаваемых вопросов, возникает необходимость в проверке сравнимости. Ичем более разнообразна выборка, тем сильнее необходимость в проверке сравнимости/инвариантности измерения латентного конструкта.Использованный метод проверки инвариантности измерения представляется важным инструментом при работе с международными данными, поскольку предоставляет информацию о возможностях сравнения латентных переменных. Критерии, распространенные для суждений об инвариантности, иногда представляются слишком строгими, поэтому метод получил развитие в области байесовского моделирования [14;38] и многоуровневых моделей [39], которые обладают более гибкими средствами обнаружения неинвариантных индикаторов и работы с ними. В заключение добавим, что, как и всякий статистический метод, МКФА сам по себе не обязательно указывает на осмысленность измеряемого конструкта, которую необходимо обосновывать как с помощью логических аргументов, анализа формулировок индикаторов и содержания латентных конструктов.
Литература
1. Adcock R., Collier D. Measurement Validity: A Shared Standard for Qualitative and Quantitative Research // American Political Science Review. 2001. Vol. 95, № 3. P.529-546.
2. Horn J.L., McArdle J.J. A Practical and Theoretical Guide to Measurement Invariance in Aging Research // Experimanetal Aging Research. Routledge, 1992. Vol. 18, № 3-4. P. 117–144.
3. Schwartz S.H. Universals in the Content and Structure of Values: Theoretical Advances and 20 Countries // Advances in Experimеntal Social Psychology. Vol. 25 / ed. M. Zanna. New York: Academic Press, 1992. P. 1–62.
4. Davidov E. A Cross-Country And Cross-Time Comparison Of The Human Values Measurements With The Second Round Of The European Social Survey // Survey Research Methods. 2008. Vol. 2, № 1. P. 33–46.
5. Thurstone L.L. Multiple-Factor Analysis. Chicago: University of Chicago Press, 1947. P. 535.
6. Byrne B., Shavelson R., Muthén B. Testing for the Equivalence of Factor Covariance and Mean Structures: The Issue of Partial Measurement in Variance // Psychological Bulletin. 1989. Vol. 105, № 3. P. 456–466.
7. Meredith W. Measurement Invariance, Factor Analysis and Factorial Invariance // Psychometrika. 1993. Vol. 58, № 4. P. 525–543.
8. Vandenberg R.J., Lance C.E. A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research // Organizational Methods Research. 2000. Vol. 3, № 1. P. 4–70.
9. КрупенковаН.В. Социологическоеизмерение: становлениемоделейслатентнымипеременными // Социология:4М, 2008. № 26; 27.
10. Девятко И.Ф. Диагностическая процедура в социологии: очерк истории и теории. М.: Наука, 1993.
11. Davidov E., Meuleman B., Cieciuch J., Schmidt P. Measurement Equivalence in Cross-National Research // Public Opnion Quarterly, впечати.
12. Steenkamp J., Baumgartner H. Assessing Measurement Invariance in Cross-National Consumer Research // Journal of Consumer Research 1998. Vol. 25, № 1. P. 78–107.
13. Milfont T., Fischer R. Testing Measurement Invariance across Groups: Applications in Cross-Cultural Research // Intenational Journal of Psychological Research. 2010. Vol. 3, № 1. P. 111–121.
14. Muthén B., Asparouhov T. BSEM Measurement Invariance Analysis. Mplus Web Notes: No. 17. 2013. URL: http://www.statmodel.com/examples/webnotes/webnote17.pdf
15. Bilsky W., Janik M., Schwartz S.H. The Structural Organization of Human Values-Evidence from Three Rounds of the European Social Survey (ESS) // Journal of Cross-Cultural Psychology. 2010. Vol. 42, № 5. P. 759–776.
16. Diamantopoulos A., Papadopoulos N. Assessing the Cross-National Invariance of Formative Measures: Guidelines for International Business Researchers // Journal of International Business Studies. Nature Publishing Group, 2009. Vol. 41, № 2. P. 360–370.
17. Fitzgerald R., Widdop S., Gray M., Collins D. Testing for Equivalence Using Cross-National Cognitive Interviewing. Centre for Comparative Social Surveys Working Papers. 2009. URL: http://www.city.ac.uk/sociology/ccss/publications.html
18. Schwartz S., Bilsky W. Toward a Universal Psychological Structure of Human Values. // Journal of Personality and Social Psychology. 1987. Vol. 53, № 3. P. 550–562.
19. Schwartz S.H. et al. Refining the Theory of Basic Individual Values // Journal of Personality and Social Psychology. 2012. Vol. 103, № 4. P. 663–688.
20. Schwartz S.H.,Melech G., Lehmann A., Burgess S., Harris M., Owens V.Extending The Cross-Cultural Validity Of The Theory Of Basic Human Values With A Different Method Of Measurement // Journal of Cross-Cultural Psychology. 2001. Vol. 32, № 5. P. 519–542.
21. Schwartz S. A Proposal for Measuring Value Orientations Across Nations // URL: http://www.europeansocialsurvey.org/docs/methodology/core_ess_questionnaire/ESS_core_questionnaire_human_values.pdf 2003. P. 259–319.
22. Davidov E., Schmidt P., Schwartz S.H. Bringing Values Back In: The Adequacy of the European Social Survey to Measure Values in 20 Countries // Public Opinion Quarterly. 2008. Vol. 72, № 3. P. 420–445.
23. Davidov E., Schmidt P. Are Values in the Benelux Countries Comparable? Testing for Equivalence with the European Social Survey 2004-5 // Measuering meaningful data in Social Research / ed. G.Loosveldt M.S. and B.C. Leuven: Acco, 2008. P. 373–386.
24. Davidov E., Dülmer H., Schlüter E., Schmidt P., Meuleman B. Using a Multilevel Structural Equation Modeling Approach to Explain Cross-Cultural Measurement Noninvariance // Journal of Cross-Cultural Psychology. 2012. Vol. 43, № 4. P. 558–575.
25. Knoppen D., Saris W.E. Do We Have to Combine Values in the Schwartz’ Human Values Scale? A Comment on the Davidov Studies // Survey Research Methods. 2009. Vol. 3, № 2. P. 91–103.
26. Saris W., Knoppen D., Schwartz S.H. Operationalizing the Theory of Human Values: Balancing Homogeneity of of Reflective Items and Theoretical Coverage // Survey Research Methods. 2013. Vol. 7, № 1. P. 29–44.
27. Harzing A.-W. Does Language Influence Response Styles? A Test of the Cultural Accommodation Hypothesis in Fourteen Countries // Ongoing Themes in Psycholy of Culture. (Online Edition) / Ed. Setiadi B.N. et al. Melbourne, FL: International Association for Cross-Cultural Psychology, 2004.
28. Jowell R., Roberts C., Fitzgerald R., Eva G. Measuring Attitudes Cross-nationally: Lessons from the European Social Survey. SAGE, 2007.
29. Welkenhuysen-Gybels J., Billiet J., Cambré B. Adjustment for Acquiescence in the Assessment of the Construct Equivalence of Likert-Type Score Items // Journal of Cross-Cultural Psychology. 2003. Vol. 34, №6. P. 702-722.
30. Van Herk H., Poortinga Y.H., Verhallen T.M.M. Response Styles in Rating Scales: Evidence of Method Bias in Data From Six EU Countries // Journal of Cross-Cultural Psychology. 2004. Vol. 35, № 3. P. 346–360.
31. Baumgartner H., Steenkamp J.-B.E.M. Response Styles in Marketing Research: A Cross-National Investigation // Journal of Marketing Research. 2001. Vol. 38, № 2. P. 143–156.
32. Johnson T. The Relation Between Culture and Response Styles: Evidence From 19 Countries // Journal of Cross-Cultural Psychology. 2005. Vol. 36, № 2. P. 264–277.
33. Smith P.B. Communication Styles as Dimensions of National Culture // Journal of Cross-Cultural Psychology. 2011. Vol. 42, № 2. P. 216–233.
34. Wothke W. Nonpositive Definite Matrices in Structural Modeling // Testing Structural Equation Models. / ed. Bollen K., Long J.S. Newbury Park, CA: SAGE, 1993. P. 256–293.
35. Muthen L., Muthen B. Mplus. User’s Guide. Muthen & Muthen, 2013.
36. Brown T. Confirmatory Factor Analysis for Applied Research. The Guilford Press, 2006.
37. Cheung G., Rensvold R. Evaluating Goodness-of-Fit Indexes for Testing Measurement Invariance // Structural Equation Modeling. 2002. Vol. 9, № 2. P. 233–255.
38. van de Schoot R., Tummers L., Lugtig P., Kluytmans A., Hox J., Muthén B. Choosing between Scylla and Charybdis? A Comparison of Scalar, Partial and the Novel Possibility of Approximate Measurement Invariance. // Frontiers in Psychology.2013, No. 4. P. 1–15.
39. Asparouhov T. and Muthén B. Multiple-group Factor Analysis Alignment. Mplus Web Notes: No. 18. 2013. URL: http://statmodel.com/examples/webnotes/webnote18.pdf
Приложение 1.Формулировки ценностных портретов в русскоязычных анкетах четырех стран (версия для мужчин)
| Оригинал | Россия | Латвия | Эстония | Украина | |
| «Самоутверждение» | |||||
| богатство | It is important to him to be rich. He wants to have a lot of money and expensive things. | Для него важно быть богатым. Он хочет, чтобы у него было много денег и дорогих вещей | Ему важно быть богатым. Он хочет иметь много денег и дорогие вещи. | Для него важно быть богатым. Он хочет, чтобы у него было много денег и дорогих вещей. | Для него важно быть богатым. Он хочет иметь много денег и дорогие вещи |
| способности | It's important to him to show his abilities. He wants people to admire what he does. | Для него важно показать свои способности. Он хочет, чтобы люди восхищались тем, что он делает | Ему важно показывать свои способности. Он желает, чтобы люди восхищались тем, что он делает. | Для него очень важно показать свои способности. Он хочет, чтобы люди восхищались тем, что он делает. | Для него важно демонстрировать всем,какой он способный. Он хочет, чтобы люди восхищались тем, что он делает |
| успех | Being very successful is important to him. He hopes people will recognise his achievements. | Для него важно быть очень успешным. Он надеется, что люди признают его достижения | Ему важно быть успешным. Он надеется, что люди оценят его достижения. | Для него очень важно быть успешным. Он надеется, что люди оценят его достижения. | Для него очень важно быть успешным. Он надеется, что люди признают его достижения |
| уважение | It is important to him to get respect from others. He wants people to do what he says. | Для него важно, чтобы его уважали. Он хочет, чтобы люди делали так, как он скажет | Ему важно, чтобы другие его уважали. Он хочет, чтобы люди делали то, что он скажет. | Для него важно быть уважаемым человеком. Он хочет, чтобы люди слушались его и делали так, как он им скажет. | Для него важно быть уважаемым человеком. Он хочет, чтобы люди делали то, что он говорит |
| «Забота о людях и природе» | |||||
| равенство | He thinks it is important that every person in the world should be treated equally. He believes everyone should have equal opportunities in life. | Для него важно, чтобы с каждым человеком в мире обращались одинаково. Он убежден, что у всех должны быть равные возможности в жизни | Он считает важным, чтобы к каждому человеку на Земле относились одинаково. Он уверен, что у всех должны быть равные возможности в жизни. | Он считает, что очень важно, чтобы с каждым человеком в мире обращались одинаково. Он верит, что у всех должны быть равные возможности в жизни. | Для него очень важно, чтобы в обращении с людьми во всем мире соблюдалось равенство. Он убежден, что у всех должны быть равные возможности в жизни |
| понимание | It is important to him to listen to people who are different from him. Even when he disagrees with them, he still wants to understand them. | Для него важно выслушивать мнение других, отличающихся от него людей. Даже когда он с ними не согласен, он все равно хочет понять их точку зрения | Ему важно прислушиваться к людям, которые на него не похожи, отличны от него самого. Даже если он с ними не согласен, то все равно хочет их понять. | Он считает важным выслушивать мнение людей, которые отличаются от него. Даже когда он с ними не согласен, он все же хочет понять их точку зрения. | Он считает важным выслушивать мнения людей, которые от него отличаются. Даже если он не согласен с ними, он все равно хочет понять их точку зрения |
| помогать окружающим | It's very important to him to help the people around him. He wants to care for their well-being. | Для него очень важно помогать окружающим людям. Ему хочется заботиться об их благополучии | Ему очень важно помогать окружающим людям. Он хочет заботиться об их благополучии. | Для него очень важно помогать окружающим людям. Он хочет заботиться об их благополучии. | Для него очень важно помогать окружающим людям. Ему хочется заботиться об их благополучии |
| друзья | It is important to him to be loyal to his friends. He wants to devote himself to people close to him. | Для него важно быть верным своим друзьям. Он хотел бы посвятить себя близким людям | Ему важно быть преданным своим друзьям. Он желает отдавать себя целиком, посвящать себя близким людям. | Для него очень важна верность своим друзьям. Он хотела бы посвятить себя близким людям. | Для него важно быть верным своим друзьям. Он хочет посвятить себя близким людям |
| природа | He strongly believes that people should care for nature. Looking after the environment is important to him. | Он твердо верит, что люди должны беречь природу. Для него важно заботиться об окружающей среде | Он полностью уверен в том, что люди должны заботиться о природе. Для него важно заботиться об окружающей среде. | Он твердо верит, что люди должны беречь природу. Заботиться о природе очень важно для него. | Он твердо убежден, что люди должны беречь природу. Для него важно заботиться об окружающей среде |
Приложение 2. Код для программы Mplus 7.11, предназначенный для проверки частичной скалярной инвариантности с включением методического фактора.По сравнению с полной скалярной инвариантностью, снято ограничение на равенство констант для пункта «уважение» в Эстонии, для пункта «богатство» в Латвии и пункта «успех» в России.
DATA:
FILE IS RussianSpeaking.dat;
LISTWISE = OFF;
VARIABLE:
NAMES ARE v1-v11 country;
USEVARIABLES ARE ALL;
MISSING ARE all (99);
GROUPING IS country (1=EE 2 = LV 3 = RU 4 = UA);
ANALYSIS:
MODEL is SCALAR;
MODEL:
ACPO by v1-v6*;
BEUN by v7-v11*;
BEUN by v2*-1;
METHOD@1ACPO@1BEUN@1;
METHOD by v1-v11* (methd#);
METHOD with ACPO@0 BEUN@0;
MODEL EE:
[v3*];
[METHOD@0];
MODEL LV:
[v2*];
MODEL RU:
[V1*];
MODEL UA:
[1] Исследование осуществлено в рамках Программы фундаментальных исследований Национального Исследовательского Университета Высшая Школа Экономики.
[2] Наряду с термином «инвариантность» измерения часто используется и его полный синоним – «эквивалентность» измерения.
[3] Статистики согласия 7-факторной модели с данными в различных группах оказались неудовлетворительными, например, CFIколебался от 0,354 в Украине до 0,653 в Эстонии, но ни в одной из стран не достиг рекомендованного значения 0,900. Остальные статистики согласия также не достигли рекомендованных значений.
Аннотация
Сравнимость значений различных показателей, полученных на основе опросов гетерогенных выборок, и особенно в международных опросах, всегда стоит под вопросом. Особенно критичен этот вопрос при сравнении значений и взаимосвязей латентных переменных, часто измеряемых индексами – из-за различий в структуре индексов на разных выборках сравнения значений индексов могут приводить к ложным результатам. В связи с этим возник ряд методов, позволяющих проверять сравнимость показателей на основании исследования инвариантности структур индикаторов латентных переменных. В статье обсуждаются различные методыоценки сравнимости измерений и на данных Европейского социального опроса рассматривается инвариантность измерения ценностных категорий «Самоутверждение» и «Забота» среди русскоязычных респондентов из четырех стран. Результаты многогруппового конфирматорного факторного анализа демонстрируют частичную скалярную инвариантность этих ценностей, что указывает на возможность сравнения средних между этими группами респондентов.
Ключевые слова: инвариантность измерения, конфирматорный факторный анализ, базовые жизненные ценности
ВВЕДЕНИЕ
Проблема надежности и валидности измеряемых конструктов все чаще поднимается в социологической науке. Средисоциологоврастет осознание того, что меры скрытых, или латентных, конструктов могут обладать ошибкой измерения, которую возможно отделить от собственно латентной переменной. Тем не менее, проверка валидности и надежности латентных переменных еще недостаточно широко вошла в повседневные практики социологов[1]. В частности, часто упускается из внимания такой вид валидности, как одинаковоефункционирование индикаторов в различных условиях измерения, или инвариантностьи(эквивалентность)измерения[2, p.117]. Индикаторы латентной переменной могут работать по-разному, то есть иметь различную структуру корреляций в различных группах населения, таким образом, один и тот же индикатор может иметь различный «вклад» в дисперсию латентной переменной в различных группах. Отсутствие инвариантностиприводит к некорректности сравнений значений и взаимосвязей латентной переменной в этих группах населения. В случае отсутствия инвариантности измерения может оказаться, что под видом латентной переменной сравнивается уровень одного индикатора в первой группе и другого индикатора – в другой группе.
В международных исследованиях, таких как Европейское социальное исследование (ESS), Международная программа социальных исследований (ISSP), Всемирное и Европейское исследования ценностей (WVS/EVS) и многихдругих, проблема сравнимости данных стоит особенно остро, поскольку вопросы задаются респондентам на разных языках и в разных социокультурных контекстах. Организаторы ESS осознали эту проблему и стремятся ее преодолеть, включая только такие индикаторы, которые засвидетельствовали свою сравнимость, хотя бы в небольшом количестве стран. В частности, в каждый раунд ESSвключается инструмент измерения базовых жизненных ценностей Ш. Шварца. Его теория постулирует наличие одних и тех же ценностей, которые могут быть одинаково хорошо измерены среди людей из разных культур и стран [3]. Эта теория и связанная с ней методика измерения ценностей обязана своим успехом именно вниманию к межстрановой инвариантности. Однако одна из недавних модификаций методики Шварца, включенная в ESS, способна измерить лишь небольшое количество ценностей, которые могут сравниваться ссущественными ограничениями и далеко не во всех странах, включенных в ESS[4]. Задача данной работы –оценить инвариантность измерения ценностей Шварца на материале стран с русскоговорящимнаселением, а именно, проверить инвариантность ценностных измерений «Самоутверждения» и «Заботы» среди русскоязычных респондентов Латвии, России, Украины и Эстонии, и обсудить на этом примере методы проверки межгрупповой сравнимости латентных переменных.
СПОСОБЫ ИЗМЕРЕНИЯ МЕЖГРУППОВОЙ СРАВНИМОСТИ ЛАТЕНТНЫХ КОНСТРУКТОВ
Межгрупповая сравнимость предполагает удовлетворение условий инвариантности измерения[2]. Об инвариантности измерения можно говорить в том случае, когда измерительные операции приводят к измерению одного и того же свойства в различных условиях наблюдения и изучения феномена [2]. Например, межгрупповые различия средних по шкале ценностей могут действительно отражать разницу в ценностях жителей этих стран, а могут отражать систематические смещения, связанные с реакцией респондентов на отдельные вопросы, но не связанной собственно с ценностями. Отсутствие свидетельств инвариантности при сравнении стран может приводить к неверным или невалиднымвыводам.
Исследования инвариантности появились в рамках психометрики при разработке психологических и образовательных тестов, и получили там название DIF – differentialitemfunctioning. Последнюю применяют в рамках как классической, так и современной теории тестов (ItemResponseTheory), признаком ее наличия является различная вероятность «правильного» ответа на один из вопросов в двух группах респондентов при одинаковых значениях латентной переменной (это соответствует скалярной инвариантности в терминах факторного подхода). Существенное ограничение такого метода состоит в том, что он использует только дихотомические переменные. Более общей моделью, способной включать индикаторы, измеренные на практически любой шкале (кроме номинальной), стала модель факторной инвариантности, впервые описанная еще Терстоуном[5] и расширенная позже в ряде специально посвященных этому работ [2; 6; 7]. В модели факторной инвариантности в двух (или нескольких) группах сравниваются факторные нагрузки, константы и остатки. Таким образом, помимо отклонений в работе отдельных индикаторов, рассматривается и структура корреляций, различия которой в разных группах может указывать и на проблемы с конструктнойвалидностью[9; 10]. Например, свидетельством отсутствия конструктнойвалидности могут служить различные по знаку корреляции между латентными переменными в различных группах – такие результаты могут говорить о том, что в различных группах измеряются разные конструкты. Модели факторной инвариантности получили распространение лишь в последние годы, с разработкой соответствующего программного обеспечения, такого как EQS, Mplus и Amos, и развитием вычислительных возможностей компьютеров (подробнее см. [8]).
Многогрупповой конфирматорный факторный анализ как метод проверки инвариантности измерения
Наиболее распространенным методом проверки инвариантности на сегодняшний день является многогрупповой конфирматорный факторный анализ (МКФА), который одновременно строит одну и ту же факторную модель в несколькихгруппах и, устанавливая равенство различных параметров, отбирает модель, демонстрирующую наилучшеесогласиесданными[11].
На первом этапе проверки инвариантности производят проверку на всем массиве данных в целом, предпринимая обычный конфирматорный факторный анализ, чтобы убедиться, работает ли вообще предполагаемая теоретическая модель на всей группе респондентов или в каждой группе по отдельности. Затем внимание переключают на различия и сходства структур латентных конструктов в различных группах респондентов. Существует много видов инвариантности, но мы остановимся на трех наиболее важных [4; 12; 13].
Конфигурационнаяинвариантность подтверждается, когда общая структура факторов в различных странах одинакова, другими словами, когда количество факторов в разных странах одинаково и нагрузки на эти факторы имеют одинаковые знаки. В многогрупповом конфирматорном факторном анализе (МКФА) это отражается в отсутствии ограничений на все параметры (кроме одной нагрузки в каждом факторе, значение которой ограничивается 1, чтобы модель была идентифицируема), и подтверждается, если модели во всех странах показывают приемлемые показатели качества. Важно отметить, что, в отличие от эксплораторного факторного анализа, в конфирматорном перекрестные нагрузки (то есть когда один индикатор имеет вклад в два или более фактора) устанавливаются равными нулю по умолчанию (то есть запрещены). Конфигурационная инвариантность позволяет говорить о том, что данная методика измеряет приблизительно одни и те же конструкты в разных странах. Подтверждение конфигурационной инвариантности говорит также о том, что бóльшие значения данного фактора соответствуют большей выраженности латентного признака (ценности). Это еще не означает, что данные по этим шкалам можно сравнивать, поскольку метрики этих шкал (соответствие единиц измерения в разных странах) и нулевая точка (равенство значений индекса указывает на одинаковую выраженность ценности в разных странах) могут различаться. Однако конфигурационная инвариантность открывает возможность проверить более сильныевиды инвариантности.
Метрическая инвариантность предполагает, что метрика (единица измерения) индикаторов латентного признака соответствует латентному признаку в равной степени в разных странах. Предположение о метрической инвариантности подтверждается, когда латентная характеристика респондентов из разных стран в равной мере отражается на их ответах, то есть респонденты используют пункты шкалы одинаковым образом. В МКФАэто проверяется с помощью фиксации равенства факторных нагрузок в различных странах и проверке того, значимо ли ухудшилась модель по сравнению с конфигурационной. Если модель не значимо ухудшилась, то метрическая инвариантность подтверждается. Подтверждение этого вида инвариантности обеспечивает сравнимость внутристрановых связей изучаемой шкалы в различных странах, то есть, например, позволяет корректно сравнивать коэффициенты корреляции между ценностями «Открытости изменениям» и возрастом в России и Великобритании.
Скалярная инвариантность необходима, когда нужно сравнивать средние между странами, то есть нужно установить инвариантность абсолютных значений шкалы в разных странах. Даже если шкала имеет одинаковую единицу измерения в разных странах, абсолютные значения могут быть выше или ниже в разных странах по не связанным с измеряемой характеристикой причинам [7]. То есть ноль у шкал с одинаковой метрикой может не совпадать. Другими словами, скалярная инвариантность означает, что два респондента, обладающие одинаковыми баллами на шкале латентного фактора, в действительности обладают одинаковой выраженностью этого латентного признака вне зависимости от страны, в которой они проживают. Скалярная инвариантность измерения выражается в МКФАчерез фиксацию не только факторных нагрузок, но и констант равными в различных странах[8].
Иногда обсуждаются и более высокие уровни инвариантности измерения – такие как равенство дисперсий латентных факторов и равенство остатков, однако они очень редко востребованы, например, при моделировании результатов образовательных или психологических тестов (подробнее см.[8; 13]).
Частичная скалярная или частичная метрическая инвариантность может констатироваться в случае, если только часть параметров удовлетворяют условиям равенства в разных группах, поскольку условие равенства всех параметров часто рассматривается как слишком строгое [6]. Чтобы признать наличие частичной скалярной или частичной метрической инвариантности, нужно чтобы хотя бы по дваконстанты или по две факторные нагрузки на каждый фактор были все-таки зафиксированы равными между группами[12].
Отдельно обсуждается структурная инвариантность – в противовес инвариантности измерения – она предполагает устойчивость ковариаций между латентными конструктами в различных группах. В рамках МКФА она может быть проверена через фиксацию равенства ковариаций между латентными факторами во всех группах и сравнением статистик согласия получившейся модели со статистиками согласия модели с различающимися ковариациями.