Этап: Сравнение факторных структур опросников, полученных в двух культурах
На третьем этапе исследования испытуемые заполняли опросники (одна группа – опросник интеллекта, другая группа – опросник креативности). Ответы испытуемых были подвергнуты факторному анализу, для немецкой и российской выборок отдельно. Далее, как баллы по опросникам в целом, так и по входящим в него субшкалам были прокоррелированы с тестовыми показателями интеллекта и креативности.
Для данных по креативности, во-первых, было выявлено достаточно высокое сходство факторных структур опросника в двух культурах. Было выделено по 8 факторов, в совокупности объясняющих 43-44 % дисперсии. Выявлены минимальные расхождения в содержательной наполненности факторов «искусство оформления/рисунок» (герм.) и «креативность в рисовании» (росс.), «увлеченность/спорт» (герм.) и «увлеченность/оптимизм» (росс.), а также в различия в порядке выделенных факторов (так, например, первым фактором в русской выборке оказалась предметная креативность, а в немецкой – душевная чувствительность). Во-вторых, был обнаружен сходный паттерн корреляций между опросником и тестовыми показателями креативности. Результаты представлены в табл. 1.13 и 1.14. В табл. 1.15 приведены примеры вопросов, вошедших в различные факторы опросников.
Табл. 1.13. Факторные структуры опросника креативности в русской и немецкой выборках
| Русская выборка | Немецкая выборка | |||||
| Название фактора | % дисперсии | Кумуля тивный % | Название фактора | % дисперсии | Кумуля тивный % | |
| предметная креативность | 8.493 | 8.493 | душевная чувствительность | 7.791 | 7.791 | |
| душевная чувствительность | 7.386 | 15.879 | креативность в искусстве | 7.159 | 14.951 | |
| социально-манипулятивная креативность | 6.511 | 22.390 | искусство оформления/рисунок | 5.781 | 20.732 | |
| креативность в искусстве | 6.304 | 28.694 | социально-манипулятивная креативность | 5.190 | 25.922 | |
| креативность в учебе | 4.352 | 33.046 | креативность в учебе | 5.039 | 30.962 | |
| увлеченность/оптимизм | 3.951 | 36.997 | предметная креативность | 4.070 | 35.031 | |
| техническая креативность | 3.651 | 40.649 | увлеченность/спорт | 4.058 | 39.090 | |
| креативность в рисовании | 3.552 | 44.201 | техническая креативность | 3.935 | 43.024 |
Метод извлечения: Метод главных компонент
Метод вращения: Varimax with Kaiser Normalization.
Табл. 1.14. Коэффициенты корреляции между опросниками, их субшкалами и тестом креативности (TCTDP) для русской и немецкой выборок (Spearman’s rho)
| Немецкая выборка | Русская выборка | ||
| Опросник, его субшкалы | TCTDP | Опросник, его субшкалы | TCTDP |
| опросник креативности | .204(**) 0.007 | опросник креативности | .194(**) 0.002 |
| предметная креативность | .184(*) 0.014 | душевная чувствительность | .169(**) 0.007 |
| душевная чувствительность | 0.030 0.689 | креативность в искусстве | .207(**) 0.001 |
| социально-манипулятивная креативность | 0.006 0.936 | креативность в оформительстве | .201(**) 0.001 |
| креативность в искусстве | .219(**) 0.004 | социально-манипулятивная креативность | 0.048 0.440 |
| креативность в учебе | 0.006 0.933 | креативность в учебе | .252(**) 0.000 |
| увлеченность/оптимизм | 0.105 0.165 | предметная креативность | 0.105 0.092 |
| техническая креативность | 0.032 0.672 | увлеченность/спорт | 0.046 0.463 |
| креативность в рисовании | .270(**) 0.000 | техническая креативность | 0.004 0.954 |
* p<0.05, ** p<0.01;
Табл. 1.15. Примеры вопросов, вошедших в шкалы опросника креативности
| Название фактора | Пример вопроса | |
| предметная креативность | мастерить подарки собственными руками | |
| душевная чувствительность | решать конфликты мирным путем придумать необычный способ помириться с человеком | |
| социально-манипулятивная креативность | уметь заговорить учителя так, чтобы он отвлекся от хода урока | |
| креативность в искусстве | выступать на улице, играя на музыкальных инструментах и исполняя песни активно участвовать в спектаклях, концертах и других мероприятиях | |
| креативность в учебе | находить оригинальные решения задач на уроках | |
| увлеченность/оптимизм (рус) увлеченность/спорт (нем) | иметь много разных увлечений (общий) извлекать уроки из отрицательных результатов (русс) добиваться преимущества в спортивной игре с помощью уловок (нем) | |
| техническая креативность | уметь разобрать, собрать, починить какую-нибудь технику | |
| креативность в рисовании (рус) искусство оформления (нем) | рисовать стенгазеты, плакаты карикатуры, комиксы или граффити (общий) оригинально оформлять свою комнату (нем) |
Для данных по интеллекту единообразие, выявленное для креативности, оказалось не характерным. Несмотря на то, что в обеих культурах при факторизации опросников было выделено по 7 факторов, их содержательная наполненность и паттерн корреляции с внешними критериями (тестами интеллекта) оказались существенно различающихся в российской и немецкой выборках. Сходными по своему содержанию в двух культурах оказались факторы «академический интеллект» и «технический интеллект». Различия же проявились, например, в том, что в фактор «социальный интеллект» вошло достаточно разное содержательное наполнение в двух культурах, немецкие факторы «рассудительность» и «законопослушность» близки, но не идентичны русскому фактору «благоразумность». Аналогично немецкий «социальный авантюризм» частично пересекается, но оказывается шире русского фактора «манипулятивность». В каждой культуре выделены уникальные факторы: «социальная активность», «богемность» (Россия); «интерес к искусству» (Германия). В табл. 1.16 перечислены факторы, выделенные в российской и немецкой выборке, а в табл. 1.17 – корреляции опросников с психометрическим интеллектом. В последней таблице обращает на себя внимание то, что несмотря на сходную по величине корреляцию фактора «академический интеллект» с психометрическим интеллектом в русской и немецкой выборках, в русской выборке корреляция опросника в целом с интеллектом ниже, чем для немецких испытуемых (различия значимы на уровне p = 0.01). Также можно наблюдать меньшее количество связей психометрического интеллекта с факторами опросника в русской выборке по сравнению с немецкой, в которой значимые корреляции отсутствуют только для одной шкалы.
В табл. 1.18 приведены примеры вопросов, вошедших в различные факторы опросников.
Табл. 1.16. Факторные структуры опросника интеллекта в русской и немецкой выборках
| Русская выборка | Немецкая выборка | |||||
| Название фактора | % дисперсии | Кумуля тивный % | Название фактора | % дисперсии | Кумуля тивный % | |
| академический интеллект | 7.659 | 7.659 | академический интеллект | 9.345 | 9.345 | |
| благоразумность | 6.463 | 14.122 | социальный интеллект | 6.136 | 15.482 | |
| манипулятивность | 6.101 | 20.223 | рассудительность | 6.061 | 21.543 | |
| социальный интеллект | 5.822 | 26.045 | социальный авантюризм | 4.663 | 26.206 | |
| технический интеллект | 3.996 | 30.041 | законопослушность | 4.259 | 30.465 | |
| общественная активность | 3.531 | 33.572 | интерес к искусству | 3.564 | 34.029 | |
| «богемность», гуманитарный интеллект | 3.339 | 36.911 | технический интеллект | 3.388 | 37.418 |
Метод извлечения: Метод главных компонент
Метод вращения: Varimax with Kaiser Normalization.
Табл. 1.17. Коэффициенты корреляции между опросниками, их субшкалами и интеллектом для русской и немецкой выборок (Spearman’s rho)
| Русская выборка | Немецкая выборка | ||
| Опросник, его субшкалы | интеллект | Опросник, его субшкалы | интеллект |
| опросник интеллекта | .106 .155 | опросник интеллекта | .344(**) .000 |
| академический интеллект | .293(**) 0.000 | академический интеллект | .334(**) 0.000 |
| благоразумность | 0.099 0.185 | социальный интеллект | .162(*) 0.011 |
| манипулятивность | -.157(*) 0.035 | рассудительность | .287(**) 0.000 |
| социальный интеллект | -0.101 0.176 | социальный авантюризм | .135(*) 0.035 |
| технический интеллект | -0.021 0.782 | законопослушность | .208(**) 0.001 |
| социальная активность | 0.073 0.328 | интерес к искусству | .183(**) 0.004 |
| богемность, гуманитарный интеллект | .245(**) 0.001 | технический интеллект | -0.039 0.548 |
* p<0.05, ** p<0.01;
Табл. 1.18. Примеры вопросов, вошедших в шкалы опросника креативности
| Название фактора | Пример вопроса | |
| общие факторы | ||
| академический интеллект | превосходить учителя в знании материала | |
| социальный интеллект | понимать чувства других людей | |
| технический интеллект | разбираться в компьютерных программах | |
| немецкие факторы | ||
| рассудительность | организовывать свое время так, чтобы его хватало и на работу, и на отдых | |
| социальный авантюризм | изобретать разные предлоги, чтобы не ходить в школу | |
| законопослушность | вести здоровый образ жизни (не пить, не курить, не есть в фаст-фуде) | |
| интерес к искусству | писать стихи, рассказы, песни | |
| русские факторы | ||
| благоразумность | понимать важность учебы и убеждать в этом сверстников | |
| манипулятивность | искусно оправдываться в трудных ситуациях | |
| социальная активность | занимать общественные должности в школе | |
| богемность, гуманитарный интеллект | быть начитанным, интересоваться искусством, литературой, театром, кино и т.д. |
Далее мы перейдем к межкультурным результатам. Здесь мы будем проверять нашу основную гипотезу о влиянии релевантности заданий культуре на структуру интеллекта. Для этого нам потребовалось отобрать пункты, имеющие сходные оценки релевантности в двух культурах, и пункты, оценки релевантности которых в двух культурах сильно различаются. Первый тип пунктов мы назвали «близкими», а второй – «далекими». Расстояние русскими и немецкими оценками пунктов было вычислено по формуле, представленной на слайде. Для каждого измерения релевантности мы вычислили разницу между средними оценками релевантности русских и немецких испытуемых. Полученные дельты были возведены в квадрат и суммированы. За близкие пункты мы приняли 30% пунктов с наименьшими расстояниями, за далекие пункты – 30% пунктов с наибольшими расстояниями.
Наше предположение заключалось в том, что структуры, которую образуют похожие по оценкам релевантности русские и немецкие пункты (т.е. близкие задач) будет сходны в русской и немецкой выборках. Напротив, структура взаимосвязей далеких задач будет различна в двух выборках.
В случае близких задач коэффициент корреляции интеркорреляций оказался равен r=0,64, что значимо выше по сравнению с коэффициентом корреляции для далеких задач, который оказался равен r=0,46.
III. Способы коррекции баллов самооценки с учетом культурной релевантности входящих в опросник пунктов
Проведенное исследование предполагает определенный практический выход, связанный с возможностями коррекции самооценочных баллов с целью повышения валидности измерения способностей с помощью опросников. На основе полученных данных о связи релевантности с качеством работы пунктов опросника был разработан ряд методов, позволяющих корректировать результаты самооценки. Далее мы приведем два новых способа расчета дополнительных коэффициентов, которые, во-первых, будут сравниваться по эффективности между собой, а во-вторых – с традиционным методом подсчета баллов по опроснику, т.е. с простым суммированием баллов по всем пунктам опросника[11].
Так как основными предикторами корреляции пунктов опросника с внешними критериями, как для интеллекта, так и для креативности выступили прототипичность и ценность, разработка корректирующих самооценочный балл коэффициентов производилась с учетом этих двух измерений. Расчет производился для всей выборки в целом для двух конструктов - интеллекта и креативности – отдельно.
Первый коэффициент (коэффициент b) вычислялся следующим образом. Были посчитаны коэффициенты корреляции между самооценками испытуемых и прототипичностью и ценностью пунктов опросника. Далее балл для каждого испытуемого рассчитывался по формуле: b = rпрот – (rпрот*ценн)2*rцен, где rпрот – корреляция между самооценками испытуемых и средней прототипичностью пунктов, rцен – корреляция между самооценками испытуемых и средней ценностью пунктов и rпрот*ценн – корреляция между измерениями ценности и прототипичности.
Еще один способ подсчета балла испытуемого заключался в комбинации двух способов подсчетов – общего балла и коэффициента b. Общий балл и коэффициент b были переведены в z-оценки и сложены между собой, в результате чего получился коэффициент d. Сравнение корреляций для разных методов подсчета индивидуальных баллов представлено в табл. 1.19.
Как видно из таблицы, первый коэффициент дает корреляцию с тестовыми показателями практически идентичную той, что получается при использовании простой суммы баллов. Примечательно то, что эти два показателя (сумма баллов и коэффициент b) достаточно слабо коррелируют между собой – корреляция в случае интеллекта равна нулю, а в случае креативности – 0.3. Корреляции коэффициента d с тестовыми показателями интеллекта и креативности, как и следовало ожидать исходя из слабой корреляции предыдущих двух показателей, оказался немного выше.
Таким образом, несмотря на то, что существенного улучшения в соотношении самооценочного балла с объективными тестами пока добиться не удалось, можно констатировать, что привлечение компонентов релевантности для подсчета результатов по опросникам дает результаты по крайней мере не худшие, а даже немного лучшие, чем традиционный способ подсчета. При этом подсчет баллов по опроснику с учетом культурной релевантности входящих в него пунктов дает то очевидное преимущество, что его невозможно фальсифицировать. Это становится особенно важным, когда тестирование происходит в значимой для испытуемого ситуации, и он стремится показать себя с лучшей стороны (например, при приеме на работу). Возможно, именно для таких случаев коррекционные коэффициенты будут иметь наибольшую силу. В то же время не следует ограничиваться приведенными способами коррекции балла – проведенное исследование предоставляет богатый материал для дальнейшей работы в этом направлении.
Табл. 1.19. Корреляции между баллами по опроснику, полученными с помощью разных способов подсчета, и внешними критериями - тестовыми интеллектом и креативностью
| интеллект (n=426) | ||
| сумма баллов | коэффициент b | коэффициент d |
| .237*** | .235*** | .317*** |
| креативность (n=434) | ||
| сумма баллов | коэффициент b | коэффициент d |
| .199** | .155** | .226*** |