Стуаций, связанных с применением и адаптацией тестов

Как уже было сказано выше ситуация адаптации подразделяется на два основных вариан­та:

1) Адаптация тестов, созданная зарубежными психологами (т.н. "переводные" тесты);

2) "Внутрикультурный перенос" теста.

1) Путь использования якобы "готовых" зарубежных методик на первый взгляд кажется наиболее очевидным и простым по срав­нению с созданием нового теста. Однако, если адаптация сводит­ся только к построению нормативного распределения тестовых баллов, то это означает, что валидность и надежность методики в новых условиях принимаются на веру. Это уже неточность. А теоретическая концепция автора теста и содержание использован­ных им критериев валидности просто переносятся в наши условия без изменений. Такое принципе недопустимо, так как разница культур может привести к полной или частичной недостоверности теста.

Подобный перенос дает погрешности, которыми можно пренеб­речь только для тестирования относительно простых психических свойств. Таких как свойства нервной системы, психомоторные и элементарные когнитивные функции (кратковременная память, вни­мание и т.п.), причем с использованием об'ективных процедур.

(Под объективными процедурами понимаются такие тестовые методики, данные по которым могут быть оценены независимо от лица, проводящего тестирование и интерпретацию. Введен Р.Кет­телом. Объективность обследования при проведении таких методик достигается за счет сокрытия от испытуемого истинной цели обс­ледования, вследствии чего испытуемый лишается возможности произвольно искажать результаты.)

При тестировании следующих аспектов недопустимо ограни­чиваться только сбором тестовых норм при адаптации:

- сложных личностных свойств и индивидуального созна­ния(черты, мотивы, установки, интересы);

- также при употреблении любых вербальных средств (вклю­чая не только формулировку задач, но и инструкции к тесту);

- при использовании культурно-специфических критериев правильности результата.

Требуется серьезная эмпирическая работа по проверке на­дежности и валидности в новых социокультурных условиях, факти­чески соответствующая по своему об'ему конструированию ориги­нальной методики.

Шмелевым предлагаются следующие необходимые этапы эмпирико-статистической работы при адаптации многомерного пере­водного тест-опросника.

1. Анализ внутренней валидности и внутренней согласован­ности пунктов, из которых состоит тест.

Это комплекс сведений о репрезнтативности заданий теста по отношению к измеряемым свойствам и особенностям. Одним из основных требований при валидизации методики в этом направле­нии является отражение в содержании теста ключевых сторон изу­чаемого психического феномена.

Проще говоря это процедура определения: на сколько согла­сованными являются пункты теста и насколько глубоко они изуча­ют то свойство, которое призвана изучать данная методика.

Если при осуществлении данной процедуры для одномерных тест-опросников достаточно калькулятора. то при анализе боль­ших многомерных тестов необходимо использование специальной программы "анализ пунктов" на ЭВМ.

По отношению к негомогенным (неоднородным) шкалам анализ внутренней согласованности позволяет осуществить необходимую проверку информативности пунктов (% правильных или подтвержда­ющих ответов должен соответствовать оригинальной авторской версии).

2. Проверка устойчивости к перетестированию.

Эта процеду­ра совершенно необходима при диагностике свойств по отношению к которым ожидается изменчивость по времени. Анализ ретестовой надежности целого теста может быть совмещен с исследованием информативности и устойчивости отдельных пунктов.

1. Анализ корреляции с релевантным внешним критерием.

Особенно важен данный этап, если тест в оригинале разрабаты­вался как критериально-ориентированный, в том случае, это от­бор пунктов производится на основании их корреляции с каким-то критерием валидности.

2. Проверка или рестандартизация тестовых норм.

3. Специфический этап для многомерных тестов - проверка воспроизводимости структуры отношений между шкалами. Например, для теста Айзенка принципиальна ортогональность (статисти­ческая независимость) факторов "экстраверсия - интроверсия" и "нейротизм эмоциональная стабильность".

По С.М.Морозову, Л.Ф.Бурлачук можно выделить следующие основные этапы адаптации теста:

- анализ исходных теоритических положений автора теста;

- перевод теста и инструкций к нему на язык пользователя, завершаемый экспертной оценкой соответствия оригиналу;

- проверка валидности и надежности теста, осуществляемая в соответствии с психометрическими требованиями;

- стандартизация теста на соответвующих выборках.

Особые прблемы возникают в связи с адаптацией различных видов опросников, в также вербальных субтестов, входящих в состав тестов интеллекта. Основные препятствия для исследова­теля связанны с языковыми и социокультурными различиями между народами разных стран.

Таким образом, адаптация переводной методики является процедурой сложной и длительной. Это не означает, что от нее следует отказаться особенно по отношению к методикам, которые уже получили международное распространение и доказали свою кросс-культурную универсальность.

2) Особые задачи перед психологами ставит ситуация "внут­рикультурного переноса" теста на новую популяцию, отличающуюся от выборки стандартизации не языком, а половозрастными или профессионально-культурными особенностями.

Данный тип ситуаций является актуальными и для психоло­гов-практиков, ведущих работу с контингентом осужденных.

"Внутрикультурный перенос" включает:

1. Проверку валидности теста, если от по своему содержа­нию чувствителен к профессиональной или региональной специфи­ке.

Не секрет, что в выборку стандартизации большинства оте­чественных тестов входят преимущественно школьники и студенты, реже рабочие и служащие, крупных европейских центров страны. Вполне вероятно, что задания теста, расчитанные на них могут быть невалидными в отношении жителей отдельных и сельских ра­йонов, а также лиц со специфическим социальным и профессио­нальным статусом.

Размеры выборки в эксперементе по проверке валидности должены быть таковыми, чтобы можно было надеяться на получение статистически значимых связей между тестовыми показателями и критерием валидности (не менее 30 испытуемых, репрезентативных по своим существенным признакам популяции, на которую расп­ространяются результаты исследования).

Если результаты проверки валидности оказываются неудов­летворительными (коэффициент корреляции явно ниже 0,5), то возможны два варианта - наращивание до разумных пределов вы­борки (имея в виду, что первоначальная недостаточно репрезен­тативна), либо простейший "анализ пунктов", т.е. просмотр - не оказались ли некоторые пункты недискриминативными (все или почти вс-е испытуемые отвечали одинаково).

Возможно, кроме того, некоторые вопросы могли оказаться явно бессмысленными, "прямыми" , социально значимыми для данной выборки. Не исключено что после удаления таких пунктов валидности теста для новой популяции значимо повысится.

2. Проверка соответствия тестовых норм. После позитивного результата в проверке валидности необходимо расширить выборку (в любом случае она должна включать не менее 200 человек) и реконструировать эмпирическое распределение тестовых баллов. Если расхождения между полученным распределением и нормативным распределениям оказывается пренебрежимо малыми не превышают ошибки измерения), то можно сделать вывод о приложимости к данной популяции универсальных тестовых норм. Чаще, однако, возникают значимые различия. В этом случае психолог должен построить специализированные для данной популяции "частные" тестовые нормы, причем не только для использования в собственной диагностической практике, но и для пополнения информационно-методического балла отечественной психодиагностики. Для этого желательно поддерживать связь с методическим центром, откуда он получает методические материалы. Последнее обуслов­лено также и тем, что со временем любые универсальные тестовые нормы неизбежно устаревают и требуется их перепроверка.

Вопрос 2.

Ситуация конструирования

Ситуация конструирования нового теста, т.е. создание новой оригинальной тестовой методики возникает чаще всего в том случае, когда существует в той или иной степени разработанная концепция психического свойства, состояния и т.п., но нет удовлетворительной процедуры его измерения.

Необходимо разработать измерительную процедуру, проверить ее валидность и надежность, построения тестовых норм.

Ошибочно полагать, что рождение новой тестовой методики начинается с разработки автором стимульного материала будущего теста. Безусловно, такой «эмпирический» путь рождения тестов имел место в истории психодиагностики, но это скорее исключение, чем правило.

Например: ? (приведите примеры тех тестовых методик (из тех, что мы с вами уже обсуждали на наших занятиях), в которых у автора сначала родилась идея стимульного материала, а уже потом – методы и подходы к его интерпретации)?

Восьми цветовой тест М. Люшера, чернильные пятна Г. Роршаха.

Это действительно гениальные тестовые методики, получившие буквально всемирную известность, которые, однако, даже по мнению их авторах не имеют в своей основе никакой научной теории, кроме проективного подхода.

Однако, учитывая ограничения во времени и многообразие существующих тестовых методик на сегодняшней лекции мы остановимся на анализе конструирования тестовых методик на примере личностных опросников. Забегая вперед, можно сказать, что на такие же принципы опираются при разработке большинства тестов опросников.

Вообще в психодиагностике известны как минимум три главные стратегии в конструировании личностных опросников: дедуктивная, индуктивная и экстернальная.

Первая дедук­тивная (дедукция – от общего к частному) или содержательная стратегия базируется на теоретических представле­ниях о личности, ее структуре и функционировании. Разработчик теста констру­ирует задания исходя из своих теоретических преставлений и знаний об изучаемом явлении.

Вторая стратегия — индуктивная (индукция – от частного к общему), предпо­лагает использование факторного анализа или других статистических процедур, основанных на корреляционных связях. Главная особенность индуктивной стра­тегии состоит в том, что исследователь как бы позволяет данным говорить самим за себя.

Третья экстернальная стратегия эмпирична по своей сути и основывается на сравнении контрастных групп.

Ни одна из названных стратегий не может быть рассмотрена как предпочтительная. Вполне естественно, что многие разработчики личностных опросников комбинируют эти стратегии, стремясь, например, соче­тать возможности оценки личности, достигаемые дедуктивной стратегией, с ши­роким использованием разнообразных процедур анализа заданий (индуктивная стратегия).

Таким образом, процесс конструирования новой методики является наиболее сложным, длительным и трудоемким среди перечисленных выше си­туаций и включает в себя ряд последовательно реализуемых эта­пов.