Введение. Конструирование психодиагностических тестов: традиционные математические модели и алгоритмы
Конструирование психодиагностических тестов: традиционные математические модели и алгоритмы
Публикуется по материалам монографии В. А. Дюка
«Компьютерная психодиагностика», (С-Пб., 1994)
Введение
Важное значение в развитии экспериментальных психодиагностических методик имеют технические средства стимуляции, регистрации и обработки психодиагностической информации. Эти технические средства нашли свое наиболее полное воплощение в современных высокопроизводительных компьютерах с их мощными операциональными и изобразительными возможностями.
Использование в психодиагностике возможностей современных компьютеров компактно хранить, быстро извлекать, оперативно и всесторонне анализировать и наглядно отображать экспериментальную информацию влечет за собой эффекты, которые условно можно назвать количественными и качественными.
Первый тип количественных эффектов связан главным образом с автоматизацией рутинных операций традиционного психодиагностического эксперимента, таких как инструктаж испытуемого, предъявление стимулов и регистрация ответов испытуемого, ведение протокола, расчет и выдача результатов и т. п. За счет такой автоматизации повышаются уровень стандартизации, точность и скорость получения выходных диагностических данных, что бывает крайне необходимо в таких областях, как клиническое обследование или психологическое консультирование. Кроме того, оперативность обработки информации при компьютерном эксперименте позволяет проводить в сжатые сроки массовые психодиагностические обследования, которые, в частности, используются для решения задач профессионального психологического отбора или профессиональной ориентации в условиях дефицита временных и других ресурсов.
Качественные эффекты можно разделить на две категории. Первую категорию составляют эффекты, обеспечиваемые возможностями современных компьютеров реализовывать новые виды психодиагностических экспериментов. Сюда относятся возможности генерировать новые виды стимулов (динамические и полимодальные), по-новому организовывать стимульную последовательность (например, так называемое адаптивное тестирование), регистрировать ранее не доступные параметры реакций испытуемых, оформлять психодиагностические методики в виде компьютерных игр и т. п. Вторая категория качественных эффектов сопряжена с применением в психодиагностике последних достижений в области информационных технологий. Эти достижения касаются способов создания и ведения компьютерных баз данных, алгоритмов распознавания образов в психодиагностике и методов искусственного интеллекта, основанных на манипулировании знаниями в рассматриваемой предметной области.
Рассмотрим внешнюю сторону типичной процедуры «ручной» обработки данных психодиагностического тестирования.
Испытуемый возвращает психологу бланк обследования, на котором отмечены выбранные им варианты ответов на вопросы (задания) психодиагностического теста. Психолог подсчитывает количество «попаданий» ответов испытуемого в соответствии c диагностическим «ключом». Затем психолог с помощью таблиц или номограмм переводит подсчитанное количество в новое число — стандартизированную оценку. Эта оценка или несколько оценок, определенных подобным образом, являются результатом психодиагностического тестирования, который позволяет психологу выносить суждение об особенностях испытуемого, делать определенный прогноз на будущее и давать те или иные рекомендации.
Описанная процедура преобразования ответов испытуемого в диагностический показатель лежит в основе большинства психодиагностических тестов. Известны более сложные способы компоновки первичной диагностической информации. Но уже за этой внешне простой измерительной процедурой стоит кропотливая работа создателя психодиагностического теста, связанная с получением и трудоемким анализом экспериментально-психологических данных. Некоторые виды такого анализа можно проводить вручную или с помощью микрокалькулятора. Однако по-настоящему глубокий эмпирико-статистический анализ, обеспечивающий обоснованные, точные и надежные диагностические результаты, немыслим без применения современных компьютерных методов.
В работе исследователя по конструированию психодиагностического теста можно выделить три основных этапа.
На первом этапе экспериментатор, исходя, главным образом, из теоретических представлений о диагностируемом конструкте, формирует «черновой» вариант теста. В этот вариант включаются задания, ответы на которые, по мнению экспериментатора, должны отражать индивидуально-психологические различия испытуемых по данному конструкту. Определение «чернового» варианта психодиагностического теста (исходного множества диагностических признаков) является трудно формализуемой задачей. Поэтому в рамках настоящей главы будут даны только самые общие рекомендации по формированию исходного множества диагностических признаков.
На втором этапе исследователь выбирает диагностическую модель и определяет ее параметры. Под диагностической моделью понимается способ компоновки (преобразования, агрегирования) исходных диагностических признаков (вариантов ответов на задания теста) в диагностический показатель. Таких способов может быть бесконечное множество. В данной главе будет в основном рассмотрена традиционная для психодиагностики линейная диагностическая модель, в которой компоновка исходных признаков осуществляется путем суммирования их с определенными весами.
Первичным материалом для нахождения параметров диагностической модели являются данные экспериментального обследования «черновым» вариантом психодиагностического теста репрезентативной выборки испытуемых. Результаты обследования сводятся в таблицу экспериментальных данных типа объект — признак. Основными категориями, характеризующими структуру экспериментальных. данных и использующимися для определения различными методами параметров диагностической модели, служат категории сходства и различия строк и столбцов (объектов и признаков) таблицы экспериментальных данных. Так как экспериментально-психологическая информация имеет специфический характер, в настоящей главе часть внимания уделена описанию этой специфики и особенностям применения разнообразных мер сходства и различия объектов и признаков.
Для определения параметров диагностической модели используются две стратегии эмпирико-статистического анализа данных.
Первая стратегия основывается на критерии автоинформативности экспериментальных данных, который подразумевает, что диагностическую модель можно непосредственно определить путем аппроксимации геометрической структуры множества объектов в пространстве исходных признаков, не прибегая к сведениям об эмпирических (внешних) отношениях исследуемых объектов, а опираясь только на числовые отношения сходства и различия объектов и признаков. Хорошую линейную диагностическую модель (линейную аппроксимацию) удается построить, когда значительная часть исходных признаков отличается высокой взаимосвязанностью (внутренней согласованностью) и остальные признаки не могут конкурировать с этим согласованным влиянием на структуру данных. Если внутренняя согласованность обусловлена отражением требуемого психологического конструкта, то параметры линейной диагностической модели (веса признаков) дает метод главных компонент. Если в множество исходных признаков входят несколько групп взаимосвязанных признаков, то одну или сразу несколько диагностических моделей можно получить, используя методы факторного анализа. И, наконец, полезные практические результаты дает метод контрастных групп, в котором используется эффект повышения внутренней согласованности «черновой» версии линейной диагностической модели. Все указанные методы с той или иной степенью подробности рассмотрены в настоящей главе.
Вторая стратегия определения параметров диагностической модели основана на привлечении и активном использовании дополнительной обучающей информации о диагностируемом свойстве исследуемых объектов. Критерии, по которым формируется обучающая информация, называются критериями внешней информативности или внешними критериями. Главными представителями методов, опирающихся на внешние критерии, являются методы регрессионного и дискриминантного анализа. В данной главе описываются типы и способы получения обучающей информации, а также приводятся необходимые сведения о классическом линейном регрессионном и дискриминантном анализе. Эти сведения расширены рассмотрением различных модификаций указанных видов анализа, применяющихся в психодиагностике с учетом специфики экспериментально-психологических измерений. Кроме того, отдельный подраздел посвящен построению кусочно-линейных диагностических моделей, которые реализуются в так называемом типологическом подходе.
На третьем этапе разработчик теста проводит стандартизацию и испытания построенной диагностической модели. В последней части главы описаны способы получения стандартизированных диагностических оценок и рассмотрены основные характеристики психодиагностических тестов, подвергающиеся испытанию и отражающие качество разработанного инструмента психодиагностики.
1. Формирование исходного множества признаков
При формировании исходного множества признаков («чернового» варианта психодиагностического теста) исследователь располагает большой свободой. Если по своей внешней форме эксперимент укладывается в определенную классификационную схему и сравнительно нетрудно отдать предпочтение тому или иному классу психодиагностических методик, то выбор конкретного вида стимульных воздействий на испытуемого и алфавита регистрируемых ответов практически ничем не ограничен. В то же время, изучая какой-либо аспект многомерного взаимодействия человека с окружающим миром, нельзя заранее точно предугадать, что выбранное множество стимулов и регистрируемых ответов будет в достаточно полной мере отражать все многообразие проявлений тестируемого свойства и обеспечит инвариантность теста по отношению к широкому кругу посторонних факторов. Поэтому формирование исходного множества диагностических признаков является трудно формализуемой задачей и для ее решения можно предложить лишь самые общие рекомендации.
Первым очевидным шагом является самый тщательный анализ предмета тестирования, теоретического конструкта, положенного в основу тестируемого свойства, и его взаимоотношений с другими психологическими конструктами. Конечным шагом такого анализа должно быть четкое вербальное определение исследуемого понятия и расчленение его на основные части /Мельников В. М. и др., 1985/.
Следующим шагом при конструировании нового теста является разработка тестовых заданий. Для этого прежде всего устанавливается иерархия ранее выделенных частей психологического феномена. Затем непосредственно формулируются тестовые задания и проводится качественный анализ степени соответствия пропорций представленности элементов измеряемого свойства в этих заданиях. Такой анализ, как правило, производится с привлечением экспертов, которые выносят суждения о том, охватывает ли совокупность предлагаемых тестовых заданий декларируемое психологическое свойство и его составные части.
В целом разрабатываемая система исходных признаков должна удовлетворять следующим требованиям /Мельников В. М. и др., 1985/.
1) Полнота описания. Система исходных признаков должна охватывать все выделенные аспекты измеряемого понятия.
2) Экономность описания. При разработке системы признаков следует избегать излишнего объема исходной информации, который может затруднить дальнейший эмпирико-статистический анализ параметров диагностической модели.
3) Четкая структурированность системы признаков. Признаки должны группироваться, относительно равномерно описывая все стороны измеряемого явления.
4) Количественная определенность отбираемых признаков. Эта определенность требуется для проведения эмпирико-статистического анализа. Признаки должны быть выражены в номинальной, качественной или количественной шкале.
Приведенные требования не являются исчерпывающими. При составлении, например, тестов-опросников большое внимание должно уделяться приемам снижения возможности фальсификации ответов и уменьшения систематической ошибки тестирования. Сюда относится, в частности, введение в методику специальных признаков для выявления тенденции испытуемого давать о себе социально одобряемую информацию и для коррекции возможных искажений результатов, вносимых фактором «социальной желательности». Также к методическим приемам уменьшения систематической ошибки относится соблюдение в тест-опросниках баланса между прямыми и обратными вопросами и т. д.
В целом можно сказать, что формирование исходного множества признаков при конструировании нового психодиагностического теста является трудоемким и тонким занятием, требующим от специалиста-психодиагноста разносторонних и глубоких профессиональных знаний, а также зрелого опыта и развитой интуиции.
На практике чаще встречается другой подход к решению задачи формирования исходных признаков, в котором такими признаками выступают элементы известных тестов. Возможно заимствование отдельных элементов у ранее апробированных тестов, составление нового теста из частей известных методик и использование в качестве исходного множества признаков полного набора тестовых заданий многомерных психодиагностических методик. Примером составления нового теста из частей известных методик может служить разработанный В. М. Мельниковым и Л. Т. Ямпольским психодиагностический тест /1985/, в котором стимульный материал представляет собой комбинацию утверждений и вопросов из популярных тестов для многомерного исследования личности MMPI и 16PF Р. Кэттелла. Иллюстрацией использования полного набора тестовых заданий в качестве исходного материала для конструирования нового диагностического правила является разработанный в Психоневрологическом институте имени В. М. Бехтерева опросник для определения уровня невротизации и психопатизации, в который вошли 90 утверждений из оригинального теста MMPI /Методика определения..., 1980/.
Преимущества первого подхода, где конструируется полностью новый тест, заключается в том, что в нем максимально учитывается специфика конкретной психодиагностической задачи, находящая свое выражение в более целенаправленном подборе тестовых стимулов, формулировке отдельных вопросов и заданий, использовании терминологии, характерной для изучаемой прикладной области и т. п. В то же время, как указывалось выше, реализация этого подхода сопряжена со значительными усилиями в теоретической проработке как общей концепции теста, так и множества частных деталей. Второй подход не обладает гибкостью первого подхода, но позволяет избежать необходимости решения многих частных проблем, так как опирается на уже апробированную исходную структуру известных тестов. Основанием для его широкого использования служит скрытый потенциал многомерных психодиагностических тестов, отражающих широкий диапазон индивидуально-психологических различий, который может быть развернут относительно нового психологического концепта.
Определив исходное множество признаков, исследователь получает «черновой» вариант будущего психодиагностического теста. Дальнейшая отработка этого варианта основывается на эмпирико-статистическом анализе, методы которого рассматриваются ниже.