Основные этапы конструирования теста

Первый этап разработки тестовой методики может быть условно обозначен как этап формирования информационной базы исследования (термин В.М.Мельникова и Л.Г.Ямпольского).

Он включает выбор об'екта и цели исследования, разработку концепции теста, определения области его применения.

Об'ект исследования предполагает то, что какое-либо свойство должно быть удовлетворительно описано через систему определяющих его приз­наков или внешних проявлений. Например, создавая тест для исс­ледования общительности психолог должен выяснить, в чем прояв­ляется эта характеристика - разговорчивость, наличие множества знакомых, экспрессивность и т.д. Иными словами объект психодиагностического исследования – это тот психический феномен, для диагностики которого мы разрабатываем тест.

Цель определяется прежде всего кругом практических за­дач, для решения которых создается будущая тестовая методика. Развивая пример с таким феноменом как общительность, мы должны определиться с какой целью ее собираемся диагностировать: относительно возраста, той или иной профессии, успешности в какой-либо деятельности.

Область применения теста.

Традиционно область применения теста рассматривается как характеристика методики, указывающая на особенности контингента испытуемых, для которых предназначен тест. Для этой группы устанавливаются нормы, оптимальная трудность заданий теста, определяются характеристики валидности, надежности и т.д. Это область применения теста с точки зрения популяции.

Говоря о широте популяции людей, к ко­торым применен данный тест, в пример можно привести такие ме­тодики, как, так называемые, "свободные от культуры" интеллек­туальные тесты (которые, как мы будем говорить в свое время являются утопией, но очень долгое время занимали умы исследователей), тест Люшера. Или методики, направленные на диагностику, скажем, профессиональной деформации в нашей уголовно-исполнительной системе (гораздо более узкий круг популяции).

Различаю так же область применения теста с точки зрения его содержания. Например, такие универсальные характерологические опросни­ки, как 16 PF Кэттела, СМИЛ по замыслу создателей должны охватывать всю, или, по крайней мере, большую часть структуры личности. Тогда как шкалы личностной тревожности, агрессивности затрагивают отдельный ее аспект. То есть тот спектр психических феноменов, который охватывается диагностикой данного теста.

Первый этап завершается описанием концепции теста, основное внимание в котором должно быть уделено признакам, определяющим базовое понятие. На их основе в дальнейшем строится интерпретация результатов готового теста. Первый этап, помимо всего прочего, отражает теоретический подход автора теста к исследуемой психологической реальности. Например, говоря о создании методики диагностики личности , речь идет прежде всего о том, придерживается ли создатель теста теории черт (как автор 16 PF опросника Кэттелла) или теории типов (ММPI, опросник Смишека, ИТО).

Второй этап касается непосредственного конструирования теста как системы заданий. Данный этап включает выбор тестовых шкал, определение типов задач, в зависимости от характера ответов, составления и формулировку задач, и их размещение, группировку и нумерацию, составление ключей к задачам, написание инструкции.

Вообще, данный этап начинается с разработки стимульного материала. Л.Ф.Бурлачуктак определяет понятие стимульного материала:

- объекты живой и неживой природы, искусственно созданные объекты, их изображения разной степени точности, цвета, звуки и символы, выступающие в качестве заданий психологических тестов.

Особую роль играет степень структурированности стимульного материала. Слабоструктурированные, неоднозначные стимулы за счет запуска механизмов проекции несут в себе очень интересный, глубинный и не подверженный сознательным искажениям материал, однако связан с рядом трудностей при интерпретации.

В вербальных тестовых методиках, на примере которых мы с вами сегодня рассматриваем тему конструирования тестов, используются вербальные стимулы в виде вопросов, утверждений.

На семинарском занятии наши докладчики более развернуто расскажут нам о подходах к разработке стимульного материала.

Добавим только, что он определяется направленностью методики и закладывается в нее на этапе разработки (валидность по содержанию).

В подборе тестовых заданий в наибольшей степени проявляются творческие способности и изобретательность разработчика.

Требования, которым должны удовлетворять задания:

- легко пониматься испытуемым;

- быть достаточно новыми для них;

- быть компактными, кратко изложенными, не содержать излишней информации;

- не вызывать дополнительных вопросов со стороны испытуемого;

- требовать сравнительного малого времени для ответа (решения);

- вероятность случайных ответов должна быть минимальной.

В тест-опросниках и большинстве интеллектуальных тестах применяются задания закрытого типа (т.е. задания имеющие ряд возможных ответов, среди которых необходимо выбрать один верный). Наиболее простыми являются задачи, предполагающие выбор одного из двух альтернативных вариантов решений (дихотомию выбора, или задачи типа "да" - "нет"). Недостатком такого рода задач является большая вероятность случайных ответов.

В личностных опросниках иногда используются промежуточные ответы типа ("нечто среднее", "трудно сказать"), причем оговаривается, что их использование не должно быть слишком частным (такие ответы в следствие недискриминативности дают мало информации). (Пример с ответом «не знаю» в СМИЛе: до 40 по мнению авторов не влияют на результат, но психодиагносты стараются ориентировать тестирующихся на меньшее количество таких ответов).

Задачи с множественным выбором наиболее характерны для батарей интеллектуальных тестов (Айзенк, Амтхауэр, Векслер) из нескольких ответов выбирается один, правильный по мнению испытуемого. Часто среди множества (обычно не более 6 -8) вариантов ответа наряду с правильными имеются и 2 - 3 правдоподобных. Ответы должны подбираться таким образом, чтобы каждый выбирался с одинаковой вероятностью. Положение правильных ответов должно изменяться.

При диагностике состояний в качестве вариантов ответов часто используется выбор определенной точки на шкале. Такая шкала означает градацию выраженности того или иного состояния. Как правило, используется четное число градаций (например, 4) с тем, чтобы избежать концентрации ответов около середины. (например: в УСК многие диагносты стараются опускаю ), т.к. его частое использование ведет к усреднению полученых результатов.

Особый случай представляет составление заданий для проективных методик. Особенностью таких задач является их неструктурированность, неопределенность, которая допускает почти неограниченное разнообразие возможных ответов. Анализ ответов по преимуществу качественный, а не количественный, поэтому нормирование по отношению к проективным методикам является затруднительным.

Необходимости этапом подготовки первичной формы теста является составление инструкции.

Основные требования к ней:

1) должна быть полной, т.е. содержать по возможности всю информацию для выполнения тестовых заданий;

2) не должна быть слишком длинной. Возможности челове­ческой памяти ограничены, поэтому, упустив какую-либо часть инструкции, испытуемый может не понять ее в целом. Кроме того, у испытуемого может создаться впечатление, что тест слишком сложный;

3) должна быть однозначной, не допускать двусмысленного толкования;

4) должна быть рассчитана на слабейшего;

5) желательно сопроводить инструкцию наглядными примерами и пробами, особенно, если материал малознаком.

О том, что размещения отдельных пунктов в тесте может повлиять на результат испытуемого, мы упоминали в теме "досто­верность". Это касается не только шкал "лжи". Трудные, легкие и средние по трудности задачи в общем массиве теста располагаются, как правило, в случайном порядке. Исключение составляют методики, сложность заданий в которых постепенно нарастает (среди бланковых методик в качестве примера можно привести прогрессивные матрицы Равена).

Выполнение вышеуказанных процедур имеет целью создание первичной формы теста, которая предполагает:

1) стимульный материал;

2) инструкцию для испытуемого по его выполнению;

3) ключи для обработки полученных данных;

4) подходы к интерпретации.

Третий этапвключает пилотажные исследования этой формы на репрезентативной выборке. Он включает проверку надежности, валидности и (для личностных тест-опросников) достоверности теста.

Как известно, психологический тест может быть охарактеризован как эффективный в том случае, если он удовлетворяет следующим основным условиям:

1) использование шкалы интервалов;

2) надежность;

3) валидность;

4) дискриминативность;

5) наличие нормативных данных.

Коротко проанализируем каждый пункт:

1. Использование шкалы интервалов. Шкала интервалов это первая метрическая шкала, которая позволяет вводить понятие меры на множестве объектов. Другими словами она определяет величину различий между объектами в проявлении свойства. Именно с помощью шкалы интервалов можно сравнивать 2 объекта. Классический пример шкалы интервалов это шкала измерения температуры по Цельсию. Шкала интервалов всегда имеет масштабную единицу, но положение нуля на ней произвольно. Большинство специалистов по теории психологических измерений полагает, что тесты измеряют психические свойства с помощью шкалы интервалов.[3]

2. Надежность – т.е. точность психодиагностических измерений, а так же устойчивость результатов теста к действию посторонних, случайных факторов[4]. Посторонние, случайные факторы – источники ошибки измерения – это: сам обследуемый (его состояние, настроение, отношение к тестированию, способность концентрировать внимание и т.д.); окружающая среда, т.е. условия тестирования (бланки, посадочные места, освещенность и проветренность помещения, исправность аппаратуры т др.); психодиагност (его настроение, умение установить психологический контакт с аудиторией, точность при обработке данных и подсчете баллов по ключам и др.).

3. Валидность – пригодность; комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним (Бурлачук Л.Ф.)[5]; характеристика, указывающая нам, что тест измеряет и насколько хорошо он это делает (А.Анастази)[6].

4. Дискриминативность– способность отдельных заданий (пунктов) теста дифференцировать обследуемых относительно «максимального» или «минимального» результата теста. Любой ответ испытуемого на конкретное задание теста можно оценить по двухбалльной шкале – «верно (1 балл) – неверно (0 баллов)».

Если все испытуемые один и тот же ответ, то это означает, что данное задание не обладает дискриминативностью.

5. Наличие нормативных данных –т.е. данных, получаемых путем сравнения индивидуальных результатов со статистическими значениями нормативной выборки (т.е. выборки стандартизации). См. нормальное распределение, нормализация данных.

Помимо этого в тестах интеллекта, способностей, достижений производится анализ трудности тестовых заданий. Чаще всего трудность задания определяется процентом испытуемых, давших правильный ответ. Чем легче задание - тем, естественно, выше этот процент.

В заключение можно сказать, что в нашей стране технологния создания и адаптация тестовых методик понимались несколько упрощенно. Весь вше указанный процесс сводился к простому переводу той или иной зарубежной методики, в лучшем случае ограничиваясь построением нормативного распределения тестовых показателей. Теоретические концепции авторов тестов не анализировались, данные об их надежности и валидности принимали за истинные.

Затем в 80-е годы, вопросы адаптации различных зарубежных тестов все чаще становятвся предметом обсуждения советских психологов, а позднее - психологов СНГ.

Разрабатываются соответствующие рекомендации: Ю.Л.Ханин (1985), А.Г.Шмелев, В.И.Похилько (1985), Ю.М.Забродин с соав­торами (1987), Л.Ф.Бурлачук (1993) и другие.

Требования, предъявляемые к разработке и адаптации тес­тов, предполагают высокую профессиональную культуру психолога, широкое использование специальных технических приемов, в том числе на основе современной вычислительной техники.