Определение количества заданий (спецификация теста)

Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос — необходимое условие для работы. Поэтому первым шагом будет формулирование цели будущего теста.После этого следует обратиться к разработке спецификациибудущего теста. Наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержатель­ные области,которые предполагается измерять, а по вертикали — их манифеста­ции,или пути, по которым содержательные области могут проявляться.

Например, при конструировании «опросника супружеского статуса» Дж. Руст и С. Голомбок (Rust, Golombok, 1988) основывались на опросе экспертов, в каче­стве которых выступали семейные терапевты и консультанты, а также на данных, полученных от клиентов этих специалистов. Экспертов просили назвать те обла­сти взаимоотношений между мужчиной и женщиной, которые они полагали наи­более важными для гармоничного брака. Информация от клиентов позволила обнаружить те проблемные зоны семейной жизни, в которые супруги хотели бы внести изменения. На этой основе были выделены такие содержательные облас­ти, как «совместные интересы и степень зависимости—независимости», «вербаль­ная и невербальная коммуникации», «доверие и уважение» и др. Ясное понима­ние цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выде­ление различных форм их реализации. Так, при конструировании вышеупомяну-

того опросника «установки и чувства, проявляющиеся в отношениях» рассматри­вались как манифестации «вербальных и невербальных коммуникаций» между супругами.

Из практических соображений обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий часто приводит к созданию слишком узко­го опросника, а большее может сделать обременительным процесс конструирова­ния опросника. В итоге получается своего рода решетка, количество ячеек в кото­рой будет равно количеству планируемых для изучения параметров, умноженно­му на количество их поведенческих манифестаций (табл. 3.1).

Таблица 3.1 Спецификация будущего	опросника
Манифестации	Содержательные области

При разработке опросников обычно считают, что решетка размером от 16 до 25 ячеек (например, 4x4,4x5,5x4 или 5x5) считается идеальной для той длины теста, который вполне реально сконструировать, предъявить и обработать.

Далее необходимо определить, сколько заданий, например вопросов, должно быть создано для каждой из ячеек. При решении этой задачи следует руководство­ваться тем, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. В решетке, приведенной в табл. 3.2 (Rust, Golombok, 1989), допускается, что содержательным областям, обо­значенным как А к В, следует приписать 40-%-ный вес, а С и D — 10-%-ный. В то же время каждой манифестации А, В, CnD приписывается 25-%-ный вес. Необ­ходимо обратить внимание на то, что в целом процентный вес всех содержатель­ных областей (по горизонтали) и всех манифестаций (по вертикали) должен со­ставлять 100 %. Такое расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. Следующий шаг состоит в том, чтобы решить, какое количество заданий должно быть включено в тест. При этом необходимо учитывать такие факторы, как размер решетки и время, предполага­емое для выполнения заданий. Хорошо известно, что в определении количества заданий перед исследователем возникает дилемма: обеспечение, с одной стороны, надежности теста, что требует увеличения заданий, а с другой стороны — мини­мизация количества заданий для обеспечения эффективной работы испытуемого с ними, подразумевающей прежде всего поддержание концентрации внимания в ходе обследования. Так, для достижения удовлетворительной надежности опрос­ника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Наконец, важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. Обыч-

но при проводимом разработчиками пилотажном исследовании количество зада­ний предварительного варианта теста должно быть по крайней мере на 50 % боль­ше числа тех, которые будут включены в окончательную версию.

После того как определен процентный вес каждой из ячеек решетки и установ­лено общее количество заданий для пилотажной версии теста, нетрудно подсчи­тать, сколько заданий должно быть разработано для каждой ячейки. Нижеприве­денная решетка (Rust, Golombok, 1989) содержит то количество заданий для каж­дой ячейки, которое необходимо для пилотажного исследования с помощью опросника, состоявшего из 80 вопросов (табл. 3.2).

Таблица 3.2

Определение процентного веса содержательных областей,

манифестаций, а также количества заданий опросника

Манифестации		Содержательные области	Кол-во заданий
А 40%	В 40%	С 10%	D 10%
Л (25%)
В (25%)
С (25%)
£>(25%)
Кол-во заданий

Для того чтобы подсчитать количество заданий для каждой ячейки, умножают общее число заданий, предназначенных для измерения некоторого свойства лич­ности, на процентный вес его поведенческих проявлений. Например, количество заданий для левой крайней ячейки решетки равно отношению 25 % к 32 задани­ям, что составляет 8 заданий — 25/100x32 = 8. Если не получается целое число заданий для каждой ячейки, следует его округлить.

Разработка заданий

Прежде всего нужно указать на то, что в каждом задании может быть задан толь­ко один вопрос или сформулировано одно утверждение. Нельзя допускать появ­ления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей», «как и другие» и т. п. Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто. Необходимо избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов. В то же время необходимо стремиться к тому, чтобы обследуе-^мые не могли догадаться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на вы-Раженность у себя этой черты, а не реальное положение дел.

Задания должны отражать конкретные, а не общие аспекты изучаемой обла­сти поведения. Например, вместо задания «Нравится ли вам спорт?» лучше ис-

1 54 Глава 3. Психометрические основы психодиагностики: основные этапы...

пользовать более конкретный вопрос: «Вы регулярно играете в какую-нибудь спортивную игру?».

Везде, где только возможно, следует избегать употребления таких слов, как <<часто», «редко» и т. п. Иначе говоря, в формулировке заданий нужно очень осто­рожно прибегать к словам, указывающим на частоту действий. То, что одним ис­пытуемым интерпретируется как «часто», для другого совсем не так. Примером может служить вопрос «Часто ли вы употребляете спиртные напитки?», ответ на этот вопрос не отражает реального положения дел, а характеризует субъективное мнение обследуемого (разумеется, в ряде случаев именно это мнение и интересу­ет исследователя!). Также следует избегать терминов, выражающих чу вства. Луч­ше представить задание в контексте поведения. Например, задание «Нравится ли вам чтение художественной литературы» лучше заменить на «Читаете ли вы ху­дожественную литературу постоянно?».

Очень важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.

После разработки всех заданий к ним следует вернуться через некоторое вре­мя и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого рекомен­дуется привлечь хотя бы двух-трех экспертов. В личностных опросниках, как пра­вило, используют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами¹. Весьма популярны задания с альтернативным выбо­ром (дихотомические),которые просты для понимания, легки и удобны для об­работки. Эти задания требуют наименьшего времени для ответа. К их недостат­ком относится то, что обследуемые часто не удовлетворены предлагаемой альтер­нативой, хотели бы видеть больше вариантов ответа. Задания трихотомические(три варианта ответа, например «да», «не знаю», «нет») также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точ­но выразить себя, нежели в случае альтернативы. Недостаток применения более двух вариантов ответов заключается в том, что могут актуализироваться установ­ки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю», «иногда» и т. п.

Какие-либо правила, определяющие количество вариантов выбора ответа, от­сутствуют. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговыешкалы. Важно обеспечить достаточное количество градаций ответа, с тем чтобы обследуемые были в состоянии адекватно выразить самих себя. Следует помнить и о том, что в разрабатываемом опроснике желатель­но использовать только один тип заданий.

Основные проблемы, возникающие при разработке заданий личностных опрос­ников, касаются актуализации факторов, имеющих установочную природу. Крат­ко остановимся на способах действия наиболее известных установок. Установка на согласиеможет быть преодолена с помощью введения так называемых обрат­ных заданий, причем их количество должно быть равно или почти равно числу

¹ Подробнее о типах заданий, используемых в опросниках, см. гл. 5.

«прямых» заданий. Например, утверждение «Я удовлетворен отношениями с моей матерью» может быть дополнено обратным — «Я не удовлетворен отноше­ниями с моей матерью». При введении обратных заданий необходимо тщательно выверить их смысл и убедиться в том, что они имеют то же самое значение, что и те, из которых были образованы. Также следует избегать двойных отрицаний.

Установка на социально одобряемый ответможет быть минимизирована с помощью исключения из опросника тех заданий, ответы на которые оцениваются обследуемым с точки зрения их социальной желательности—нежелательности. Если это по тем или иным причинам сделать невозможно, следует попробовать сформулировать косвенный вопрос, с тем чтобы побудить к ответу, не являюще­муся простым отражением желания обследуемого представить себя в лучшем све­те. Например, утверждение «Люди постоянно интригуют против меня» (выявле­ние параноидных тенденций) может быть сформулировано в виде: «Имеются не­которые люди, которым я полностью доверяю». Достаточно эффективной мерой в борьбе с этой установкой будет адресованное испытуемому требование отвечать на каждый вопрос, не слишком долго задумываясь, не пытаясь анализировать каж­дое задание.

Эдвардсом был разработан радикальный способ устранения влияния этой уста­новки — конструирование заданий, состоящих из двух утверждений, подобранных по социальной желательности, одно из которых и должен выбрать обследуемый. Однако этот прием не получил распространения по трем причинам: 1) сложность создания согласованных утверждений; 2) тенденция к увеличению любых незна­чительных различий в социальной желательности между частями заданий, когда они предъявляются вместе; 3) используемая при разработке таких опросников экспертная оценка социальной желательности значительно упрощает это явление. Некоторые исследователи при разработке опросников используют специаль­ную группу заданий, предназначенных для выявления лиц, склонных к социаль­но одобряемым ответам. Эти задания состоят из вопросов, касающихся незначи­тельных проступков, совершаемых фактически всеми людьми. Например, «Я ни­когда не лгу» или «Я всегда прихожу своевременно на встречи и свидания». Лица, набравшие достаточно большое количество баллов по такой шкале, рассматрива­ются как дающие социально одобряемые ответы, и их результаты не рассматрива­ются как достоверные. Несмотря на то что Г. Айзенк доказывает, что эти так на­зываемые «шкалы лжи» измеряют определенную личностную переменную, дан­ный прием может быть весьма полезен для обнаружения установки на социально одобряемые ответы.

Установка на неопределенные ответы (так называемые ответы средней ка­тегории),когда нельзя отказаться от присутствия таковых в опроснике, в извест­ной мере преодолевается инструкцией, требующей от испытуемого как можно ре­же прибегать к таким ответам, а также количеством вопросов, число которых не Должно приводить к рассеиванию внимания, а тем самым выбору «наиболее лег­кого ответа». Вполне оправданно считается, что эта категория ответов наиболее привлекательна тогда, когда оба крайних значения безразличны для испытуемых. Следовательно, задания должны быть сформулированы таким образом, чтобы выбор ответа средней категории не был притягателен. Задания, для которых необ-

1 56 Глава 3. Психометрические основы психодиагностики: основные этапы...

ходима средняя категория ответов, не смогут пройти процедуру анализа (см. далее) и будут автоматически устранены. Если опросник предусматривает использование исключительно дихотомических заданий, то в ходе пилотажного исследования можно попросить испытуемых отмечать те из них, которые вызвали затруднение и требовали, по их мнению, неопределенного ответа; затем от них лучше отказаться

Установка на крайние ответыобычно проявляется в заданиях с рейтинговы­ми шкалами. По мнению П. Клайна, преимущества рейтинговых шкал, дающих испытуемому широкие возможности для выбора, сводятся на нет действием уста­новки на крайние ответы. Поэтому лучше избегать задания типа рейтинговых.

Подводя итоги достаточно краткого рассмотрения способов борьбы с установ­ками на ответы (в соответствующей литературе нетрудно найти более детальный анализ этих проблем, возникающих при конструировании опросников), вспомним мысль Гилфорда о том, что наиболее благоприятную почву для проявления этих установок создают неконкретные, неопределенные и неоднозначные задания. В процессе работы над опросником задания будут неоднократно переформулиро­ваться, будет изменяться порядок их предъявления, поэтому полезно иметь свое­го рода картотеку заданий, позволяющую работать отдельно над каждым из них. Могут быть весьма полезны компьютерные банки заданий, которые ныне доступ­ны специалистам.

Оформление теста

Разработчикам тестов хорошо известно, что от оформления, формы представле­ния методики, что определяется как ее очевидная (лицевая) валидность, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок основной ин­формации,который включает его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. Обязательно указывается дата заполнения опросника.

Инструкциядолжна быть ясной, доступной для понимания. В ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике. Здесь же содержится дополнительная информация, которую разработчик считает необхо­димым сообщить обследуемому. Например, «отвечайте так быстро, насколько это возможно» или «отвечайте на каждый вопрос искренне, это очень важно для того, чтобы мы имели возможность оказать вам необходимую помощь». Следует выде­лить ту информацию, которая может способствовать эффективной работе испы­туемого, например о соблюдении конфиденциальности.

Для компоновкитекста опросника следует руководствоваться такими реко­мендациями.

1. Нумеруется каждое задание.

2. Каждая строка на странице должна быть короткой и содержать не более 10-
12 слов.

3. Все задания располагаются по прямой вертикальной полосе сверху вниз в
левом углу страницы.

4 Варианты ответов должны быть представлены так, чтобы получилась пря­мая вертикальная полоса сверху вниз в правом углу страницы. Необходи­мо обеспечить ясную визуальную связь между каждым заданием и вариан­тами ответа на него. Это может быть сделано с помощью введения пунктир­ной линии от колонки заданий к их вариантам ответов. Например,

/ да не знаю нет

2. да не знаю нет

3 да не знаю нет

5. Каждое задание нужно отделить друг от друга, лучше это сделать, исполь­
зуя свободное пространство, а не горизонтальную линию.

6. Если используется более чем один тип заданий, одинаковые задания груп­
пируются вместе. Каждый тип заданий требует разных инструкций и своих
вариантов ответов.

7. Опросник печатается так, чтобы он имел эстетически привлекательный вид.
Современные компьютеры позволяют сравнительно легко добиться опти­
мального варианта текста. Дизайн опросника может способствовать воспри­
ятию его как формального документа или приближать к игре (особенности
шрифта, цвет бумаги и расположение заданий).

Результаты обследования (разные формы их представления) обычно не при­нято включать в опросник, хотя в некоторых случаях и допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняе­мого психологом.

Пилотажное исследование

Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.

Если, например, опросник предназначен для обследования лиц, имеющих про­блемы с алкоголем, пилотажное исследование можно провести в соответствующих консультативных центрах, клиниках. В том случае, когда опросник будет исполь­зоваться применительно к любым, скажем, взрослым и психически нормальным представителям популяции, необходимо сформировать репрезентативную груп­пу испытуемых. Сделать это намного труднее, чем подобрать какую-либо специ­фическую группу. Обычно составление выборки отнимает много времени, поэто­му не стоит этим заниматься при проведении пилотажного исследования. Если невозможно создать репрезентативную выборку, обычно достаточно составить выборку приблизительно похожую на репрезентативную. Лица, которые прини­мают участие в пилотажном исследовании, должны различаться по демографиче­ским показателям, таким как возраст, пол, социальный статус. Пилотажную вер­сию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного

1 58 Глава 3. Психометрические основы психодиагностики: основные этапы...

исследования, должно быть в два раза больше, чем количество заданий. Если не­возможно получить такое количество испытуемых, лучше все-таки привлечь к ис­следованию меньшее количество людей, чем вообще отказаться от проведения пи­лотажной стадии исследования.

Анализ заданий

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно(в соответствии с клю­чом) и дискриминантностикаждого задания. Первый шаг состоит в том, чтобы составить таблицу анализа заданий (табл. 3.3), в которой каждая колонка (а, Ъ, с, dvn. д.) представляет задание, а каждая строка (1, 2, 3, 4, 5 и т. д.) — обследуемо­го. Когда речь идет о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а при этом имеется в виду, что обрат­ные задания (с противоположным содержанием) оцениваются так же, как и пря­мые задания, но в противоположном направлении континуума оценок. Затем сум­мируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Таблица 3.3

Образец матрицы для анализа заданий

Обследуем	Задания	Сумма
a	ь	с	d	е
1.
2.
3.
4.
5.
Сумма

Следующим шагом будет вычисление показателя, определяющего долю испы­туемых, ответивших в соответствии с «ключом» опросника или индексаэффек­тивности задания¹. Этот показатель подсчитывается делением количества обсле­дуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин­декс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень

¹ В ряде случаев определяется как индекс сложности задания;например, во многих шкалах интеллек­та присутствуют субтесты, предназначенные для определения общей осведомленности и состоящие из вопросов типа: «Назовите столицу Уругвая» или «Кто автор "Критики чистого разума"?». В таких тестах с помощью индекса сложности устраняются те задания, на которые отвечают почти все испы­туемые (легкие) и те, на которые отвечают правильно очень немногие (сложные).

немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, то на данное задание получено слишком много правильных ответов. В табл. 3.3 нализа заданий индекс эффективности для каждого задания получается следу­ющим образом: (а) 3/5 = 0,6; (Ь) 2/5 = 0,4; (с) 0/5 = 0; (d) 3/5 = 0,6 и (е) 5/5 = 1. Из того следует, что нужно устранить задания (с) и (е) из окончательной версии

опросника.

Также нужно удостовериться, просмотрев результаты в таблице анализа зада­ний, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценоч­ном континууме каждым испытуемым, а представляет собой вариацию различных

оценок.

Задания (вопросы, утверждения) только тогда следует включать в окончатель­ную версию опросника, когда они измеряют те же самые личностные особенно­сти, что и другие, предназначенные для этого задания. Для определения дискри-минативности заданийиспользуется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дис-криминантность задания, тем лучше задание. Это основной критерий. Как прави­ло, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле­вой корреляцией почти всегда исключаются.

Для расчета этого показателя чаще всего применяется коэффициент произве­дения моментов Пирсона (заметим, что он наиболее приемлем для оценивания заданий, имеющих пять и более вариантов ответа, а в случае дихотомических за­даний используется точечно-бисериальная корреляция). Вычисления обычно производятся с помощью специальных компьютерных программ, однако каждый разработчик тестов должен хотя бы один раз провести расчеты вручную. Это дает возможность проникновения в смысл того, что происходит с заданиями теста. Тем читателям, которые попытаются осуществить эту процедуру, напоминаем, что ко­эффициенты корреляции всегда меньше +1 и больше -1. Если получено значение коэффициента, выходящее за границы этого интервала, значит, допущена ошибка в расчетах. Формула коэффициента произведения моментов Пирсона имеет вид:

где г — коэффициент корреляции; X — результат по каждому заданию; У— балл (результат) по всему тесту; п — количество попарных произведений; Z — сумма. Для того чтобы подсчитать коэффициент корреляции произведения моментов Пирсона, нужны: сумма баллов испытуемых по каждому заданию (XX), сумма бал­лов, испытуемых по всему тесту (2У)> сумма квадратов баллов испытуемых по каждому заданию (2Х²), сумма квадратов баллов испытуемых по всему опросни­ку (£К²), сумма произведения баллов по каждому заданию и по всем заданиям (XXY). Путем подстановки в формулу значений перечисленных показателей вы­числяется коэффициент корреляции. Нижеследующий пример демонстрирует простой способ получения этого коэффициента. Для избежания ошибок рекомен­дуется повторный подсчет по каждому заданию.

1 60 Глава 3. Психометрические основы психодиагностики: основные этапы...

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффек­тивности и дискриминантности нужно определить то количество заданий, кото­рое потребуется для окончательной версии (не менее 20-30 заданий!) и насколь­ко хорошо они «вписываются» в ранее созданную для теста решетку. Например можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показате­лем эффективности при условии, что оно обладает достаточной дискриминантно-стью. Также важно обеспечить приблизительно равное количество прямых и об­ратных заданий. Для испытуемых разных полов необходимо выполнить отдель­ные процедуры анализа заданий.

Испытуемые Балл по зада- Балл по зада- Балл по всему Бал по всему Произведение
нию нию в квад- тесту тесту в квадрате баллов по зада-

рате нию и по всему

тесту

П X X2 Y Y2 XY

и=10	ZX=30	ЕЛ/	? = il0 27=641	2^ = 45195	ZX7=219i

Способы улучшения заданий выясняются как раз на этой стадии конструирова­ния теста. Например, изменение формулировки ответа в задании с «иногда» на «все­гда» может повысить показатель эффективности. Однако эти изменения во всех вопросах (утверждениях) могут повлиять на надежность и валидность теста. Про­цедура анализа заданий дает необходимую информацию относительно параметров каждого задания. Тем не менее только исследователь может вынести решение о том, какой из критериев наиболее важен для реализации цели создаваемого теста.

В начале 1980-х гг., помимо традиционных процедур анализа заданий, появ­ляются более сложные, использование которых невозможно без достаточно мощ­ного компьютерного обеспечения. К таковым прежде всего относится теория «за­дание—ответ» (item response theory, IRT). Технические приемы этой теории, не­смотря на продолжающиеся дискуссии, сегодня включаются во вновь создаваемые

тесты. Однако речь идет прежде всего о тестировании способностей. Наиболее слож­ные проблемы возникают в связи с попытками приложения ITR к тестам лично­сти Безусловно, нельзя утверждать, что процедуры из ITR неприменимы в оценке личности, однако требуется решение многих задач, прежде чем эта теория заменит традиционные процедуры анализа заданий (подробнее об этой теории см. в рабо­тах П. Клайна, 1994; А. Анастази и С. Урбина, 2001; и др.).