Адаптивное тестирование

Планируемая версия ТОЗ-2 должна включать уже не менее 200—300 заданий по каждому предмету, а также опираться на более совершенный программный алгоритм, использующий принципы так называемого АДАПТИВНОГО ТЕСТИРОВАНИЯ.

Адаптивным тестированием называется такая

Основы психодиагностики

диалоговая тестовая программа, которая изменяет порядок предъявления тестовых заданий в зависимости от результатов выполнения испытуемым уже предъявленных заданий. Когда опытный экзаменатор проводит устный экзамен, он фактически всегда применяет некий упрощенный интуитивный вариант адаптивного тестирования. После первых удачных ответов экзаменующегося экзаменатор старается задать вопрос посложнее, и если учащийся справляется и с этим сложным вопросом, то экзаменатор, вполне,справедливо экономя свое собственное время, ставит учащемуся оценку «5». После первых же ошибочных ответов экзаменатор, наоборот, «снижает планку» — задает самый простой вопрос, и если учащийся не справляется и с этим простейшим вопросом, то экзаменатор ставит учащемуся оценку «2». Таким образом, для выявления крайних случаев требуется гораздо меньше тестовых заданий при обеспечении практически того же уровня надежности. Дольше времени надо потратить и большее количество вопросов задать в случае «середнячков», которые с одними заданиями справляются, а с другими нет, так как освоили учебную программу не полностью. Смысл адаптивности в алгоритме тестирования в том, что тест адаптируется, настраивается на доступный испытуемому уровень сложности и тем самым быстрее локализует его истинный тестовый балл на шкале измеряемого свойства.

Конечно, 15 заданий по одному предмету — это мало, эта выборка заданий не обеспечивает полноценный охват всей учебной программы. Но если эти задания различаются по сложности хотя бы на 3 уровня, то возникает возможность для применения следующего упрощенного (и потому понятного начинающим) адаптивного алгоритма. После первой пятерки самых простых заданий программа сразу же подсчитывает процент правильных ответов. Если

Практические задачи школьной психодиагностики

решены все 5 заданий, то программа сразу переводит испытуемого на самый высокий уровень трудности- Если решены от 2 до 4 заданий, то программа переводит испытуемого на средний уровень трудности. В противном случае испытуемый остается на первом уровне трудности. На втором этапе программа применяет аналогичную логику. С теми, кто справился с 4—5 заданиями высшего уровня трудности, тестирование можно прекращать и ставить балл, учитывающий общий процент решенных задач с учетом их цены (более трудные имеют, конечно, более высокую цену). Если же на высшем уровне трудности испытуемый допустил более одной ошибки, то тестирование продолжается уже на среднем уровне трудности. Те испытуемые, которые долго остаются на среднем уровне, выполняют тест значительно дольше — пока колебания их текущего балла (процента правильных ответов) не стабилизируются в рамках пренебрежимо малого интервала, равного ошибке измерения.

«ТРЕХУРОВНЕВЫЙ АЛГОРИТМ», подобный описанному выше, позволяет при предъявлении в среднем 15 заданий добиваться такой же точности-надежности, как и тест со сплошным предъявлением 45 заданий, не учитывающий уровень трудности заданий. То есть, огрубленно говоря, введение трех уровней трудности и оптимального алгоритма перехода с уровня на уровень позволяет втрое сократить расходы на продолжительность тестирования.

Впрочем, выигрыш от адаптивности состоит не только в экономии времени, но и в информационной безопасности. Чем меньше заданий предъявляется одному испытуемому из банка заданий, тем менее становится «прозрачным», обозримым для испытуемых весь банк заданий.

Постепенное расширение банка заданий и создание специализированных версий ТОЗ для более млад-

*

Основы психодиагностики

ших классов будет создавать у детей привычку к выполнению таких процедур контроля знаний. Применение тематической блочной структуры в рамках одного предмета, наряду с адаптивными алгоритмами тестирования, не только сэкономит дорогое компьютерное время в компьютерных классах, но и позволит быстро и надежно локализовать «проблемные» зоны — провалы в усвоении материала у данного конкретного ученика.

Если тестовые задания не классифицированы по уровню сложности, то при применении компьютеров возможность для использования адаптивного тестирования в принципе сохраняется. В частности, может быть использован простейший АЛГОРИТМ «СХОДЯЩИХСЯ ПОРОГОВ». После предъявления какого-то начального набора заданий (минимально тематически представительного для данной учебной дисциплины) компьютерная программа начинает постоянно сравнивать (после каждого нового задания) текущий процент правильных ответов, показанный испытуемым, с двумя порогами — высоким порогом «зачета» и низким порога «незачета». Те испытуемые, которые хорошо овладели учебным материалом и достигли за минимальное число тестовых заданий верхнего порога (например, в 90 процентах правильных ответов), быстро получают «зачет» и освобождаются от дальнейшего тестирования. Так же быстро «освобождаются» те испытуемые, которые заведомо на выучили материал, и их ответы мало чем отличаются от случайного гадания (поначалу порог незачета может быть низким — в 40—50 процентов). Остальные испытуемые, попавшие в область неопределенности между двумя порогами, продолжают выполнение теста. С каждым новым заданиям два порога сближаются. Так что при исчерпании всех заданий, предназначенных для одного испытуемого (это не менее 40 за сеанс), каж-

*

Практические задами школьной психодиагностики

дый испытуемый либо попадает в группу успешных, либо в группы неуспешных (к последней относятся также те, кто не уложился с выполнением теста в отведенный временной лимит). Такая простейшая схема адаптивного тестирования обеспечивает серьезную экономию времени при проведении простейшей недифференцированной оценки уровня знаний («зачет/незачет»). Она может быть полезной и экономичной, например, в ситуации квалификационного отбора (селекции) кандидатов в группы, с которыми в дальнейшем производится более тонкая диагностика или специализированное дорогостоящее и индивидуализированное обучение.

В заключение подчеркнем, что адаптивное тестирование — такой подход к компьютерному тестированию, который фактически позволяет привнести в стандартные групповые тесты элементы индивидуализации, учета индивидуальных особенностей данного испытуемого в процессе тестирования. Границы применения адаптивного тестирования не замыкаются на проверке знаний или способностей. В принципе, подобный подход с определенными модификациями вполне применим и для тестирования сферы интересов, установок и черт личности.

Ключевые термины: тест общеобразовательных знаний (ТОЗ), банк заданий, тестовый диалог, дис-трактор, блочная рандомизация, конкурентная ва-лидность, лонгитюдное исследование, адаптивное тестирование, трехуровневый алгоритм, алгоритм сходящихся порогов.

Основы психодиагностики