Тест общеобразовательных знаний: компьютерное адаптивное тестирование
В отличие от предметно ориентированных тестов умственного развития (ТУР), описанных в предыдущей главе, в настоящей главе излагаются принципы создания Теста Общеобразовательных Знаний (ТОЗ). Если в различных вариантах ТУРа шкалы отражают прежде всего уровень сформированности определенных логических операций мышления, реализованных на материале понятий из школьных учебников (аналогии, обобщение и т. п.), то любые версии ТОЗ отражают в показателях по субшкалам достижения ученика по самим пред-
ОСНОВЫ ПСИХОДИАГНОСТИКИ
мотам школьной программы (математика, физика и
т. п.). Моли ТУР......междисциплинарный поихолого-
педагогический инструмент» то ТОЗ чисто педагогический инструмент, то есть педагогический тест достижений. Примеры-образцы отдельных заданий ТОЗ даются в параграфе «4.7.
Разработка ТОЗ для российской школы означает создание российского аналога SAT (Стоифордокий тест достижений или, как позднее его стали называть, — Школьный тест достижений), который, как известно, является в (ЛИЛ определенным стандартом федерального масштаба. Только наличие общефедераль-НОГО стандарта позволит обеспечить в России реальную эквивалентность аттестатов Зрелости, выяснить, в частности, объективную цепу невиданному количеству «медалистов», которые вдруг начинают
появляться в какой-нибудь рядовой и мало чем знаменитой школе где-нибудь в городе N-оке.
Программа создания и распространения российского ТОЗ должна, безусловно, учитывать как мировой опыт, так и специфику современной ситуации в России. Критики справедливо возражают: организационные решения, что стандартны для Запада в России могут не сработать из-за повиданного уровня «групповой сплоченности* (а попросту коррупции), имеющей место во всех слоях общества» в том числе; среди чиновников и учителей, занятых в системе образования.
Но и технологические возможности разработчиков тестовых методик не стоят на месте, Новые возможности, и прежде всего в плане обеспечения
информационной безопасности, дает компьютеризация.
Опишем здесь опыт решения проблемы создания ТОЗ, который накоплен в центре компьютерной психодиагностики «Гуманитарные технологии* при факультете психологии МГУ (руководитель центра —
■
Практический задачи школьной психодиагностики
А. Г. Шмелев). Данный материал поможет читателям не только сориентироваться в самой проблеме создания ТОЗ, но и получить опыт знакомства с кратким и типичным научным отчетом о проведении экспериментальной апробации некоторого теста в процессе его разработки, а также с перспективами использования компьютеров в процессе тестирования.
В отличие от Стэнфордского теста ТОЗ в своих субшкалах буквально повторяет названия учебных предметов и в этом смысле является формализованным компьютеризированным аналогом школьных выпускных и вузовских вступительных экзаменов.
С самого начала ТОЗ разрабатывается как принципиально компьютерный тест. Важнейшие его особенности таковы: наличие очень широкого компьютерного БАНКА ЗАДАНИЙ (длинного перечня) по каждому предмету и наличие особой программы ТЕСТОВОГО ДИАЛОГА, которая позволяет предъявлять каждому испытуемому по сути дела уникальную выборку заданий (вариант) из этого банка заданий. Далее сами авторы ТОЗ не знают, какие именно задания предъявит компьютер данному конкретному испытуемому. Если же кто-то получит доступ к тексту заданий ТОЗ, и расшифрует их кодировку, то для того, чтобы «обмануть» ТОЗ необходимо выучить не только правильные ответы к сотням заданий, но и научиться их отличать от ложных формулировок. Легче выучить стройно и логично написанный учебник, чем заниматься этой работой.
В первую версию ТОЗ, прошедшую апробацию на абитуриентах МГУ в 1995 году, вошло 360 заданий — по 45 заданий на каждый из 8 основных предметов школьной программы. Это математика, русский и литература, физика, химия, биология, история, география и иностранный язык (английский). В каждом задании испытуемому предлагалось 4 вари-
1 I • I
Основы психодиагностики
анта ответов, из которых 1 — правильный. В ра#!Р ботке заданий приняли участие независимые (не 31*** шие друг друга) учителя-предметники из московс*^**"^ школ и преподаватели МГУ, много лет участво***"1 шие в составлении и проверке заданий на встуГ*и~ тельных экзаменах. Задания проходили анонимйУ10 перекрестную предварительную экспертизу, и за**вМ лучшие из заданий были разбиты на однород*£*,1е блоки по тематике и уровню сложности. По сод^Р" жанию йадания охватывают всю программу среди:с***0 образования и ориентированы на выпускников шк^-71' абитуриентов вузов.
Испытуемый выполняет ТОЗ непосредственно **а компьютером. Программа тестирования (ТЕСТАН-^' «Гуманитарные технологии», 1995) последователь-**0 предъявляет вначале 15 заданий по математике, заТ®м 15 — по русскому и литературе и т. д. — всего 1 320 заданий за 80 минут. Компьютер автоматические** контролирует расход времени на каждый предмет* ** при исчерпании лимита времени по одному предг/г**-ту программа начинает предъявлять задания по следующему предмету, засчитывая «пропуск» испытуемому по всем заданиям, на которые он не усгтол ответить (из предусмотренных 15).
По каждому предмету 15 заданий представляют
пять тематических блоков и 3 уровня сложности -Применяется алгоритм БЛОЧНОЙ РАНДОМИЗАЦИИ, т. е. частично случайного выбора заданий, ограниченного рамками блоков — определенных подмножеств заданий, среди которых каждый р«з производится случайный выбор. Вначале предъявлю!-ются 5 самых легких заданий, затем 5 заданий среднего уровня трудности, затем — 5 самых трудимся заданий. В результате даже плохо подготовленные и испытывающие волнение испытуемые получают возможность с самого начала «зацепиться», справитьо-яс по крайней мере с первыми простыми заданиям:**.
Практический задачи школьной психодиагностики
Сильные испытуемые получают серьезное испытание на последней пятерке заданий. Здесь-то и проявляется различие между настоящими отличниками и «хорошистами». Самые слабые, как правило, просто не успевают приступить к пятерке самых трудных заданий, так как им не хватает времени.
Реальная трудность задания проверялась в пилотажном эксперименте и после этого корректировалась. В число легких попадали задания, с которыми справлялись более 70 процентов испытуемых, в числе трудных — с которыми справлялись менее 30 процентов испытуемых, остальные причислялись к средним по уровню трудности.
Схема начисления очков в ТОЗ-1 при расчете суммарного балла такова:
за правильный ответ — 4 очка,
за пропуск задания — 1 очко,
за ошибочный ответ — 0 очков.
Такая схема вносит необходимую поправку на вероятность случайных правильных ответов, которые по теории вероятности возможны с вероятностью 0,25.
После завершения такого нелегкого испытания испытуемые могли вспомнить только 10, максимум 25 процентов из предъявленных им заданий, но, конечно, не могли пересказать своим друзьям точные формулировки фальш-альтернатив (ложных ответов, или так называемых «дистракторов»). И если теоретическая вероятность повторения одного и того же задания у двух испытуемых равнялась 0,33-15 ~ 5 заданиям, то практически крайне редко два испытуемых могли вспомнить больше одного одинакового задания. Даже после интенсивного обсуждения впечатлений от теста между собой у испытуемых оставалось полное впечатление, что тест включает сотни заданий по одному предмету. Естественно, что при дальнейшем наращивании банка заданий в ТОЗ-2 та-
Основы психодиагностики
кое впечатление будет еще более усиливаться.
ТОЗ-1 имеет ряд модификаций для специальных групп абитуриентов- Например, версия ТОЗ-ПСИ (для абитуриентов психологического факультета) включала по 90 заданий всего по 3 предметам, входящим в состав вступительных экзаменов на факультет психологии МГУ: математика, русский и литература, биология. Каждый абитуриент отвечал за 50 минут на 90 заданий (по 30 на каждый предмет).
На этих абитуриентах факультета психологии проверялась, в частности, прогностическая валидность ТОЗ в отношении успешности сдачи вступительных экзаменов. Общая корреляция суммарного балла ТОЗ с суммарным баллом по вступительным экзаменам оказалась равной 0,61. При этом почти такое же значение достигла эта корреляция для субтеста «математика» (0,57). А вот с оценкой по сочинению балл по субтесту «словесность» коррелировал просто плохо. Сказалось, видимо, два обстоятельства: слабые представления абитуриентов о том, что такое «раскрыть тему», и высокая степень лотерейности в вариантах формулировок этих тем (вполне грамотным и в целом начитанным абитуриентам приходилось писать сочинения по авторам и произведениям, которых они либо никогда не читали, либо забывали и не успели повторить). Таким образом, невысокую суммарную корреляцию можно интерпретировать, в частности, как следствие низкой надежности не столько ТОЗ, сколько самого критерия — ведь элемент случайности на вступительных экзаменах выражен даже сильнее, чем в ТОЗ. За это говорит и факт резкого возрастания корреляции с результатами экзаменов для крайних групп по ТОЗ (самых успешных и самых неуспешных). Так, например, НИ ОДИН испытуемый с баллом ниже 50 процентов правильных ответов по ТОЗ не смог пройти на факультет психологии МГУ по конкурсу (конкурс был, как
ш ш
*
_
Практические задачи школьной психодиагностики
всегда, высоким — выше 7 человек на место). А самые лучшие абитуриенты по ТОЗ практически все успешно прошли конкурс.
Таким образом, на шкале ТОЗ можно найти граничные точки для «высшей» и «низшей» группы, позволяющие прогнозировать успешность при сдаче экзаменов с высокой степенью надежности — близкой к 0,95. Можно сказать, что для заведомо сильных и заведомо слабых учащихся будущие экзамены не оказываются «лотереей»: одни надежно их сдают, другие — надежно «проваливают». «Лотереей» с элементом везения-невезения экзамен становится для «середнячков», которые освоили учебную программу выборочно, частично.
Вопрос о «конкурентной валидности» ТОЗ по сравнению с вступительными экзаменами (т. е. позволяет ли ТОЗ лучше или хуже прогнозировать успешность обучения в вузе) может быть разрешен только после многолетнего, так называемого «лонги-тюдного» наблюдения за тем, как будут учиться в вузе студенты, прошедшие ТОЗ в 1995 году.
Конечно, версия ТОЗЛ есть только первый шаг к созданию.эталонной методики такого типа. Она нуждается в существенной модернизации, масштабной апробации и накоплению репрезентативных норм, чтобы занять место федерального стандарта в данной области.
*