Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса

Мировой опыт констатирует постоянно возрастающую роль тестовых форм контроля. В последние годы значительное внимание уделяется этим формам в российской высшей школе, о чем свидетельствует большое количество всевозможных научных публикаций, посвященных исследова­нию сущности и особенностей данного феномена. Среди отечественных ученых, успешно работающих в этой области, можно выделить B.C. Аванесова, З.Д. Жуковскую, В.П. Мизинцева, Ю.Г. Татура и других.

Педагогические тесты (далее по тексту — ТП) помогают получить бо­лее объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным стандар­там, выявить пробелы в их подготовке и подготовленности.

Педагогический тестследует понимать как систему заданий опре­деленного содержания, расположенных в порядке возрастающей труд­ности, создаваемой с целью объективной оценки структуры и измерения уровня подготовленности обучающихся¹.

Из определения следует, что ТП целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тес­товых заданий, образующих наилучшую целостность, и нарастанием труд­ности от задания к заданию.

Принцип нарастания трудности позволяет определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования — выявить наличие навыков и умений. Трудность задания как субъективное понятие определяется эмпирически, по вели­чине доли неправильных ответов. Этим трудность отличается от объективного показателя — сложности, под которой понимают совокупностьчисла понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.

Отметим, что задания теста представляют собой невопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых квалифицируются как истинные или ложные. Исходя из технологичности процедуры тестирования ответы кодируются двоичным кодом: «1» — ис­тинно и «О» — ложно, и в таком виде могут поступать в современные системы обработки информации.

Тестовое задание должно отвечать целому ряду требований.Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известный уровень труд­ности и коррелировать с выбранным критерием. Из перечисленных требо­ваний следует, что тестовые задания должны обязательно проверяться эмпирически. От таких заданий следует отличать задания в тестовой фор­ме, у которых отсутствуют системообразующие свойства например, сис­тема заданий не организована по принципу возрастания трудности.

Качество тестов традиционно оценивается двумя основными критериями.

Первый — надежность теста, ассоциируемая с точностью измерения, которая определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов или других методов контроля.

¹ Аванесов B.C. Научные проблемы тестового контроля знаний. — М., 1994.

Второй критерий - валидность теста, определяемая обычно как его способность измерять именно то, что он призван измерять по замыслу автора. При проверке ТП на валидность он подвергается экспертной оценке. Чтобы исключить угадывание, из общего суммарного балла вычитают корреляционные по угадыванию, т.е. количество баллов, которые могут быть получены обучающимися при этом, убирается.

Все задачи педагогического контроля можно условно разделить на два класса. В один класс входят задачи, связанные со сравнением учебных достижений обучающихся. Они решаются нормативно-ориентированным тестированием. В другой класс входят задали, связанные с оценкой степе­ни овладения учебным материалом. Они соответствуют критериально-ориентированному подходу.

В основе нормативно-ориентированных ТПлежит сопоставление инди­видуального балла испытуемого с тестовыми баллами, полученными дру­гими испытуемыми из той же группы. Известно, что уровень подготовки учебной группы зависит от многих факторов: состава группы, доминиру­ющей мотивации в обучении, качества преподавания, и даже количества занятий, попавших на праздничные дни. В качестве недостатка названно­го класса тестирования важно указать и такой: испытуемый из слабой группы, показавший в своей группе наилучший результат, может ока­заться среди отстающих при сравнении его балла с результатами тести­рования в сильной группе.

В рамках одного учебного заведения эта проблема преодолевается до­вольно просто. Необходимо протестировать по одному и тому же тесту все учебные группы или прибегнуть к формированию так называемой выборки стандартизации. Это специально подобранная репрезентативная группа испытуемых. Результаты тестирования такой выборки называются тестовыми нормами. Отсюда и происхождение термина: «нормативно-ориентированное тестирование». Если выборка репрезентативная, то, сопоставляя индивидуальный балл с полученными нормами, можно по­лучить объективную оценку уровня достижений отдельного испытуемого по сравнению с уровнем достижений всех обучающихся, и эта оценка уже не будет зависеть от уровня подготовленности конкретной учебной группы, в которой проводилось тестирование. Специфика нормативно-ориентированных ТП тесно связана с их основной задачей: как можно более четко дифференцировать испытуемых.

Критериально-ориентированный ТПпредставляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полно­го объема знаний, умений и навыков, которыми должны овладеть обучаю­щиеся в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать. Выделяют два вида критериально-ориентированных ТП.

Первый вид (по-английски его обычно называют domain-referenced tests) предназначен для оценки доли от полного объема учебного материала, \которую усвоили испытуемые, измеряемую обычно в процентах. Этот вид ; теста позволяет также оценить степень овладения тем или иным умением или навыком. Если испытуемый полностью овладел измеряемым уме­нием и выработал соответствующий навык, то он в отведенное время выполнит 100% заданий. Если умение еще не сформировано, то не будет выполнено ни одного задания. Если умение находится в стадии форми­рования или даже сформировано, а навыка еще нет, то будет выполнена меньшая или большая часть заданий. Процент их правильного выполне­ния и является оценкой степени овладения материалом.

Второй вид критериально-ориентированных тестов (mastery tests) ис­пользуется для классификации испытуемых, разделения их на две (или более) группы на основании заранее выработанного критерия (зачет — незачет, аттестован - не аттестован). Для того чтобы быть отнесенным к группе «зачет» или «аттестован», испытуемый должен достичь необходи­мого минимального для этой группы уровня овладения учебным матери­алом. Этот уровень устанавливается разработчиками теста и является критерием, на основании которого принимается конкретное решение относительно каждого обучающегося. В тесте критерий выражается опре­деленным количеством заданий. Если испытуемый выполняет данное или большее количество заданий, он аттестовывается, в противном случае — нет. При этом за критерий обычно принимается 80-90% от общего числа заданий в тесте, и тест включает небольшое количество заданий повы­шенной трудности. Выбирать критерий, равный 100%, нецелесообразно, так как тестирование носит вероятностный характер и испытуемый, пол­ностью усвоивший необходимый материал, может дать неправильные < ответы на несколько заданий в силу случайных обстоятельств, тем более если задания давались в закрытой форме.

Нормативно- и критериально-ориентированные тесты можно исполь­зовать для перевода тестовых баллов в традиционную систему оценок. Например, если испытуемый выполнил более 90% заданий, то он полу­чает оценку «отлично», решивший от 75 до 90 % заданий — «хорошо», от 50 до 75% - «удовлетворительно». Критерий устанавливается самими раз­работчиками теста и зависит от сложности содержания и планируемой трудности задания.

В настоящее время в дидактике выделяют четыре основные формы тестовых заданий.

1. Задания закрытой формы, в которых обучающийся выбирает пра­вильный ответ из нескольких правдоподобных, предложенных на выбор; Эти правдоподобные версии называются «дистракторами». Чем логичнее «дистрактор», тем чаще на него «попадается» студент, давая неправильный ответ. Плохие «дистракторы», которые обучающиеся не выбирают в силу их абсурдности, целесообразно убрать из тестового задания.

2. Задания открытой формы, когда ответы дают сами испытуемые,
дописывая ключевое слово в утверждении и превращая его в истинное
или ложное высказывание. Такое тестовое утверждение содержит в одном
предложении и вопрос, и ответ. Оно должно состоять из небольшого количества слов (чем меньше, тем лучше), а ключевое слово, которое вписывает обучающийся, должно завершать фразу. При формулировании задания важно минимумом слов добиваться максимальной смысловой ясно­сти и однозначности содержания задания.

3. Задания на соответствие, в которых с элементами одного множества
требуется сопоставить элементы другого множества, причем число элементов во втором множестве должно на 20—30% превышать число элементов первого множества. Это обеспечивает обучающемуся широкое поле для поиска правильного ответа.

4. Задания на установление правильной последовательности. Обучающийся
указывает с помощью нумерации операций, действий или вычислений
требуемую заданием последовательность. Такие задания хороши в тех об­ластях учебной или профессиональной деятельности, которые хорошо алгоритмизируюся.

Среди преимуществ педагогических тестов перед традиционными мето­дами контроля можно выделить следующие:

♦ во-первых, они позволяют повысить объективность контроля, исключить влияние на оценку побочных факторов, таких, как личность преподавателя и самого обучающегося, их взаимоотношения и т.п.;

♦ во-вторых, оценка получаемая с помощью теста, более дифферен­-цирована. В отличие от традиционных методов контроля, где использует­-
ся 4-балльная шкала, результаты тестирования благодаря особой орга­
низации могут быть представлены в более структурированном виде, со­
держащем множество градаций оценки, а благодаря стандартизирован­
ной форме оценки педагогические тесты позволяют соотнести уровень
достижений обучающихся по предмету в целом и по отдельным суще­-
ственным его элементам с аналогичными показателями в группе или
любой другой выборке испытуемых;

♦ в-третьих, тестирование обладает более высокой эффективностью,
чем традиционные методы контроля. Его можно одновременно прово­-
дить как в группе, так и на курсе или факультете. При этом обработка
результатов тестирования с использованием специальных "ключей" для
теста производится намного быстрее, чем, например, проверка пись­-
менной контрольной работы;

♦ в-четвертых, показатели ТП ориентированы на измерение усвое­-
ния ключевых понятий, тем, элементов учебной программы, а не конк­-
ретной совокупности знаний, как это имеет место при традиционной
оценке. Применяя батарею ТП, можно выстроить профиль овладения
студентов всеми элементами учебной программы;

♦ в-пятых, ТП обычно компактны и, как правило, легко поддаются автоматизации.

Безусловно, у тестирования как метода контроля есть и свои ограни­чения. Легче всего с помощью педагогического теста проверить степень овладения учебным материалом. Проверка глубинного понимания пред­мета, овладения стилем мышления, свойственным изучаемой дисципли­не, в этом случае весьма затруднительна, хотя в принципе возможна. Отсутствие непосредственного контакта с обучающимся, с одной сто­роны, делает контроль более объективным, но с другой, — повышает вероятность влияния на результат других, случайных факторов. Таким образом, можно сделать вывод, что наилучший эффект дает сочетание в рамках технологии обучения педагогических тестов с традиционными методами контроля.

Критика тестирования, которую можно слышать из уст отдельных преподавателей, часто обусловлена непониманием специфики этого ме­тода и реальных возможностей его использования. Она правомерна тог­да, когда при некомпетентном использовании педагогических тестов аб­солютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестиро­вания заключается еще и в том, что можно оценить степень этой вероят­ности и, следовательно, знать, насколько точен полученный результат.