Компьютерных тестирующих программ

Компьютеризацию тестирования следует считать подведением адекватной технической базы под наиболее развитую форму педагогических измерений. В связи с этим нужно придать должное значение компьютеризации тестирования, начиная с усвоения накопленного опыта в данном деле.

Сейчас разработано множество компьютерных тестовых программ (КТП). И для того, чтобы не было эффекта «изобретения велосипеда» важно знать существующие технологии КТП, разработанные другими. К сожалению, пока нет описания всего этого опыта, тем более обобщения в форме общей теории КТП. Центры профессионального тестирования уклоняются от выполнения координирующей функции в этом деле.

Одновременно с процессом тестизации педагогических измерений крепнет его оценка как тестомании. Для не допущения дискредитации тестирования как средства педагогических измерений нужна общая теория педагогических измерений, в том числе и такой ее раздел как систематика дидактических принципов построения КТП. Данную проблему следует считать сейчас главной, но разрешимой при определенных условиях. Даже попытки объяснить ее суть не воспринимаются педагогами.

***

КТП являются главной формой тестов. В связи с этим абстрагируемся здесь от иных форм тестов. В стране существует, видимо, большое число КТП, разработанных в вузах. Они созданы в последние годы и на условиях коммерческих продуктов. Они – объекты собственности, ноу-хау, коммерческой тайны. Пока не встречал даже их перечисления, тем более описания. Только отдельные авторы описывают свои КТП, обычно в вузовских сборниках. Все КТП построены не одинаково, у них разные возможности, они динамичны. И очень важно знать дидактические возможности всех КТП, что требует систематики дидактических принципов их построения. Но для этого надо иметь описание существующих КТП. Это первоочередная проблема и без её решения возможна профанация тестирования.

Интернет дает некоторую информацию по данной проблеме, но она абсолютно не достаточна для её решения. Имеется много информации в малотиражных (100-300 экземпляров) вузовских сборниках. Но даже возможности зала новых поступлений РГБ не позволяют выявить нужную информацию из громадного их потока, обобщить данный опыт, разработать общую теорию педагогических измерений, в том числе КТП.

Важно найти иные возможности для выяснения данной информации, сбора описаний существующих КТП, теоретического их обобщения и т.п. Журнал «Педагогические измерения» мог бы стать таким центром консолидации усилий энтузиастов КТП – составления библиографии, сборников описаний КТП, упорядочения терминологии и т.п. Надо иметь в виду трудность восприятия описаний КТП, которые часто сами по себе не понятны даже для тех, кто более или менее знает КТП. Важно иметь в одном месте образцы таких КТП для того, чтобы уяснить их. Демонстрационные (рекламные) образцы КТП порой не достаточны для достижения данной цели.

Важно объединение усилий тех, кто ведет поиск информации о существующих КТП с целью систематики их дидактических принципов. Условием плодотворности их сотрудничества может быть только усвоение ими технологии философствования как средства систематики информации. Такой подход и иллюстрируется здесь на основе ограниченного числа КТП.

Используя мизерную долю имеющихся КТП, хочется верить в то, что удалось установить важнейшие дидактические принципы их разработки. Иными словами, хочется верить в то, что сформулированные здесь дидактические принципы построения КТП репрезентативно представляют все их множество.

Нужна систематика «оболочек» КТП, но для этого нужно сначала иметь их описания авторами. Скажем, оболочки могут быть специфичными для отдельных наук, например те, которые используют для обучения русскому или английскому языку. Их нельзя применить для обучения экономики. Существуют оболочки, которые можно применять при изучении любого предмета, например КАТ и т.д.

Систематика КТП всегда относительна. Её исходным может быть только знание всего множества КТП. Но главным её фактором следует считать эпистемологическое умение систематизировать. Здесь дана начальная версия систематики КТП, показывающая возможности кладистики как универсальной систематики на основе технологии философствования.

Возможным подходом к систематике КТП может быть различие их форм в зависимости от сферы проверки на основе следующих признаков понятий:

Знаки (имена понятий) = синтактика

↨

понятия (содержание понятий) = семантика

↨

объекты (объем понятий) = прагматика

Несколько иной подход к ним представим схемой:

тесты

┌─────┴────┐

вербальные ® концептуальные

┌─────┴────┐

эрудиции ® интеллектуальные

Синтактика отражает строение знаковых систем (языка). Для этого надо построить их эволюционный ряд. Применительно к естественному языку это требует выяснения грамматической правильности информации, в том числе правильности написания слов (орфографии), расстановки знаков препинания (синтаксис), согласования слов и типа их, и т.п. Все это должны знать обучаемые и это надо проверять, в том числе тестами. Имеются такие КТП, например «Репетитор». Частной формой таких тестов могут быть вербальные тесты. Они проверяют знание значения слов, в том числе соотнесение знаков и понятий. Наиболее развитой формой знаков являются слова, термины.

Семантика показывает содержательную сторону отображаемых знаковыми (языковыми) системами объектов. Иными словами речь идет о том, чтобы осмыслить то, что существует в голове у человека, соответствующее тому или иному знаку, в том числе слову. Моё видение данной проблемы изложено в самоучителе мышления. Естественно его надо уточнять. Применительно к естественным языкам это проблема, прежде всего, понятий (концептов). Поэтому и важны концептуальные тесты, которые проверяют знание содержания понятий. Современная (аристотелева) логика представляет технологию понятий. Используя ее как основу, проверяют соотнесения понятий: тождественные, пересекающиеся, разные и т.п. В частности, такой подход имеется в книге Б.Л. Яшина [242]. Это тесты эрудиции. Более сложной формой таких тестов следует считать проверку интеллектуальной технологии, т.е. процесса действия с понятиями. Это интеллектуальные тесты, проверяющие ход рассуждения – владение технологией мышления, философствования. В таком случае надо знать основные последовательности, ряды понятий и технологию их построения. Например, ряды – пространственные и временные, случайные и каузальные (причинно-следственные), восходящие (простое - сложное) и нисходящие (сложное – простое), исторические и логические и т.п. Все это изложено в «Самоучителе мышления» и проиллюстрировано с помощью схемы «технического крепежа». Скажем, А есть Б, Б есть В, следовательно А есть В и т.п. Или А сложнее Б, Б сложнее В и т.д. В таком случае происходит указание родо-видовых соотнесений, сложности понятий и т.п.

Прагматика акцентирует содержательную сторону знаний, отражаемых понятиями (объемы понятий). В таком случае главным является знание объектов.

Иной подход к систематике КТП.

Тесты

┌─────┴────┐

традиционные ® адаптивные

Традиционные тесты состоят из одинакового числа заданий всем («тесты фиксированной длины»). Адаптивные тесты имеют разный объем (разную длину), в зависимости от уровня образованности (подготовленности) тестируемого. В связи с этим для разных тестируемых программ автоматически подбирают траекторию контроля, соответствующую его подготовленности. Слабым обучаемым КТП не дают сложных заданий, а сильным – слабых заданий и т.п. Эта идея рациональна, но пока скорее потенциальна. Она требует адекватных тестовых заданий, что практически бессмысленно составлять для доктринальной науки («измов») в виду ее идеологической предвзятости. Такие тесты - «бабочки-однодневки», жизнь которых скоротечная, а труд на их создание – мартышкин.

Адаптивное тестирование – элемент не обучения, а профессионального отбора. Его место не в вузах, а при приеме на работу. Когда тест длится 15-25 часов, то имеет смысл оптимизация его длительности с помощью адаптивных тестов.

В настоящее время существует множество форм КТП. Нет ни одного специалиста, который бы знал все их множество в стране. В результате каждый педагог вынужден как бы начинать с начала:

· усвоить технологию тестирования,

· разработать тестовые задания

· разработать КТП

· применять.

Первые три элемента требуют существенных усилий. Они предопределяют плодотворность тестирования. И сегодня нет возможности адекватно знать КТП. Каждый разработчик начинает как бы с начала, а затем постепенно совершенствует свой подход. И если ранее иного не могло быть, то сегодня такой путь нерационален. Выбор рационального пути зависит не только от педагога, но и от всего общества педагогов, особенно тех, кто уже давно освоил тестирование, накопил опыт и т.п. В связи с этим важно обобщить существующий опыт. Сейчас на пути проблеме стоит коммерческая тайна исследователей. Тем не менее, в печати, СМИ, на рынке КТП, в интернете имеются некоторые характеристики КТП. Важно обобщить доступные сведения о КТП с тем, чтобы исключить дублирование, «изобретение велосипеда» и т.п. При том речь идет не о содержании самих КТП, а о дидактических принципах их функционирования.

Тестирование с помощью бумажных тестов представляет собой процесс:

- подготовки заданий,

- печатания их на носителе,

- предъявление обучаемым,

- проверку их,

- сообщение результатов обучаемым,

- накопление их для анализа и т.п.

В зависимости от используемого типа тестов данные элементы существуют обособленно во времени или происходят необособленно (практически одновременно). Важно аналогично рассмотреть основные типы КТП. Пока нет описания существующих КТП, а поэтому покажу на примерах саму проблему с надеждой последующего обобщения дидактических принципов КТП.

КТП

┌─────┴────┐

обособленно ® сразу

┌─────┴────┐ (СУБД СТ)

последовательно ® трех стадийно (в ЕГЭ)

┌──────────┼───────────┐

подготовить® предъявить® проверить

В авторской СУБД СТ все это происходит практически одновременно. На основе введенного словаря науки, СУБД СТ каждый раз заново автоматически генерирует тестовое задание, и сразу же предъявляет его студенту, который отвечает и обычно сразу же видит свои ошибки и их число, а затем видит общий результат тестирования. Совсем иначе все это происходит у многих иных типов КТП, особенно при проведении ЕГЭ.

Подготовка ЕГЭ требует разработки «банка тестов» или «КИМ». В журнале «Педагогическая диагностика» объявляли конкурс на разработку КИМов для ЕГЭ. КИМы рецензируют, апробируют и т.п. затем вводят в «оболочку». Затем для каждого случая тестирования определяют число заданий в каждом варианте, число вариантов, однородность заданий и т.п.

Предъявление требует печатания заданий каждому испытуемому, пересылку, обеспечение конфиденциальности, предъявление. Школьники их выполняют и сдают. Они делают это так, чтобы можно было сканированием ввести в компьютер. Недостатки данного момента ЕГЭ описаны многократно, в частности С. Телегиным [218].

Проверка. Компьютер проверяет результаты выполнения заданий. При этом возникают сбои сканирования и т.п. и надо все это контролировать персоналу. Затем их пересылают в центры тестирования, печатают, обнародуют их на сайтах интернета.

КТП – сложная система, требующая систематики разных ее элементов. Один из них - способы выбора тестовых заданий из банка тестов:

Выбор из банка тестов

┌─────┴────┐

Случайный ® ориентированный

┌─────┴────┐

Просто ® детерминированный

┌─────┴────┐

просто ® траекторией

(адаптивный)

СУБД СТ предполагает разные типы выбора. В простом случае это случайный выбор из всего множества. Возможен и выбор определенного множества из 5 уровней. Данная КТП также позволяет детерминировать выбор по темам предмета, выделив их в задания. Наиболее сложная детерминация выбора заданий в адаптивных тестах.

Сложность тестовых заданий

┌──┴──┐

Одноуровневая ® разно уровневая

┌──┴──┐

переключаемая® автоматически

настраивающаяся

┌──┴──┐

Растущая ® «адаптивная»

Сложность тестов может быть одинаковая. В таком случае дают определенное их множество. Например, это так в СУБД СТ. При желании можно переключить уровень сложности предъявляемых единиц теста, что может сделать только администратор. Существуют и такие тестовые комплексы, в которых последующие задания автоматически является более сложным или адаптивным к уровню эрудиции студента.

Ставит ли компьютер оценку?

┌─────┴────┐

Нет ® Да

┌─────┴────┐

Предварительную ® окончательную

В первом случае, компьютерная программа определяет уровень неправильных ответов – число ошибок. А педагог сам определяет оценку в зависимости от обстоятельств, с учетом других данных о работе студента в году и т.п. СУБД СТ оценку не ставит. Имеются КТП которые ставят окончательную оценку студенту с учетом его работы в году.

Предъявление тестовых заданий

┌─────┴────┐

в любой ® в строгой

последовательности последовательности

┌─────┴────┐

Без их пропуска ® с возможным пропуском

некоторых из них

┌─────┴────┐

Без возможности ® с возможностью

возврата возврата к пропущенным

элементам

В СУБД СТ последний тест позволяет делать задания в любой последовательности, исправлять ошибочно указанные версии до момента проверки. Все остальные тестовые задания представляют собой строгую последовательность без пропуска и т.п. В других версиях КТП имеются возможности пропуска заданий и даже возврата к ним.

Продолжительность тестирования

┌───┴───┐

игнорируется ® учитывается

┌───┴───┐

считывается ® лимитируется

педагогом ┌───┴───┐

устанавливается предел ® воздействует на оценку

Имеются программы, которые не учитывают длительность тестирования. Обычно же они фиксируют длительность ответа, и педагог может сам записать его и использовать как фактор качества выполнения тестов. Такое предусмотрено в СУБД СТ. В первой ее версии была заложена возможность заранее устанавливать длительность времени ответа, после которого программа прекращала тестировать. В некоторых КТП предусмотрена дифференцированная оценка ответа в зависимости от длительности ответа. Вероятно, имеются и другие версии учета продолжительности выполнения тестов. Несколько иначе:

Время выполнения

тестового задания

┌─────┴────┐

Не учитывается ® учитывается

┌─────┴────┐

По каждому заданию ® и по всей программе

┌─────┴────┐

Накопительно ® лимитно

┌─────┴────┐

Простое отключение ® дифференциро-

ванная оценка

До начала тестирования педагог устанавливает предел времени, по истечению которого КТП отключает тестирование. Такая возможность была в СУБД СТ 1. Вторая и третья версии учитывали только время выполнения каждого задания, а последняя версия показывает также накопительно общее время выполнения задания. В КТП других авторов имеются возможности дифференцированной оценки каждого задания в зависимости от общего времени его выполнения. Например, общее время – 135 минут, из них 90 минут – базовое время при 100% эффективности ответа. А потом снижаются балы на 15%.

Сложность заданий

┌─────┴─────┐

Однородная ® разноуровневая

┌───┴───┐

Возрастающая ® «траекторная» (адаптивная)

СУБД СТ работает в одном режиме – одноуровневые, хотя и разной сложности, задания всем обучаемым. Настройкой можно изменить сложность заданий для разных групп испытуемых. Тестовый бизнес строится на возрастающей сложности заданий, а в адаптивные программы тестирования (КАТ) встроены разные траектории сложности.

Композиция тестов бывает различной:

· Сложности

· типов (форм) заданий (закрытые, открытые, последовательности, соответствия)

· длительности тестирования (минуты, часы, десятки часов)

· целей: учебные, экзаменационные, конкурсные

КТП

┌─────┴────┐

индивидуальная ® стандартная

┌─────┴────┐

специальные ® универсальные

┌─────┴────┐

оболочки ® СУБД

┌─────┴────┐

просто ® «Системное

тестирование»

Индивидуальные, авторские КТП были исходной их формой. Они существуют и сейчас. Некоторые педагоги разрабатывают их на основе опережающего изучения технологии компьютерного тестирования с помощью специальных конструкторов КТП.

Обычно разрабатывают стандартные КТП. Простой из них можно считать специальные программы для конкретных наук, например, для изучения языка. Эти программы вряд ли можно приспособить для других наук. Более развитые универсальные КТП. Простой их формой являются «оболочки», которые можно наполнять содержанием многих наук. Они естественно многовариантные, что надо специально изучать. Простые СУБДы являются более сложной формой оболочек, которые многообразят предъявление тестов, меняя места расположения правильных ответов, последовательность заданий и т.п. СУБД СТ автоматически генерирует тестовые задания каждый раз по опережающе настроенной версии – число заданий, число предъявляемых ответов в основных заданиях, уровень сложности предъявляемых терминов и др.

Использование «шпаргалок» при КТП

┌─────┴────┐

Нельзя ® можно

┌─────┴────┐

Обычных ® технических

Естественно желание студентов воспользоваться шпаргалками. Педагогу приходиться быть внимательным для того, чтобы исключить их использование студентами. Шпаргалки приходиться отбирать, наказывая или нет, в зависимости от обстоятельств. В таком случае можно давать сколько угодно времени на выполнение заданий. И студенты будут «тянуть время» в надежде на шпаргалку. В принципе вполне допустимо использовать обычную шпаргалку, в данном случае словарик как базу данных СУБД, оговорив время выполнения заданий. Четыре задания по 12 элементов в СУБД СТ 4.1. делают минимально за 4 минуты, часто в пределах 10 минут, обычно за 15 минут. Можно установить такой порядок:

До 10 минут – норма

Более 10 мин – минус бал

До 20 минут – минус два бала

В таком случае можно разрешить пользоваться словариком. И ничего страшного нет, если студент посмотрит 1-3 слова. Если больше, то он рискует получить минус бал или два…

Другое дело технические шпаргалки. Скажем, студент делает программу для компьютера, которая позволяет ему легко поставить на данный компьютер и затем пользоваться словариком при ответе на тест (такая попытка была). Не зная компьютерного программирования, я не могу оценить такой возможности, но допускаю ее. А поэтому надо исключить возможность установки таких программ, их использования в качестве шпаргалок. Особенно это важно при тестировании в сети, когда нужная шпаргалочная программа поставлена где-либо в ином её месте.

Последовательность вариантов ответов в задании

┌─────┴────┐

неизменная ® изменяемая

┌─────┴────┐

изредка каждый раз

педагогом ® программой

Изменение баз данных

┌───┴───┐

Неизменная ® изменяемая

┌───┴───┐

Программистом ® педагогом

Описания компьютерных тестовых программ обычно фрагментарно, например КТП «Нейрон» Новосибирского государственного технического университета, Новосибирского гуманитарного института, Самарской государственной экономической академии.

Время тестирования

┌───┴──┐

не учитывается – учитывается

┌───┴──┐

интуитивно - статистически

По гуманитарным наукам время рассчитывают обычно из расчета 1-2 минуты на задание. На эту тему высказано много аргументов.

Определение уровня ответов может быть разным. Скажем, число ошибок уже достаточно само по себе. При этом его сопоставляют с эталоном, например, 10% - ошибок отлично, 20% - хорошо, 30% - удовлетворительно. Часто переводят их и в балы. В таком случае, скажем, за верные ответы назначают определенное число балов, скажем, +5, а за ошибочные «-1» и 0 – в случае отсутствия ответов.

Ответы на задания

┌─────┴────┐

Однократные ® исправляемые

┌─────┴────┐

До проверки ® после проверки

Работа с каждым элементом тестового задания может быть однократной. Это в тех случаях, когда программа автоматически меняет задания. Существуют КТП, которые позволяют исправлять выбранное решение (задание – «свободный ответ» СУБД СТ до проверки). Существуют и такие программы, которые предлагают ответить еще раз на тест при неправильном первом ответе. В таком случае используют особую систему оценки таких ответов.

Использованные выше схемы являются кладистической формой систематики объектов на основе их развития. Ниже даны традиционные версии такого объяснения объектов.

Правильность выполнения тестовых заданий может показываться сразу или только после выполнения задания в целом. При этом показывается ошибка в каждом задании или обобщенно – таблично или графически (диаграммы, гистограммы).

Порядок предъявления тестовых заданий: постоянный или переменный, случайные последовательности или тесты с взаимозаменяемыми вопросами, одноуровневые или адаптивные.

При систематике следует различать группы КТП – визуальные и звуковые, а также их комбинация. В простом виде тесты предъявляют только зрительно - словами, графиками и т.п. В более сложном случае используют звук - голос или музыка.