Как происходит организация процесса тестирования

Спектр применения тестов очень широк от короткого опроса после объяснения текущей темы до итоговых, выпускных или вступительных экзаменов. При этом для многих высших учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний. Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. В заключение можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Программный комплекс АСАТ (автоматизированная система адаптивного тестирования) предоставляет следующие возможности по организации процесса тестирования:

Автоматизация процесса создания тестов, качественное проведение процесса тестирования.

Открытость и наращиваемость системы.

Отсутствие жесткой привязки к какому-либо предмету.

Легкость создания и модификация тестов.

Обеспечение возможности многопользовательской работы.

Настройка (адаптация) тестового материала под индивидуальные особенности обучаемого (студента, учащегося, и т.п.).

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого.

Наполнение базы данных тестовыми заданиями, позволяющими работать как с текстовой, графической, так и с динамической тестовой информацией.

Возможность создания различных заданий из одного набора вопросов.

Разделение тестовых заданий по категориям, для получения валидных результатов при проведении тестирования по фиксированным предметам.

Возможность проведения тестирования по частям курса и как следствие проведение итогового экзаменационного тестирования по всему курсу.

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса.

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых.

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки.

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Оперативный сбор и анализ результатов тестирования на любой момент времени с возможностью формирования периодических отчетов и ведомостей по различным запросам.

По способу оценки результатов, тесты бывают двух видов: традиционные и адаптивные. Преимущество адаптивного теста перед традиционным - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов. Еще один значимый эффект - повышение достоверности, так как в этом случае исключается быстрое изучение банка заданий путем простого "прощелкивания" вариантов на компьютере (таким образом, можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В данной системе тестирования адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних, трудных заданий в зависимости от числа правильных ответов, зарегистрированных в ходе сеанса тестирования. Следует заметить, что переход на адаптивную методику возможен только в результате накопления значительного банка заданий с эмпирическим измеренным уровнем трудности. Адаптивность сочетается с принципом "лестничного алгоритма" - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляются легкие задания, затем - средние и, если тестируемый успешен на предыдущих уровнях, - трудные. После каждого ответа программа тестирования определяет обоснованность так называемого «досрочного перевода» тестируемого на более высокий уровень трудности. На каждом шаге оценивается значимость различий между числом правильных и неправильных ответов. При значениях меньших чем 5%-ый уровень ошибки (в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется перевод тестируемого на более высокий уровень трудности. Если задания данного уровня исчерпались, а тестируемый не перешел на следующий уровень трудности, то процесс тестирования завершается и осуществляется определение уровня знаний тестируемого.

Система реализована в виде трех независимых модулей:

· модуля тестирования (предназначенного для тестируемых);

· модуля создания и редактирования тестов (предназначенного для преподавателя);

· модуля статистики и анализа результатов (предназначенного для преподавателя), которые могут устанавливаться независимо друг от друга на различные клиентские машины;

для сохранения исходных данных и результатов проводимых тестов используется база данных, которая хранит банк тестовых заданий, параметры настройки теста и процесса тестирования, информацию для аутентификации пользователей, результаты тестирования и другую информацию по обработке данных.

Модуль создания и редактирования тестов осуществляет идентификацию зарегистрированных или регистрацию новых преподавателей, обращается к базе данных, в которой хранятся тестовые задания и ответы к каждому тесту, а также его параметры, и позволяет преподавателю создать новый тест, изменить настройки имеющегося теста, редактировать вопросы и ответы.

Следует заметить, что преподаватель, зайдя в систему под своим регистрационным именем и паролем, получает доступ только к своей совокупности тестов, не имея возможности просмотреть или изменить тесты другого преподавателя.

Используя базу данных, модуль тестирования проводит идентификацию зарегистрированных или регистрацию новых пользователей, выбор теста, осуществляет тестирование испытуемого посредством вывода на экран вопроса и последующего получения ответа, обрабатывает поступившие данные и записывает полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования преподавателем.

Тестируемые могут получить доступ только к определенным тестам, заранее назначенным преподавателем. При этом используется адаптивный алгоритм контроля знаний, обуславливающий выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы. В данной системе отсутствует возможность пропустить вопрос и вернуться к нему в конце тестирования, это связано с тем, что в зависимости от того, как тестируемый ответит на текущий вопрос, обуславливается выбор очередного задаваемого вопроса. По окончании выполнения теста для тестируемого выводится результат тестирования и краткий комментарий.Результатом тестирования является оценка, которую пользователь получает исходя из критериев, заданных преподавателем для данного теста.

Модуль статистики и анализа результатов тестирования предоставляет преподавателю возможность просмотреть результаты тестирования отдельного студента или целой группы, по одному или нескольким тестам с различной степенью детализации. При этом в отчете отображаются результаты всех студентов по всем пройденным ими тестам, относящимся к выбранному предмету определенного преподавателя.

Так как тестирование основывается на принципе адаптивности, то вопросы, а также их количество в пределах одного теста для каждого пользователя будет неодинаковым. Поэтому в данном модуле предусматривается возможность вывода не только общей информации, но и более детального отчета о прохождении теста, который содержит информацию о том, какие пользователь получал вопросы и как он на них отвечал.

Созданная система соответствует современным требованиям, предъявляемым к классу подобного типа систем, как в области педагогического тестирования, так и в области информационных технологий.