Эмпирические требования к качеству тестовых заданий

Тестовые задания (равно как и задания в тестовой форме) отвечают требованиям наличия цели, краткости, технологичности, логической формы высказывания, наличия определенного места для ответов, одинаковости правил оценки ответов, правильности расположения элементов задания, одинаковости инструкции для всех испытуемых, адекватности инструкции форме и содержанию задания.

С помощью цели можно определить миссию, характеристики задания. Краткость обеспечивается тщательным подбором слов, символов; хорошо, когда задание содержит не более одного придаточного предложения. Под технологичностью понимается компоновка заданий, которая позволяет весь процесс тестирования или его большую часть вести быстро, точно, экономично и объективно. Логическая форма позволяет превратить утверждение ответа учащегося в форму истинного или ложного утверждения. Наличие определенного места для ответов является внешним признаком задания в тестовой форме.

Правильность расположения элементов задания является требованием, помогающим испытуемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение. Одинаковость правил оценки ответов также одно из важных средств организации процесса педагогических измерений. Адекватность инструкции форме и содержанию задания означает взаимное соответствие перечисленных компонентов, что необходимо для выполнения заданием своей функции.

Тестовое задание оценивается по конкретности и абстрактности, глубине обобщенности, полноте знаний. Задание должно быть легко понимаемым, однозначным, по возможности кратким. Без эмпирической проверки задания не могут называться тестовыми. Традиционные вопросы, требующие многословных ответов, не рекомендуется включать в тест.

Чем глубже и полнее отражается в тестовых заданиях содержание учебной дисциплины, тем увереннее можно судить о содержательной валидности. Создать тест, включающий все вопросы дисциплины, трудно и далеко не всегда рационально. В тестовые задания включаются те основные, значимые положения, которые обучаемый должен знать в результате изучения дисциплины.

Содержание тестовых заданий должно соответствовать материалам рекомендуемых учебников, доступных учащимся инструктивно-методических материалов. Это особенно важно для новых методик расчетов, неоднозначно трактуемых понятий, терминов.

При разработке теста необходимо учитывать принципы отбора содержания учебного материала для тестовых заданий: значимость (наиболее важные, ключевые элементы знания); научная достоверность (спорные точки зрения включать в тест не рекомендуется); соответствие уровню современного состояния науки (включение в тест не только достоверного, но и современного научного материала); репрезентативность (полнота содержания, достаточность для контроля); вариативность содержания (изменение теста по мере изменения содержания учебной дисциплины, количества часов, отводимых на ее изучение, разное соотношение простых и трудных заданий для слабых и сильных классов, учеников); возрастающая трудность (от легких заданий, которые верно выполняют большинство обучаемых, до самых трудных). Важно также соотношение теоретических и практических заданий.

При расположении тестового задания важно шрифтовое и цветовое выделение вопроса и ответов. В. С. Аванесов в этой связи рекомендует набирать вопросы прописными буквами, а ответы – строчными. Однако возможны и другие варианты. Общим правилом является то, что шрифтовое и цветовое выделение текста не должно отвлекать внимание от содержания задания. Кроме того, размер шрифта теста, шрифтовое и полиграфическое оформление должны соответствовать возрасту детей, для которых проводится тестирование.

Также важно:

· пространственно отделять ответы посредством отступа, располагать ответы в один или два столбца (более не рекомендуется);

· располагать задание на одной странице;

· обеспечивать достаточное место для ответов в случае задания открытой формы;

· в случае использования невербального материала обеспечить высокое его качество;

· в том случае, если тестирование предполагает несколько частей теста (субтестов), то каждую следующую часть следует начинать с новой нечетной страницы, поместив на четной стороне предупреждение о необходимости перевернуть страницу после сигнала ведущего.

В. С. Аванесов настаивает на утвердительном варианте формулирования задания в тестовой форме. Главный довод такого мнения – в утвердительном тестовом задании информация более краткая, выделяется главное, нет повторения одних и тех же слов, меньше приходится читать неверных сведений.

Тем не менее, нельзя не согласиться с А. Н. Майоровым, который утверждает, что хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному заданию в форме утверждения. Автор помимо прочего приводит и инструкцию по составлению тестовых заданий Голландского института С1ТО, в которой прямо указывается на необходимость использования прямых вопросов, представляющих собой полное предложение с вопросительным знаком в конце.

А. Н. Майоров в своих трудах приводит целый ряд требований к составлению тестовых заданий (равно как и заданий в тестовой форме). Среди них следующие требования.

1. Начинайте формулировать вопрос с правильного ответа. Одной из наиболее распространенных ошибок является наличие более одного правильного ответа, или, наоборот, отсутствие правильного ответа как такового. Начиная формулирование вариантов вопросов с подбора верного ответа, разработчик сумеет обойти указанные выше ошибки.

2. Содержание задания должно отвечать программным требованиям и отражать содержание обучения. Встречаются случаи, когда в тестирование пытаются включить задания, правильного ответа на которые просто не существует. Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т.д. Использование таких вопросов в тестах, выявляющих уровень обученности учащихся, некорректно.

3. Вопрос должен содержать одну законченную мысль. Тестовое задание должно проверять один элемент знания. В противном случае становится неясным, с каким элементом знаний ученик не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда». Данные слова часто имеют субъективное понимание, что может приводить к ошибочным ответам. С другой стороны, использование данных слов является скрытой подсказкой для тестируемых.

5. Вопрос должен быть четко сформулирован, исключаются по возможности, слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т.д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.

7. Правильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом – скорее всего в заблуждение будут введены наиболее способные или осведомленные учащиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определению уровня знаний и понимания.

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания – в любом случае следует использовать короткие, простые предложения без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части; с одной стороны, это приводит к противоречиям при чтении задания, с другой – отрицательные знания не так видны, как позитивные. В том случае, если отрицания нельзя избежать или по логике задания они могут усложнить поиск правильного ответа, необходимо выделять эти отрицания, используя курсив, жирный шрифт или подчеркивание. Отрицание часто вводится тогда, когда утвердительный вопрос вызывает слишком много правильных ответов.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта. Не рекомендуется приводить явно неверные ответы, которые обучаемый сразу распознает. Неправильные, но правдоподобные задания носят название дистракторов (от англ. to distract – отвлекать).

12. Если ставится вопрос количественного характера (а также если в нем есть степени сравнения, элементы ранжирования), то ответы к нему должны располагаться упорядоченно: от меньшего к большему или наоборот.

13. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени, больше сил тратится на анализ высказываний.

Для заданий дополнения А. Н. Майоров приводит следующие требования.

1. Лучше всего использовать один пропуск. В редких случаях – два. Использование большого количества пропусков затрудняет не поиск правильного ответа, а восприятие задания.

2. Дополнять нужно наиболее важное, то, знание чего нужно проверить.

3. Дополнения лучше ставить в конце предложения.

М. К. Ивлиев в учебном пособии, посвященном созданию компьютерных тестов, обосновывает следующие требования к составлению заданий для автоматизированного контроля. Такие задания составляются с учетом ограничений экрана дисплея (кадра) и используемой системы компьютерного тестирования. Типичный размер кадра – 20 строк по 60 – 70 знаков (половина страницы печатного текста) и более. Если варианты ответов короткие (типа «Да», «Нет»), а вопрос длинный, то его размещают на двух, трех и более строках. Короткие варианты ответов располагают по центру. Варианты ответов на экране отделяют друг от друга одной или двумя пустыми строками (лучше воспринимается задание). Если в тестовом задании, например, пять вариантов ответов по 2 – 3 строки текста в каждом, то они отделяются друг от друга одной пустой строкой. Обилие текстовой информации на экране дисплея создает перенасыщенность, рассеивающую внимание обучаемого.

Здесь логично упомянуть, что в разработке педагогических тестов можно выделить три этапа: планирование, написание заданий, анализ заданий. Составитель теста, начинающий с написания задания, скорее всего создаст узконаправленный тест. Без предварительного плана некоторые темы изучаемого предмета могут занять слишком много места, в то время как другие останутся незатронутыми. Обычно по одним темам объективные задания подготовить легче, а по другим – труднее. Так, легче подготовить задания, которые требуют запоминания простых фактов, и труднее – задания на критическую оценку, обобщение различных фактов или на применение изученных принципов к новым ситуациям. Проводившиеся исследования показали, что фактический материал по большей части забывается, а усвоенные основные принципы и их применение в новой ситуации или вообще не забываются, или после завершения обучения обобщаются. Строящийся без плана тест может оказаться перегруженным случайным материалом. Основные критические замечания в адрес плохо построенных объективных тестов связаны с их перегруженностью несущественными деталями и акцентом на механическую память. Во избежание несбалансированности и диспропорции охватываемых тестом тем составлению заданий должна предшествовать его спецификация. Спецификация – это определение основных характеристик теста. Спецификация включает в себя (В. С.Аванесов):

· название теста;

· общую цель разработки;

· перечисление задач, решаемых с помощью теста;

· общее описание содержания теста (составные части теста и разделы дисциплины, охватываемые им);

· план теста;

· характеристику содержания каждого задания – что оно измеряет;

· среднее время выполнения задания и ориентировочную меру выполнимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых;

· характеристику ответов к каждому заданию (меру привлекательности каждого задания в заданиях с выбором);

· количество форм, заданий и инструкций (примеры заданий и инструкции к ним);

· оценки за выполнение заданий;

· краткие рекомендации по апробации теста; объем и основные характеристики выборки испытуемых;

· определяемые характеристики качества заданий; методы исследования;

· ожидаемую интерпретацию тестовых результатов (критериально ориентированную, нормативно-ориентированную или содержательную интерпретацию).