Наиболее распространённые ошибки при составлении тестов

МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО РАЗРАБОТКЕ ПЕДАГОГИЧЕСКИХ ТЕСТОВ ДЛЯ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ

Москва 2011

УДК 619:378.6 (07)

Методические рекомендации, под общей редакцией ректора ФГБОУ ВПО МГАВМиБ, академика РАСХН, профессора Василевича Фёдора Ивановича, разработали:

Член-корреспондент РАСХН, доктор сельскохозяйственных наук, профессор Кочиш И.И.

Начальник Учебно-методического управления, кандидат ветеринар­ных наук, доцент Мещеряков О.Ю.

Зав. кафедрой микробиологии, доктор биологических наук, профес­сор Грязнева Т.Н.

Руководитель сектора обеспечения качества образования, кандидат биологических наук Васенко С.В.

Методические указания по разработке педагогических тестов для контроля качества обучения студентов содержат основные тестологические понятия и определения, методику составления тестов, примеры тестовых заданий, а также наиболее распространённые ошибки при составлении тестов. Данные указания включают в себя приложения - формы заполнения результатов тестирования, тестовых материалов, паспорт фонда тестовых заданий,

Данные указания предназначены для преподавателей академии, приступающих к составлению тестов контроля знаний студентов.

Рецензент: заведующий кафедрой патологической физиологии, докт. вет. наук, профессор, почетный работник высшего профессио­нального образования РФ, заслуженный деятель науки РБ Байматов Валерий Нурмухаметович.

Утверждены на заседании учебно-методических комиссий факуль­тетов (ВМ, ВБ, ЗТА, ТЭС).

ВВЕДЕНИЕ

Тестирование учебных достижений студентов - один из эле­ментов менеджмента качества вуза. Внутреннее тестирование - универсальный инструмент определения уровня обученности студентов на всех этапах образовательного процесса, в том числе для оценки уровня остаточных знаний.

К достоинствам метода тестирования относится:

- объективность оценки тестирования;

- оперативность, быстрота оценки;

- простота и доступность;

- пригодность результатов тестирования для компьютерной обработки и использования статистических методов оценки.

Тест обладает способностью сравнивать индивидуальный уровень знания каждого студента с некими эталонами, уровень знания отражается в тестовом балле испытуемого. Индивиду­альные результаты тестирования можно сравнить с результата­ми других студентов этой же группы и проранжировать их, мож­но сравнить результаты тестирования нескольких групп и т.д.

Помимо уровня знаний с помощью теста, можно оценить структуру знаний, то есть установить наличие последовательно­сти в усвоенных обучающимися знаниях, отсутствие пробелов.

Основные цели тестирования рассматриваются в связи с за­дачами внутривузовского управления качеством подготовки спе­циалистов, а также с задачами итоговой аттестации выпускни­ков, государственной аттестации и аккредитации вуза.

В настоящих методических указаниях даны рекомендации преподавателям, приступающим к созданию специальных тес­тов для оценки знаний, умений и навыков студентов.

Цель тестового задания - получить ответ от испытуе­мого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, пред­ставлениях, навыках в определенной области содержания.

В ФГБОУ ВПО МГАВМиБ внутреннее тестирование применя­ется в нескольких случаях:

1. Для проведения рубежного контроля по дисциплине («Ру­бежный контроль»). Данное тестирование должно содержать от 20 до 30 тестовых заданий и проводиться после изучения каждо­го раздела дисциплины.

2. Для проведения зачётного и экзаменационного контроля («Промежуточная аттестация»). Данное тестирование должно содержать от 40 до 60 тестовых заданий и проводиться как ва­риант зачёта или экзамена по заранее установленным дисцип­линам.

3. Для проверки остаточных знаний студентов по специаль­ностям и направлениям подготовки на этапе самообследования.

Тестовые задания должны быть согласованы с учебно- методическими комиссиями факультетов и утверждены заве­дующим кафедрой и деканом факультета. Печатный экземпляр тестов должен храниться на кафедре.

1. Основные понятия и определения

Тест - это стандартизованное задание, по результатам вы­полнения которого дается оценка уровня знаний, умений и на­выков испытуемого.

Тест состоит из тестовых (контрольных) заданий и правиль­ных (образцовых) ответов к ним.

Дистракторы (от англ. distract - отвлечение внимания) - ва­рианты ответов в заданиях с выбором, не являющиеся правиль­ными решениями, но внешне близкие к правильному решению.

Требования к дистракторам:

• По возможности, не следует делать ответы длинными.

• Одно и то же слово (или словосочетание, или однокоренное слово) не должно находиться в тексте задания и правильном ответе.

• Все ответы должны быть подобными (аналогичными, похо­жими), это касается и их внешнего вида, и грамматической структуры.

• В вариантах ответа на задания желательна краткость.

• Ответы на основу задания должны быть сформулированы достаточно просто, чтобы были понятны существенные разли­чия между ними.

• Каждый дистрактор должен быть правдоподобным, вну­шающим доверие, вполне убедительным и привлекательным для экзаменующихся.

Тестовое задание (ТЗ) - это высказывание, суждение, тех­нология, образ, схема, конструкция и другие составляющие, ко­торые должен принять, опровергнуть, выбрать, спроектировать, предложить тестируемый.

Требования к тестовым заданиям:

-Задания должны быть направлены на проверку значимых элементов содержания, а не тех, которые проще формулируют­ся или просты в обработке.

- Текст задания должен исключать всякую двусмысленность и неясность формулировок.

- Текст задания формулируется предельно кратко, т.е. осво­бождается от всякого постороннего для данной проблемы мате­риала. Текст задания должен иметь предельно простую синтак­сическую конструкцию.

- В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющиеся подсказ­кой, например, «иногда», «часто», «всегда», «все», «никогда».

- В заданиях, носящих составной характер, необходимо обеспечить такую последовательность, чтобы правильность вы­полнения одного задания не зависела от правильности выпол­нения другого задания данной группы.

- В тексте задания исключается двойное отрицание.

- Используемая в заданиях терминология не должна выхо­дить за рамки учебной литературы, используемой в вузе.

2. Формы тестовых заданий

Существуют разные формы тестовых заданий.

Задания закрытой формы, в которых студенты выбирают правильный ответ из данного набора ответов к тексту задания:

Модель пространственной структуры молекулы ДНК (двойная спираль) была предложена... (знаком + отмечен правильный ответ).

Укажите не менее двух вариантов ответа,

а) М.Я. Шлейдоном

б) Ф.Х.К. Криком *

в) И.П. Мюллером

г) Д.Д. Уотсоном *

в) Ж.Л. Моно

*-здесь и далее обозначен правильный ответ.

Эволюция живой природы обусловлена взаимосвязанным действием таких факторов как... (знаком + отмечен правильный ответ)

Укажите не менее двух вариантов ответа:

а) Пищевые связи в биогеоценозе

б) Приспособленность организма к среде обитания *

в) Борьба за существование и естественный отбор *

г) Наследственная изменчивость *

в) Сезонные изменения в природе

В мезозойскую эру НЕ происходило следующих процессов...

а) Вымирание мамонтов *

б) Распространение покрытосемянных растений

в) Исчезновение древовидных папоротников

г) Возникновение млекопитающих

Разделы микробиологии по областям изучения.

а) Космическая*

б) Техническая*

в) Металлургическая

г) Бытовая

д)Горная

Требования к заданиям закрытой формы:

-в тексте задания должна быть устранена всякая двусмыс­ленность или неясность формулировок;

- в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы;

-частота выбора одного и того же номера места для пра­вильного ответа в различных заданиях теста должна быть при­мерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке;

- из числа неправильных исключаются ответы, вытекающие один из другого.

Задания открытой формы, требующие при выполнении са­мостоятельного формулирования ответа.

Примеры.

Число 112₅ в десятичной системе счисления равно__

Ответ: 32

Дополните цитату: При скрещивании двух гетерозиготных по­томков первого поколения между собой во втором поколении

наблюдается расщепление в определенном числовом отноше­нии:

Ответ: по фенотипу 3:1, по генотипу 1:2:1.

Препараты, используемые для лечения свиней, больных

рожей:_____ .

Ответ: пенициллин и гипериммунная сыворотка.

Задания на соответствие, выполнение которых связано с установлением соответствия 1лежду элементами двух множеств: Установите соответствие мэжду возбудителями микоплазмо- зов и названиями болезней.

1. М. mycoides 1 Контагиоз. перипневмония КРС

2. М. agalactiae 2 Инфекц. агалактия овец и коз

3. М. mycoides, var. capri 3. Инфекц. плевропневмония коз

4. М. hyopneumoniae 4. Энзоотич. пневмония свиней

5. М. galliseptica 5. Респир. микоплазмоз птиц

6. М. felis 6. Респир. микоплазмоз кошек

Ответ: 1:1, 2:2, 3:3, 4:4, 5:5, 6:6.

Соответствие между названиями возбудителей клостридио- зов и болезнями, которые они вызывают.

1. С. chauvoei 1. Эмфизематозный карбункул

2. С. tetani 2. Столбняк

3. С. botulinum 3. Ботулизм

4. С. perfringens тип С 4. Анаэробная энтеротоксемия

5. С. septicum, С. Novyi 5. Брадзот

6. С. perfringens тип А 6. Злокачественный отек

Ответ: 1:1, 2:2, 3:3, 4:4, 5:5, 6:6.

Установите соответствие между группами патогенности мик­роорганизмов и названиями бактерий, входящих в эти группы. L1:1 группа патогенности L2: II группа L3: III группа L4: IV группа L5:V группа R1: Yersinia pestis R2: Bacillus anthracis R3: Mycobacterium tuberculosis R4: Salmonella dublin R5: Lactobacterium plantarum R6: Archaea vulgaris Ответ: L1:R1 и т.д.

Задания на установление правильной последовательно­сти, в которых от студента требуется указать порядок действий или процессов, перечисленных преподавателем.

Установите правильную последовательность геологических эр:

а) Мезозой

б) Кайнозой

в) Протерозой

г) Палеозой

Ответ: в, г, а, б.

Расположите учёных согласно времени жизни:

а) Аристотель

б) Вавилов

в) Ломоносов

г) Менделеев

Ответ: а, в, г, б.

Наиболее распространённые ошибки при составлении тестов

1. При разработке тестов следует избегать состав­ления заданий, которые проверяют больше чем одну идею, проблему, концепцию. При этом в правильном от­вете и дистракторах не должно содержаться разное ко­личество элементов ответа:

Важнейшими экологическими последствиями глобального за­грязнения атмосферы являются ...

1) кислотные осадки и парниковый эффект*

2) демографические параметры

3) извержения вулканов

4) естественные сукцессии

2. В правильном ответе и дистракторах содержится разное количество элементов ответа:

В ходе световой фазы фотосинтеза происходит...

1) фотолиз воды и выделение свободного кислорода*

2) фиксация углекислого газа

3) использование энергии АТФ

4) синтез глюкозы

Клипидам относятся...

1) стероиды, терпены, восжа и фосфолипиды*

2) только стероиды

3) только терпены

4) только фосфолипиды

5)

3. Из дистракторов, как правило, исключаются все по­вторяющиеся слова путем ввода их в основной текст задания, например:

Области концентрации живого вещества на границе двух сред обитания В Н. Вернадский назвал ...

1) узлами жизни

2) очагами жизни

3) рубежами жизни

4) точками жизни

Следует сделать так:

Области концентрации жизого вещества на границе двух сред обитания В.И. Вернадский назвал___________________________________________ жизни.

1) узлами

2) очагами

3) рубежами

4) точками

Все ответы должны быть грамматически согласо­ванными с основной частью задания. Следует избегать несоответствия родов или падежей:

Круговорот веществ, движущей силой которого является дея­тельность живых организмов, называется ...

1) биологическим

2) большой

3) геологический

4) антропогенным

5. Следите за склонением иностранных фамилий.

6. Все ответы должны быть грамматически согласо­ванными с основной частью задания. Например, может наблюдаться несоответствие чисел (единственное и множественное):

Пространство, на котором популяция или вид в целом встре­чается в течение всей своей жизнедеятельности, называется ...

1) ареалом*

2) площадью

3) зонами

4) территориями

В таких случаях в тексте задания следует писать: называ- ет(ют)ся.

7. Не допускается использование словосочетаний: ни один из перечисленных выше; все перечисленные; все, кроме...

Основные способы приспособления организмов к условиям окружающей среды - это ...

1) активный путь, пассивный путь, избегание неблагоприят­ных воздействий

2) все перечисленные, кроме активного пути*

3) только активный путь*

4) ни один из перечисленных вариантов ответа не верен*

8. Ответы должны быть одинаковы по длине (хотя бы приблизительно), не следует формулировать правиль­ный ответ заметно длиннее или короче, чем дистракто- ры. Следовательно, правильный ответ не должен отли­чаться внешне по длине от дистракторов:

Для защиты атмосферы от загрязнения проводят ...

1) очистку выбросов предприятий от вредных примесей с по­мощью газоулавливающих средств*

2) интродукцию растений

3) рекультивацию земель

4) мелиоративные мероприятия

9. Не следует в качестве дистракторов приводить по­нятия, явно не имеющие отношения к предмету тести­рования:

Для физико-химической очистки сточных вод используют ...

1) адсорбер

2) автобус

3) автомат

4) аттестацию

10. Не следует разрабатывать тестовые задания на несоответствие современным научным достижениям или использовать устаревшую информацию:

В настоящее время количество населения на планете со­ставляет человек,

1) 5 млрд

2) 3 млрд

3) 500 млн

4) 100 млн

4. Основные этапы составления теста

4.1. Для облегчения процедуры составления тестов учебный материал должен быть достаточно формализован, т.е. каждый раздел, тему учебной дисциплины (дисциплин) необходимо представить в виде таких задач и (или) вопросов, которые наи­более полно отображают содержание дисциплины (дисциплин). При этом важно выделить главные (проблемные) вопросы, не увлекаясь второстепенными.

4.2. На втором этапе, в зависимости от цели тестирования (текущий контроль знаний, итоговый контроль знаний, оценка остаточных знаний и др.) и формы теста разрабатывается план раскладки задач и вопросов в тестовые задания. Формализация учебного материала и составление тестовых заданий - наибо­лее ответственные и сложные этапы составления тестов.

4.3. После составления тестовых заданий преподаватель оформляет правильный ответ.

5. Выбор методики оценивания

ответов студентов на задания теста

Методика оценивания ответов студентов осуществляется компьютерной программой на основе простого большинства верных ответов.

Рекомендуется следующий перевод процента правильных ответов в оценку: меньше 50% правильных ответов - неудовле­творительно; от 51 до 65% - удовлетворительно; 66-85% - хо­рошо; больше 85% - отлично.

Приложение 1

Результаты тестирования студентов ... курса факультета ... при (случай тестирования - рубежный, промежуточный контроль, самообследование) по дисциплине «...»

Специальность (направление подготовки) __________

Курс.

Группа_

Дата проведения.

Рубежный контроль, зачёт, экзамен (указать) Преподаватель (Ф.И.О.)

№ п/п	ФИО студента	Балл	Оценка

Зав. каф. Преподаватель.

Приложение 2 Порядок заполнения тестовых материалов

Специальность (направление подготовки) ______________________

Факультет ________________________________________________

Дисциплина _______________________________________________

Количество зачётных единиц _________________________________

Составители тестов ________________________________________

Приложение 3

Паспорт фонда тестовых заданий

Специальность (направление подготовки): Дисциплина:

№ п/п	Контролируемые разделы (в соответствии с ГОС ВПО)	Кол-во тестовых заданий
1.	Название раздела дисциплины
2.
3.
4.
5.
6.
7.
Всего:

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Киселева, В.П. Оценка качества подготовки студентов по резуль­татам интернет-экзамена в сфере профессионального образования / В.П. Киселева, А.С. Масленников, Г.П. Тикина // Развитие тестовых тех­нологий в России: Тезисы докладов IX Всероссийской научно- методической конференции. - М.: ФГУ «Федеральный центр тестирова­ния», 2007.

2. Самылкина, Н.Н. Современные средства оценивания результа­тов обучения / Н.Н. Самылкина. - М.: БИНОМ. Лаборатория знаний, 2007.

3. Воскресенская, О.Л. Оценка качества подготовки студентов по дисциплине «Физиология растений» на основе результатов интернет- экзамена / О.Л. Воскресенская, Г.П. Тикина // Материалы Всероссий­ской конференции: Преподавание современной физиологии растений в университетах и вузах страны: проблемы и решения. - М., 2008.

4. Масленников, А.С. Модель исследования качества тестов на ос­нове однопараметрической модели раша / А.С. Масленников, В.П. Ки­селёва, А.А. Маслак, В.И. Дроздов. - Йошкар-Ола: Национальное ак- кредитационное агентство в сфере образования, 2008, 64 с.

5. Наводнов, В. Г. Модели и алгоритмы проектирования полидисци­плинарных педагогических измерительных материалов / В.Г. Наводнов, Л.И. Шарафутдинова. - Йошкар-Ола: Национальное аккредитационное агентство в сфере образования, 2008, 56 с.

6. Киселёва, В.П. Методика определения уровня подготовки студен­тов по результатам педагогических измерений / В.П. Киселёва, А.С. Масленников, В.Г. Наводнов. - Йошкар-Ола: Национальное аккре­дитационное агентство в сфере образования, 2008, 42 с.

7. Ефремова, Н.Ф. Современные тестовые технологии в образова­нии: учебное пособие / Н.Ф. Ефремова. - М.: Логос, 2003, 176 с.

Савельев, Б.А. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образо­вания: учебное пособие / Б.А. Савельев, А.С. Масленников. - М.: Логос, 2003,136 с.