IV. Проектирование тестовой технологии контроля усвоения учебного предмета

Одним из объективных средств контроля за достижением поставленных целей является тестирование.

Термин «тестирование» происходит от английского test, что значит «испытание, исследование, проба».

Процедура тестирования используется для измерения или оценки природных и приобретенных способностей с целью предвидения проведения или достижений человека при определенных обстоятельствах.

Применение тестов послужило толчком для развития психометрического метода, основы которого были заложены А. Бине. Вслед за психометрическими тестами измерения интеллектуального развития появились тесты достижений, помогающие оценить уровень обученности учащихся.

В настоящее время тестирование – целенаправленное, одинаковое для всех обследование, которое проводится в строго контролируемых условиях.

Тест – это основной инструмент тестирования, применяемый для выявления уровня сформированности у учащихся знаний и умений в соответствии с методикой измерения и оценкой результатов.

Тест как измерительный инструмент должен иметь:

Описание методики применения;

Структурированный набор специально подобранных заданий;

Критерии оценивания тестовых заданий и (или) ключи ответов;

Описание характеристик (статистических экспертных, технологических) теста в целом и отдельных заданий;

Систему интерпретации результатов тестирования;

Тест включает в себя два основных элемента: задание, которое выдается учащемуся для выполнения, и эталон ответа, образец правильного и качественного выполнения этого задания, с которым сравниваются ход и результаты деятельности учащихся.

Наглядно структуру теста выражают следующим образом:

Т (тест) = З (задание) + Э (эталон) .

Преподаватель, сверяя пооперационно ответ учащегося с эталоном, приходит к выводу о качестве теста. Тест, лишенный эталона, превращается в обычное задание, решение о качестве выполнения которого принимается на основе субъективного мнения преподавателя.

Особенностями тестового метода контроля уровня подготовки обучающихся являются:

- предъявление большого количества относительно коротких заданий каждому обучающемуся по всему объему контролируемого материала;

- объективность оценивания (независимость от контролирующего лица);

- надежность оценки как следствие широкого охвата материала и разнообразия заданий по сложности;

- возможность применения оценочной шкалы с большим числом градаций.

Эталон необходим для точного определения степени усвоения учащимися содержания обучения, которая характеризуется коэффициентом усвоения

, где

М – число операций теста, выполненных испытуемым правильно;

N – общее число операций в тесте.

Коэффициент усвоения (К_a) поддается нормировке (О ≤ К_а ≤ 1) и на этой основе легко сопоставляется с любой шкалой оценки, а вся процедура контроля усвоения очень просто автоматизируется. Проведенные исследования показывают, что при К_а ≥ 0,7 процесс обучения можно считать завершенным.

Поскольку тест – это проба, которую проходит испытуемый решая некоторую задачу (в любой форме деятельности: материальной, материализованной, речевой, или умственной), то для лучшего различия тестов различного уровня, надо вспомнить педагогическое понятие задачи.

Под задачей понимается сформулированное для испытуемого (учащегося) задание по достижению определенной цели в известных условиях ранее изучаемыми методами деятельности. Т.е. Задача = Задание = Цель + Ситуация + Деятельность.

Так, задание для теста 1 уровня должно содержать в явном виде все компоненты задачи: Цель, Ситуация и Деятельность по ее решению. От учащегося только требуется дать заключение об их совместимости (узнавание ранее изученного).

Задание для теста II уровня содержит лишь Цель и Ситуацию, а учащемуся по памяти надо воспроизвести подходящую деятельность для достижения заданной Цели и заданной Ситуации.

Задание для теста III уровня содержит Цель и неполную Ситуацию, которую учащемуся необходимо дополнить, чтобы применить известную деятельность.

Задания IV уровня – это только Цель, а Ситуация, условия и действия – за испытуемым.

- быстрота обработки результатов;

- демократичность формы контроля;

- возможность проведения контроля любым сотрудником учебного заведения;

- достоверная и полная информация об уровне усвоения всего предмета и его отдельных разделов и тем;

- документальность ответов учащихся.

Тестирование позволяет выявить уровень усвоения темы, выяснить, в какой степени результаты обучения соответствуют поставленным целям. Если значительная часть учащихся не выполнила одно и тоже задание или группу взаимосвязанных заданий, то это должно послужить сигналом к корректировке преподавателем своих действий по обучению.

Тестирование позволяет выявить уровень усвоения темы, как групповой, так и индивидуальный для каждого учащегося. Диагностика уровня усвоения дает возможность индувидуализировать обучение, наметить для каждого учащегося максимальные, реально достижимые результаты обучения, нижней границей которых служат обязательные результаты обучения.

Качество теста определяется такими характеристиками, как надежность и валидность.

Надежность – это получение устойчивых результатов безотказность, долговечность, сохраняемость при заданных условиях. Надежность выражается способностью с достаточной для практики одинаковостью характеризовать исследуемый показатель как заданием в целом, так и его частями, или по-другому: тот же показатель одним и тем же заданием, но в разные моменты времени.

Валидность– характеристика степени соответствия между тем, что измеряется, и тем, что должно измеряться.

К числу источников неудовлетворительной надежности относят:

1. Субъективизм при оценке результатов выполнения заданий текста. Субъективизм оценок является непременным атрибутом оценок при включении в тест заданий со свободно конструируемыми ответами. При анализе результатов их выполнения всегда наблюдаются различия между подходами разных экспертов и между ответами одного и того же испытуемого при повторном выполнении им теста. Наиболее эффективный метод преодоления отмеченного недостатка – использование закрытых заданий, которые благодаря возможности объективной оценки результатов выполнения при прочих равных условиях ведут к выполнению надежности теста.

2. Угадывание. Как показывают специальные исследования, угадывание существенно снижает надежность теста, особенно в тех случаях, когда тестируется группа слабых учеников, которые обычно прибегают к догадке при выполнении наиболее трудных заданий теста.

3. Отсутствие логической корректности формулировок заданий теста. Как правило, некорректные задания пропускают сильные ученики, что в целом негативно отражается на надежности теста.

4. Неоправданный выбор весовых коэффициентов. При правильном положении вещей выбор весовых коэффициентов в процессе подсчета индивидуальных баллов обучаемых должен базироваться на соответствующей теории. Только в том случае, когда весовым коэффициентом приданы оптимальные значения, их введение не ведет к снижению надежности теста.

5. Длина теста. Надежность возрастает по мере увеличения длины теста. Для удовлетворительной надежности обычно достаточно 30 заданий теста.

6. Отсутствие стандартной инструкции к тесту. Инструкцию к тесту должны быть предельно стандартизованы и точны. Любые неоднозначности, двусмысленности и отступления от требований стандартизации и инструкции ведут к снижению надежности теста.

7. Другие источники снижения надежности. Иные источники ненадежности связаны с испытуемыми, а не с заданиями теста. Испытуемый может плохо себя почувствовать во время работы над тестом либо ошибочно понять инструкцию и указать вместо правильного неверный ответ.

На результаты выполнения теста могут повлиять усталость и скука, температура в помещении, шум за окном и т.д.

Таким образом, тестирование как процедура контроля имеет достоинства и недостатки при широком использовании тестов в учебном процессе. Достоинствами тестирования являются:

- высокая объективность процесса измерений и интерпретации результатов;

- возможность обеспечения стандартизации условий измерения;

- приемлемый уровень надежности;

- возможность обеспечить валидность измерения, в первую очередь валидность содержения;

- достаточная точность, которую можно повысить заменой традиционной 4-балльной шкалы на более протяженную (от 0 до 10; 100 балльную);

- небольшие затраты времени на измерения в больших группах;

- незначительный уровень влияния субъективных факторов во время тестирования;

- легкость обеспечения продолжительного сохранения измерений результатов и автоматизация их обработки.

Недостатками продвижения тестирования в учебный процесс являются:

- необходимость обоснованного изменения психологии воспитания и обучения, связанная с переходом к высшему уровню состоятельности и индивидуализма;

- замена учебников, рассчитанных на устное опрашивание, новыми, ориентированными на тестовую форму проверки знаний;

- значительные затраты времени на первичную подготовку качественных материалов для проведения измерений;

- необходимость преодоления сопротивления и комплекса предубеждений приверженцев старых методов педагогических измерений;

- малое количество специалистов по тестированию в системе образования, что замедлит процесс перехода на современное тестирование.

Тесты могут быть использованы при входном, поурочном, тематическом, рубежном и итоговом контроле.

Тесты бывают четырех уровней.

Тесты первого уровня.

Для проверки усвоения учебной информации на первом уровне должны использоваться тесты, требующие выполнения деятельности по узнаванию объекта.

В тестах первого уровня выполняется алгоритмическая репродуктивная деятельность с подсказкой, так как ответ содержится в самом задании.

Тесты на опознание: в них одна существенная операция – выбор из альтернативы «Да» - «Нет», «верно» - «неверно» либо выбор между двумя ответами.

Примеры:

Верно ли утверждение:

1) Допускается ли оттягивание груза во время подъема и перемещения краном?

Эталон: «Нет»

Число операций Р = 1.

2) Должен ли стропальщик знать вес поднимаемого груза?

Эталон: «Да»

Число операций Р = 1.

Выберите правильный вариант ответа:

Тест на различие: этот вид тестов отличается от тестов на опознание тем, что их выполнение осуществляется в условиях поиска, создаваемого рядом стоящими вариантами ответов. Разновидностью тестов на различие являются тесты – классификации.

Примеры:

Укажите номера правильных ответов:

1. На какую высоту нужно приподнять груз для проверки правильности строповки?

а) не более 200 – 300 мм б) не более 400 – 500 мм

в) не более 700 мм г) не более 500 мм

Эталон: а) да, б) нет, в) нет, г) нет

Р = 4

2. Какой наибольший угол между ветвями допускается у стропов общего назначения?

а) 60 градусов, б) 60 градусов, в) 90 градусов, г) 100 градусов, д) 120 градусов

Эталон: а) нет, б) нет, в) да, г) нет, д) нет

Р = 5

Тесты – классификации – (соотнесение): эта разновидность тестов на различение. В них соединены несколько тестов на различие.

Пример:

Установите соответствие:

1. Укажите, какие из перечисленных инструментов соответствуют контролю взаимного расположения поверхностей

1) штангенциркуль	а) угловых
2) угольник	б) параллельных
3) угломер	в) перпендикулярных

Эталон: 1 – б, в); 2 – в; 3 – а Р = 3 (Р = числу соотнесений)

Тесты второго уровня

В тесты второго уровня включаются специальные задания для проверки знаний, позволяющие воспроизвести информацию об изучаемых учебных элементах без опоры на помощь и подсказку извне.

Наиболее простыми являются тесты – подстановки

Тесты – подстановки. В них, как правило, бывают пропущенные ключевые понятия, фразы, формулы или другой какой-либо существенный элемент теста

Примеры.

Дополните:

1) Грузовой момент – это произведение грузоподъемности на соответствующий _________________

Эталон: вылет стрелы

Р = 1.

2) Вес железобетонных изделий определяется по маркировке на изделии, которая указывается начиная с 500 кг. Маркировка должна быть выполнена _______________________

Эталон: краской

Р = 1

Другая разновидность тестов второго уровня – конструктивные тесты. В них включаются задания, требующие самостоятельного конструктивного ответа: воспроизвести формулировку, дать характеристику, написать формулу, проанализировать явление, выполнить схему.

Примеры

1) Напишите формулу для расчета коэффициента запаса прочности каната.

Эталон: К =

Р = 3

2) Напишите формулу определения опрокидывающего момента коэффициента грузовой устойчивости крана без учета дополнительных нагрузок

Эталон: М_о = РQ

Р = 3

Тест – типовая задача. Он характеризуется тем, что содержит условия, необходимые для решения, т.е. данные и требования того, что необходимо найти в ходе решения задачи. Алгоритм решения задачи может быть найден из известных формул. Эталон такого задания представляет рациональную последовательность всех операций.

Пример:

1) Подсчитайте коэффициент запаса прочности каната если разрывное усилие каната диаметром 28 мм в целом месте 44250 кг, наибольшая рабочая нагрузка на канат 8300 кг, тогда коэффициент запаса прочности будет равен

Эталон: К = = 5,3

Р = 1

Все тесты второго уровня позволяют воспользоваться заранее приготовленным эталоном, что является необходимым условием объективности в оценке знаний учащихся.

Тесты третьего уровня

Они используются тогда, когда требуется определить умения учащихся выполнять предварительные преобразования с условиями задачи и методиками их решения. Тестами третьего уровня являются нетиповые задачи, требующие эвристической деятельности по применению знаний на практике.

Тест – нетиповая задача. Её решение состоит в сведении нетиповой задачи к типовой путем преобразования известных формул или нахождения алгоритма решения.

Примеры

1. Контроль качества свивки каната и определения шага свивки визуально показал, что:

1) Невозможно определить шаг свивки

2) Плохо просматриваются пряди в канате

3) Неудобно считать количество прядей

Определите причины и укажите способы предотвращения этих явлений.

Эталон

Проб-лема	Причины возникновения	Способы предотвращения
	Нарушена последовательность определения шага свивки.	Шаг свивки каната определяется следующим образом: на поверхность какой-либо пряди наносят метку, от которой отсчитывают вдоль центральной оси каната столько прядей, сколько их имеется в сечении каната (обычно шесть)
	Не поставлена метка на пряди (на любой пряди)	Обязательно ставится метка на пряди от которой отсчитывают вдоль центральной оси каната. Столько прядей, сколько их имеется в сечении каната.
	Нарушена последовательность действий и трудно определить шаг свивки	И на следующей после отсчета пряди наносят вторую метку. Расстояние между метками есть шаг свивки.

Тест «Черный ящик». В него включена проблемная ситуация, решение которой содержится в известных для учащихся знаниях и умениях.

Примеры.

1. Предложите водителю к знаку аварийной остановки дополнительное средство предупреждения о стоящем на проезжей части транспортном средстве в условиях ограниченной видимости.

Эталон: водители большегрузных автомобилей, остановившись на проезжей части дороги, в качестве дополнительной меры часто позади транспортного средства ведро с дизельным топливом и поджигают его.

Тестов четвертого уровня в педагогической практике не существует, так как они должны характеризоваться тем, что выявляют умения учащихся ориентироваться и принимать решения в новых проблемных ситуациях.

Как правило, может существовать несколько решений проблемной ситуации, поэтому эталон к таким тестам создать очень трудно.

Встречаются следующие формы тестовых заданий:

1. Вопрос или утверждение и выбор ответов.

2. Задание открытой формы (похоже на тест – подстановку).

3. Задание на установление соответствия.

4. Задание на установление правильной последовательности.

Задания первой формы В.С. Аванесов предлагает реализовывать не в вопросительной, а в утвердительной форме. Такая формулировка, с его точки зрения, позволяет избегать упрощенных ответов «да» «нет».

В заданиях с двумя ответами легко набрать баллы за счет догадки. Поэтому в качестве оптимума пробовались три, четыре, пять, шесть и более ответов. И хотя с увеличением числа последних вероятность правильного ответа действительно снижается, но растет и громоздкость задания.

Задание открытой формы отличается от теста подстановки тем, что ответ в конце предложения ставят обучающиеся, т.е. они заканчивают предложение.

В заданиях на установление соответствия даются две колонки, в одной из которых даны вопросы, а в другой множество ответов, из которых необходимо выбрать правильные.

С помощью заданий на установление правильной последовательности выясняется уровень знаний и умений испытуемых по выполнению определенных предписаний, правил. Например, дается в произвольном порядке ряд операций, событий, явлений и т.п.

Обучающийся должен проставить номер в соответствии с их последовательностью.

Чтобы грамотно составить систему тестового контроля знаний, преподавателю необходимо определить:

- количество тестовых контролей в семестре;

- количество баллов в каждый тестовый контроль и количество вопросов в нем;

- способ тестирования: «накопленным итогом» или поэтапное тестирование;

- форму проведения контроля (в аудитории, в дисплейном классе, с участием преподавателя и т.д.);

- виды вопросов, входящих в контроль, и ответов на них;

- форму представления учащимся ответов на вопросы и способы проверки ответов.

Принципы отбора содержания тестов:

1. Значимость, т.е. в задание включаются наиболее важные, ключевые, существенные знания.

2. Научная достоверность, т.е. в задания включается только то, что является объективно истинным. Спорные в науке истины не включаются в задание.

3. Соответствие содержания теста или тестового задания уровню современного состояния науки: проверять знания следует не только на достоверном, но и на современном научном материале.

4. Репрезентативность – необходимо включать не только значимые элементы содержания, но и обращать внимание на полноту и их достаточность для контроля.

5. Возрастающая трудность: в начале теста рекомендуется давать более легкие вопросы, чтобы обучающийся мог ответить на них положительно. Тогда у него появится вера в себя и он лучше выполнит все задания.

6. Вариативность содержания. Содержание теста не может оставаться неизменным и независимым от развития науки и техники.

7. Системность содержания, т.е. подбираются задания, отвечающие требованиям системности знаний.

8. Комплектность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только по одной теме, даже если эта тема является ключевой в учебной дисциплине.

9. Взаимосвязь содержания и формы.

При разработке контрольных и тестовых работ необходимо учитывать следующие требования:

- Сложность заданий теста должна соответствовать уровню, установленному государственными образовательными стандартами;

- К каждому варианту заданий прилагаются эталоны правильных ответов;

- Необходимо определить время на выполнение контрольных заданий с учетом их сложности и объема.

- Контрольные тестовые работы должны выполнять не менее 50% студентов группы;

- Повторно одни и те же контрольные тестовые задания обучающиеся не выполняют.

Основные этапы разработки:

1) Анализ профессиональной характеристики с учетом уровней квалификации;

2) Анализ содержания учебного предмета и учебной программы с целью определения профессионально значимых тем, уровней усвоения и целей обучения;

3) Анализ содержания тем с целью определения основных знаний и умений учащихся по теме;

4) Разработка тестов различного уровня.

Важными условиями объективизации теста являются:

- выделение содержания, которое необходимо контролировать;

- определение существенных операций и измерение результатов выполнения теста;

- оценка выполнения теста.

Показателем успешности овладения учебным материалом при тестовом контроле является коэффициент усвоения – К. по нему судят о завершенности процесса обучения на соответствующем уровне. Коэффициент усвоения представляет отношение количества правильно выполненных учащимися существенных операций эталона теста М (число правильных ответов) к общему количеству существенных операций в эталоне – N, которое необходимо было выполнить по заданию теста соответствующего уровня. (число вопросов, содержащихся в тексте задания)

К =

где М – число правильных ответов

N – число вопросов содержащихся в тексте задания

В качестве критической величины коэффициента усвоения, отделяющей удовлетворительные знания и умения от неудовлетворительных, можно принимать 0,7.

Выполненные исследования и проведенные эксперименты позволили установить, что при этой величина коэффициента учащиеся имеют удовлетворительные знания и умения и могут переходить к обучению на следующем уровне усвоения.

На основе коэффициента усвоения можно определить балльную отметку. При этом руководствуются следующим ориентировочным соотношением:

оценка 5 – К = 0,9 – 1,0; оценка 4 – К = 0,8 – 0,9;

оценка 3 – К = 0,7 – 0,8; при К < 0,7 положительную оценку выставлять нельзя.

При определении коэффициента усвоения и балльной оценки знаний и умений необходимо четко представлять, что и коэффициент усвоения, и оценка характеризуют качество выполнения теста определенного уровня.

Контрольные вопросы.

1. Раскройте суть педагогического термина «тест»

2. Каким требованиям должны отвечать тестовые задания?

3. Каковы принципы отбора содержания для тестовых заданий?

4. Что понимают под коэффициентом усвоения?

5. Что означает принцип завершенности обучения?