Тестирование как элемент дидактического процесса

Процедура тестирования, приведенная в работе Д.В. Люсина [46], начинается с того, что испытуемому дается инструкция, как работать с тестом. После этого выдаются тестовые задания. Они могут или читаться вслух перед группой испытуемых, или раздаваться испыту­емым в виде брошюры, или, при компьютерном тестировании, выдаваться на экран дисплея. Испытуемые дают ответы в соответст­вии с инструкцией — или на специальных бланках для ответов, или на дисплее компьютера.

Обработка ответов может проводиться разными способами,носамый распространенный заключается в следующем. За каждый правильный ответ на задание испытуемому присваивается один балл;

если задание выполнено неправильно или ответ вообще не дан, то испытуемому ставится ноль баллов. После такой обработки у каждого испытуемого получается свой набор единиц и нулей. Суммирование всех единиц дает тестовый балл испытуемого. Иногда его называют индивидуальным баллом, чтобы подчеркнуть принадлежность конкретному испытуемому. В случае педагогического тестирования в нем выражается степень овладения учебным материалом.

Теперь возникает необходимость понять, что означает индиви­дуальный тестовый балл. Предположим, что в тесте из 50 заданий испытуемый правильно выполнил 30. Следовательно, его индиви­дуальный тестовый балл равен 30. Что означает этот результат? Хорошо это или плохо? Какой традиционной оценке ("отлично", "хорошо", "удовлетворительно", "неудовлетворительно") соответст­вует полученный результат? Чаще всего сразу ответить на эти вопросы не удается. Отсюда необходимым этапом при проведении теста является интерпретация результатов тестирования. Баллы, полученные путем сложения единиц, заработанных испытуемым за каждое выполненное задание, должны быть проинтерпретированы, чтобы приобрести значение, понятное и педагогу, и обучающемуся. Поэтому такие тестовые баллы иногда называют "сырыми", подчер­кивании, что требуется их дальнейшая обработка.

В настоящее время существуют два основных подхода к интер­претации тестовых баллов. Самая общая их характеристика заключа­ется в следующем. Нормативно-ориентировочный подход позволяет сравнивать учебные достижения отдельных студентов друг с другом. Критериально-ориентировочный подход позволяет оценивать, в какой степени студенты овладели необходимым учебным материалом. Для педагогического контроля более привычной и естественной кажется задача, решаемая критериально-ориентировочным подходом. Тем не менее, в процессе контроля оба подхода важны и необходимы.

Значимость тестирования в структуре дидактического прогнози­рования представлена на рис. 7.2. Рассмотрим сформулированную проблему с трех узловых моментов, которые следует учитывать при Разработке тестов.

Первый — определение педагогического теста; второй — определе­ние системы целей, отражающих совокупность знаний, умений и навыков, которыми должен овладеть обучаемый в процессе изучения материала; третий — практическое овладение формами тестовых заданий, в которых каждый педагог может выразить содержание учебной дисциплины. При этом каждой учебной дисциплине присуще свое собственное содержание, отличное от других, которое рассматривается как вариативное составляющее тестового задания.

Рассмотрим эти три момента.

1. По определению, педагогический тест представляет собой систему взаимосвязанных заданий специфической формы, определенного содержания, возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характерис­тики личности.'

Раскроем это определение подробней. "Система взаимосвязанных заданий" означает, что в тесте собраны только такие задания, которые обладают системообразующими свойствами: а) общая принадлежность к одной и той же учебной дисциплине; б) взаимо­связь, выявленная корреляционными методами; в) взаимодополняе­мость и упорядоченность с точки зрения трудности.

Далее, по форме тестовые задания представляют собой не вопросы и не задачи, а задания, сформулированные в форме утверждений, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания (традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них бывают столь неопределенными и многословными, что для выявле­ния их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда.

"Определенное содержание" предполагает включение в тест только такого контрольного материала, содержание которого находится в соответствии с содержанием учебного материала.Нарушение этого требования приводит к ухудшению качества теста, вплоть до того момента, когда могут возникнуть вопросы о цели теста и о том, что и как он измеряет.

Рис. 7.2. Структура дидактического прогнозирования качества подготовки специалистов

"Возрастающая сложность" тестовых заданий позволяет 3—5% студентов тестируемой группы "заваливаться" на самых легких первых заданиях, другим — на последующих, студенты среднего уровня подготовленности могут ответить правильно только на половину тестовых заданий и, наконец, только 1—3% самых знаю­щих в состоянии дать правильный ответ на задания, расположенные в самом конце теста. Количество правильных ответов соответствует индивидуальному тестовому баллу испытуемых, который ассоции­руется с понятием "измерение уровня знаний" и проходит уточнения на основе той или иной модели измерения.

2. Цели тестового контроля можно разделить на несколько видов. Так, к целям первого вида относится формирование: знаний, понятий и системы понятий, терминов, законов и гипотез, научных фактов, моделей и методов. Цели второго вида формируют умения применять теоретические знания при решении задач и проведении эксперимента; третьего вида включают умения и навыки классифи­кации (сравнения, анализа, систематизации), их обобщения, опреде­ления новых понятий; четвертого вида характеризуют умения организовать эксперимент, выдвигать и проверять гипотезы, форми­ровать выводы, находить закономерности; пятого вида нацелены на воспитание дидактического подхода к явлениям, самостоятель­ности суждений, целенаправленности познавательной деятельности, т.е. на формирование профессионально-значимых качеств личности.

3. Наибольшее распространение в практике получили четыре основные формы тестовых заданий:

1. Закрытая форма тестовых заданий, характеризуемая тем,что к заданию предоставляются готовые ответы, один из которых правильный. Это ставит отвечающего в условия жестко алгоритмизи­рованного и вполне определенного ответа. Задания в закрытой форме могут быть альтернативными и неальтернативными. Альтернативные тестовые задания предполагают возможность всего одного варианта ответа: да или нет. Неальтернативные тестовые задания допускают выбор нескольких вариантов ответов из некоторой предложенной преподавателем схемы.

Возможность угадывания является главной причиной отрицатель­ного отношения педагогов к закрытой форме заданий. Для ликвида­ции этого "белого" пятна может быть использована формула коррек­ции тестовых баллов на догадку, суть которой состоит в том, что из полученной каждым студентом суммы баллов вычитается равно то число, которое может быть угадано в соответствии с положениями теории вероятностей. Указанная формула может быть использована в тесте с заданиями закрытого типа лишь в случае одинакового числа готовых ответов и имеет вид:

X,' = R, - W,/( k -1),

где X,¹ — скорректированный на догадку тестовый балл испыту­емого в тесте;R, и W, — число соответственно правильных и неправильных ответов, полученных испытуемым в тесте; k — число готовых ответов в заданиях теста.

Кроме того, основной недостаток заданий закрытой формы может быть исключен также с помощью фасетных* вопросов, позволяющих увеличить число заданий, классифицировав их по темам и уровню трудности. Большое искусство преподавателя в данном случае заключается в формировании "правдоподобных" ответов.

* Связанных общностью какого-либопризнака.

Основная цель заданий закрытой формы — быстро проверить ориентированность студента в данной учебной дисциплине по проф-ориентированной работе для самопроверки. При этом используется выборочность ответа на поставленный вопрос. Например, арки и своды следует рассчитывать на: 1) прочность; 2) устойчивость, 3) прочность и устойчивость. Проектный расчет закрытых зубчатых передач выполняют по напряжениям: 1) контактным; 2) изгибным;3) контактным и изгибным.

2. Открытая форма тестовых заданий, представляющая собой утверждение с неизвестной переменной и используемая для про­верки основных понятий, законов, фактов. Ответ заданной формы тестового задания определяется в виде одного (реже двух) ключевого термина, значение которого является обязательным. В качестве примера таких заданий можно привести:

ОСТРОУГОЛЬНОГО

ПРИ ОПРЕДЕЛЕНИИ СТОРОН ПРЯМОУГОЛЬНОГО ТРЕУГОЛЬНИКА

ТУПОУГОЛЬНОГО

ПОЛЬЗУЮТСЯ ТЕОРЕМОЙ

Как видно из приведенного примера, открытая форма тестового задания не содержит подсказок, не "навязывает" вариантов ответов, позволяя их сформулировать в свободной форме. Открытые тестовые задания отличаются значительной неопределенностью в своих требованиях, структуре и содержании ответов.

Когда студент дает ответ на открытые тестовые задания, то он руководствуется только собственными представлениями о предмете вопроса. Следовательно, его ответ индивидуализирован и дает представление об уровне подготовки студента, либо умении находить ответ. Кроме получения преподавателем данных о структуре представлений студента по изучаемой проблеме, при использовании открытого тестового задания, появляется возможность узнать словарный запас, язык, развитие ассоциативных представлений, вербальные (речевые) навыки студента, связанные со способностью формулировать и аргументировать ответ.

При использовании закрытых тестовых заданий набор ответов принадлежит преподавателю. А это практически освобождает сту­дента от необходимости самостоятельного поиска возможного варианта ответа, т.е. фактически освобождают его от самостоя­тельной работы мысли. Закрытые тестовые задания помогают студенту ориентироваться в предмете и выражать свое отношение к проблеме через предложенный набор возможных ответов.

3. Задания "на соответствие", суть которых заключается в необходимости установить соответствие элементов одного множества элементам другого. Например:

ВЕЛИЧИНА	ПРИБОР ИЗМЕРЕНИЯ
1. Электрическийток 2. Сопротивление 3. Напряжение 4. Разность потенциалов	а) Электрометр б) Амперметр в) Электроскоп г) Омметр д) Анометр е) Вольтметр ж) Реостат з) Гальванометр

Ответы: 1___, 2___; 3___ ; 4____.

4. Задания на "установление правильной последовательности", созданные для проверки правильного владения последовательностью действий, процессов, операций, суждений, вычислений. Эти задания используются, преимущественно, для оценки уровня профессиональ­ной подготовки, а также для контроля знаний основных понятий и законов изучаемой учебной дисциплины. Например:

ЗАКОН ВСЕМИРНОГО ТЯГОТЕНИЯ

____ — расстояние

____ — обратно пропорционально

____ — прямо пропорционально

____ — тело

____ — масса

____ — сила

____ — между

____ — квадрат

Ответы: ____, _____, _____, _____, ______, _____, _____, ______.

Все четыре формы приведенных выше тестовых заданий могут быть использованы для разработки тематических и ситуационных заданий, при этом должны быть выдержаны технологические и дидактические требования.

Технологические требования (критерии) к оценке качества тестовых заданий могут быть сформулированы в виде следующего алгоритма:

1) формулировка тестового задания должна содержать не более 7—9 слов;

2) формулировка тестового задания должна учитывать требуемый уровень усвоения;

3) сформулированные тестовые задания для определения основ­ных характеристик тестовых заданий должны экспериментально проверяться. При этом тестовые задания должны быть:

• валидны, т.е. должны отражать научное содержание учебной дисциплины;

• нацелены на определенный контингент студентов (в соответст­вии с требованиями квалификационной характеристики);

• надежны, т.е. устойчиво оценивать уровень одних и тех же студентов;

• дифференцированы (чувствительны), т.е. измерять конкрет­ные знания;

• дискриминантны (различительны) для данного контингента;

• пригодны для контроля знаний с помощью компьютерных технологий.

Дидактические требования к качеству тестовых заданийможнопредставить в виде следующих критериев:

• в тестовых заданиях должна быть ясно выражена одна мысль, которая записывается сжато, полно и четко;

• тестовое задание должно составлять важную, а не тривиальную часть пройденного учебного материала;

• по трудности оно должно быть приемлемо для тестируемого контингента студентов, а по содержанию — соответствовать крите­риям будущей профессиональной деятельности, либо потребностям будущего обучения;

• правильный ответ в тестовом задании не должен быть длиннее и точнее неправильных подсказок (дистракторов);

• в основе вопроса и правильного ответа не должны использо­ваться общие элементы;

• в тестовом задании недолжны использоваться специфическиеслова-определители;

• семантическая осмысленность задания предполагает, что оно не должно формулироваться в отрицательной форме;

• тестовое задание не должно содержать двусмысленностей и тавтологий, противоречивых утверждений;

• профессиональным считается тест, реализованный с помощью фасетных тестовых заданий;

• качество тестового задания должно быть оценено по формаль­ной чистоте, согласно которой при создании теста необходимо стремиться к сочетанию принципов тестового задания, а не форм;

• студенты должны знать критерии выставления оценок.

В качестве примера приведем следующий критерий выставления оценки знаний:

К оц = 2,5 + 10 [P:N - 0,7]

причем 2,51 < К < 3,49 соответствует оценке "удовлетворительно"; 3,51 < К < 4,49 - оценке "хорошо" и 4,51 < К - оценке "отлично". Здесь Р — число правильных ответов обучаемого; N — число вопросов теста.

Статистическая оценка качества теста. После решения вопроса о правильности выделения объекта измерения (знания, способности, интересы, мотивы и т.п.) уместным является постановка вопроса о создании методики, пригодной для отображения объекта посредст­вом измерения. Предложенная методика проверки качества тестового контроля основана на двух концепциях:

1) надежности теста, в существенной мере связанной с идеей

точности измерения;

2) адекватности используемого метода измерения поставленной цели, связанной с валидностью теста.

Надежность качества теста — это согласованность показателей, полученных у одних и тех же испытуемых при повторной проверке тем же тестом или эквивалентным ему (два теста считаются эквива­лентными, если для них выполняются постулаты 1—5 параллельных тестов, за исключением одного специфического признака эквива­лентности: истинные компоненты одного теста должны отличаться от истинных компонентов другого, параллельного теста на одну и ту же постоянную величину).

Наиболее простым способом определения надежности теста является, по меньшей мере, двукратное его использование в той же самой группе студентов. К недостаткам этого способа можно отнести неопределенность в выборе временного интервала между первым и вторым опросами.

Рис. 7.3. Структура тестовых заданий

При определении критерия надежности качества теста можно пользоваться табл. 7.1.

Таблица 7.1. Оценка надежности качества теста

Значение коэффициента надежности	Качество теста
0,000 - 0,599 0,600 - 0,699 0,700 - 0,799 0,800 - 0,899 0,900 - 0,949 0,950 — выше	Плохое Неудовлетворительное Удовлетворительное Хорошее Очень хорошее Отличное

Технология проектирования и разработки критериально-ориенти­рованных тестов. Алгоритм технологии проектирования и разработки критериально-ориентированных тестов может быть таким:

1. Формируется программа учебной дисциплины в учебных элементах.

2. На основании сформулированных целей обучения и соответст­вующего этим целям научного содержания проектируются тестовые задания.

3. Проводится эксперимент на соответствующем контингенте студентов.

4. Осуществляется дидактико-статистический анализ эксперимен­та, на основе которого "выбрасываются" те задания, на которые никто не ответил, либо ответили все.

5. Определяется коэффициент корреляции и осуществляетсяотборзаданий для проверки знания.

6. Для отладки теста определяются коэффициенты трудности и различения тестового задания.

7. Строится матрица обработки (табл. 7.2) тестовых результатов (после отбрасывания заданий, у которых все "1" или все "О").

Резюме

Рассмотренная в этом параграфе сущность и значение тестового контроля заключается, во-первых, в том, что он позволяет препода­вателю получить информацию, как происходит овладение учебным материалом в процессе самостоятельного изучения его каждым студентом, насколько верны, прочны и гибки приобретенные студентами знания и умения, какие элементы учебного обеспечения и какие стороны взаимодействия преподавателя и студентов в учебном процессе недостаточно эффективны, какие коррекции следует внести в содержание и форму самостоятельной познавательной деятельности студентов.

Во-вторых, контроль призван помочь обучающемуся критически оценить свои успехи и промахи в изучении данного материала, правильно организовать свою дальнейшую работу, обеспечить ее системность и систематичность, при этом контроль в форме самоконтроля играет важнейшую роль в деле воспитания таких качеств личности обучающегося, которые позволяют добиться планомерности, ответственности, дисциплинированности, сознатель­ности, инициативности и результативности в познавательной деятельности. Развитие и углубление различных форм самоуправления и самоконтроля, воспитание у обучающихся потребности в само­совершенствовании, самокритичном и ответственном отношении к выполнению порученного дела есть главный путь повышения эффек­тивности и результативности обучения.

Контрольные вопросы

1. В чем суть рейтинговой системы контроля качества обучения?

2.Назовите виды контроля знаний, входящие в рейтинговую систему.

3.Раскройте суть педагогического термина "тест".

4.Сделайте анализ содержания рис. 7.2.

5.Прокомментируйте цели тестового контроля.

6.Каким требованиям должны отвечать тестовые задания?

Задание.Составьте тесты-задания для проверки одной из тем выбранной вами учебной дисциплины.