Педагогических измерений. основные определения

Ядро понятийного аппарата педагогических измерений составляют три основных соподчиненных понятия:

1) задание в тестовой форме;

2) тестовое задание;

3) педагогический тест.

Задания в тестовой форме

Сегодня в отечественном образовании преимущественно используются задания в нетестовой форме. Обычно – это вопросы, задачи и упражнения, которые в тестах не используются. Эти задания и ответы на них зачастую бывают столь неопределенными и многословными, что для выявления истинности требуются большие затраты интеллектуальной энергии. В то время как применение заданий в тестовой форме предполагает четкую и быструю дифференцируемость правильных и неправильных ответов.

Помимо технологичности заданиям в тестовой форме присущи:

- краткость, которая достигается тщательным подбором слов, символов и графиков, исключением повторов, малопонятных и редко употребляемых символов и слов, обеспечивая максимальную ясность смыслового содержания задания;

- логическая форма, которая дает возможность превратить ответ студента в истинное иди ложное высказывание, исключая возможность появления ошибочных ответов по формальным признакам вследствие неудачного формулирования;

- одинаковость правил оценки ответов, которые определяются заранее и абсолютно одинаково применяются ко всем испытуемым;

- унифицированность формы, что придает заданиям структурную целостность и определенность, внешнюю организованность.

Свободное владение тестовой формой является важнейшей предпосылкой разработки тестов и обязательным требованием к разработчикам. Только отсутствием навыков разработки заданий в тестовой форме объясняются существующие педагогические заблуждения, относящиеся к тестированию.

Первое такое заблуждение касается необоснованного деления наук на «подходящие» для применения тестовых форм и на «не подходящие» для этого. В действительности формы тестовых заданий и принципы их разработки инвариантны к учебным дисциплинам.

Второе заблуждение касается связи форм с контролируемыми уровнями знаний. Например, считается, что задания с выбором одного правильного ответа из числа предложенных позволяют проверить знания только «низшего» уровня, «распознать» правильный ответ, в то время как знания более высоких уровней надо проверять заданиями других форм. Однако, измеряемый уровень подготовленности зависит не столько от формы, сколько от трудности содержания заданий. С формой же в большей мере связаны виды проверяемых знаний.

Третье заблуждение касается числа используемых форм. Реально их всего четыре. Остальные являются либо вариантами одной из четырех, либо нежелательным смешением двух и более форм.

Если к заданиям даются готовые варианты ответов на выбор, то такие задания называются заданиями с выбором правильного ответа. Это первая из форм. Ее разновидностями являются задания с выбором одного правильного ответа и задания с выбором нескольких правильных ответов.

Во второй форме задание сформулировано так, что готового ответа нет. Каждому испытуемому предлагается во время тестирования вписать ответ самому в отведенном для этого месте. Такие задания называются заданиями открытой формы. После дополнения задания определенным ответом получается истинное или ложное высказывание.

Задания третьей формы формулируются в виде требования поставить элементы одного множества в соответствие элементам другого множества. Такие задания называются заданиями на установление соответствия.

В тех случаях, когда требуется установить правильную последовательность вычислений, действий, шагов, операций, терминов в определении понятий и т. п. используются задания четвертой формы на установление правильной последовательности.

Выбор той или иной формы должен определяться, прежде всего, содержанием задания и видом контролируемых знаний; но зачастую зависит от уровня подготовленности преподавателей в области методики тестового контроля.

Тестовые задания

Педагогический тест состоит не из заданий в тестовой форме, а из тестовых заданий.

Задания в тестовой форме только внешне похожи на тестовые задания, но этого недостаточно для их включения в тест. Нужна еще проверка статистических свойств каждого задания.

Тестовое задание – это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям. Основными статистическими требованиями к тестовым заданиям являются требования:

1) известной трудности;

2) дифференцирующей способности;

3) положительной корреляции баллов задания с суммарными баллами по всему тесту.

Трудность задания может определяться двояко:

а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения задания;

б) после эмпирического опробования заданий, с подсчетом доли неправильных ответов (чем она выше, тем труднее задание).

Слишком легкие задания, на которые правильно отвечают все испытуемые, равно как и слишком трудные, на которые никто не может ответить, не пригодны для включения в тест. Задания с неизвестной мерой трудности также не могут быть использованы, поскольку, как будет показано ниже, в тесте их следует размещать в порядке возрастания трудности.

Под дифференцирующей способностью тестового задания понимают его способность разделить слабых и сильных испытуемых. Очевидна связь между этим показателем и трудностью задания. Тестовое задание должно разделить испытуемых на две (в общем случае не равные по количественному составу) группы: правильно и неправильно ответивших. При этом соотношение количества испытуемых в группах должно зависеть от трудности задания. Чем труднее задание, тем малочисленней и меньшей в процентном отношении должна быть группа правильно ответивших.

Если результат решения того или иного тестового задания не оказывает значимого влияния на результаты тестирования в целом, то, видимо, ценность такого задания для проведения педагогических измерений невелика и без него можно обойтись. В определении степени такого влияния и состоит смысл требования положительной коррелированности баллов задания с суммарными тестовыми баллами.

Из рассмотрения перечисленных требований вытекает обязательность экспериментальной проверки тестовых заданий на выборочной совокупности испытуемых и применения статистических методов обработки результатов эксперимента перед включением их в тест. Порядок такой проверки см. в §§3.1 и 3.2.

Педагогический тест

Педагогический тест наиболее полно определяется как система репрезентативных параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.

Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий барьер выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Студенты среднего уровня подготовленности могут ответить правильно примерно на половину заданий теста и, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.

О репрезентативности и параллельности тестовых заданий, а также об особенностях контроля структуры и уровня подготовленности более подробно речь пойдет в последующих главах. Пока же следует остановиться на вопросе о границах применимости тестов в педагогической практике.

Традиционный тест представляет собой метод диагностики испытуемых, в котором они отвечают на одинаковые задания, в одинаковое время, в одинаковых условиях и с одинаковыми критериями оценки. При такой ориентации задача определения точного объема и структуры освоенного учебного материала отступает, по необходимости, на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не "кто что знает", а "кто знает больше". Интерпретация результатов тестирования ведется преимущественно на языке тестологии, с опорой на так называемые процентильные нормы, показывающие - сколько процентов испытуемых имеют тестовый результат хуже, чем у любого взятого для анализа испытуемого с его тестовым баллом. Такая интерпретация называется нормативно-ориентированной. Здесь результатом является рейтинг испытуемого, его место или ранг в тестируемой группе.

Итак, педагогические тесты могут использоваться в педагогической практике в следующих целях:

- ранжирование испытуемых в пределах тестируемой группы;

- профессиональный или другой отбор по заданному критерию;

- выявление пробелов в знаниях (недостаточно усвоенных разделов (тем) дисциплины, неправильного профиля знаний).

Что же касается задач текущего и итогового контроля успеваемости, а также аттестации выпускников, то речь может идти не о тестах, а о комплектах заданий в тестовой форме, особенности применения которых рассмотрены в пятой главе настоящего пособия.