Математико-статистическая обработка эмпирических данных. интерпретация результатов

Обработки

После сбора эмпирических данных начинается этап математико-статистической обработки, которая проводится, как правило, с помощью специального программного обеспечения. В практическом плане применение программного обеспечения сопряжено с некоторыми трудностями. В частности, необходимо использование компьютерной техники, приобретение программных продуктов, создание специальной группы технического сопровождения. Однако, как показывает опыт, все эти трудности могут быть преодолены даже силами небольшого преподавательского коллектива, особенно в тех случаях, когда подсчет статистики осуществляется на небольших выборках в 50—100 человек.

Этап математико-статистической обработки можно разбить на ряд шагов.

Первый шаг.Первый шаг связан с формированием матрицы тестовых результатов (разд. 3.3), в которой количественные данные представляются в систематизированной и сжатой форме, чтобы обеспечить их дальнейшую обработку и интерпретацию. Формирование матрицы начинается с выбора определенного правила для оценки ответов учеников на задания теста. Обычно результаты ответов оцениваются дихотомически, а именно за каждый правильный ответ учащийся получает один балл, а за неправильный ответ или за пропуск задания — нуль баллов.

Если символом х_ij обозначить результат выполнения i-м испытуемого задания теста, то в сокращенной форме приведенное выше правило можно записать в виде:

1, если ответ i-го испытуемого на j-е задание верный;

0, если ответ i-го испытуемого на j-е задание неверный.

После выбора оценочного правила эмпирические данные сводятся в матрицу. Строки матрицы, состоящие из нулей и единиц, соответствуют ответам учеников на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.

Из дидактических соображений для иллюстрации математико-статистических методов выбрана небольшая матрица, когда 12 учеников отвечали всего на 10 заданий теста (табл. 5.1).

Однако все формулы и подсчеты, обсуждаемые в разделе, могут быть распространены на любые выборки испытуемых и применимы к тестам любой длины.

Второй шаг.На втором шаге из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц. В приведенном выше примере таких столбцов нет, а строк только две, последние в матрице тестовых результатов. Одна

Таблица 5.1. Матрица результатов тестирования

Номер испытуемого i	Номер задания j

из них, нулевая строка, соответствует ответам 11-го испытуемого, который не смог выполнить правильно ни одного задания в тесте. В этом случае вывод довольно однозначен. Если сложилась такая ситуация, то тест непригоден для оценки знаний 11-го ученика. Для выявления его уровня знаний тест необходимо облегчить, добавив несколько очень легких заданий, которые, скорее всего, большинство остальных испытуемых группы выполнит правильно.

Столь же непригоден, но уже по другой причине тест для оценки знаний 12-го ученика, который выполнил правильно все без исключения задания теста. Причина непригодности теста — его излишняя легкость, не позволяющая выявить истинный уровень подготовки 12-го ученика. Его результаты указывают лишь на знание предложенного в тесте материала, но не позволяют установить границу между освоенным и неосвоенным содержанием курса. Возможно, 12-й ученик знает много чего другого и в состоянии выполнить по контролируемым разделам содержания гораздо более трудные задания, которые просто не были включены в тест. В эту, казалось бы, привычную для традиционного контроля и желаемую для педагога ситуацию, когда испытуемый справился со всем объемом контролируемого материала, необходимо привнести элементы тестовой науки. Хотя традиционный и тестовый контроль служат одной и той же цели — оценке знаний испытуемых, между ними есть существенные различия не только по форме проведения, но и по качеству получаемых оценок. В отличие от традиционных тестовые методы контроля позволяют ответить на наиболее важный вопрос: насколько точна оценка знаний каждого испытуемого и следует ли ей вообще доверять?

Сама по себе постановка вопроса никак не связана с недостатками тестовых методов, поскольку ошибка (погрешность) измерения существует всегда и везде. В том числе и в процессе тестовых измерений возникает ряд погрешностей, мешающих получить истинные баллы учеников. Существование погрешностей приводит к мысли об относительной точности оценок, которая варьирует и которую можно счесть как достаточной, так и не позволяющей доверять полученным оценкам.

Обычно, если нормативно-ориентированный тест сделан хорошо, то достаточной точностью обладают примерно 70% результатов, находящихся в центре распределения, а примерно 5% самых слабых и 5% самых сильных результатов вообще нельзя доверять, так как они отражают истинный уровень знаний учеников с очень большой ошибкой измерения. Именно по этим соображениям профессионально организованные тестовые службы при обработке отбрасывают не менее 3 или 5% результатов на концах распределения. К сожалению, в нашей стране зачастую тестовые оценки испытуемых выставляются без учета теоретических ограничений на возможные диапазоны их применения.

Причина такого положения — практическое незнакомство большинства преподавателей с основами тестовой теории, незнание основных ее положений. Особенно пагубно это незнание сказывается на качестве тестов, разрабатываемых в нашей стране. Нередко автор теста, если его выполнили все или почти все испытуемые группы, расценивает свою работу как успех. У этой тенденции есть свои печальные следствия. Тестовые оценки, полученные со значительной ошибкой измерения, порождают у преподавателей многочисленные сомнения в возможностях педагогических тестов. В сущности, здесь виноваты не тесты, а отсутствие должного профессионализма их разработчиков, но об этом почему-то никто не думает, особенно в тех случаях, когда ругают педагогические тесты.

При правильном положении вещей последние две строки матрицы должны быть удалены, и матрица тестовых результатов примет вид, приведенный в табл. 5.2.

Таблица 5.2. Матрица результатов после удаления строк

Номер испытуемого i	Номер задания j

Третий шаг. Третий шаг связан с подсчетом индивидуальных баллов испытуемых и количеством правильных ответов испытуемых на каждое задание теста. Индивидуальный балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Например, 4-й испытуемый выполнил правильно 9 заданий, поэтому его индивидуальный балл равен 9. В строке ответов 2-го испытуемого стоят всего две единицы — его индивидуальный балл Х₂ = 2. Для удобства полученные индивидуальные баллы X_i (i= 1, 2,..., 10) приводятся в последнем столбце матрицы результатов (табл. 5.3).

Число правильных ответов на задания Y_i также получается суммированием единиц, но уже расположенных по столбцам. Например, в 1-м столбце стоят 9 единиц — число испытуемых, правильно ответивших на 1-е задание, равно 9. На последнее, 10-е задание ответил правильно только один ученик, поэтому Y₁₀= 1. Число правильных ответов на каждое задание также помещается в матрицу

Таблица 5.3. Матрица результатов с индивидуальными баллами испытуемых и количеством правильных ответов на задания теста

Номер испытуемого i	Номер задания j	Индивидуальный балл (множество Xi)
б
Число правильных ответов (множество Rj)

результатов, обычно оно располагается в последней строке под номером соответствующего задания теста (см. табл. 5.3).

Четвертый шаг. На четвертом шаге осуществляется упорядочение матрицы результатов тестирования. Для этого производят перестановку столбцов, располагая числа rj в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала обучаемому с минимальным индивидуальным баллом. Значения X_t располагают сверху вниз в порядке возрастания. Упорядоченная матрица данных тестирования приведена в табл. 5.4.

Пятый шаг. На пятом шаге производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить в виде полигона, гистограммы, сглаженной кривой (процентилей, огивы) или машинописного графика.

Для построения кривых необходимо упорядочить результаты эксперимента. Их можно записать в виде не сгруппированного ряда

Таблица 5.4. Упорядоченная матрица данных тестирования

Номер испытуемого i	Номер задания у	Индивидуальный балл (множество Xi)
Число правильных ответов (множество Rj)

произвольной формы (табл. 5.5), ранжированного ряда (табл. 5.6), частотного распределения (табл. 5.7) или распределения сгруппированных частот (табл. 5.8).

Таблица 5.5. Не сгруппированный ряд

Номер		• 2
Балл

Таблица 5.6. Ранжированный ряд

Ранг
Номер
Балл

Таблица 5.7. Частотное распределение

Балл
Частота

Таблица 5.8. Сгруппированное частотное распределение

Интервал баллов	Частота
1-3
4-6
7-9

В табл. 5.5 содержатся индивидуальные баллы испытуемых, взятые из последнего столбца матрицы эмпирических результатов выполнения теста (табл. 5.3). В табл. 5.6 эти же баллы расположены в порядке возрастания слева направо и приводятся места (ранги) испытуемых, соответствующие их индивидуальным баллам. Таблица 5.6 удобна для подведения итогов тестирования в повседневной работе педагога, поскольку в небольшом классе такого распределения вполне достаточно для сообщения тестовых результатов ученикам. Балл 6 обеспечивает 1-му испытуемому ранг 5 в группе из 10 учеников. Аналогичным образом можно интерпретировать любую оценку ученика в терминах рангов. Очевидно, что равным баллам приписываются равные ранги. Если список учеников является длинным, то для определения рангов требуется много времени и сил.

Список учеников с полученными тестовыми баллами можно сократить, классифицируя оценки по распределению частот, как, например, в табл. 5.7. В этом случае в верхней строке размещаются только различные оценки, а внизу под каждой оценкой — число ее повторений, которое называется частотой и обычно обозначается символом/ Сумма всех частот для данного примера

N=1 + 1+3 + 1+2 + 2=10,

т.е. равна числу учеников в тестируемой группе.

Для большой группы — скажем, в 100 или более учеников — используют сгруппированное частотное распределение (табл. 5.8). Для построения распределения оценки объединяют в группы. Каждая такая группа называется разрядом оценок. В случае полного размещения оценок по разрядам говорят о распределении сгруппированных частот баллов учеников. Например, для матрицы из табл. 5.4 образовано 3 разряда, представленных в табл. 5.8. Хотя четкого правила выбора количества разрядов нет, но все же обычно их число стараются варьировать в пределах от 12 до 15. Занижение числа разрядов (менее 12) может существенно исказить результаты тестирования, а его завышение (более 15) затрудняет работу с таблицей.

Полигон частот. По ряду частотного распределения можно осуществить графическое представление результатов тестирования в виде полигона частот, построенного (рис. 5.1). Для построения полигона частот по горизонтальной оси откладываются тестовые баллы, а по вертикальной — частота появления каждого балла у тестируемой выборки учеников.

Тестовые баллы

Рис. 5.1. Полигон для распределения табл. 5.7

Гистограмма представляет собой последовательность столбцов, каждый из которых опирается на единичный (разрядный) интервал, а высота его пропорциональна частоте наблюдаемых баллов [9]. Например, для рассматриваемого примера табл. 5.7 гистограмма приведена на рис. 5.2. Середина столбца совмещается с серединой интервала разряда, который выбран длиной в один балл.

2345 67

Наблюдаемые баллы

Рис. 5.2. Столбиковая гистограмма

В данном случае в качестве разрядного выбран единичный интервал. Этаже гистограмма, построенная с помощью программных средств обработки эмпирических данных тестирования, имеет вид рис. 5.3.

Рис. 5.3. Гистограмма распределения индивидуальных баллов

Несгруппированный балл

Сгруппированный балл

Рис. 5.4. Гистограммы распределения не сгруппированных и сгруппированных данных

Фигура не получится столь вытянутой, как на рис. 5.3, если горизонтальную и вертикальную оси выбрать с расчетом, чтобы ширина гистограммы составляла около одной и двух третей ее высоты, т.е. чтобы отношение высоты к ширине было приблизительно 3:5.

Гистограмма может быть построена и для сгруппированных данных. В этом случае она выглядит так, как на рис. 5.4 (нижняя гистограмма для гипотетического набора данных), где для сравнения вверху приведена гистограмма для несгруппированных данных.

Машинописный график. Интересный ступенчатый график можно получить на компьютере в другом виде, для данных табл. 5.7:

Балл									9 .
Частота	X	X		XXX	X	XX			XX

Выбор графического представления. Конечно, для интерпретации распределения результатов выполнения теста следует выбрать один какой-нибудь график. Часто предпочтение отдают гистограмме, поскольку это наиболее подходящее для визуального восприятия представление в том случае, когда изображается не более одного распределения. К тому же гистограмма довольно удобна для визуального сравнения эмпирического распределения с теоретическим нормальным, как, например, на рис. 5.5 для произвольного набора данных.