Шаг 2. Преобразование матрицы тестовых результатов.
ЛАБОРАТОРНАЯ РАБОТА № 6
Использование электронных таблиц Excel для обработки данных тестирования
Цель работы:Изучение возможностей обработки данных тестирования с целью создании теста с устойчивыми параметрами качества.
Краткая теория
Известно, что профессиональное тестирование было начато еще в 2200 году до нашей эры, когда служащие Китайского императора тестировались, чтобы определить их пригодность для императорской службы. По некоторым оценкам еще в 1986 году по крайней мере 800 профессий лицензировались в Соединенных Штатах на основании тестирования (А.А. Захаров, А.В. Колпаков Современные математические методы объективных педагогических измерений).
Почти каждое предприятие или фирма разрабатывает тестовые задания для своих сотрудников, но не каждое может грамотно обработать и интерпретировать результаты теста. Напротив, грамотное конструирование теста на основе знания теории тестирования позволит менеджеру по персоналу создать инструмент, позволяющий провести объективное измерение знаний, умений и навыков тестируемых сотрудников и претендентов с необходимой точностью.
В настоящее время существуют два теоретических подхода к созданию тестов: классическая теория и современная теория IRT (Item Response Theory). Оба подхода базируются на последующей статистической обработке так называемого сырого балла (raw score), то есть балла, набранного в результате тестирования. Только после проведения многократных статистических обработок можно говорить о создании теста с устойчивыми параметрами качества (надежностью и валидностью).
Для обработки данных, полученных на этапе тестирования, воспользуемся пакетом MS Office и электронными таблицами MS Excel.
После сбора эмпирических данных необходимо провести статистическую обработку, которую будем проводить на ЭВМ. Этап математико–статистической обработки разобьем на ряд шагов.
Порядок выполнения работы
Шаг 1. Формирование матрицы тестовых результатов.
Результаты ответов испытуемых на задания тестов оцениваются в дихотомической шкале: за каждый правильный ответ испытуемый получает один балл, а за неправильный ответ или за пропуск задания – ноль баллов (см. рис. 1).
Рис. 1. Матрица результатов тестирования
Создайте данную таблицу в своей лабораторной работе.
Шаг 2. Преобразование матрицы тестовых результатов.
На втором шаге из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц. В приведенном выше примере таких столбцов нет, а строк только две. Одна из них, нулевая строка соответствует ответам одиннадцатого испытуемого, который не смог выполнить правильно ни одного задания в тесте.
В этом случае вывод довольно однозначен: тест непригоден для оценки знаний такого сотрудника. Для выявления его уровня знаний тест необходимо
облегчить, добавив несколько более легких заданий, которые, скорее всего, выполнит правильно большинство остальных испытуемых группы.
Столь же непригоден, но уже по другой причине, тест для оценки знаний двенадцатого сотрудника, который выполнил правильно все без исключения задания теста. Причина непригодности теста заключается в его излишней легкости, не позволяющий выявить истинный уровень подготовки двенадцатого испытуемого. Возможно, двенадцатый сотрудник знает много чего другого и в состоянии выполнить по контролируемым разделам содержания гораздо более трудные задания, которые просто не были включены в тест.
Таким образом, на данном шаге необходимо удалить из матрицы данных 11 и 12 строки.
Скопируйте исходную таблицу и удалите две последние строки (см. рис. ниже).
Шаг 3. Подсчет индивидуальных баллов испытуемых и количество правильных ответов на каждое задание теста.
Индивидуальный балл испытуемого получается суммированием всех единиц, полученных им за правильное выполнение задания теста. В Excel для суммирования данных по строке можно воспользоваться кнопкой Автосумма на панели инструментов Стандартная. Для удобства полученные индивидуальные баллы (Хi) приводятся в последнем столбце матрицы результатов (см. рис. 2).
Число правильных ответов на задания теста (Yi) также получается суммированием единиц, но уже расположенным по столбцам.(см. рис. 2)
Рис. 2. Матрица с подсчетом итоговых сумм