Обработка результатов тестирования методами современной теории тестов irt

Материалы для самостоятельного изучения:

Вычисления рекомендуется выполнять в электронных таблицах

Основная суть IRT - переход от наблюдаемых характеристик к скрытым (латентным) путем ряда преобразований. Если воспользоваться терминами классической теории тестов, то это переход от наблюдаемых результатов (баллов) к истинным.

Современная теория тестов имеет ряд ограничений в применении. Прежде всего она не работает на маленьких выборках (для IRT выборка должна быть не менее 1000 человек). IRT не будет работать на результатах «сырых» тестов, так как в основе ее применения лежат абсолютные математические модели. Современная теория применима для работы на репрезентативных выборках и на калиброванных заданиях. Одно из важных условий - распределение результатов по нормальному закону.

Соотношение двух параметров (тета-уровень подготовленности и бета-трудность задания) датский математик Г.Раш предложил ввести в виде разности обработка результатов тестирования методами современной теории тестов irt - student2.ru , исходя из предположения, что эти параметры оцениваются в одной и той же шкале. Абсолютная величина разности обработка результатов тестирования методами современной теории тестов irt - student2.ru - это расстояние, на котором находится испытуемый с уровнем подготовки обработка результатов тестирования методами современной теории тестов irt - student2.ru , от задания с трудностью обработка результатов тестирования методами современной теории тестов irt - student2.ru .

обработка результатов тестирования методами современной теории тестов irt - student2.ru При

обработка результатов тестирования методами современной теории тестов irt - student2.ru

обработка результатов тестирования методами современной теории тестов irt - student2.ru
обработка результатов тестирования методами современной теории тестов irt - student2.ru
При

обработка результатов тестирования методами современной теории тестов irt - student2.ru обработка результатов тестирования методами современной теории тестов irt - student2.ru

обработка результатов тестирования методами современной теории тестов irt - student2.ru
При

обработка результатов тестирования методами современной теории тестов irt - student2.ru обработка результатов тестирования методами современной теории тестов irt - student2.ru

Если эта разность велика по модулю и меньше нуля, то это значит, что уровень подготовки намного ниже трудности задания (такое задание не имеет смысла использовать для измерения уровня подготовленности такого испытуемого, так как с очень большой вероятностью он сделает его неверно). Большие положительные значения разности также говорят о несоответствии уровня подготовленности и трудности задания, но в другую сторону, и соответственно такое задание тоже нельзя использовать для процесса контроля или обучения.

Задание 1. Имея начальные данные в таблицах провести оценку параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru и вычислить ошибку измерения по однопараметрической модели используя алгоритм расчета параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru для однопараметрической модели.

Алгоритм расчета параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru для однопараметрической модели

1. Подсчет долей правильных и неправильных ответов каждого испытуемого на все задания теста.

Доля правильных ответов pi = Xi / n, где n -число заданий теста.

Доля неправильных ответов qi = 1 - pi

2. Производится предварительная оценка значений параметра, характеризующего уровень подготовки учеников.

Начальное значение параметра измеряется в логитах (логит - это единица измерения шкалы, на которой находятся обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru ) и находится по формуле:

обработка результатов тестирования методами современной теории тестов irt - student2.ru

Начальные значения логитов уровня подготовки испытуемых

i x Доля правильных ответов i-го испытуемого pi Доля неправильных ответов i-го испытуемого qi Начальные оценки уровня подготовки в логитах
0,4    
0,9    
0,1    
0,5    
0,6    
0,4    
0,5    
0,2    
0,5    
0,6    

3. Доля правильных (pj) и неправильных (qj) ответов на каждое задание теста.

Pj = Rj/N, qj = 1 - pj, где Rj - количество правильных ответов на j-е задание теста, N - число испытуемых.

4. Начальная оценка параметра трудности задания находится по формуле

обработка результатов тестирования методами современной теории тестов irt - student2.ru

Начальные значения логитов трудности заданий

j Rj Доля правильных ответов на j-ое задание Доля неправильных ответов на j-ое задание Начальные оценки трудности заданий в логитах
0,9    
0,8    
0,7    
0,6    
0,6    
0,5    
0,4    
0,3    
0,2    
0,1    

Теоретически начальные значения параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru могут меняться в интервале от минус бесконечности до плюс бесконечности. Но практически при обработка результатов тестирования методами современной теории тестов irt - student2.ru <-5 значения вероятности (Р) близки к 0. Когда обработка результатов тестирования методами современной теории тестов irt - student2.ru >5, тогда вероятность очень близка к 1. Практически на шкале логитов используется интервал от -3 до 3 (-4 до 4).

5.Подсчитываются средние значения логитов уровня подготовленности и логитов трудности заданий теста.

обработка результатов тестирования методами современной теории тестов irt - student2.ru обработка результатов тестирования методами современной теории тестов irt - student2.ru

6. После завершения пятого этапа оценки каждого из параметров тета и бета выражены в интервальной шкале, но с разными значениями средних и разными стандартными отклонениями. Далее начальные значения логитов уровней подготовленности трудности заданий теста переводятся в единую шкалу интервальных оценок. Стандартизация достигается с помощью ряда специальных преобразований, для осуществления которых вычисляются:

n дисперсия по множеству значений обработка результатов тестирования методами современной теории тестов irt - student2.ru

обработка результатов тестирования методами современной теории тестов irt - student2.ru

n дисперсия по множеству обработка результатов тестирования методами современной теории тестов irt - student2.ru

обработка результатов тестирования методами современной теории тестов irt - student2.ru

n поправочные коэффициенты

обработка результатов тестирования методами современной теории тестов irt - student2.ru

Оценки параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru в единой интервальной шкале находятся по

обработка результатов тестирования методами современной теории тестов irt - student2.ru

Две последние формулы очень важны, так как позволяют преодолеть ряд существенных недостатков классической теории тестов, с их помощью можно получить объективные оценки параметров испытуемых и заданий, не зависящие друг от друга и выраженные в единой интервальной шкале.

7. Оценивается стандартная ошибка измерения Se от обработка результатов тестирования методами современной теории тестов irt - student2.ru , которая вычисляется для каждого значения обработка результатов тестирования методами современной теории тестов irt - student2.ru .

обработка результатов тестирования методами современной теории тестов irt - student2.ru

8. Стандартная ошибка измерения Se от обработка результатов тестирования методами современной теории тестов irt - student2.ru , которая вычисляется для каждого значения обработка результатов тестирования методами современной теории тестов irt - student2.ru .

обработка результатов тестирования методами современной теории тестов irt - student2.ru

9. Метод максимального правдоподобия для уточнения параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru .

После подсчета значений параметров обработка результатов тестирования методами современной теории тестов irt - student2.ru и обработка результатов тестирования методами современной теории тестов irt - student2.ru в шкале логитов приступают к построению характеристических кривых заданий теста. Анализ их взаимного расположения позволяет наметить пути дальнейшего совершенствования теста и сформировать систему заданий, наиболее эффективных для уровня подготовки каждого испытуемого выборки.

Процесс совершенствования теста начинается с удаления лишних заданий, нарушающих нормальный характер распределения значений бета. Далее разработчику необходимо обратить внимание на случаи наложения характеристических кривых и избавиться от лишних заданий, которые ничего не дают для теста как совокупности работающих заданий возрастающей трудности.

Следующий важный шаг при коррекции теста связан с выделением «пустых» интервалов оси обработка результатов тестирования методами современной теории тестов irt - student2.ru , где нет характеристических кривых. В тест необходимо добавить задания. Соответствующие по трудности выделенным интервалам на оси латентной переменной обработка результатов тестирования методами современной теории тестов irt - student2.ru . В идеале характеристические кривые должны заполнять более менее равномерно практически весь интервал (- 5; 5 ) шкалы логитов. Причем заданий средней трудности должно быть намного больше, чем на краях распределения.

Для более обоснованного решения включения или удаления предтестовых заданий необходим дополнительный анализ тестируемого контингента. Если группа гомогенна по уровню подготовки и большинство значений обработка результатов тестирования методами современной теории тестов irt - student2.ru расположено на небольшом интервале оси латентной переменной, то основную часть заданий следует сгруппировать на этом интервале, расположив характеристические кривые достаточно плотно. В случае гетерогенной по подготовке выборки испытуемых значения параметра трудности должны охватывать больший интервал на оси обработка результатов тестирования методами современной теории тестов irt - student2.ru , а характеристические кривые заданий могут быть расположены довольно далеко друг от друга.

Задание 2. В таблице даны оценки параметров шести заданий, полученных по современной теории тестов.

Задание   Трудность(β)   Диф. Способность (а)   Угадывание (с)  
  1.0   1.5   0.00  
  1.0   0.6   0.00  
  0.7   1.8   0.10  
  -0.5   1.3   0.20  
  0.5   1.0   0.00  
  0.0   0.5   0.25  

1.1 Для каждого задания вычислите по однопараметрической модели Р (θ) для θ = -3; -2; -1; 0; 1; 2; 3. Постройте графики характеристических кривых шести заданий.

обработка результатов тестирования методами современной теории тестов irt - student2.ru

1.2 Для каждого задания вычислите по двухпараметрической модели Р (θ) для θ = -3; -2; -1; 0; 1; 2; 3. Постройте графики характеристических кривых шести заданий

обработка результатов тестирования методами современной теории тестов irt - student2.ru

1.3 Для каждого задания вычислите по трехпараметрической модели Р (θ) для θ = -3; -2; -1; 0; 1; 2; 3. Постройте графики характеристических кривых шести заданий

обработка результатов тестирования методами современной теории тестов irt - student2.ru

Ответьте на вопросы:

1). Какое задание самое легкое, самое трудное?

2). Какое задание из шести имеет наименьшую (наибольшую) дифференцирующую способность?

3). Какое из шести заданий для испытуемого с уровнем подготовленности θ = -1 имеет наибольшую вероятность правильного ответа? Какова вероятность для данного испытуемого выполнить это задание неверно - Q (θ) ?

Задание 3. Вероятность правильного ответа Р (θ)для трех заданий при определенных величинах θ дана в таблице. Постройте харахтеристические кривые этих заданий.

обработка результатов тестирования методами современной теории тестов irt - student2.ru Вероятность правильного ответа Р (θ) при определенных величинах θ для трех заданий дана в таблице. Постройте харахтеристические кривые трех заданий.θ   -3.0   -2.5   -2.0   -1.5   -1.0   -0.5     0.5   1.0   1.5 2.0 2.5 3.0
Зада                                                  
ния                                                  
  0,00 0,01 0,02 0,04 0,07 0,13 0,22 0,36 0,52 0,68 0,81 0,90 0,93
  0,00 0,00 0,01 0,04 0,13 0,30 0,54 0,79 0,93 0,98 0,99 0,99 0,99
  0,10 0,10 0,11 0,12 0,13 0,14 0,15 0,20 0,32 0,44 0,60 0,80 0,88

Наши рекомендации