Анализ характеристик заданий теста

Анализ теста по математике в рамках IRT

Данный тест по математике состоит из 26 вопросов, разделенных на 3 части: А, В и С (10, 11 и 5 заданий в каждой части соответственно). Части А и В оценивались дихотомически, а часть С – политомически. Тест выполнили 1339 учеников. Распределение баллов за тест представлено на рисунке 1, общие сведения по тесту в таблице 1.

Анализ характеристик заданий теста - student2.ru

Рис.1. Распределение общего балла за тест

Таблица 1 Общие характеристики заданий и испытуемых

      Среднее Ст.откл. Max Min
Характеристики испытуемых   Балл за тест 14.0 6.1 36.0 1.0
  Подготовленность .13 1.81 5.47 -5.46
  ERROR .56 .08 1.17 .37
INFIT MNSQ .99 .43 4.40 .15
ZSTD .0 1.0 4.5 -2.9
OUTFIT MNSQ 1.01 1.26 9.90 .07
ZSTD .2 .7 6.7 -.8
Характеристики заданий   total score 719.1 370.1 1310.0 107.0
  Трудность .00 2.48 4.31 -5.28
  ERROR .08 .03 .21 .05
INFIT MNSQ .99 .11 1.24 .76
ZSTD -.1 2.4 5.2 -5.0
OUTFIT MNSQ 1.08 .36 2.05 .48
ZSTD .5 2.4 6.2 -3.8
  Дискриминативность 0,5      
    Надежность теста (КТТ) 0,9      

Средний балл за тест составил 14 баллов. Максимальный балл 36 и минимальный 1.

Тестируемые имеют средний уровень подготовленности (по шкале логитов составляет 0,13). Есть как учащиеся с высоким уровнем подготовленности (5.47 логитов), так и те, кто имеет проблемы с изучением математики (уровень подготовленности -5,46 логитов).

Ошибка измерения в среднем составила 0,56 (немного большая, лучше бы до 0,3)

В целом согласие с моделью хорошее. Об этом говорит не взвешенное и взвешенное значение статистик mnsq. Они находятся в пределах единицы. Однако их максимальные и минимальные значения говорят о том, что не все испытуемые находятся в согласии с моделью.

В среднем на 1 задание отвечали 719 людей. Согласие заданий теста с моделью хорошее. Взвешенные и невзвешенные статистики mnsq находятся в пределах единицы. Максимальные и минимальные значения mnsq говорят о том, что есть тестовые задания, которые не находятся в согласии с моделью. Максимальная ошибка достигает 0,21, что подтверждает хорошее согласие заданий с моделью.

Средняя трудность заданий равна 0 (как и должно быть). Средняя ошибка заданий теста (0,08) меньше ошибки испытуемых, так как на 1 задание приходится больше человек, чем на 1 испытуемого - заданий. Вот тут будем что-то писать про то что центрирование не совпадает??

Далее проведем более подробный анализ заданий и профилей испытуемых.

Анализ характеристик заданий теста

В таблице 2 представлены характеристики всех заданий и согласие каждого задания с моделью.

Таблица 2. Характеристики тестовых заданий и согласия с моделью

  Характеристики заданий Согласие с моделью
Общий результат Дискрими-нативность Трудность S.E OUTFIT PT-MEASURE EXACT MATCH
MNSQ ZSTD MNSQ ZSTD
A1 .48 -2.71 .10 .92 -1.3 1.26 1.3
A2 .29 -5.28 .21 .97 -.1 .76 -.8
A3 .45 -2.84 .10 .98 -.3 1.12 .7
A4 .51 -.67 .07 1.11 3.1 1.43 4.4
A5 .38 -4.10 .14 .92 -.8 .95 -.1
A6 .46 -1.95 .08 1.11 2.4 1.20 1.4
A7 .55 -2.27 .09 .87 -2.7 .69 -2.1
A8 .45 -1.73 .08 1.15 3.3 2.05 6.2
A9 .46 -2.80 .10 .98 -.3 .95 -.2
A10 .49 -.84 .07 1.15 4.3 1.27 2.7
B1 .58 -.39 .07 .99 -.3 1.06 .8
B2 .54 -.91 .07 1.03 .9 1.39 3.8
B3 .57 1.16 .07 .97 -.8 .94 -.6
B4 .63 -.65 .07 .84 -5.0 .83 -2.0
B5 .53 .41 .07 1.11 3.2 1.10 1.2
B6 .58 .31 .07 1.00 .0 .92 -1.0
B7 .60 1.34 .07 .88 -3.3 .76 -2.6
B8 .60 .52 .07 .92 -2.3 .99 -.1
B9 .39 2.04 .08 1.24 5.2 1.80 5.1
B10 .52 2.77 .09 .86 -2.9 .48 -3.8
B11 .43 3.01 .10 .94 -1.0 1.22 1.2
C1 .64 2.08 .06 .91 -1.8 .69 -2.4
C2 .65 1.77 .05 .96 -.8 .92 -.7
C3 .55 3.45 .06 .95 -.7 .79 -1.3
C4 .31 3.96 .08 1.16 1.0 .70 -.9
C5 .35 4.31 .09 .76 -1.7 1.69 2.2
Среднее 719.1 0.5 .00 .08 .99 -.1 1.08 .5
S.D. 370.1   2.48 .03 .11 2.4 .36 2.4

Тест содержит как очень трудные задания (С3-5, В11), так и очень простые (А2, 3, 5). Дискриминативность (коэф. корреляции) варьируется от 0,31 до 0,6; среднее значение 0,5, что говорит о том, что все задания и тест в целом обладают хорошей дифференцирующей способностью.

При исследовании согласия с моделью ответов испытуемых на каждое из заданий, было выявлено, что такие задания как А1, А4, А6, А8, А10, В2, В9, В11, С5 – плохо согласуются с моделью. В данных заданиях более чем на 20% больше вариации, чем это предсказывалось моделью. Хуже всего с моделью согласуется задание А8. Оно является достаточно легким (по шкале логитов -1,73) и относится к блоку A. Его выполнили 1034 человека из всей выборки.

Задание 19 (B9) -явялется достаточно сложным (2,04 логита). Выполнили 301 человек из 1339.

Задание 26-явялется очень сложным (4,31 логита). Выполнили только 107 человек из 1339.

Ошибка измерения данного задания немного увеличивается по сравнению с преыдущими (до 0,1), так как на на него приходится меньше решающих детей.

Задания 14,20,7,17 ,22 и т.д. плохо соотносятся с моделью тоже. В наблюдаемых данных меньше вариации, чем это предсказывалось моделью. Нужно ли это писать?

На рисунке 2 изображена карта заданий теста.

Анализ характеристик заданий теста - student2.ru

Рисунок 2. Карта заданий

Данный рисунок подтверждает, что тест обладает хорошей дифференцирующей способностью: испутыемые равномерно распределились по заданиям разного уровня трудности. Так же из рисунка видно, что тест построен по принципу возрастающей трудности, задания части А проще, нежели задания части В, которые в свою очередь легче заданий части С. Что еще мы можем тут сказать? Наверное что-то про центрирование тоже надо

Дальше характеристические кривые всех заданий и отдельно дерьмовых заданий + можно политомические отдельно.

Наши рекомендации