Стохастическая теория тестов (IRT)
Наиболее общая теория конструирования тестов, опирающаяся на теорию измерения, — Item Response Theory (IRT). Она основывается на теории латентно-структурного анализа (ЛСА), созданной П. Лазарсфельдом и его последователями.
Латентно-структурный анализ создан для измерения латентных (в том числе психических) свойств личности. Он является одним из вариантов многомерного анализа данных, к которым принадлежат факторный анализ в его различных модификациях, многомерное шкалирование, кластерный анализ и др.
Теория измерения латентных черт предполагает, что:
1. Существует одномерный континуум свойства — латентной переменной (х); на этом континууме происходит вероятностное распределение индивидов с определенной плотностью f(х).
2. Существует вероятностная зависимость ответа испытуемого на задачу (пункт теста) от уровня его психического свойства, которая называется характеристикой кривой пункта. Если ответ имеет две градации («да — нет», «верно — неверно»), то эта функция есть вероятность ответа, зависящая от места, занимаемого индивидом на континууме (х).
3. Ответы испытуемого не зависят друг от друга, а связаны только через латентную черту. Вероятность того, что, выполняя тест, испытуемый даст определенную последовательность ответов, равна произведению вероятностей ответов на отдельные задания.
Конкретные модели ЛСА, применяемые для анализа эмпирических данных, основаны на дополнительных допущениях о плотности распределения индивидов на латентном континууме или о форме функциональной связи уровня выраженности свойства у испытуемого и ответа на пункт теста.
В модели латентного класса функция плотности распределения индивидов является точечно-дискретной: все индивиды относятся к разным непересекающимся классам. Измерение производится при помощи номинальной шкалы.
В модели латентной дистанции постулируется, что вероятность ответа индивида на пункт текста является мультипликативной функцией от параметров задачи и величины свойства:
Вероятность ответа на пункт теста описывается функцией, изображенной на графике
Модель нормальной огивы есть обобщение модели латентной дистанции. В ней вероятность ответа на задание такова:
В логистической модели вероятность ответа на задание описывается следующей зависимостью:
Логистическая модель используется наиболее широко, так как она специально предназначена для тестов, где свойство измеряется суммированием баллов, полученных за выполнение каждого задания с учетом их весов.
Логистическая функция и функция нормального распределения тесно связаны:
Развитием ЛСА являются различные модификации Item Response Theory. В IRT распределения переменных на оси латентного свойства непрерывны, т.е. модель латентного класса не используется.
База для IRT— это модель латентной дистанции. Предполагается, что и индивидов, и задания можно расположить на одной оси «способность — трудность» или «интенсивность свойства — сила пункта». Каждому испытуемому ставится в соответствие только одно значение латентного параметра («способности»).
В общем виде вероятность ответа зависит от множества свойств испытуемого, но в моделях IRT рассматривается лишь одномерный случай.
Главное отличие IRT от классической теории теста в том, что в ней не ставятся и не решаются фундаментальные проблемы эмпирической валидности и надежности теста: задача априорно соотносится лишь с одним свойством, т.е. тест заранее считается валидным. Вся процедура сводится к получению оценок параметров трудности задания и к измерению «способностей» испытуемых (образованию «характеристических кривых»).
В классической теории теста индивидуальный балл (уровень свойства) считается некоторым постоянным значением. В IRT латентный параметр трактуется как непрерывная переменная.
Первичной моделью в IRT стала модель латентной дистанции, предложенная Г. Рашем: [Rasch G., 1980]: разность уровня способности и трудности теста xi – bi, где хi — положение i-ro испытуемого на шкале, а bj — положение j-го задания на той же шкале. Расстояние (xi – bi) характеризует отставание способности испытуемого от уровня сложности задания. Если разница велика и отрицательна, то задание не может быть выполнено, так как для данного испытуемого оно слишком сложно. Если же разница велика и положительна, то задание также не информативно, ибо испытуемый заведомо легко и правильно его решит.
Вероятность правильного решения задания (или ответа «да») i-м испытуемым:
Вероятность выполнения j-го задания группой испытуемых:
В IRT функции х и f(b) называются функциями выбора пункта. Соответственно первая является характеристической функцией испытуемого, а вторая — характеристической функцией задания.
Считается, что латентные переменные х и b нормально распределены, поэтому для характеристически функций выбирают либо логистическую функцию, либо интегральную функцию нормированного нормального распределения (как мы уже отметили выше, они мало отличаются друг от друга).
Поскольку логистическую функцию проще аналитически задавать, ее используют чаще, чем функцию нормального распределения.