Индекс дискриминативности пунктов

Один из методов определения конструктной систематической ошибки заключается в отдельном для двух групп подсчете индексов дискриминативности пунктов. Как было описано в Главе 7, индекс дискриминативности отражает степень взаимосвязи отдельного пункта с суммарным баллу теста (то есть то, насколько люди, ответившие на какой-либо пункт правильно[12], имеют тенденцию в целом лучше справиться с тестом, чем те, кто ответил на этот пункт неправильно). Как следствие, высокий индекс дискриминативности показывает, что пункт обладает высокой концептуальной схожестью с большинством других пунктов теста. Таким образом, данные индексы отражают структуру связей между пунктами теста.

Исторически сложилось так, что индекс дискриминативности пунктов развивался в рамках классической теории тестов. Данный индекс играет важную роль в измерении той степени, в которой ответы на пункты теста могут использоваться для того, чтобы проводить различия между людьми на основании их знаний по определенной теме или на основании обладания какой-либо другой психологической характеристикой. Вновь предположим, что группа респондентов опрошена с использованием теста технических способностей. Если люди с высокими техническими способностями с большой вероятностью отвечают на какой-то конкретный вопрос правильно, в то время как люди с низкими техническими способностями отвечают на этот же вопрос правильно с низкой степенью вероятности, данный вопрос будет обладать высоким индексом дискриминативности (например, 0.90). Это будет означать, что данный пункт хорошо дифференцирует людей с разными уровнями технических способностей. И наоборот, если люди с низкими техническими способностями дают правильный ответ на вопрос практически так же часто, как и люди с высокими техническими способностями, в таком случае данный вопрос будет обладать низким индексом дискриминативности (например, 0.10). В этой ситуации пункт не выявляет четких различий между людьми, обладающими разными уровнями технических способностей.

Индекс дискриминативности пунктов может быть использован для оценки конструктной систематической ошибки теста. Для этого выбирается какой-либо пункт, подсчитывается индекс его дискриминативности отдельно для двух групп респондентов, после чего индексы сравниваются между собой. Если два полученных индекса дискриминативности приблизительно одинаковы, исследователь приходит к выводу, что данный пункт, скорее всего, не обладает систематической ошибкой. Однако если величина двух индексов дискриминативности не является приблизительно равной, то можно предположить, что данный пункт в какой-то мере содержит в себе систематическую ошибку. Другими словами, исследователь в этом случае приходит к выводу о том, что данный пункт соответствует тесту в одной группе, но не соответствует в другой. Включение данного пункта в тесты для обеих групп приводит к тому, что тест в двух группах респондентов в некоторой степени различен. Как правило, такой анализ проводится по отдельности для каждого из пунктов теста.

Важной чертой индекса дискриминативности как способа измерения конструктной систематической ошибки теста является то, что он не зависит от количества респондентов, которые дают правильный ответ на вопрос. Например, можно обнаружить, что на определенный пункт в тесте технических способностей ответили правильно лишь 40% мужчин и 60% женщин. Даже в этом случае индекс дискриминативности данного пункта может быть одинаковым в обеих группах. Будет сделано заключение о том, что данный пункт как способ измерения технических способностей функционирует для обеих групп одинаково, хотя женщины и обладают по данному вопросу большими знаниями, чем мужчины (то есть больше женщин дали правильный ответ на вопрос).

Факторный анализ

Второй метод исследования конструктной систематической ошибки теста состоит в проведении факторного анализа пунктов отдельно для двух или более групп. Как уже говорилось в предыдущих главах, факторный анализ является важным инструментом оценки внутренней структуры теста. Факторный анализ - статистическая процедура, которая используется для объединения корреляций или ковариаций в более общие группы, или «факторы», которые в некоторой степени внутренне однородны (более детальное рассмотрение факторного анализа см. в Главе 4). Иногда случается так, что ответы на какие-либо пункты в тесте коррелируют друг с другом гораздо сильнее, чем с ответами на другие пункты теста. Пункты, которые сильно коррелируют друг с другом, статистически связаны, и считается, что они отражают один фактор. Если все пункты в тесте в одинаковой мере коррелируют друг с другом (то есть пункты образуют лишь одну внутренне однородную группу), это свидетельствует о том, что тест является одномерным, т.е. вся вариативность тестовых баллов объясняется (помимо ошибки) единственным фактором.

Факторный анализ может быть использован, чтобы оценить внутреннюю структуру теста отдельно для двух групп людей. Например, можно обнаружить, что среди мужчин тест на выявление технических способностей имеет четко выраженную одномерную структуру – все пункты тесно коррелируют друг с другом, а тестовые баллы отражают один и только один конструкт. Для того чтобы оценить потенциальную возможность наличия конструктной систематической ошибки, необходимо также исследовать факторную структуру ответов на вопросы теста в подвыборке женщин. Если в этой подвыборке респондентов также обнаружится только один фактор, можно заключить, что данный тест на выявление способностей обладает одинаковой внутренней структурой и для мужчин, и для женщин. Следовательно, данный тест не подвержен конструктной систематической ошибке. Однако если факторный анализ «женских» ответов обнаруживает наличие двух или более факторов, можно заключить, что исследуемый тест в выборке мужчин и в выборке женщин обладает разной внутренней структурой. Следовательно, тест подвержен конструктной систематической ошибке. Это приводит к тому, что результаты тестирования в выборке мужчин и женщин отражают разные психологические конструкты.