Константная надежность теста
Вводные замечания. Константная надежность теста характеризует устойчивость результатов одних и тех испытуемых к влиянию личности тех, кто проводит психодиагностическое обследование. Процедура проверки данного вида надежности состоит в сравнении результатов обследования группы испытуемых разными психодиагностами. В качестве показателя константной надежности используется коэффициент корреляции, показывающий тесноту связи между результатами двух испытаний.
Цель:оценить константную надежность первичной формы опросника.
Материал: проверяемый тест, таблицы по математической статистике, калькулятор.
Ход работы
1. Составить выборку стандартизации путем случайного выбора испытуемых из генеральной совокупности.
2. Первому экспериментатору провести обследование данной выборки с помощью оцениваемого опросника. Полученные суммарные баллы испытуемых занести в графу «Суммарный балл Э1» таблицы 28.
3. Провести обследование этой же выборки с помощью оцениваемого опросника, но другим экспериментатором. Полученные суммарные баллы испытуемых занести в графу «Суммарный балл Э2» таблицы 28.
Таблица 28
Расчет коэффициента константности
| № п/п | Суммарный балл Э1 | Суммарный балл Э2 | R1 | R2 | R1 – R2 | (R1 –R2)2 |
| 10.5 | -3.5 | 12.25 | ||||
| … | ||||||
| 10.5 | 10.5 | |||||
| S = 334,5 |
Обработка результатов
1. Проранжировать суммарные баллы испытуемых, полученные при тестировании первым экспериментатором. Данные занести в графу R1таблицы 28.
2. Проранжировать суммарные баллы испытуемых, полученные при тестировании вторым экспериментатором. Данные занести в графу R2 таблицы 28.
3. Найти разность рангов для каждого испытуемого (R1 – R2) и занести в соответствующий столбец таблицы.
4. Вычислить квадраты разностей рангов - (R1 – R2)2
5. Вычислить сумму квадратов разностей рангов - S(R1 – R2)2.
6. Подставить полученное значение суммы в формулу для вычисления коэффициента ранговой корреляции Спирмена:
Анализ результатов и выводы
Проверить статистическую значимость полученного коэффициента корреляции r:
а) выбирается уровень значимости a = 0,05;
б) по таблице (см. приложение 4) определяется критическое значение коэффициента корреляции при a = 0,05 и n = 20.
Если r > rкрит, то гипотеза Н0 – не верна, принимается гипотеза Н1 о том, что r ¹ 0.
Сделать вывод о константности теста.
Тест обладает хорошей константностью, если полученный коэффициент корреляции больше 0,80.
ВАЛИДНОСТЬ ТЕСТА
По определению А. Анастази: “Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает”[17]. Валидность по своей сути — это комплексная характеристика измерительной процедуры, оценивающая пригодность методики для измерения того, для чего она была создана, и ее действенность, эффективность. Проверка валидности методики называется валидизацией. Она состоит в сопоставлении результатов, полученных при применении диагностической методики к группе испытуемых, с данными той же группы испытуемых, но полученными по некоторому внешнему критерию. Количественным показателем валидности является коэффициент валидности, который определяется путем вычисления коэффициента корреляции, характеризующей тесноту связи между баллами по тесту и баллами по внешнему критерию. В зависимости от характера используемых измерительных шкал вычисляют либо коэффициент линейной корреляции по Пирсону (при использовании шкалы интервалов или шкалы отношений), либо коэффициент ранговой корреляции по Спирмену (при использовании порядковой шкалы). Тест считается валидным, если коэффициент корреляции статистически значим. При этом низким признается коэффициент валидности порядка 0,20—0,30, средним — 0,30—0,50 и высоким — свыше 0,60[18].
В психометрике выделяется ряд видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия.
1. Содержательная валидность или валидность “по содержанию”определяется степенью представленности взаданиях или пунктах теста содержания измеряемого свойства. Этот вид валидности особенно важен для тестов достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3—4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность “по содержанию” также важна для тестов способностей, так как содержание заданий, их разнообразие и пропорция должны воспроизводить содержание, состав и пропорцию психологических элементов, входящих в сложную способность. Она имеет значение и для критериально-ориентированных тестов. Иногда эту валидность еще называют логической валидностью.
2. Эмпирическая валидностьсостоит в способности теста измерять некоторое психическое явление, от наличия или выраженности которого зависят показатели, характеризующие эффективность той или иной сферы практической деятельности людей. Такими показателями являются успеваемость, преступность, заболеваемость, аварийность, производительность труда и т.д. Их стремятся либо повысить, либо понизить, с помощью средств различных наук, в том числе психологии. Поэтому возникает потребность в измерении тех психологических переменных, от которых зависят эти показатели. Указанные показатели используются как внешние критерии эмпирической валидности теста, измеряющего соответствующую психологическую переменную. Эмпирическая валидизация предполагает измерение корреляция между баллами по тесту и показателем практической деятельности, избранным в качестве внешнего критерия валидности.
В зависимости от временного статуса внешнего критерия различают следующие три вида валидности.
3. Текущая валидность (валидность “по одновременности”) определяется с помощью внешнего критерия, по которому информация собирается одновременно с измерениями по проверяемой методике. Процедура текущей валидизации состоит в синхронном сборе данных по критерию и по тесту. В качестве такого критерия может использоваться: успеваемость, производительность, текучесть кадров, заболеваемость и т.п..
4. Прогностическая (предсказывающая) валидность определяется по внешнему критерию, информация по которому собирается через некоторое время после испытания. Внешним критерием может быть успешность выполнения какой-либо деятельности, до начала выполнения которой с помощью валидизируемого теста оценивалась способность человека к данной деятельности. Этот способ валидизации наиболее соответствует задаче диагностики — предсказанию будущей успешности, Однако применять его очень трудно, так как точность прогноза находится в обратной зависимости от длительности временного промежутка между измерением критерия и проведением теста. Чем больше этот период, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики.
5. Ретроспективная валидностьопределяется на основе критерия, состояние которого оценивалось в прошлом - до проведения испытания с помощью валидизируемой методики. Процедура ретроспективной валидизации может быть использована для быстрого получения сведений о предсказательных возможностях методики. Например, для оценки возможности предсказания успеваемости по результатам теста способностей можно сопоставить прошлые оценки успеваемости с результатами испытания их способностей в настоящее время.
Конвергентная и дискриминантная валидность. В тесте желательно иметь только такие пункты, которые однозначно информировали бы только об одном факторе, подлежащем измерению. Но пункты теста на практике детерминируются как релевантными, так и иррелевантными факторами. Для характеристики способности теста измерять релевантный фактор и противостоять действию иррелевантных факторов используются следующие два вида валидности.
6. Конвергентная валидностьсостоит в способности теста информировать о релевантном факторе, выступающем в качестве предмета измерения. Она обеспечивается соответствием пунктов измеряемому фактору.
7. Дискриминантная валидность- это способность теста компенсировать искажающее действие иррелевантных факторов на результаты теста. Она достигается путем балансировки пунктов относительно иррелевантных факторов. Пункты считаются сбалансированными относительно иррелевантных факторов, если на множестве всех пунктов теста ни один иррелевантный фактор не встречается чаще других. Эмпирически дискриминантная валидность выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.
8. Конструктная валидность – это степень репрезентации измеряемого психологического конструкта в результатах теста. Она характеризует степень представленности теоретических положений о сущности и структуре измеряемой психологической переменной в заданиях тестах. При наличии валидизированного теста, измеряющего данный конструкт, конструктная валидность определяется путем вычисления коэффициента корреляции между баллами испытуемых по создаваемому тесту и старому тесту.
При приведении данных о валидности разработанной методики необходимо указать, вид валидности, сведения о численности и особенности выборки, которая использовалась для проведения валидизации. Это позволяет оценить, насколько пригодна данная методика для обследования той или иной группы. Если обследуемая выборка испытуемых, существенно отличается от той, на которой проводилась проверка валидности, необходимо заново провести процедуру валидизации.
Лабораторная работа № 18