Разработка, адаптация и использование

Надежность тестов

Надежность — это характеристика психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость (стабильность) результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента психологического исследования.

Наибольшая стабильность результатов наблюдается при применении графических и графологических тестов, показатели которых меняются крайне медленно. Медленно изменяется почерк, практически неизменными остаются качество линий рисунков и их композиция.

Наибольшая динамичность показателей наблюдается у интеллектуальных тестов, которые напрямую зависят от способности человека накапливать и перерабатывать информацию.

На устойчивость (стабильность) показателей теста влияют следующие факторы:

• состояние и настроение обследуемых;
• мотивация испытуемых к тестированию;
• эргономические факторы (освещенность, температура в помещении, вибрация, шумы и пр.);
• характеристика деятельности (монотонность-динамичность, помехи и др.);
• степень обучаемости (или натренированности) испытуемых и др.

Надежность результатов тестирования зависит также от а) изменчивости инструмента психологического измерения и б) факторов стабильности самой процедуры измерения. Таким образом, надежность есть степень согласованности результатов тестирования, получаемых при первом и последующих измерениях.

На практике наиболее широко применяются шесть типов надежности: надежность ретестовая (тест-ретест надежность); надежность параллельных форм; надежность частей теста (надежность как гомогенность тестов); надежность по Кудеру — Ричардсону; надежность интерпретатора («оценщика») и стандартная ошибка измерений.

Определение коэффициента надежности в первых двух случаях вычисляется по формулам расчетов коэффициентов корреляции (в зависимости от шкалы, в которой измерены данные) между первым и последующим измерениями или между параллельными формами теста.

Расчет коэффициента надежности при исследовании гомогенности теста осуществляется путем разбиения теста на равные субтесты и расчета корреляции между этими частями. Для определения общей надежности теста полученные коэффициенты корреляции вводятся в формулу Спирмена — Брауна:

R_xx = 2R / 1 + R,

где R — корреляция «половин» теста.

Если части теста являются отдельными дихотомическими заданиями, например вопросами, на которые может быть два ответа (да или нет), или заданиями с оценкой результата как правильного, так и неправильного, используется формула:

R_xx = (K / K — 1) (1 — å (p_i q _i)/d _x²),

где p_i — доля 1-го варианта ответа на i-й вопрос; q _i — доля 2-го варианта на i-й вопрос.

Надежность частей теста может также рассчитываться по формуле Кудера — Ричардсона:

R_xx = (K / K — 1)(1 — å (d _{x i}²)/d _x²);

где К — количество равных частей теста; d _{x i}² — дисперсия i-й части теста; d _x² — дисперсия целого теста.

При работе с клиническими опросниками, тестами креативности и проективными технологиями надежность методик определяется путем сравнения интерпретаций результатов двумя или более экспертами-психологами. Высокие коэффициенты корреляции между ними показывают надежность тестовой оценки.

Коэффициенты надежности психологических измерений представляют собой величину дисперсии показателей, которая вычисляется путем возведения коэффициента корреляции в квадрат. Интерпретируется он следующим образом. Например, коэффициент корреляции между параллельными формами теста равен 0.75. Коэффициент надежности расчитывается так: 0.75² = 0.56. Это означает, что 56% дисперсии исследуемых тестовых данных зависят от истинной дисперсии признаков (данных параллельного теста), а 44% — от ошибок или случайных переменных.

Разберем гипотетический пример определения надежности двух форм теста в ходе исследования креативности 100 школьников. В результате коэффициент надежности взаимозаменяемых форм с интервалом ретестирования две недели составил 0.7. Была вычислена надежность-гомогенность тестов при помощи формулы Спирмена — Брауна, которая составила 0.8. Надежность интерпретации («оценщика») с привлечением второго специалиста-психолога была равна 0.92. Анализ источников дисперсии ошибок показан в таблице.

Анализ источников дисперсии ошибок в исследуемом тесте
По надежности взаимозаменяемых форм (с временным интервалом две недели)	1 — 0.7 = 0.3 (ошибка ретеста + ошибка гомогенности)
По надежности эквивалентных половин теста (формула Спирмена — Брауна)	1 — 0.8 = 0.2 (ошибка гомогенности)
Разность	0.3 — 0.2 = 0.1(ошибка ретеста)
По надежности интерпретации («оценщика»)	1 — 0.92 = 0.08 (различия между интерпретациями)
Суммарная оценка дисперсии ошибок 0.2 + 0.1 + 0.08 = 0.38
Истинная дисперсия 1 — 0.38 = 0.62

Результаты исследования надежности теста креативности можно представить схематично в процентном распределении дисперсии показателей теста.

«Истинная» дисперсия: 62%	Дисперсия ошибок: 38%
Временная устойчивость; согласованность форм; независимость от различий между интерпретациями («оценщиками»).	Ошибка гомогенности: 20%	Ошибка ретеста: 10%	Различия между интерпретациями: 8%

Надежность теста можно выразить посредством расчета стандартной ошибки измерений — SEM (стандартная ошибка показателя). Она расчитывается по формуле [33].

SEM = δ_x √ 1 — R_xx,

где δ_x — стандартное отклонение показателей теста;

R_xx — значение коэффициента надежности.

Физический смысл SEM заключается в определении дисперсии показателей конкретного теста вокруг “истинного показателя”, которая характеризуется плотностью нормального распределения данных. Если, например, 68% всех случаев нормального распределения психологических данных попадает в интервал M_x + δ_x , то примерно два шанса против одного (68 : 32), что ошибка измерений будет “колебаться” в пределах + 1 SEM. При увеличении плотности распределения данных, например — M_x + 3 SEM, увеличивается и вероятность предсказания (99.7 : 0.3) при соответствующем росте интервала ошибки в обе стороны.

Пример: расчитаем стандартную ошибку измерений при помощи тестов CFIT и Равена. Интеркорреляция между показателями тестов составляет 0.81. Стандартное отклонение — 15. Результирующий показатель исследуемой методики CFIT равен, допустим, 110 IQ-баллов.

SEM = 15 √ 1 — 0.81 = 6.5

Это означает, что при определении “истинного” IQ и соотношении шансов удачного предсказания истины 2:1 (или 68 : 32) ошибка будет колебаться в интервале + 1.5 IQ-баллов. И «истинный» показатель теста находится в пределах от 103.5 до 116.5.

При увеличении вероятности прогноза до соотношения 99.7 : 0.3 (3 + δ_x) ошибка возрастает до + 19.5, а “истинный” показатель займет место между 90.5 и 129.5.

Таким образом, надежность, валидность и прогностичность эмпирических данных дают возможность измерять психологические переменные на соответствующем уровне достоверности, который диктуется практикой социальных исследований.

Разработка, адаптация и использование

психодиагностических методик (тестов)

В практике психодиагностической работы перед психологом возникают две основные задачи: разработка, адаптация методик и формирование тестовой батареи.

Алгоритм работы в обоих случаях приблизительно одинаков. Различие заключается в том, что при разработке теста весомое место занимает концептуальная валидизация методики, которая практически отсутствует в процессе формирования тестовой батареи, потому что для измерения какого-либо свойства подбираются теоретически валидные тесты.

В качестве примера разработки методики для иллюстрации процесса валидизации нового теста взят алгоритм отработки технологии "Семантический анализ деятельности" (САД) и теста "Семантического дифференциала "Божественно­го Откровения" (СДО), а формирование и валидизация тестовой батареи показаны на примере профессиологической задачи отбора персонала.

http://refdb.ru/look/2089765-pall.html