Валидность диагностических методик. Типы валидизации.
А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».
Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл.
Проверка валидности методики называется валидизацией. Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
Обобщая, можно сказать следующее:
• при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;
• при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.
Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той, и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики.
Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.
Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.
Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности — рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).
Критерии оценки результатов обследования
Стандартизация
Нахождение этих критериев – этап стандартизации теста. Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Стандартизация подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
Критерии, по которым следует проводить сравнение результатов диагностических испытаний (3):
СТАТИСТИЧЕСКАЯ НОРМА.
Например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.
В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации.
Для вычисления статистической нормы психологи-диагносты обратились к давно применяемым в биологии приемам математической статистики.
ПРОЦЕНТИЛИ.
Процентиль— это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя.
Например, если 28 % людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соответствует 28-й процентиль (Р28). Процентили указывают на относительное положение индивида в выборке стандартизации. Отсчет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.
Процентили не следует смешивать с обычными процентными показателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от общего числа членов группы. Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Ро). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (Р100). Эти процентили, однако, не означают нулевого или абсолютного результата выполнения теста.
Процентильные показатели обладают рядом достоинств, в частности:
♦ их легко рассчитать и понять даже сравнительно неподготовленному человеку;
♦ их применение достаточно универсально и подходит к любому типу тестов.
Однако недостаток процентилей - это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки распределения. При использовании процентилей определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.