Психометрические требования к построению и проверке диагностических методик

Психометрические параметры: Надежность, Валидность, Трудность, Дискриминативность Надежность – устойчивость результатов теста к действию посторонних факторов, степень согласованности результатов между двумя тестированиями. Надежность методики - это такой критерий, который говорит о точности психологических измерений, т.е. позволяет судить о том, насколько внушают доверие полученные результаты. На характеристику надежности методик большое влияние оказывает исследуемая выборка, которая должна быть: репрезентативной, стратифицированной, объем 300 – 500 чел. Надежность методики устанавливается с помощью корреляции.Надежность тем выше, чем больше полученный коэффициент k приближен к 1. Гуревич предложил толковать надежность в трех смыслах: 1. Надежность самого измерительного инструмента. Коэффициенты надежности зависят от правильности подбора заданий и от социально- психологической однородности выборки, на которой проверялась надежность. 2. Стабильность изучаемого признака (прием “тест – ретест”). Показатель, характеризующий стабильность измеряемого свойства - это коэффициент стабильности. При определении стабильности признака большое значение имеет: промежуток времени между обследованиями; если исследуемое свойство находится в процессе развития; если измеряемое свойство уже сформировано и устойчиво. 3. Константность (т.е. относительная независимость результатов от личности экспериментатора).

Существует несколько способов проверки надежности:

1) оценка однородности или внутренней согласованности теста – это анализ тесового задания методом расчленения – задание распределяется на части и дается выборке, полученные результаты коррелируются между собой. Если коэффициент корреляции ≥ 0,6, то тест надежен;

2) тест-ретест –путем повторного обследования той же методикой через месяц;

3) надежность параллейных форм – исследование с помощью взаимозаменяемых форм теста, сначало исследуют с помощью набора А, потом В.

Для того, чтобы безошибочно прогнозировать личность испытуемого мы должны использовать только те методики, которые психометрически обоснованы.

Валидность – это способность теста измерять ту психологическую характеристику, для которой он предназначен. А.Анастази: “Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает”. Понятия валидности включает в себя разные ее виды, имеющие свой особый смысл. 1. Валидность измерительного инструмента (отношение к самой методике) (теоретическая валидизация исследователя интересует само свойство, измеряемое методикой (это означает, что проводится психологическая валидизация)). Действительно ли методика измеряет именно то свойство, качество, которое она должна измерять по мнению исследователя. 2. Валидность цели использования (прагматическая валидизация).

Оценка валидности может носить количественный и качественный характер. Для вычисления количественного показателя (k) - коэффициента валидности – сопоставляются результаты, полученные при применении методики с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону) Качественное описание – клинические оценки. Это качественное описание сущности изучаемого свойства.

Существует несколько видов валидности, обусловленных особенностями диагностических методик и временным статусом внешнего критерия: Валидность “по содержанию” (в тестах достижения - проводится сопоставление успешности по тесту с экспертными оценками учителей по данному материалу). Иногда этот прием называют логической валидностью. Валидность “по одновременности” (текущая валидность). Собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность и т.д. С ними коррелируют резульлтаты успешности по тесту. “Предсказывающая валидность” (“прогностическая” валидность). Информация по внешнему критерию собирается некоторое время спустя после испытания. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. “Ретроспективная” валидность. Определяется на основе критерия, отражающего события или состояния качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

Есть несколько видов валидности

1) содержательная – тест валиден по мнению по мнению специалистов, ее нужно различать с внутренней валидностью, они не совпадают, т.к. внутренняя валидность – это валидность по мнению испытуемых;

2) эмпирическая (критериальная) – измеряется подбором известного теста, измеряющею ту же псих. Особенность, что и исходный тест, но валидность которого доказана. Обе методики предъявляются испытуемым, получаем 2 ряда значений, рассчитываем коэффициент корреляции, если он высокий, то тест валиден;

3) конструктная – отражает степень представленности исследуемого психического явления в результатах теста;

4) прогностическая - характеризует степень точности и обоснованности суждения о диагностируемом качестве по результату спустя определенного времяни.

Выбор процедуры валидности зависит от цели применения теста.

Трудность заданий теста – это характеристика заданий теста, отражающая статистический уровень решаемости заданий в данной выборке стандартизации. Выделяют 2 вида трудностей: 1. Субъективно-психологическая. Она связана с индивидуально-психологическим барьером (как воспринимается задание теста самим испытуемым): лимит времени, понимание инструкции, знания и умения испытуемого, психическое состояние испытуемого, мотивация. Воздействие этих факторов на результат выполнения теста снижает надежность и достоверность данных. Выравнивание этих воздействий призводится с помощью направленного комплектования выборки и стандартной процедуры проведения. Требования к проведению тестирования: строгое соблюдение процедуры тестирования, создание мотивации. 2. Статистическая (объективная трудность). Показатель – доля лиц в выборке решивших или не решивших задание. 20% решили, 80% не решили – тест трудный, наоборот – легкий. Слишком легкие и трудные задания убираются. Трудность соответствует % содержанию выполнения заданий. Расположение заданий по индексу трудности позволяет испытуемому оценить свое состояние в данный момент. В каждом субтесте каждое задание просчитывается на трудность, поэтому нельзя менять задания и субтесты местами. Каждый вопрос должен быть в допустимом интервале трудности. Допустимый уровень трудности от 0,16 до 0,84.

Дискриминативность заданий теста – это способность отдельных пунктов (заданий теста) дифференцировать испытуемых относительно “минимального” или максимального результата теста. Любой ответ испытуемого на конкретное задание можно представить по 2-х бальной шкале – верно (1 балл), неверно (0 баллов). Сумма баллов по всем пунктам представляет первичную (“сырую”) оценку.

Мера соответствия успешности выполнения одной задачи всему тесту является показателем дискриминативности заданий теста для данной выборки и называется коэффициентом дискриминации (индексом дискриминации). Он может принимать значение от –1 до +1. Высокий положительный коэффициент говорит об эффективности деления испытуемых. Высокое отрицательное значение говорит о непригодности данной задачи для теста. Коэффициент дискриминации является показателем критериальной валидности отдельного пункта. Индекс дискриминации вычисляется с применением метода контрастных групп. В выборке испытуемых выделяют группы по успешности.

1. Нижняя граница “отсечения” групп – 10%, верхняя – 33 % от общего числа испытуемых в выборке. Десятипроцентные группы берут редко, поскольку их малочисленность снижает статистическую надежность индексов дискриминации. Чаще из выборки “извлекают” по 27 или 33 % испытуемых.

2. Группы – (успешные, неуспешные).

Индекс дискриминации вычисляется как разность между процентной долей лиц, правильно решивших задачу и неуспешных и обозначается D. Наиболее значимым является D = 50. Чем ближе к 50, тем лучше. Все подходящие вопросы с низкой дискриминативностью исключаются.

При анализе Д. з. т. особое внимание уделяется определению статистической значимости коэффициентов корреляции. Когда коэффициент дискриминации ®к 0 и уровень значимости невысок, проверяемый пункт теста должен быть пересмотрен в связи с некорректностью формулировки задания или ответа на него.