Достоверность результатов психодиагностического обследования
Профессиональный разработчик научного психологического теста при его конструировании следует особому, научно обоснованному, технологическому алгоритму. По поводу каждого ключа выдвигается статистическая гипотеза. Она проверяется на большой выборке испытуемых. Ключ в тесте — результат выявленной экспериментальным путем статистически значимой зависимости. Эта зависимость между ответом на конкретный вопрос и реальными событиями и фактами из жизни испытуемого. В научной психодиагностике этап разработки тестов — это трудоемкий и строгий научный корреляционный анализ. Это психометрический эксперимент, с помощью которого разработчики проверяют, реально ли данный тест измеряет то, что он предназначен измерять. Выборка не менее 50-60 человек. Собирается также объективная информация о том факторе, который мы хотим измерить. Много раз "переделывается".
Алгоритм известен всем специалистам, поэтому они всегда могут проверить обоснованность авторского ключа к тесту. Принципиальная воспроизводимость алгоритма разработки теста и проверки его ключей (связывающих тестовые задания и латентные факторы) подчиняет психодиагностику объективному научному критерию "независимой воспроизводимости".
Таким образом, критерии объективности, достоверности научных психодиагностических методов заложены в принципах и методах их разработки. Так обстоит дело с объективностью в случае с измерительными стандартизованными методиками (с тестами). А как обеспечивается объективность при применении экспертных методов? Очень широко применение в психологии и "нестандартизованных" методов сбора психологической информации, в которых результат напрямую зависит от компетентности тех, кто применяет методику, — это экспертные методы. Пример. Тест Роршаха.
Некоторые экспертные методики предполагают подсчет количественных показателей, но вопрос о том, подводится или не поводится ответ испытуемого под какую-нибудь категорию, решает здесь сам психолог, применяющий методику. Проективные методики в строгом смысле не тесты, а экспертные методы. Для проверки их объективности используются процедуры статистической проверки согласованности независимых экспертных оценок (метод независимых судей).
Так существуют или нет в психодиагностике достоверные результаты? Да! Но …. только, если их использует профессионально подготовленный исполнитель.
Например. Тест способностей. При точном выполнении правил тестирования мы можем гарантировать объективность. Это касается и процедуры: дилетант создал стресс, и методика уже измеряет не способности, а стрессоустойчивость личности.
Пользователь методики в случае объективных тестов призван соблюсти строгие методические предписания, констатировать соблюдение условий корректного тестирования, и тогда результат можно интерпретировать в соответствии с приложенной к тесту инструкцией по интерпретации.
Прогноз же на основании психологического диагноза по тестам на сегодня возможен только с вероятностной точностью. Это имеет место и в других науках. Различие заключается в размере вероятностной ошибки прогноза, просто в психодиагностике она выше. Поэтому научное обоснование теста включает в себя расчет и явное опубликование стандартной ошибки измерения для данного теста.
Самостоятельная разработка тестовой методики[18]
Самостоятельная разработка тестовой методики обычно имеетследующие этапы:
1. Выбор предмета (явления) и объекта исследования (контингента).
2. Выбор вида теста (объективный, субъективный, проективный), типа заданий (с предписанными ответами, со свободными ответами) и шкал (числовые, вербальные, графические).
3. Подбор первичного банка заданий. Может осуществляться двумя путями: вопросы формулируются, исходя из теоретических представлений об измеряемом явлении (факторно-аналитический принцип) или вопросы подбираются в соответствии с их дискриминативностью, т.е. способностью отделять испытуемых по наличию требуемого признака (критериально-ключевой принцип). Второй принцип является эффективным в тестах отбора (например, профессионального или клинического).
4. Оценка заданий первичного банка (оценка содержательной валидности теста, т. е. соответствия каждого из заданий измеряемому явлению и полноты охвата изучаемого явления тестом в целом). Проводится с помощью метода экспертной оценки.
5. Предварительное тестирование, формирование банка эмпирических данных.
6. Эмпирическая валидизация теста. Проводится с помощью корреляционного анализа оценок теста и показателей по внешнему параметру изучаемого свойства (например, школьной успеваемости при валидизации теста интеллекта; врачебного диагноза при валидизации клинических тестов; данных других тестов, валидность которых известна, и др.).
7. Оценка надежности теста (устойчивости результатов к действию случайных факторов, внешних и внутренних). Наиболее часто оценивается надежность ретестовая, надежность частей теста и надежность параллельных форм, если таковые существуют. Методика признается надежной, если коэффициент корреляции результатов (первичного и повторного тестирования; одной и другой частей теста; одной и другой параллельных форм) составляет не менее 0,75. При более низком показателе надежности производится корректировка заданий теста, переформулирование вопросов, снижающих надежность.
8. Проводится стандартизация теста. Стандартизация оценок подразумевает преобразование нормальной или искусственно нормализованной шкалы первичных оценок (эмпирических значений изучаемого показателя) в оценки шкальные (отражающие место в распределении результатов выборки испытуемых). Виды шкальных оценок: стены (1-10), станайны (1-9), Т-оценки (10-100) и др.
9. По возможности определяется прогностическая валидность.