Технологический алгоритм разработки теста.
1. Определяемся с феноменом (с темой).
2. Изучение литературы по этому вопросу и знакомство с методиками, которые уже есть.
3. Формулируем операциональное определение феномена (операционализируемое – в котором содержаться поведенческие индикаторы).
4. Составление группы вопросов на каждый поведенческий индикатор (≈10-15 вопросов).
5. Экспертиза для установления содержательной валидности (экспертов д.б. не менее 3-х).
а) эксперт должен оценить каждый вопрос по степени соответствия изучаемому конструкту.
б) эксперт должен оценить степень корректности формулировок (понятность, недвусмысленность, предполагает ответы как ДА, так и НЕТ, не социально желательны, и т.д.).
6. Компоновать методику (для профилактики установки на согласие):
- по предполагаемым ответам;
- по группам;
- по формулировке и т.д.
7. Составить инструкцию и шкалу ответов.
8. Проведение на выборке испытуемых (не менее 100–150 человек).
9. Обработка данных и психометрическая проверка опросника.
а) определение шкал опросника (определение его психометрического конструкта).
→ факторный анализ:
(1)- по каменистой осыпи определяем количество факторов;
(2)- факторизуем по выделенному количеству факторов;
(3)- убираем вопросы с минимальной нагрузкой → (2) → (3)
(4)- создаем ключ.
б) проверка надежности:
- делим на 2 половины;
- сравниваем методом альфа-Кронбака.
10. Проверка валидности.
а) конструктная валидность (конвергентная – сравнить наш опросник с аналогичным (суммарный балл по нашему + суммарный балл по другому)). Оптимально: р = 0,7 или 0,8.
б) критериальная валидность – оценить каждого человека и т.д.
Билет 20.
Требования к психометрической подготовке психолога.
Для эффективного развития практической диагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагностические методики-тесты.
Методами рестандартизации теста, простейшими приемами проверки надежности и валидности должны владеть все психологи.
Всеобщая психометрическая грамотность психологов не исключает выделение из их среды специалистов особого рода – психологов-психометристов, профессионально занимающихся психометрическим обеспечением ПД. ð целесообразно привести 2 списка нормативных требований – к психологу вообще и к психологу-психометристу.
Требования к психологу.
Психолог должен…
1. …уметь квалифицированно разбираться с психометрической документацией в методической литературе по ПД. Должен знать:
- какие психометрические характеристики теста должны указать его разработчики;
- в какой степени эти психометрические характеристики соответствуют типу теста, с одной стороны, и актуальной задаче, для которой требуется его использование – с другой
2. …правильно определить:
- в какой мере известные тестовые нормы по требующейся методике применимы в его ситуации с учетом контингента испытуемых и типа диагностической ситуации;
- в какой мере имеет место ситуация «внутрикультурного переноса» и требуется произвести рестандартизацию тестовых норм.
3. …уметь самостоятельно собрать данные, провести корреляционную обработку и измерить эмпирическую валидность – эффективность методики по отношению к заданному критерию. При необходимости должен уметь самостоятельно конкретизировать операциональные индикаторы критериальной информации.
4. …уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой необходимого уровня надежности (при этом проверять свою гипотезу статистически).
5. …вести двойную документацию: все копии протоколов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополнения общего банка данных и совершенствования психометрических характеристик методики.
6. …уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обуславливающих фальсификацию испытуемыми тестовых данных, должен уметь корректно отсеивать недостоверные протоколы, статистически фиксировать достижение приемлемого уровня достоверности для массовых результатов в групповой диагностике.
7. …овладевать приемами сложного качественного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой информации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для автоматизации подсчетов на ЭВМ.
Требования к психологу-психометристу.
Психолог-психометрист должен…
1. …уметь самостоятельно планировать и осуществлять все этапы по психометрическому конструированию или адаптации психодиагностических методик:
- проверка надежности и валидности на уровне отдельных пунктов теста;
- отсев ненадежных и невалидных пунктов;
- построение и анализ распределения тестовых баллов;
- построение математического уравнения для прогнозирования или «решающего правила» для распознавания.
2. …уметь организовывать хранение и обработку психодиагностических данных на ЭВМ, владеть навыками работы с ЭВМ в режиме диалога в рамках стандартных операциональных систем, интерпретаторов или компиляторов для языков высокого уровня, знать структуру используемых в ПД баз данных и уметь управлять базами данных.
3. …уметь организовывать работу психологов-психодиагностов:
- по ведению документации и используемым методикам;
- по соблюдению методических стандартов;
- по сведению и интеграции результатов в общие банки психодиагностической информации.
4. … уметь вести картотеку методик в рамках заданной области (отраслевой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку методических материалов и методических рекомендаций к использованию стандартизированных методик.
Билет 21.