Интеграция экспертных оценок
Очень часто в задачах экспертной оценки мы имеем дело с необходимостью построить суммарную оценку объекта, то есть подсчитать так называемый «ИНТЕГРАЛЬНЫЙ РЕЙТИНГ» по оценкам, которые эксперты дают различным признакам (параметрам, показателям) объекта. Вспомним опять же всем известный пример с фигурным катанием. Общая оценка фигуриста суммируется из независимых оценок по двум показателям: «за технику исполнения» и «за артистизм».
Так и в школьном обучении. Например, интегральная успеваемость («рейтинг успеваемости») под-считывается путем суммирования (или усреднения) оценок учеников по всем предметам. Но правильно ли, что ведущие предметы (математика, родной язык) вносят в интегральный рейтинг такой же вклад, как относительно второстепенные предметы (хотя бы по числу учебных часов в неделю), как пение, рисование и физкультура? Можно, например, учесть более
Основы психодиагностики
важное значение главных предметов путем суммирования оценок по этим предметом с более весомым коэффициентом. Такой весовой коэффициент может, например, отражать число учебных часов в неделю. Тогда обобщенная формула рейтинга R получит следующий вид:
R = Р1 • А1 + Р2 • А2+...Рк • Ак,
■
где А1 — оценка объекта (ученика) по 1-му покат зателю,
Ак — оценка объекта (ученика) до k-му показателю,
Р1 — значимость (вес) 1-го показателя, Рк — значимость (вес) к-го показателя.
В упомянутой выше программе EXPAN такой показатель рассчитывается для всех учеников по всем признакам и по всем экспертам (в программе, естественно, реализована более сложная и универсальная формула, позволяющая привести рейтинг к единой шкале от 1 до 1000 с учетом разного количества показателей, разного количества экспертов и, возможно, разных оценок значимости Pi для к критериев, которую дают разные эксперты).
Конечно, пример с оценками по учебным предметам есть только пример, призванный пояснить студентам смысл формулы «интегрального рейтинга». Сам по себе этот пример не имеет по сути никакого психодиагностического значения.
Более серьезный содержательный эффект подобный подход может иметь тогда, когда оценке подвергаются относительно элементарные составляющие такого, например, интегрального свойства, как «уровень сформированности учебной деятельности». Оценки по предметам не всегда точно отражают этот наиважнейший параметр, предопределяющий пер-
Психодиагностика как научная технология
спективы ученика на многие годы вперед, включая поступление и обучение в вузе, где важно иметь развитые навыки самообучения. Вот примерный и далеко не полный перечень возможных показателей для экспертной оценки (к ней, очевидно, должны быть привлечены учителя по всем главным предметам, имеющие дело с данным классом):
1) умение «активно слушать», воспринимать и усваивать новый материал со слуха, во время объяснений учителя на уроке;
2) умение самостоятельно читать и усваивать новый материал по учебнику и другой учебной литературе;
3) высокий темп и точность действий по выполнению письменных заданий (самостоятельных, практических и контрольных работ) на уроке,
4) аккуратное выполнение домашних заданий, наличие своевременной и полной отчетности по письменным домашним заданиям и другим домашним работам;
5) умение удачно отвечать с места;
6) умение удачно отвечать у доски, объяснять и рассказывать усвоенный материал;
7) умение творчески применить усвоенный ранее материал к решению нового задания (умение сравнить новый и старый материал, сделать правильные выводы на основе этого сравнения), умение самостоятельно обобщать, интегрировать приобретенные
знания; И т. п.
Уже этот далеко не полный и довольно поверхностный список так называемых обобщенных «учебных умений» позволяет построить весьма полезный для педагогической работы «сквозной профиль» ученика. При этом выясняется (и это легко будет видеть на графической модели профиля), что, к примеру» У данного ученика Сидорова практически по всем предметам неплохо обстоит дело с «усвоением», но
5. Основы психодиагностики
плохо с «применением» знаний, а у ученика Семенова — неплохо с работой в классе, но совсем плохо -— с работой дома. Кстати, программа ЭКСПАН суммирует все экспертные оценки и строит такой профиль автоматически.
Таким образом, кроме интегрального рейтинга весьма информативен именно диагностический профиль. Он несет в себе более ценную структурную, качественную, а не только количественную информацию. По форме профиля (по наличию пиков и впадин на профиле) можно судить в данном случае о стиле учебной деятельности, устойчиво проявляющимся в работе ученика по разным предметам и с разными учителями. Последующий анализ причин, почему, например, Семенов не может работать дома, позволяет вскрыть важные факторы, воздействующие на данного ребенка (как такие простейшие внешние факторы, как отсутствие подходящих квартирных условий, так и менее очевидные факторы, как сверхвключенность в дворовую компанию или «телевизионный фанатизм» в развитой стадии). Вполне вероятно, что еще не исчерпаны элементарные возможности по внешней коррекции и устранению этих факторов (выполнение домашних заданий в школе, например), которые могут принципиально улучшить общие показатели, общую успеваемость и интегральное самочувствие ребенка в школе.
В этом разделе мы, конечно, уделили больше внимания общей формально-логической схеме применения методов наблюдения и экспертной оценки. Огромное разнообразие всевозможных вариантов применения этих методов здесь перечислить было просто невозможно. Творческое овладение педагогическим коллективом школы (под методическим руководством школьного психолога) подобными на самом деле очень доступными и практичными методами позволит школе очень гибко и быстро решать
Психодиагностика как научная технология
самые разнообразные задачи.
Ключевые термины: поисковое наблюдение, стан-дартизированиое наблюдение, аналитическое наблюдение, кодификация признаков, протокол наблюдения, согласованность экспертных оценок, надежностъ-ва-лидностъ экспертных оценок, интегральный экспертный рейтинг.
2.3. МЕТОД ТЕСТОВ:
НАДЕЖНОСТЬ, ВАЛИДНОСТЬ И СТАНДАРТИЗАЦИЯ
Как уже отмечалось неоднократно в предыдущих главах, метод тестов является одним из основных в современной психодиагностике, а по уровню популярности в образовательной и профессиональной психодиагностике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия. Договоримся понимать под тестами в этом разделе методики, которые состоят из серии заданий с выбором из готовых вариантов ответа. При подсчете баллов по тесту выбранные ответы получают однозначную количественную интерпретацию и суммируются. Суммарный балл сравнивается с количественными тестовыми нормами, и после этого сравнения формулируются стандартные диагностические заключения.
»
Достоинства метода тестов
Популярность метода тестов объясняется следующими главными его достоинствами (ниже в качестве базы сравнения имеются в виду главным образом
Х31
Основы психодиагностики
традиционные устные и письменные экзамены):
1) Стандартизация условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним образованием. Это, однако, не означает того, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием.
2) Оперативность и экономичность. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа (в школьной практике это один урок); тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени (человеко-часов) на сбор данных.
3) Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяет рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам (знаниям, умениям в заданной области). Хороший тест позволяет различать не только три категории учеников-отличников, «середнячков» и «хвостистов», но и хорошо дифференцировать испытуемых на полюсах шкалы — отличать просто способных от очень способных и талантливых, а среди отстающих отличать небезнадежных от «безнадежных» (или совершенно неподготовленных). Кроме того, количественный характер тестовых результатов дает возможность применить в случае тестов хорошо разработанный аппарат психометрики, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях.
-
Психодиагностика как научная технология
4) Оптимальная трудность. Профессионально сделанный тест состоит из заданий ОПТИМАЛЬНОЙ ТРУДНОСТИ. При этом средний испытуемый набирает примерно 50 процентов из максимально возможного количества баллов. Это достигается за счет предварительных испытаний — психометрического экспериимента, или пилотажа. Если в ходе пилотажа становится известным, что с заданием справляется примерно половина из обследованного контингента, то такое задание признается удачным и его оставляют в тесте.
5) Надежность. Это, может быть, самое главное достоинство тестов. «Лотерейный» характер современных экзаменов с вытягиванием «счастливых» или «несчастливых» билетиков давно уже стал притчей во языцах. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора — ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого, любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявлений какого-то умения или способности). В результате возможность для «хвостистов» выбиться в отличники, а для отличника вдруг «провалиться» резко сокращается.
Назовем также ряд достоинств, которые в логическом смысле являются следствиями, производными от перечисленных выше, но заслуживают самостоятельного упоминания.
6) Важнейшим социальным следствием перечисленных выше достоинств метода тестов является Справедливость. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех испытуемых в равные условия. Наиболее сильно субъективизм экзаменаторов проявляется, как известно, не в трактовке уровня решенности
Основы психодиагностики
задачи (не так просто назвать черное белым — решенную задачу нерешенной), а в тенденциозном подборе заданий — своим полегче, чужим — труднее. Во введении к настоящему пособию уже говорилось, что именно тесты обеспечивают важнейшую функцию школы, как социального фильтра, — функцию «социально-профессиональной селекции». То, насколько справедливой оказывается подобная селекция, имеет гигантское значение для развития общества. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного применения тестов. Ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе.
7) Возможность компьютеризации. В данном случае это не просто дополнительное удобство, сокращающее живой груд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптивном компьютерном тестировании резко сокращается время тестирования — см.2.6). Специально подчеркнем, что компьютеризация — это мощный инструмент обеспечения информационной безопасности (достоверности диагностики). Компьютерная организация тестирования, предполагающая создание мощных информационных «банков тестовых заданий», позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкретному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.
Психодиагностика как научная технология
8) Психологическая адекватность. Это важнейшее психологическое следствие оптимальной сложности. Наличие в тесте (по сравнению с традиционными экзаменационными вариантами) большого количества кратких заданий средней трудности дает многим испытуемым (особенно тревожным, не уверенным в себе) шанс «зацепиться», поверить в себя, активизировать психологически оптимальную установку «на преодоление». Ведь когда такой испытуемый остается лицом к лицу перед одной-двумя очень сложными и большими задачами и не видит, как можно с ними справиться вообще, то он падает духом и не раскрывает всех своих возможностей. А если заданий много, и часть из них явно начинает «поддаваться» (испытуемый уверен, что он с ними справится), человек в процессе тестирования ободряется и начинает «бороться» за максимальный результат. Уже упомянутое нами свойство оптимальной сложности важно для теста тем, что оно не только обеспечивает измерительную (различающую) силу тесту, но и обеспечивает оптимальный психологический настрой испытуемых. Человек не является пассивным объектом измерений при тестировании (подобно гире при взвешивании) — он всегда остро эмоционально реагирует на тест. Тестовая ситуация оптимальной сложности является оптимальным возбудителем — люди испытывают нормальный уровень стресса (напряжения), необходимый для того, чтобы показать наивысший результат. Недостаток стресса (в случае легкого теста), а тем более избыток (в случае трудного) искажают результаты измерения. Этого, как правило, совершенно не понимают организаторы наших конкурсных экзаменов, пытающиеся в случае высокого конкурса дать абитуриентам задачки посложнее («на засыпку») — создается избыточный стресс, который не дает возможности проявить себя людям, подготовленным хорошо, но
Основы психодиагностики
обладающим пониженной стрессоустойчивостью.
Во многих странах внедрение метода тестов (равно как и сопротивление этому внедрению) тесно связано с социально-политическими обстоятельствами. Внедрение хорошо технически оснащенных тестовых служб в образовании — важнейший инструмент в борьбе с коррупцией, поражающей правящую элиту (номенклатуру) во многих странах. На Западе тестовые службы работают независимо от «выпускающих» (школы) и «принимающих» (вузы) организаций и снабжают абитуриента независимым сертификатом о результатах тестирования, скоторым он может отправляться в любое учреждение. Эта независимость службы тестирования от выпускающих ипринимающих организаций является дополнительным фактором демократизации процесса селекции профессиональных кадров в обществе, дающая талантливому и просто работоспособному человеку лишний шанс проявить себя.
Однако все перечисленное выше не означает, что метод тестов не обладает некоторыми весьма серьезными недостатками, не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию.
Недостатки тестирования
Как всегда, определенные недостатки метода тестов являются продолжением его достоинств:
1) Опасность «слепых» (автоматических) ошибок. Слепая вера низкоквалифицированных исполнителей, что тест должен сработать правильно автоматически, порождает иногда тяжелые ошибки и казусы: испытуемый не понял инструкцию и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил иска-
Психодиагностика как научная технология
жающую тактику, возник «сдвиг» в приложении трафаретки-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т. п. Мораль — пользователь не должен подходить к тесту с «магической установкой», будто этот волшебный «черный ящик» должен всегда работать исправно без всякого контроля со стороны человека/
2) Опасность профанации. Это эффект деятельности «профанов» в буквальном смысле слова. Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. В результате все проблемы предполагается решать с помощью 2—3 тестов — «на все случаи жизни». К количественному тестовому баллу приклеивается новый ярлык — заключение, создающее видимость соответствия диагностической задаче. Ходовой пример — повальное использование клинического теста MMPI для отбора кадров в нашей стране. В этом случае высокий балл по восьмой шкале «Шизофрения» интерпретируется как «оригинальность мышления», по четвертой шкале «Психопатия» — как «импульсивность» и т. п. Мысль о том, что нормальный здоровый испытуемый настораживается при виде многих вопросов MMPI, в которых откровенно называются психиатрические симптомы («Я часто слышу голоса») и выдают чисто «защитный» профиль, профанов не тревожит. [Примечание. Модификация MMPI, разработанная американцами для здоровых людей, Калифорнийский перечень CPI, у нас до сих пор не прошел полной психометрической адаптации и вообще используется редко]. Еще раз подчеркнем, что недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку.
Основы психодиагностики
3) «Потеря индивидуального подхода, «стрессо-генность». Тест — самая общая «гребенка», под которую подгоняют всех людей. Возможность упустить уникальную индивидуальность нестандартного человека (тем более ребенка), к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует — особенно в ситуации аттестационного тестирования. У людей с пониженной стрессоустой-чивостью возникает даже определенное нарушение саморегуляции — они начинают волноваться и ошибаться в элементарных для себя вопросах (просто из-за «мандража»). Вовремя заметить такую реакцию на тест — задача, которая под силу квалифицированному и добросовестному исполнителю.
4) Потеря индивидуального подхода, «репродук-тивность». Тесты знаний апеллируют прежде всего к стандартному применению готовых знаний. Отсутствие возможности раскрыть свою индивидуальность при наличии стандартных, заданных ответов — ничем, невосполнимый недостаток метода тестов. С точки зрения выявления творческого потенциала большинство тестов весьма ограничены именно тем, что оги не апеллируют к творческой, конструктивной деятельности. Во всяком случае, отдельные стандартизированные творческие тесты имеют дело с весьма абстрактным материалом, а тесты достижений (знаний), адаптированные на жизненно важном материале (профессионально релевантном), как правило, выполнены в форме стандартного набора заданий с заданным ответом.
5) Отсутствие доверительной обстановки. Бездушный и формализованный характер самой процедуры тестирования, конечно, оборачивается тем, что испытуемый лишается ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь в его проблемах и трудностях. Диалогические методы
Психодиагностика как научная технология
(беседа, игра и т. п.) в этом плане имеют несомненные преимущества: непосредственно общаясь с испытуемым квалифицированный психолог может установить доверительный контакт, проявить персональное участие, создать атмосферу, снимающую напряжение и защиту.
6) Потеря индивидуального подхода, неадекватная сложность. Иногда неквалифицированные «тес-тологи» обрушивают на ребенка тесты, слишком трудные, сложные для него по возрасту. У него еще не сложились необходимые понятия и понятийные навыки, чтобы адекватно осмыслить как общую инструкцию к тесту, так и смысл отдельных вопросов. В разделе 1.4 «История психодиагностики» мы уже говорили о драматических казусах резкой недооценки умственного развития детей при применении вербальных тестов. Но многие «невербальные» тесты также требуют развития речевого мышления — хотя бы для осмысления того, что говорит взрослый в своей инструкции. Альтернатива «взрослому» тестированию в детской психологии — игровой подход к тестированию, когда тест включается в контекст игры и ребенок выполняет его как бы играя.
Таким образом, тесты нельзя делать единственным исчерпывающим методом любой диагностики (и образовательно-профессиональной и личностной) — они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). То есть место тестов — дополнять указанные выше более традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.
Спокойное рациональное осознание достоинств и
недостатков метода тестирования освобождает всех
/
Основы психодиагностики
(исполнителей, заказчиков, испытуемых) как от чрезмерных упований на метод тестов, так и от пренебрежения к нему.
Лучшая гарантия от профанов и профанации — серьезный и квалифицированный интерес к тому, какую экспериментально-научную работу проделали разработчики теста, как полно эта работа и ее результаты отражены в сопутствующей документации. Это прежде всего вопросы надежности, выносливости и репрезентативности.
Надежностьтеста
НАДЕЖНОСТЬ — одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста). Надежность — это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:
— разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т. п.),
— динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой «врабатываемости» — выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т. п.),
— информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к
■
Психодиагностика как научная технология
тестам вообще и т. п.).
Разнообразие и изменчивость всех этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как «стандартная ошибка измерения» (Se). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы (специально подчеркнем, что в психометрической теории надежность и точность оказываются синонимами).
ОШИБКА ИЗМЕРЕНИЯ (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:
(1) R =1 - Se2/Sx2,
где S — дисперсия тестовых показателей X.
Формула (1) является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной- Поэтому на практике применяют корреляционные методы. Самый известный из них — метод перетестирования (тест-ретест) или метод измерения «РЕТЕСТОВОЙ НАДЕЖНОСТИ». На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование X, а затем повторное тестирование Y. Интервал, как правило, — две недели, что гарантирует забывание вопросов теста.
Затем для двух рядов значений X и Y подсчиты-вается, например, линейный коэффициент корреляции (возможный и нередко более корректный вари-
Основы психодиагностики
ант — подсчитывать ранговый коэффициент корреляции):
где Sx, S — стандартные отклонения X и Y,
Cov(X,Y) — ковариация двух переменных X и Y.
В этой книге мы не ставим целью научить студентов-педагогов корреляционным методам и пытаемся изложить лишь принципиальную суть дела. Интересующиеся найдут все необходимые формулы и вычислительные примеры в любом учебнике по статистике, а также в специализированных изданиях по психодиагностике и психометрике («Общая психодиагностика», 1987; Клайн, 1994).
Что важно для сути теории надежности тестов, так это возможность определить ошибку измерения после того, как подсчитана корреляция «тест-ретест» по формуле (3), полученной путем простого преобразования формулы (1):
(3) Se = S *VI — R
Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция «тест-ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:
Se = 10*VI - 0,5 -7.1.
То есть оказывается, что ошибка измерения перекрывает большую часть разброса тестовых показателей, так как истинный балл по тесту может отклоняться от измеренного балла на целых 7 очков! И
Психодиагностика как научная технология
если испытуемый набрал на 6 очков больше, чем «средний» испытуемый, мы не можем с достаточной уверенностью (статистической достоверностью) говорить о том, что он значимо превзошел среднего испытуемого, так как это отклонение оказывается в пределах стандартной ошибки измерения.
Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью, и его нельзя использовать как измерительный инструмент.
Показатель надежности R, который принято считать достаточно высоким, равен или превышает 0,95. Хотя в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8 — 0,9.
Метод измерения «ретестовой надежности» пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы «расщепления» теста на отдельные пункты, освещение которых выходит за пределы настоящего пособия.
■
• ■
Валидность теста
Соответствие теста измеряемому психическому свойству называется ВАЛИДНОСТЬЮ теста. Это, без преувеличения, важнейшее психометрическое свойство теста. Если высокая надежность теста говорит нам о том, что тест действительно «что-то» измеряет, то высокая валидность указывает,на то, что тест измеряет именно то, что мы хотим. Конечно, на валидность теста также негативно влияют случай-
Основы психодиагностики
ные факторы. Поэтому в психометрике принято следующее основное психометрическое неравенство:
ВАЛИДНОСТЬ « НАДЕЖНОСТЬ,
что означает, что валидность не может превышать надежность теста.
Но в отличие от надежности помимо случайных факторов на валидность теста влияют систематические факторы* Они привносят систематические искажения в результаты. Эти факторы есть другие психические свойства, которые мешают проявиться в результатах теста тому свойству, на которое тест направлен. У Например, мы хотим измерять «потенциал обучаемости» (важнейший компонент общих интеллектуальных способностей человека). Но даем испытуемому тест с жестким ограничением времени исполнения и отсутствием возможности вернуться и исправить допущенную ошибку. Совершенно очевидно, что искомое психическое свойство оказывается смешанным в тесте с ложным психическим свойством — «стрессоустойчивостью»: испытуемые с высокими показателями стрессоустойчивости будут лучше выполнять тест. В этом проявится эффект систематического искажения.
В современной психометрике разработаны буквально десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом практически всех этих методов является так называемый «критерий». КРИТЕРИЙ ВАЛИДНОСТИ — это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо более валидной) информации
Психодиагностика как научная технология
об измеряемом свойстве — с критерием.
В научных исследованиях преобладают специальные лабораторные критерии. Например, конструируется компактный тест-опросник на тревожность. А в качестве критерия валидности для него используется специальный трудоемкий объективный лабораторный эксперимент, в котором воспроизводится реальная ситуация тревожности (испытуемым-добровольцам угрожают за ошибочные действия ударами тока и т. п.).
На практике очень часто в качестве критерия валидности используются прагматические критерии — показатели эффективности той деятельности, ради
прогнозирования которой предпринимается тестирование (см. рис. 3 в 2.1.). В школе самый типичный критериальный показатель — это успеваемость. Но для социально-психологической адаптации ребенка внешним критериальным показателем может быть уровень популярности в классе (см. 4.4).
Очень часто в качестве критерия валидности используется экспертная оценка. Например, мы хотим убедиться, что короткий тест на измерение уровня дисциплинированности валиден. Для этого опрашиваем учителей об уровне дисциплинированности хорошо известных им учеников. И после этого сравниваем (коррелируем) результаты теста и экспертный рейтинг учеников по дисциплинированности.
Остановимся здесь чуть подробнее на этом последнем примере. Здесь мы имеем один из самих простых и популярных методов эмпирического (статистического) измерения валидности. Это метод «известных групп». К участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе пс критерию они относятся. В случае с тестом дисциплинированности подбираются ученики, заведомо дисциплинированные, по данным экспертной оценки учителей («высокая» группа по крите-
рию), и заведомо недисциплинированные («низкая» группа по критерию). Ученики со средними показателями по критерию в тестировании не участвуют. После проведения теста мы рассчитываем, например, простейшую четырехклеточную корреляцию между тестом и критерием. Для этого заполняется следующая четырехклеточная таблица:
| ВЫСКРИТ. | НИЗ. КРИТ | |
| ВЫС.ТЕСТ | а | b |
| НИЗ.ТЕСТ | с | d |
Элемент а в этой табличке — это число испытуемых, попавших в «высокую» группу по тесту и по критерию, элемент Ъ — число испытуемых, попавших в высокую группу по тесту, но в низкую группу по критерию и т. д.
Очевидно, что при полной валидности теста элементы Ъ и с таблички должны быть равны нулю. То есть тест не должен давать ошибок — говорить о том, что ученик низкодисциплинированный, когда учителя говорят о том, что ученик высоко дисциплинированный (случай с).
Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:
При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать, когда Phi>—0,36. Хотя это, конечно, очень невысокая ва-
Психодиагностика как научная технология
лидность, но все же тест в этом случае дает значимо лучшие результаты, чем случайное гадание. То есть если в вашем учебном заведении есть конкурс и вы хотите отобрать не только одаренных, но и дисциплинированных учащихся, вы можете использовать тест, валидность которого вы проверили, и она оказалась значимой.
Но... Метод «известных групп» обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Дело в том, что при формировании «известных групп» оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест дня прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они прошли в лучшем случае проверку по методике «известных групп» и не обладают так называемой ПРОГНОСТИЧЕСКОЙ ВАЛИДНОСТЬЮ (или по крайней мере эта валидность строго экспериментально не доказана). Конечно, на местном уровне задачу обеспечения прогностической валидности не решить. Это под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать примерно на порядок больше испытуемых — не 30, а минимум 300. Ведь мы просто не знаем, кто из этих 300 попадет в будущем в крайние группы.
Например, мы хотим использовать тест для прогноза готовности школьников к обучению в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то должен взяться за нелегкую многолетнюю программу проверки прогностического потенциала этого теста. Нужно протестировать 300— 500 школьников, а затем подождать, кто из них поступит в вуз и будет успешно там учиться. После двух-трехлетнего интервала можно сформировать
Основы психодиагностики
критериальные группы и подсчитать корреляцию с прежними тестовыми показателями этих бывших школьников. Только после реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую ва-лидность. Без этого мы исходим просто из доверия к научной интуиции разработчика теста и не имеем независимых доказательств того, что тест можно использовать для прогноза.
Различение обычной дешевой схемы валидиза-ции теста (по «известным группам») и дорогой прогностической схемы валидизации теста — важнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.
Когда заказчик твердо знает, каких доказательств эффективности предлагаемого теста можно потребовать от тестолога, он будет надежно застрахован от профанации.
в ■
■
Стандартизация тестов
Что, несомненно, должен знать и уметь делать каждый грамотный пользователь теста — это понимать, что такое тестовые нормы и как ими пользоваться.
Первоначальный суммарный балл, подсчитанный с помощью ключа, не является показателем, который можно диагностически интерпретировать. Его называют в тестологии «сырым тестовым баллом». Применение тестовых норм в профессионально организованной психодиагностике основывается на переводе тестовых баллов из «сырой» шкалы в «стандартную». Эта процедура называется «стандартизация тестового балла».
■
Психодиагностика как научная технология
Пусть мы провели тест из 20 заданий и испытуемый дал 12 правильных ответов. Можно ли при этом сказать, что способность у испытуемого выражена лучше или хуже, чем в среднем? Нет. Для такого вывода нужно сравнить балл 12 со средним баллом по представительной выборке испытуемых.
Выборка, на которой определяются статистические тестовые нормы, называет