Малоформализованные методики
Теперь рассмотрим некоторые приемы, которые включаются в понятие «малоформализованные диагностики». Как уже говорилось, к числу таких приемов относятся наблюдения, опросы, беседы (интервью), анализ продуктов деятельности.
Метод наблюдения.Это старейший метод психологической диагностики. С его помощью можно получить обширную информацию о человеке. Он является незаменимым там, где не разработаны или неизвестны стандартизированные процедуры. При этом исследователю для проведения наблюдения не требуется согласия или иной формы участия наблюдаемых.
Особо важное значение метод наблюдения имеет для изучения психологических особенностей детей, поскольку ребенок как объект исследования представляет большие трудности для экспериментального изучения, чем взрослый человек.
В нашей стране в 20-е гг. наблюдение широко использовалось в работах М.Я. Басова при изучении поведения детей. Им была разработана методика психологических наблюдений. Основной принцип этой методики, отличающий ее от применявшихся ранее дневниковых психологических наблюдений (например, у В. Штерна, К. Бюлера и др.), — это максимально возможная фиксация объективных внешних проявлений.
Второй принцип — это наблюдение непрерывного процесса, а не отдельных его моментов. И третий принцип — избирательность записи. Регистрируются только те проявления, которые существенны для конкретной задачи исследователя. При этом, по мнению М.Я. Басова, регистрировать при наблюдении следует не только внешние проявления, но и те внешние и по возможности внутренние стимулы, которые их вызывали, а также общую обстановку («фон»), в которой осуществлялось поведение.
В соответствии со своей научной концепцией М.Я. Басов разработал подробную схему психологического анализа наблюдений и общие принципы воспитания умения проводить наблюдения у педагогов-психологов. По мнению Б.М. Теплова, методика психологических наблюдений М.Я. Басова была единственной в мировой литературе научной разработкой этого метода. Эта оценка до сих пор остается справедливой.
Поскольку в этом методе в качестве «измерительного инструмента» выступает сам наблюдатель, очень важно, чтобы он владел техникой наблюдений на высоком уровне и в полном объеме. Наблюдение может быть наивным и научным. Наивный способ наблюдений очень сильно зависит от личностных способностей наблюдателя, его установок, намерений и т.п. Результаты такого наблюдения носят неопределенный характер и могут интерпретироваться другими исследователями совершенно по-разному. Можно сказать, что они в большей мере характеризуют самого наблюдателя, чем того, за кем он наблюдает.
Психологическим целям больше соответствует научное наблюдение, или, как его называл М.Я. Басов, «исследующее, или выбирающее» наблюдение. Такое наблюдение осуществляется на основе тщательной предварительной подготовки. Оно предпринимается со строго определенной целью, которая и определяет и время наблюдения, и отбор нужных фактов. Другими словами, научное наблюдение отличается от наивного постановкой проблемы, выбором ситуаций для наблюдения, определением психологических качеств или особенностей поведения, которые должны стать объектом наблюдения, разработанной системой фиксации и записи результатов, однозначностью понимания другими людьми полученных данных. В качестве примера приведем сформулированные Р.Б. Кеттеллом (1957) правила психологического наблюдения:
1) поведение испытуемого должно быть оценено в разнообразных ситуациях (в школе или на работе, в общественных местах) и в разных ролевых позициях (учащегося, работника, отца, сына, друга и т.п.), поэтому наблюдатель должен проводить с испытуемым ежедневно определенное количество времени в течение 2—3 месяцев;2) заранее должны быть определены черты личности или особенности поведения, которые необходимо оценить;
3) экспериментатор должен быть предварительно натренирован в подобной оценке;
4) наблюдение должно быть беспристрастным;
5) оценивать одного обследуемого должны не менее 10 наблюдателей и окончательная оценка должна представлять среднее из их наблюдений, при этом суждение каждого из них должно быть независимым.
Классификация наблюдений проводится по разным основаниям. По степени формализованности наблюдение может быть неконтролируемым (исследователь пользуется общим принципиальным планом) и контролируемым (регистрация поведения идет по детально разработанной процедуре). В зависимости от положения наблюдателя различают простое (или обычное) наблюдение, когда события регистрируются со стороны, и соучаствующее (или включенное) наблюдение, когда исследователь включается в определенную социальную ситуацию и анализирует события как бы «изнутри».
Сложная проблема, которая встает при применении метода наблюдения, заключается в том, как фиксировать наблюдаемое. К основным формам протоколирования наблюдений можно отнести следующие: признаковые или знаковые системы, системы категорий и шкалы рейтинга (оценок). Когда протоколирование ведется в системе признаков, то заранее описывают конкретные виды поведения, симптоматические для целой поведенческой сферы, и потом фиксируют, какие из них появляются в тот или иной период наблюдения. Признак должен быть однозначным и не требовать дополнительного разъяснения. Например, в схеме наблюдения Шульца использованы такие признаки: учитель работает с учеником, учитель работает с маленькой группой, учитель игнорирует вопрос ученика, ученик отвечает урок, ученик громко читает и пр.
Система признаков открыта, т.е. может быть продолжена. В этом ее отличие от системы категорий. В системе категорий должны быть полностью описаны все виды поведения наблюдаемого; добавлять в процессе наблюдения что-то новое уже нельзя. Например, категории, выделенные американским психологом Р. Бейлзом для изучения последовательных фаз в групповой деятельности, следующие: ориентировка членов группы в отношении общей задачи; оценка хода выполнения задачи членами группы; контроль; фаза принятия решения; сопровождающие процесс принятия решения эмоции (положительные и отрицательные).
Используя признаковые и категорийные системы, наблюдатели могут давать оценки, интерпретации (например, вежливый, строптивый и т.д.), которые для каждого из них имеют свое значение.
Чтобы избежать субъективизма, используют шкалы рейтинга. Они требуют фиксации не наличия признака, а степени его выраженности. Например: «Какой интерес проявляет ученик во время занятий?» Степень выраженности этого интереса можно оценить по 5-балльной системе: совсем не проявляет (1 балл); едва проявляет (2 балла); проявляет какой-то интерес (3 балла); проявляет большой интерес (4 балла); проявляет жгучий интерес (5 баллов).
Как видно, метод наблюдения является достаточно трудоемким и сложным диагностическим инструментом, требующим от наблюдателя большого профессионального опыта и специальной подготовки. Попытки придать этому методу формализованный характер (например, составление жесткой процедуры наблюдения, получение с помощью шкалы рейтинга количественных оценок) способствуют повышению объективности и достоверности полученной информации.
Опрос.Это метод сбора первичных данных на основе вербальной коммуникации. При соблюдении определенных правил он позволяет получить не менее надежную информацию о событиях прошлого и настоящего, об устойчивых склонностях, мотивах тех или иных поступков, о субъективных состояниях, чем метод наблюдения.
Было бы ошибкой считать, что опрос — самый «легкий» для применения метод. Искусство использования этого метода состоит в том, чтобы знать, как спрашивать, какие задавать вопросы, как убедиться в том, что можно верить полученным ответам. Как и в опросниках личности, самая большая сложность, которая возникает при применении этого метода, заключается в формулировании вопросов. Существуют многочисленные правила построения вопросов, расположения их в определенном порядке, группировке в отдельные блоки и т.д. В литературе подробно описаны типичные ошибки, возникающие при неграмотном конструировании вопросов (В.А. Ядов, 1972).
Методы опроса имеют некоторые различия по форме и характеру их организации. Так, они могут проводиться устно или письменно, индивидуально или в группе, один раз или многократно. Вопросы могут формулироваться в прямой форме (ответ следует понимать в том же смысле, как его понимает опрашиваемый) и косвенной (ответ предполагает расшифровку в ином, скрытом от отвечающего смысле). Они могут иметь открытый или закрытый характер.
Одним из наиболее распространенных видов опроса является интервью.
Интервью.Это проводимая по определенному плану беседа, предполагающая прямой контакт интервьюера с респондентом (отвечающим). По форме оно бывает свободное (беседа без строгой детализации вопросов, но по общей программе: стройная стратегия в общих чертах, а тактика свободная); стандартизированное (осуществлена детальная разработка всей процедуры, включая общий план беседы, последовательность вопросов, варианты возможных ответов: стойкие стратегия и тактика); частично стандартизированное (стойкая стратегия, а тактика более свободная). Диагностическим целям в большей мере соответствует стандартизированная форма интервью, поскольку дает возможность получить сравнимые данные о разных испытуемых, ограничивает влияние посторонних воздействий, позволяет в полной мере и в нужной последовательности «отработать» все вопросы. Однако его следует применять только тогда, когда отвечающий охотно идет на это. В противном случае результат может быть неудовлетворительным, поскольку стандартизированное интервью многими людьми воспринимается как ситуация экзаменационного опроса, что ограничивает проявления непосредственности и искренности отвечающего. При работе с детьми стандартизированное интервью применяется редко. Психолог стремится к более естественным формам беседы. Чаще всего интервью имеет следующую структуру:
а) введение: настройка на беседу, на сотрудничество;
б) свободные высказывания испытуемого;
в) общие вопросы (например: «Ты можешь мне что-нибудь рассказать о школе?»);
г) подробное исследование;
д) снятие возникшего напряжения и выражение признательности за участие в беседе.
Интервью не должно быть продолжительным и скучным. Регистрация ответов не должна сдерживать отвечающего. Интерпретация полученных результатов не лишена субъективизма, поэтому, как уже говорилось выше, их следует рассматривать в комплексе с данными диагностических методик.
В зависимости от целевого назначения интервью разделяют на диагностические и клинические. Диагностическое интервью — это метод получения информации о свойствах личности, используемый на ранних этапах психотерапии. Оно может быть управляемым и неуправляемым («исповедальным»). Клиническое интервью — это метод терапевтической беседы, помогающей человеку осознать свои внутренние затруднения, конфликты,"скрытые мотивы поведения.
Анализ продуктов деятельности (контент-анализ).В психодиагностике существует еще один способ получения информации — это количественно-качественный анализ документальных источников, позволяющий изучать продукты человеческой деятельности. Под понятием «документальный источник» понимаются письма, автобиографии, дневники, фотографии, записи на кинопленке, произведения искусства, материалы средств массовой информации (газеты, журналы и т.п.).
Для того чтобы при изучении документов можно было преодолеть субъективизм исследователя, выявить достоверную информацию и достаточно точно ее регистрировать, был разработан специальный метод, получивший название «контент-анализ» (буквально «анализ содержания»). Впервые он начал применяться начиная с 20-х гг. нашего столетия для обработки материалов средств массовой коммуникации. Это более или менее формализованный метод анализа документов, когда на основе гипотезы исследователя в документальных материалах выделяются специальные единицы информации, а затем подсчитывается частота их употребления. Так, например, в 20-е гг. русский исследователь Н.А. Рыбников в ходе анализа сочинений прослеживал, как распределяются положительные и отрицательные оценки школьниками своей жизни в зависимости от возраста и пола. Или другой пример. В 80-х гг. Н.Н. Лепехиным и Ч.А. Ша-кеевой проводился контент-анализ эпизодов жестокости и агрессии в западных и отечественных кинофильмах. Анализ выявил количественное преобладание и более жестокий характер подобных эпизодов в западных фильмах.
Таким образом, основная процедура контент-анализа связана с переводом качественной информации на язык счета. С этой целью выделяются два типа единиц: смысловые, или качественные, единицы анализа и единицы счета, или количественные. Основная трудность при работе с документальными источниками — умение провести качественный анализ, т.е. выделить смысловые единицы. Это во многом зависит от личной компетентности исследователя, уровня его творческих возможностей.
Так как контент-анализ основан на принципе повторяемости, частоты использования различных смысловых единиц (например, определенных понятий, суждений, образов и т.п.), его следует применять только тогда, когда есть достаточное количество материала для анализа.
В контент-анализе от простого подсчета частот встречаемости тех или иных смысловых единиц постепенно перешли к более сложным статистическим приемам (корреляционной технике и факторному анализу). Новым этапом в развитии этого метода стала его компьютеризация. Особенно широко это используется в США — там разрабатываются стандартные программы анализа разнообразных документов, позволяющие достаточно быстро и надежно проанализировать огромный объем информации и освободить кодировщиков от утомительного ручного способа.
В психологической диагностике контент-анализ наиболее часто используется в качестве вспомогательного метода или процедуры обработки данных, полученных при других исследованиях. С его помощью подвергаются анализу речевые сообщения испытуемого, сопровождающие практически любые диагностические обследова-ния, особенно при индивидуальной процедуре. Конкретно контент-анализ может применяться при обработке данных, полученных посредством проективных методик (например, ТАТ, тест Роршаха, Завершение предложения), интервью, содержания бесед, другой речевой и письменной продукции испытуемого, открытых вопросов анкет и т.п. Так, например, в методиках диагностики личностных особенностей (тревожности, невротицизма и др.) проводится контент-анализ грамматических и стилистических конструкций речи испытуемого: количество «тематических» высказываний (болезнь, страх, неуверенность и т.д.), глаголов, логических блоков и т.п. Такой анализ нередко позволяет выявить и объективизировать скрытую тенденцию в ответах испытуемого.
В последнее время в западной психологической литературе появился термин «тесты учителя». Под ним подразумеваются не только традиционные тесты учета и контроля школьных достижений, а целенаправленное использование учителем в своей работе малофор-мализованной диагностики. Особо выделяется умение проводить систематические наблюдения, имеющие своей целью изучение индивидуально-психологических особенностей учеников, их поведения.
По основательности разработки тесты учителя далеко отстают от того, что достигнуто в формализованной диагностике. Однако само упоминание о них в психодиагностической литературе, вероятно, следует рассматривать как одно из проявлений неудовлетворенности той формалистичностью, которая стала неотъемлемой чертой психологического диагностирования. Только сочетание формализованных методик диагностики с наблюдениями, беседами и другими формами изучения обследуемого может дать удовлетворяющий результат.
Литература
Басов М.Я. Избранные психологические произведения. М., 1975. С. 429. Бурлачук Л.Ф., Морозов СМ. Словарь-справочник по психологической диагностике. Киев, 1989. С.197.
Краткий психологический словарь. М., 1985. С. 430. Общая психодиагностика. М., 1987. С. 303. Психологический словарь. М., 1983. С. 447.
Г л а в а III
ТРЕБОВАНИЯ К ПОСТРОЕНИЮ И ПРОВЕРКЕ МЕТОДИК
СТАНДАРТИЗАЦИЯ
Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Как отмечает А. Анастази (1982), стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний.
Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:
1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
2) ни одному испытуемому не следует давать никаких преимуществ перед другими;
3) в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
4) эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
5) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т.д.
Обычно авторы методики в руководстве приводят точные и подробные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении. Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117. Как это понимать? Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, так как это развитие выражено в единицах измерения, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то строго определенными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.
В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем проведения этой методики на большой репрезентативной выборке того типа, для которого она предназначена. Относительно этой группы испытуемых, называемой выборкой стандартизации, вырабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно нормативной выборки или выборки стандартизации (А. Анастази, 1982).
Для вычисления статистической нормы психологи-диагносты обратились к давно применяемым в биологии приемам математической статистики. Рассмотрим пример.
На призывной пункт явились несколько тысяч молодых людей. Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного будет людей очень маленького и очень высокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распределение рассматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения достаточно знать два показателя — среднюю арифметическую и так называемое стандартное отклонение, которое получается путем несложных вычислений.
Назовем среднюю арифметическую х, а стандартное отклонение а (сигма малая). При нормальном распределении все изучаемые величины практически находятся в пределах ± 5σ.
Нормальное распределение обладает многими преимуществами, в частности оно позволяет заранее рассчитать, сколько случаев будет расположено в определенном удалении от средней арифметической при использовании для определения удаленности стандартного отклонения.
Для этого имеются специальные таблицы. Из них видно, что в пределах х ± а находится 68% изучаемых случаев. За этими пределами находится 32% случаев, а так как распределение симметрично, то по 16% с каждой стороны. Итак, преобладающая и наиболее представительная часть распределения находится в пределах х ± а.
Рассмотрим стандартизацию диагностической методики на примере тестов Стэнфорд—Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выполнении тестов было близко к нормальному. Этого результата удалось добиться далеко не сразу; в некоторых случаях ученым приходилось заменять одни задания другими. В конце концов работа была закончена, и были подготовлены тесты по каждому возрасту со средней арифметической, равной 100, и со стандартным отклонением, равным 16, с распределением, близким к нормальному.
Выше говорилось о том, что при измерении роста новобранцев было получено нормальное распределение данных об их росте. Никто не вмешивался в процесс измерения, не заменял одних новобранцев другими. Все получилось естественно, само собой. Но при работе с психологическими методиками дело идет не так. Опытным психологам, неплохо представляющим психические возможности детей, приходилось заменять некоторые задания, чтобы приблизить полученные результаты к нормальному распределению. Результаты диагностических испытаний в психологии очень редко укладываются в рамки нормального закона; их приходится для этого специально подгонять. Причины этого явления нужно искать в самом существе теста, в обусловленности его выполнения подготовкой испытуемых.
Итак, стэнфордскими психологами было получено распределение, близкое к нормальному. Для чего оно нужно? Это дало возможность классифицировать весь полученный материал по каждому возрасту. Для такой классификации используется стандартное отклонение σ и средняя арифметическая х. Принимается, что результаты в пределах х ± а показывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При σ= 16 и х = 100 эти границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, находятся в пределах нормы. Те, чьи результаты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей классификации. Тогда результаты в пределах от х - а до х - 2<т интерпретируются как «несколько ниже нормы», а от х -2σдо х - Зσ— как «значительно ниже нормы». Соответственно классифицируются результаты, находящиеся выше нормы.
Вернемся к результату, полученному ребенком шести лет, о котором упоминалось выше. Его успешность по тесту равна 117. Этот результат выше нормы, но очень незначительно (верхняя граница нормы 116).
Кроме статистической нормы, основой для сравнения, интерпретации результатов диагностических испытаний могут стать и такие показатели, как процентили.
Процентиль — это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя. Например, если 28% людей правильно решат 15 задач в арифметическом тесте, то первичному показателю 15 соответствует 28-й процентиль (Р28)- Процентили указывают на относительное положение индивида в выборке стандартизации. Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начинать отсчет сверху, т.е. с лучшего члена группы, получающего ранг 1. В случае же процентилей отсчет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.
50-й процентиль (Р50) соответствует медиане — одному из показателей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнительно низкие показатели. 25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для описания распределения показателей и сравнения с другими распределениями.
Процентили не следует смешивать с обычными процентными показателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от общего числа членов группы. Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Ро). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (P100)- Эти процентили, однако, не означают нулевого или абсолютного результата выполнения теста.
Процентильные показатели обладают рядом достоинств. Их легко рассчитать и понять даже сравнительно неподготовленному человеку. Их применение достаточно универсально и подходит к любому типу тестов. Однако недостаток процентилей — это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки распределения. При использовании процентилей (как уже отмечалось выше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.
В психодиагностике существует и другой подход к оценке результатов диагностических испытаний. В нашей стране под руководством К.М. Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает не статистическая норма, а независимый от результатов испытания, объективно заданный социально-психологический норматив. В главе XII дано определение этого понятия и показано, в чем преимущество такого критерия оценки по сравнению со статистической нормой.
Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставления индивидуальных или групповых результатов тестирования проводятся с тем максимумом, который представляется в тесте (а это полный набор знаний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется разработанная схема представления групповых количественных данных.
Для анализа данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как 100%-ное выполнение всего теста, все испытуемые подразделяются по результатам тестирования на 5 подгрупп (%):
1) наиболее успешные — 10;
2) близкие к успешным — 20;
3) средние по успешности — 40;
4) малоуспешные — 20;
5) наименее успешные — 10.
Для каждой из подгрупп подсчитывается средний процент правильно выполненных заданий. Строится система координат, где по оси абсцисс идут номера подгрупп, по оси ординат — процент выполненных каждой из подгрупп заданий. После нанесения соответствующих точек вычерчивается график, отражающий приближение каждой из подгрупп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.
НАДЕЖНОСТЬ И ВАЛИДНОСТЬ
Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. Эти требования в психодиагностике складывалисьгодами в процессе работы над тестами и над их совершенствованием. В результате появилась возможность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.
К числу основных критериев оценки психодиагностических методик относится надежность и валидность. Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были разработаны как формально-логический, так и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.
В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рассмотрения надежности методик.
НАДЕЖНОСТЬ
В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Как пишет А.Анастази (1982), вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный ПО, а к концу 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том, и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Таким образом, можно сказать, что надежность методики — это такой критерий, который говорит о точности психологических измерений, т.е. позволяет судить о том, насколько внушают доверие полученные результаты.
Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение негативных факторов, влияющих на точность измерений. Многие авторы пытались составить классификацию таких факторов. Среди них наиболее часто называются следующие:
1) нестабильность диагностируемого свойства;
2) несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания по предъявлению методики испытуемым и т.д.);
3) меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т.д.);
4) различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);
5) колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утомление и т.д.);
6) элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т.п.).
Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми, порядок предъявления заданий и т.д. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.
На характеристику надежности методик большое влияние оказывает исследуемая выборка. Она может как снижать, так и завышать этот показатель, например, надежность может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изменения ранговых мест испытуемых будут незначительными, и, следовательно, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от друга результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делается описание выборки, на которой определялась надежность методики.
В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п. Для каждой такой выборки приводятся свои коэффициенты надежности. Приводимый показатель, надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяется к выборке, отличающейся от той, на которой проверялась ее надежность, то эта процедура должна быть проведена заново. Как подчеркивают многие авторы, разновидностей надежности методик так же много, как и условий, влияющих на результаты диагностических испытаний (В. Черны, 1983). Однако практическое применение находят лишь несколько видов надежности.
Так как все виды надежности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический прием, с помощью которого устанавливается надежность методики, — это корреляции (по Пирсону или Спирмену; см. гл. XIV). Надежность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.
В данном пособии при описании видов надежности основной упор делается на работы К.М. Гуревича (1969, 1975, 1977, 1979), который, проведя тщательный анализ зарубежной литературы по этой проблеме, предложил толковать надежность как:
1) надежность самого измерительного инструмента;
2) стабильность изучаемого признака;
3) константность, т.е. относительную независимость результатов от личности экспериментатора.
Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности; показатель, характеризующий стабильность измеряемого свойства, — коэффициентом стабильности; а показатель оценки влияния личности экспериментатора — коэффициентом константности.
Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности.
Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.
1. Определение надежности измерительного инструмента.От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зав