Почему статистический прогноз вызывает сопротивление? 6 страница
• Изучение различий между группами.
Если существует теоретическое предположение о том, что между двумя группами имеются различия в отношении
определенной поведенческой характеристики, то можно попытаться оценить различия между средними показателями.
• Изучение матриц корреляции и факторного анализа.
Первоначально эти методы оптимистически рассматривались как средства выявления основных параметров мышления и характеристик личности (см. Cronbach & Meehl, 1955,стр.285).
• Изучение внутренней структуры тестовых заданий.
Это имеет отношение к многочисленным способам анализа заданий.
• Изучение изменений во времени.
Интерес сконцентрирован преимущественно на том, насколько характеристики остаются стабильными с течением времени.
• Изучение процесса.
По мнению авторов, внимание должно быть уделено анализу поведения во время работы с тестом, необходимо точное ведение протоколов и фиксация допущенных ошибок.
С 1955 г. репертуар статистических методов существенно расширился, помимо исследовательских методик стали использоваться и методы проверки гипотез.
Как показано в этом разделе, при оценке валидности используются все виды линейных и нелинейных методов анализа данных. Изучение валидизации сопровождается аналитическим «насилием» над полученными данными. Мессик говорит также о необходимости качественного анализа поведения (материалов протоколов).
3.2.7. Соотношениятрех уровней
Житейские представления о валидности в какой-то мере согласуются с психодиагностическими концепциями. Психодиагностические концепции могут наполнять новым содержанием «житейскую психологию». Эмпирические исследования прогностической и конструктной валидности также показывают, что житейские представления не так уж «скромны». Высокие ожидания, основанные на житейских представлениях, редко получают эмпирическое подтверждение, поскольку корреляции предиктора и критерия невы-
I 14
1 15
соки. Феномен внешней валидности является примером слишком большой веры в возможность непосредственно «увидеть» валидность предиктора. В итоге житейские объяснения являются объяснениями «post hoc»*, то есть объяснениями уже совершившихся фактов.,
Математический уровень с помощью нелинейной модели и современной теории тестов ведет к объяснению того, как человек отвечает на задание или группу заданий. Эти модели элегантны, но ограничены. Леви (1973), Гольдш-тейн и Вуд (1989) высказывали критические замечания в адрес теории тестов, потому что связь с содержанием поведения, по мнению этих авторов, отсутствует почти полностью. Число моделей быстро возрастает, причем связи с реальным поведением рассматриваются как менее интересные по сравнению с вероятностными моделями самими по себе (Goldstain & Wood, 1989). Следует добавить по поводу моделей, что они требуют тщательной проверки.
Анализ валидности может использовать все типы исследований (экспериментальные и корреляционные) и все типы методов анализа данных (линейные и нелинейные, количественные и качественные). Мессик указывает на то, что используемые методы анализа данных должны соответствовать предполагаемой структуре психологических концепций, поскольку эти методы не являются нейтральными. Велик соблазн использовать новые способы анализа данных, и они действительно будут использоваться. Отчасти это необходимо, чтобы определить области их приложения и ограничения в их использовании. Главное значение все же имеют психологические теории и концепции, а не модели. Аспектный анализ (the facet analysis) представляет собой попытку сочетания понятийного и статистического анализа. Цитируя «анархиста от методологии» Фейерабен-да (1975), можно сказать, что для исследования валидности «подходит» чуть ли не все. Важно, что в процессе опробования любых возможностей устанавливаются разумные пределы,
post hos (лат.) — после-этого (прим. перев.).
3.2.8. Некоторые эпистемологические «строительные»
блоки понятия валидности в психодиагностике Концепция валидности в психодиагностике находится в центре теоретических, методологических изысканий и вопросов методического обеспечения, что обусловливает комплексный характер этой концепции. В данной главе обсуждаются некоторые основные проблемы концепции валидности. За основу взята статья Мсссика (1989), в которой автор предпринимает попытку связать концепцию валидности с общими эпистемологическими принципами (личное сообщение, 26 августа, 1993), что является достаточно трудной задачей. Сам Мессик оценивает результаты своей работы скептически, считая, что это в большей степени изыскания в области философии наук"и, чем строгие научные факты, поскольку ни одно из его утверждений не подкреплено эмпирическими данными. Это замечание показывает, насколько осторожным в суждениях и требовательными к себе должен быть исследователь, обращающийся к основам проблемы валидности в психологии. С другой стороны, разработчики некоторых моделей не считают нужным рассматривать недостатки собственной модели, как, например, психометрики при представлении нелинейных моделей для ответов на задания теста. Этот пример показывает ограниченность эмпирической ориентации, которая в определенные моменты времени являлась преобладающей в психологии.
В определении прогностической, содержательной и кон-структной валидности в психологии пятидесятых годов доминировал логический позитивизм. В рамках этой эпистемологии, с одной стороны, существовала ориентация на логику, синтаксис и структуру, а с другой — на значение, требующее эмпирической верификации. Первая (логическая) относится к логической структуре теорий. Эти теории должны быть сформулированы аксиоматическим, математическим или формально-логическим способом. Абстрактные теоретические термины должны быть связаны с категориями, доступными наблюдению, с помощью правил соответствия, то есть правил взаимодействия, определений или правил интерпретации, описывающих как теоретические понятия, так и соответствующие им экспериментальные процедуры. Хорошо известным примером правил
I 16
соответствия служат операциональные определения психологических конструктов. Строгие требования подробной спецификации психологических понятий не получили полной поддержки в психологии. Наиболее приемлемыми оказались правила соответствия, которые в той или иной степени определяются теоретическими понятиями. Теоретические понятия содержат некоторое «избыточное» значение. Вторая составляющая относится к области значений. Согласно правилам проверяемости теории истины, утверждение является истинным тогда и только тогда, когда оно соответствует законам логики. Это можно интерпретировать как подчинение предписанным конструктам и правилам формулирования выводов или как эмпирическую верификацию значения. Соотношение логического и эмпирического — это старая проблема, восходящая к предложенному еще Кантом различению аналитических и синтетических суждений. Принципу верифицируемости всегда уделялось должное внимание, поскольку он призван «отделять имеющее смысл от бессмысленного» и способствовать исключению всякой метафизики.
Логический позитивизм в своей исходной форме очень быстро показал себя как слишком требовательная и жесткая концепция, чтобы его положения могли оказаться плодотворными для развитии психологического знания. История науки знает примеры того, как концепции, не будучи чисто аналитическими или чисто эмпирическими, оказывались важными и значимыми. Много лет назад категории пространства и времени были названы Кантом априорными синтетическими суждениями. Эти категории, существование которых невозможно в рамках логического позитивизма, имеют форму общих законов и гипотетических конструктов, и допускают возможность проверки эмпирических заключений.
Логический позитивизм предполагает возможность двух интерпретаций значения. С одной стороны, значение всецело зависит от данных эмпирического опыта (эмпиризм, позитивистская составляющая), с другой стороны, значение определяется также связью утверждения с другими утверждениями (логическая составляющая, структурализм).
Структурный принцип, то есть определение абстрактных, бессодержательных конструктов с помощью набора правил, до сих пор оказывает влияние на развитие психо-
диагностики. Примером может служить современная теория тестов с абстрактной нелинейной вероятностной моделью. Позитивистские принципы проявляются и в подчеркивании эмпирического и операционального определений. Эмпирическая интерпретация абстрактных бессодержательных конструктов — это не простой процесс. Гипотетические конструкты должны быть дополнены системой опытного знания, то есть система с бессодержательными элементами и абстрактными отношениями должна быть соединена с элементами, которые могут быть почерпнуты из наблюдений. Роскам (1991) формулирует это положение (цит. по Hem pel, 1970, стр. 688) следующим образом: теоретическая проблема «плавает» в океане данных и пытается установить с ними контакт, но как это сделать? Роскам считает, что связи не могут быть образованы на основе семантического содержания конструктов, для этого необходимо наличие сходства по форме и структуре. Конструкт — это не семантическая единица, но его необходимо описать как набор определенных элементов и связей. Теоретическая система называется номологической сетью. В рамках этой сети происходит формулировка выводов, прогнозов, утверждений об отношениях. Возможна эмпирическая проверка этих утверждений. Связи между абстрактной и эмпирической системами носят вероятностный характер, используемые процедуры лишь частично «покрывают» конструкты. Считается, что конструкты имеют дополнительное (избыточное) значение. Результат взаимодействия элементов и отношений номологической сети с эмпирическими данными важен для обеих сторон этого процесса, поскольку становится ясно, получают ли поддержку эмпирические конструкты, возможно ли дальнейшее существование номологической сети, являются ли данные адекватными, надежными и валидными.
Следующая характеристика, влияющая на психологические и диагностические исследования и имеющая своим истоком позитивизм,— это предпочтение дедукции. Дедуктивная номологическая модель содержит логические, теоретические (гипотетические) отношения, интерпретация которых носит вероятностный характер. Объяснить какой-либо феномен — значит представить его как проявление общего закона. Если какой-либо феномен яв-
I 18
ляется частным случаем общего закона, то он может быть объяснен и предсказан. Подчеркивается, что гипотезы выводятся или, по крайней мере, формулируются без какого бы то ни было обращения к данным. Ван дер Хейден (1995) приводит примеры исследований, в которых многие сторонники клинического подхода честно признавали, что иногда они переформулируют гипотезы по мере получения данных. Это часто называется «предложением, делаемым задним числом» («Harking»), т.е. это выдвижение гипотез уже после того, как стали известны результаты (см. также Кегг & Harris, в печати). Эти авторы указывают на то, что такая практика является достаточно распространенной в некоторых школах.
Логический позитивизм влияет на развитие концепции конструктной валидности. Конструктная валидизация касается отношений, специфицированных номологической сетью. По крайней мере, некоторые элементы и отношения нуждаются в эмпирической интерпретации, тоестьонидол-жны быть операционализированы и соотнесены между собой тем или иным способом.
Мессик (1989) пришел к выводу, что исходные строгие требования логического позитивизма не были использованы в «чистом виде», они были адаптированы к возможностям конкретных эмпирических исследований. Значение логического позитивизма для психологии он определяет как (стр.23) «освещение того, как должна быть представлена роль конструктов в психологической теории и измерении». В психологии не слишком сильны «принудительные» элементы логического позитивизма, но дидактические правила анализа конструктов, взаимодействие между конструктами, их отношения представляются достаточно важными и ценными. Мессик согласен с Кронбахом, утверждающим, что было бы слишком претенциозным использовать позитивистскую эпистемологию в «нашей незрелой науке». Это замечание еще раз показывает, с каким уважением психологи относятся к эпистемологии. В философии логический позитивизм был популярен в течение короткого времени, и тем более удивительно, что он до сих пор остается идеалом познания в психологии.
Идеология логического позитивизма оказала значительное влияние на развитие концепции валидности в психоло-
гии. Попиер (1939/1959) подверг критике верификацию логического позитивизма. Он указывал на возможность фальсификации утверждений с помощью других правдоподобных утверждений. Не бывает единственно возможного объяснения. Существует множество п равдоподобных и конкурирующих между собой объяснений. Впрочем, это положение не получило распространения в исследованиях конструктной валидности, возможно, из-за относительного характера объяснений. Кук и Кэмпбелл (1976), обсуждая вопросы внутренней валидности в квазиэксперименте, выдвинули альтернативное объяснение.
Проверяемость и фальсифицируемость предполагают строгое разграничение теоретических и эмпирических терминов. Считается, что иногда такое разграничение невозможно. Концепция исследовательских парадигм предполагает, что каждая теория в какой-то степени сама создаст свои собственные данные и факты (Kuhn, 1962, 1970). Хотя эти представления достаточно хорошо известны в психодиагностике, тем не менее они редко становятся предметом дискуссий.
Существование различных парадигм с их собственными исследованиями и собственными «истинами» обусловливает наличие релятивизма. Конструктивизм и контекстуа-лизм относятся к радикальному релятивизму в определенной степени из-за своей приверженности позиции, что научное знание образует всего лишь одну из многих эквивалентных парадигм или один из подходов. Применительно к психодиагностике, можно утверждать, что невозможно установить истинные показатели испытуемого, поскольку полученные показатели во многом зависят от контекста, с помощью же методик оценивается «сконструированный» человек. В ситуации тестирования и в эксперименте испытуемый является «сконструированным» субъектом. При том, что исследователи все-таки принимают во внимание относительный характер полученных результатов, главным предметом интересов психодиагноста остаются стабильные характеристики поведения, мышления, эмоций. Отмечается, однако, что исследования зависимы от контекста. Конструктивисты обычно не признают «ремесленную» работу психодиагностов, ими разработан метод естественного наблюдения и качественного анализа.
Релятивизм предполагает эквивалентность любого ответа на вопрос или любого решения проблемы. Считается, однако, что по определенным причинам некоторые ответы и решения «лучше» других. Теории и конструкты в той или иной степени противоречат реальности. Лакатос (1978) утверждает, что исследовательские программы имеют определенную продолжительность сушествования. Их «ядерные» конструкты какое-то время сохраняются, будучи предметом эмпирической проверки и обсуждения. Программа может быть приостановлена или изменена, если ее концептуальные решения становятся неудовлетворительными, а эвристическая сила падает. При отсутствии подтверждения со стороны эмпирических данных теории и основные понятия исследовательской программы становятся изолированными. В этой ситуации программа может быть заменена новыми теориями и концепциями. Таким образом, никакого релятивистского объяснения тому, что программы возникают и исчезают, нет. Функционирование программ — их «жизнь» и «смерть» — подчиняется рациональным законам. «Рационалистическая» ориентация не предполагает, что теории должны быть немедленно заменены, когда появляются альтернативные теории или если эм-пирические исследования не дают ожидаемого подтверждения. Эта ориентация способствует проведению исследований конструктной валидности.
В данном разделе мы попытались показать, что несколько различных эпистемологических концепций оказали влияние на развитие понятия валидности в психологии. Это дало основание для упрека в том, что данное понятие с философской точки зрения противоречиво (Norris, 1983). Понятие валидности в психологии должно охватить столь сложную и многостороннюю реальность, что сосуществование различных критериев и точек зрения вполне возможно.
3.2.9. Конструктная валидность и системы исследования
Мессик (1989) попытался прояснить понятие валидности, используя концепцию «системы исследований», представленную эпистемологом Чечменом (1971). Последний предпринял попытку представить и проанализировать эпистемологические теории в виде системы исследовательских
вопросов (inquiry). Каждая такая система имеет свои специфические «строительные» блоки или информационные единицы, с помощью которых представляется существо проблемы. Имеются также гарантии того, что само представление проблемы будет отвечать требованиям валидности.
В системе Лейбница основным является формальный или символический способ представления проблемы, точнее эпистемологической проблемы познания. Набор простейших аналитических истин и системы правил и операций образуют основу дедукции теоретических суждений. Критериями валидности являются согласованность, полнота и
др.
Учение Локка применяет эмпирический и индуктивный подход к постановке проблемы. Система знаний развивается путем обобщения данных наблюдения. Критериями валидности являются согласие экспертов, объективность, беспристрастность к данным и методам их сбора и анализа.
Мессик замечает, что обе эти системы пригодны для анализа хорошо структурированных проблем. В том случае, когда проблема плохо структурирована, стоит вечный вопрос о том, как сформулировать се суть. По-видимому, во многих случаях ученые еще не могут найти адекватный способ представления проблем. Это те проблемы, о которых в одной из своих ранних работ (1916) Витгенштейн сказал: «О чем нельзя говорить, о том должно молчать».
Система исследовательских вопросов у Канта содержит способ представления проблемы, интегрирующий подходы Лейбница и Локка. В рамках этой системы существует, по крайней мере, два подхода к представлению проблемы и к систематизации данных или совокупности фактов. Эти подходы могут в одних случаях дополнять друг друга, в других случаях — находиться в антагонистических отношениях. В течение долгого времени наилучшей считалась та теория представления проблемы, которая более успешно оперировала эмпирическими данными.
Диалектическая система Гегеля содержит противоположные способы представления проблемы. Для анализа одних и тех же данных используются две конкурирующие теории. Противоположность позиций со всей наглядностью обнаруживается в публичном споре. Конфликт позиций пе-
реносится на более высокий уровень — уровень интеграции, гдеи«ст тмается». Возможно противостояние интегрированной теории новым конкурирующим теориям, так что диалектический процесс может продолжаться. Конечно, этот процесс развертывается между идеями, а не между людьми.
Чечмен рассматривает еще одну, не столь хорошо известную систему, систему Синджера. Эта система содержит описание перечисленных систем и рассматривает связь каждой из них с остальными. Данный метод способствует лучшему пониманию преимуществ каждой системы. Критерием валидности является прогресс путем последовательного приближения.
В психологических исследованиях валидности основное значение имеют системы Лейбница и Локка. Система Канта, рассматривающая альтернативные модели, используется не столь часто. Диалектическая система также используется редко, возможно, из-за трудностей формулирования противоположных теорий. Другой весьма вероятной причиной не столь широкой распространенности диалектической модели является опасение скатиться к релятивизму, если к каждой теории добавлять противоположную. Мессик считает, что «метарефлексия» в системе Синджера могла бы способствовать проведению достаточно «сбалансированных» исследований конструктной валидности.
Таким образом, в психологических исследованиях валидности доминируют формально структурная (Лейбниц) и эмпирическая (Локк) системы постановки проблем. Мессик считает необходимыми и полезными для исследований валидности увеличение числа соперничающих теорий и анализ всех систем. Его рассуждения напоминают в той или иной степени аргументацию из концепции фальсификации Поппера.
3.3. Исследование валидизации и понятия, несущие высокую смысловую нагрузку
В завершение данной главы приведем пример того, что диагностические категории и психологические конструкты характеризуются смысловой нагрузкой. Мессик указывал
на то, что наши категории и конструкты не являются нейтральными. Рассматриваемый нами пример заимствован из работ клинического психолога Ричарда Бенталла (1992). Предметом его анализа является феномен счастья, который, как он считает, следует отнести к числу психиатрических расстройств.
С сожалением Бенталл говорит о том, что клинические психологи слишком мало внимания уделяют рассмотрению феномена счастья. По мнению автора, этот феномен является достаточно важным и заслуживает того, чтобы быть представленным в учебниках по патопсихологии и в классификации психиатрических расстройств (DSM IV-R).
Счастье считается одной из важнейших специфически человеческих категорий. Представление некоторых философов и исследователей обыденного языка о том, что «Счастье существует для свиней: философия в противоположность терапии» (Теннесен, 1969), отвергается.
Хотя феномен счастья с трудом поддается точному определению, тем не менее существует некоторое согласие относительно того, что счастье содержит поведенческий, когнитивный и аффективный компоненты. Когнитивный и аффективный компоненты выражаются в ощущении собственной компетентности и удовлетворенности. Поведенческий компонент счастья может проявляться, например, в том, что человек постоянно весел и смеется. Такое поведение исследовалось во многих культурах, причем допускается наличие биологических основ этого поведения. Существуют данные наблюдений о том, что счастливые люди нередко действуют неосторожно, непредсказуемо и импульсивно. Но это поведение, как правило, не мешает другим людям и не причиняет им вреда. Счастливые люди говорят об ощущениях удовольствия и расслабленности, они удовлетворены своим социальным окружением, но в то же время отмечают состояние «неуспокоенности».
К сожалению, существует немного исследований эпидемиологического типа. Оценка того, какова распространенность счастливых людей, варьирует от 5% (мнение психологов, психиатров и других пессимистов) до 80% (по данным самоотчетов). Эта широта разброса мнений определяется тем, что отсутствуют общепринятые операциональ-
на
ные критерии. Имеются данные и том, что распределение людей, считающих себя счастливыми, не подчиняется закону случайного распределения, оно различно для разных социально-экономических слоев общества. Представители высших классов имеют больше шансов чувствовать себя счастливыми по сравнению с представителями среднего класса. Показатели счастья и величина доходов значимо коррелируют. Проведено совсем мало исследований, направленных на выявление источников ощущения счастья. Обнаружено несколько значимых (но не имеющих содержательного наполнения) корреляций с такими характеристиками, как уровень интеллекта, самооценка, экстраверсия и сумма денег на банковском счете. К сожалению, очень мало исследований близнецов. Однако существенный генетический компонент не должен сбрасываться со счетов. Ощущение счастья может быть вызвано путем кортикальной стимуляции. Представляется необходимым дальнейшее проведение работ по исследованию «центров счастья».
Состояние счастья предполагает набор симптомов, которые вместе образуют синдром. Синдром может быть определен экспертами. Он включает много особенностей, характерных для заболеваний. Признаком, указывающим на заболевание в патопсихологии, признается интенсивность аффекта, которая, возможно, является индикатором состояния неврологической расторможенности. Необходим дифференциальный диагноз по отношению к маниакальному синдрому. Состоя ние счастья образует явное отклонение от нормы. В статистическом смысле это явный эксцесс.
В состоянии счастья у человека могут наблюдаться некоторые признаки дезорганизации (расстройства) познавательной сферы. Поведение может выглядеть иррациональным и даже странным, обычно снижены быстрота реакций и чувствительность. Очень трудно дать рациональное объяснение поведения счастливого человека. Распространено мнение о том, что счастье — это привилегия не слишком умных людей.
Из приведенного описания следует, что клиническим психологам и, особенно, психиатрам следует уделять больше внимания анализу состояния счастья как потенциальному источнику патологии. Многие психиатрические
расстройства характеризуются бессмысленным, ненаправленным и даже противоречивым поведением. Счастливые люди часто даже не могут объяснить своего странного поведения, эмоций, и при этом их ничуть не беспокоит такое поведение. Следовательно, вполне оправдан вывод о том, что у них отсутствует понимание болезненного характера своего состояния. Часто можно видеть игру необузданной фантазии счастливых людей. Конечно, заключение о том, что состояние счастья является признаком патологии, возможно, является преждевременным. Для этого должен быть собран более значительный эмпирический материал. Но можно уверенно утверждать, что счастье вызывает безответственные, нелогичные и ненаправленные действия, отвлекает от выполнения общепринятых жизненных обязанностей.
Наконец, существует несколько исследований, связанных с предположением о том, что счастье вызывает расстройство, дезорганизацию когнитивной сферы. Счастливые люди забывают о негативных событиях или недооценивают их значение и при этом переоценивают позитивные события. Их подводит интуиция. Для подтверждения данного вывода необходимо проведение большого числа исследований, особенно таких, которые бы определяли уровень контроля за окружением у счастливых людей. Обычно они переоценивают свои успехи в учебе и на работе, впрочем также как и общении с другими людьми и в любовных делах.
В качестве предварительного заключения можно предложить отнести счастье к одному из видов психиатрических расстройств. Бенталл (1992) определяет счастье как «общее аффективное расстройство приятного типа» (Major Affective Disorder, pleasant type). По его мнению, необходим поиск эффективной терапии, направленной на снижение ощущения счастья.
Приведенный выше пример показывает, что наши понятия характеризуются смысловой наполненностью. Для классификации форм поведения, мышления и эмоций недостаточно одних только формальных и объективных критериев. В человеческом поведении всегда присутствует смысл, значение, которое не может быть передано только средствами языка формальных элементов и отношений.
ТРИНАДЦА ТЬ ИТОГОВЫХ ТЕЗИСОВ
1. Наиболее полная система психодиагностики предполагает «кооперацию» (пока отсутствующую) между тремя ее уровнями: а) житейскими представлениями о характеристиках людей, б) конструктами психологических теорий, в) математическими или статистическими моделями.
2. Ошибки измерения являются случайными, интуитивно не улавливаемыми и неизбежными. Эти ошибки дают информацию о согласованности-несогласованности поведенческих и когнитивных характеристик. Существуют способы оценки ошибок измерения.
3. Под индексом надежности понимается стандартная ошибка измерения, получаемая путем повторного оценивания одного и того же субъекта. Поскольку это практически невыполнимо, можно говорить о коэффициенте корреляции как об альтернативном варианте.
4. Каждый тест должен быть снабжен не менее чем одним коэффициентом надежности и не менее чем одним коэффициентом валидности (см. также пункт 10).
5. По мнению Леви (1974), Гольдштейна и Вуда (1989).
взаимодействие между «содержательными» психологиче
скими теориями и теорией тестов, классической и современ
ной, можно назвать успешным только в определенной
степени. Аспектный анализ (и теория обобщаемости) —
это, возможно, те подходы, которые могут выполнить фун
кцию моста между теорией тестов и психологическими те
ориями.