Предварительное и итоговое тестирование на одной группе

Этот план также находит широкое применение в педагогических и психологических исследованиях. Он лучше рассмотренного ранее плана, так как учитывает величину изменения зависимой переменной от первого ко второму измерению, т.е. имеет место контроль ЗП на уровнях «до» и «после» воздействия (схема О'ХО"). Достоверность выводов и при таком плане очень мала. Укажем некоторые причины.

Нет возможности развести факторы «фон» и «естественное развитие» от влияния собственно экспериментального воздействия.

Допустим, в качестве экспериментального фактора продолжает рассматриваться новый метод обучения. Показатели академической успеваемости изменяются к концу семестра (и началу экзаменационной сессии) сразу по нескольким причинам. Кроме воздействия обучения, вмешиваются побочные переменные. Так, «тревожность» как пример фактора «фон» обычно возрастает у студентов к началу экзаменационной сессии. Возможно, именно это является причиной больших усилий студентов в учебном процессе, а не воздействие нового метода обучения. В результате повышение показателей эффективности учения к концу семестра «естественно» и без эффекта введения нового метода.

К переменным фона может быть отнесена также переменная, называемая «экспериментальная изоляция». Например, в качестве экспериментальной исследуется группа в учреждении, пансионате и т.п. Члены этой группы оказываются вне влияний со стороны общения с другими аналогичными выборками – коллег, сверстников из других групп и т.п. Понятно, что в таких условиях возможно изменение установок, развитие (или даже искажение) мотивации учения и работы, т.е. появляются источники конкурирующих гипотез относительно причин изменений ЗП (О-измерений).

К факторам естественного развития относятся все те процессы (психического, экономического, социального и биологического характера), которые систематически изменяются независимо от конкретных внешних событий, просто с течением времени.

Так, испытуемые от момента измерения О' к измерению О" могли стать старше, устать, подвергнуться каким-то социальным воздействиям, в качестве которых выступают изменения в обществе. Наконец, ситуация в стране могла измениться так, что «естественно» изменилось отношение людей к тем или иным аспектам реальности или к собственной деятельности.

Далее, при такой схеме нет возможности оценить «эффект тестирования». Хорошо известно, что при тестировании, например, интеллекта или уровня знаний повторное проведение теста, пусть и по другой, альтернативной форме, вызывает эффект тренировки.

Неучаствовавшие ранее в процедуре тестирования люди обычно показывают худшие результаты по тестам, чем уже получившие опыт знакомства с тестированием. Возможен и обратный эффект. Например, при тестировании предубежденности по отношению к национальным меньшинствам повторное измерение может продемонстрировать большую величину эффекта, чем он есть в действительности. На результаты оказывает влияние повышение осведомленности людей (в группе, популяции) относительно «желаемого», т.е. ожидаемого от них, эффекта. При анонимных опросниках это может быть связано, в частности, с тем, что в суждениях, выражающих враждебность или отрицательное отношение, испытуемые изменяют свои представления, принимая установку большей враждебности. Этот факт, кстати, полностью применим и к обоснованию неадекватности опросников, выясняющих отношение к преподавателю, если в анкету заведомо включаются «отрицательные» шкалы.

«Реактивность» испытуемых – еще одно конкурирующее объяснение при исследованиях по плану О'ХО". Так, сама по себе процедура измерения переменных может выступать стимулом для изменения поведения, оценок или мыслей студентов.

Группа, подвергнутая тестированию, может начать демонстрировать иные формы поведения в силу возникновения у ее членов новых установок, связанных с реакцией на него. Известно, например, что появление в классе наблюдателя само по себе может изменить стиль общения преподавателя с учащимися. Для экспериментальных ситуаций эффекты реактивности принимают форму эффектов экспериментатора, что обсуждается специально в представлении понятия «первичный контроль».

Итак, в «доэкспериментальных» планах отсутствует контроль за уровнями НП, вследствие чего нельзя не только сделать вывод о действии НП, но и нельзя отвергнуть многообразие других объяснений изменений ЗП – «третьими» переменными, т.е. указанными побочными факторами. Эти конкурирующие гипотезы не могут быть отвергнуты из-за отсутствия данных о ЗП в аналогичных условиях для контрольных групп, испытуемые в которых не подвергались бы воздействию со стороны активного уровня НП.

В отличие от «доэкспериментальных» схем «истинные» эксперименты обязательно включают сравнение экспериментального и контрольного условий. Это могут быть группы людей, учебные группы либо два (и более) типа ситуаций, в которых один и тот же человек осуществляет конкретную деятельность (решает задачи, подвергается тестированию, работает на тренажерах, в общем, реализует любой вид активности, актуализирующей интересующий исследователя базисный процесс). Только такое сравнение позволяет интерпретировать изменения ЗП как следствия осуществленных форм экспериментальных воздействий.

Анализ «доэкспериментальных» планов в заданном контексте оставляет без внимания и проблему связи психологического воздействия с интерпретационными возможностями в рамках той или иной психологической гипотезы, а также неидентичности «управляемых воздействий» и «причинно-действующих» условий. При разработке «экспериментальных» схем синонимом экспериментального воздействия является различие (качественное или количественное) между активным и неактивным уровнями НП. Психологической переменная становится в той степени, в какой разработаны гипотетические представления о связи ее с базисным процессом, на который оказывает влияние разница ее уровней (экспериментального и контрольного условий).

Истинные экспериментальные планы

Отличиям факторных планов посвящена глава 10 учебника, критерий разведения качественных и количественных экспериментов был кратко описан в главе 6. Поэтому далее истинные экспериментальные планы рассматриваются только в классификации способов задания НП как интраиндивидуальных и межгрупповых экспериментальных схем.

Этот критерий классификации экспериментов по объекту (индивид или группа людей) и способу задания уровней НП (разным группам или одному и тому же субъекту последовательностью проб, в которых экспериментальные воздействия осуществляются или нет) необходимо отличать от формы проведения экспериментов. Групповое проведение опытов не следует путать с межгрупповыми схемами сравнений выборочных значений ЗП, а индивидуальное проведение опытов – с индивидуальным экспериментом. Если смене воздействий – уровней НП – подвергается отдельный человек или отдельная группа людей (для каждого из них НП представлена на всех своих уровнях и во всей задуманной последовательности), то речь идет о «последовательном» экспериментировании или о сумме интраиндивидуальных экспериментов соответственно. Если экспериментальные и контрольные условия предлагаются разным группам людей, речь идет о «параллельном» экспериментировании. В последнем случае имеют место межгрупповые схемы сравнения ЗП, даже если каждый испытуемый был обследован индивидуально. Сложность методического проведения опытов, необходимость беседы (например, в полуструктурированных интервью) или особого управления взаимодействием с испытуемым обусловливают необходимость отдельной встречи экспериментатора с каждым отдельным испытуемым из каждой группы. Иногда экспериментаторов оказывается столько, сколько испытуемых; полученные индивидуальные данные заносят в таблицу групповых сравнений в соответствии с тем, в какую из групп входил каждый субъект.

Межгрупповыс схемы

Существенным условием планирования является способ образования групп. Наиболее строгий критерий требует рандомизации, или случайного порядка образования групп, когда из имеющейся или потенциальной выборки людей попадание в каждую группу основывается на применении последовательности случайных чисел (например, по соответствующим таблицам). Различия между субъектами и неравенство между группами – основной источник угроз внутренней валидности при межгрупповых схемах. Подбор групп с большим числом участников проблемы неравенства групп не решает, так как и при рандомизированном порядке отбора в разных группах могут оказаться «похожие» по тому или иному свойству люди: например, в одну группу случайно попали наиболее способные и трудолюбивые ученики, в другой оказались наименее способные или лентяи. Это случайно сложившееся неравенство групп может как скрыть, так и усилить экспериментальный эффект.

Предварительное тестирование лишь частично решает эту проблему путем учета исходного уровня интересующей исследователя переменной, поскольку неэквивалентность групп может быть скрыта в неизмеренных переменных, но влияющих на изучаемый базисный процесс.

Соответствующий «истинный» экспериментальный план в книге Дж. Кэмпбелла представлен как план с предварительным и итоговым тестированием и контрольной группой. Он имеет вид схемы 9.1 или 9.2.

Схема 9.1. План с предварительным и итоговым тестированием для экспериментальной и контрольной групп.

Схема 9.2. Тот же план, предполагающий два уровня Х-воздействия.

RO₁XO₂

RO₃ O₄

R XO₅

R O₆

Схема 9.3.План Соломона.

RXO΄

R O΄΄

Схема 9.4. План для экспериментальной и контрольной групп, без предварительного тестирования.

При достаточно хорошем контроле угроз внутренней валидности такой план сравнения ЗП – при наличии экспериментальной и контрольной групп – может иметь недостаточную внешнюю валидность.

Например, как отмечалось, при измерении установок тесты содержат столько необычных или «враждебных» утверждений, что само предварительное тестирование (измерение О₁ и О₃) влияет на убеждения личности и изменяет ее сензитивность в отношении социальных проблем, имеющих этнический подтекст.

Р. Соломон – один из авторов, специально анализировавший подобного рода эффекты тестирования [32], показал, например, что предварительное тестирование повышало успешность экспериментального обучения чтению. Эффект вводимого Х-воздействия для группы, не подвергнутой сенсибилизации посредством тестирования, может быть иным или не столь сильным. Таким образом, обобщение зависимости между уровнями экспериментального фактора (X) и показателями ЗП (тестирования О) может быть ошибочным при переносе ее на обычные группы. Цели специального контроля эффекта тестирования служит план Соломона, схема которого включает сравнение четырех групп: двух экспериментальных и двух контрольных, а удвоение их числа связано с введением фактора «наличие или отсутствие предварительного тестирования» (схема 9.3).

Более простым вариантом является план с контрольной группой и измерением показателей ЗП только после Х-воздействия (или путем сравнения действия разных уровней НП), представленный на схеме 9.4. Именно он рассматривается в качестве общей основы межгрупповых схем сравнений основных результатов действия экспериментальных факторов.

Контроль состава групп

Использование определенных стратегий подбора или отбора испытуемых в группы – существенное дополнение к экспериментальному плану при межгрупповом эксперименте. В зависимости от того, имеет ли экспериментатор дело с наличным составом испытуемых, который ограничен не используемой стратегией отбора, а случайными обстоятельствами и испытуемых остается только распределить по экспериментальной и контрольной группам, или он может контролировать отбор испытуемых (или групп) из популяции. Это определяет разную степень контроля состава групп, их эквивалентности и последующих выводов об установленной зависимости.

В рассмотренных схемах обозначение R указывало на то, что использована определенная стратегия отбора испытуемых в группы – рандомизация, или случайный отбор испытуемых из популяции. Этот критерий иногда рассматривается в качестве строгого критерия экспериментирования. Предполагается, что при использовании этой стратегии состав групп хорошо репрезентирует, т.е. представляет популяцию, из которой были отобраны испытуемые. Соответственно исследование с таким способом отбора испытуемых будет обладать высокой популяционной валидностью. Кроме того, поскольку побочные переменные, связанные с индивидуальными различиями людей, предположительно случайно распределятся между испытуемыми контрольной и экспериментальной групп, то возможные с ними смешения будут в равной степени характеризовать состав обеих групп, т.е. эти группы будут эквивалентными, что обеспечит высокую внутреннюю валидность эксперимента. Итак, в случае стратегии рандомизации для отбора из популяции внешняя и внутренняя валидности эксперимента оказываются взаимосвязанными.

Этого нельзя сказать в том случае, когда исследователь не волен выбирать испытуемых из популяции, а должен распределить по группам уже имеющийся (наличный) состав испытуемых. Стратегией случайного подбора в группы достигается цель подбора эквивалентных по составу групп, что контролирует названную угрозу внутренней валидности. При этом может остаться непроконтролированным способ отбора потенциальных испытуемых из популяции. Возможно, они пришли сами (по объявлению), что позволяет о них говорить как об испытуемых-добровольцах. Предполагается, что в ряде случаев мотивация испытуемых-добровольцев такова, что исследуемые зависимости могут оказаться нерепрезентативными для других групп испытуемых. Возможно, участие в психологическом эксперименте выступило для испытуемых условием достижения целей в рамках профессиональной деятельности. В этом случае вновь встает проблема особой мотивационной обусловленности выполнения ими заданий.

Отбор из популяции по заданному критерию может производиться и для выборок испытуемых, и для целых групп. Такими критериями могут выступать пол, возраст, профессиональная принадлежность, образ жизни потенциальных испытуемых и т.д. В ряде случаев именно содержание гипотезы или указание дополнительной переменной прямо определяет критериальные характеристики для отбора испытуемых. Случайная стратегия используется при этом в качестве приема, направленного на обеспечение эквивалентности и репрезентативности групп испытуемых в пределах указанных характеристик.

Другим приемом подбора испытуемых в эквивалентные группы является стратегия попарногоуравнивания. Она обычно применяется в случае, если выборка потенциальных испытуемых уже определена и испытуемые могут быть подвергнуты предварительному тестированию. Тестированием условно называется любой способ измерения побочного фактора, который может определить неэквивалентность групп. Соответствующий ему показатель также может быть либо задан критериально, либо являться результатом психологического тестирования. Он измеряется заранее, чтобы потом можно было проранжировать испытуемых либо в соответствии с «сырыми» оценками определить пару испытуемых с наиболее выраженным показателем этой побочной переменной – ПП, затем пару с более низкими показателями и т.д., до тех пор, пока не будут образованы пары между всеми испытуемыми. На следующем этапе испытуемых из каждой пары распределяют между двумя группами, например, согласно случайной стратегии или стратегии «чет–нечет». В результате этого уровень каждой пары в каждой из двух групп представлен одним из «равных» (схожих, эквивалентных) по измеренной ПП-случаев. Если уровни ПП отличались, представляя угрозу внутренней валидности со стороны фактора межиндивидуальных различий, то в результате использованной стратегии подбора испытуемых все уровни этого фактора оказались поровну распределенными между экспериментальным и контрольным условиями. Таким образом, стратегия попарного уравнивания также решает проблему эквивалентности состава групп. Она применяется в основном тогда, когда выборка испытуемых заведомо определена, в ней мало испытуемых и не составляет труда провести предварительное тестирование. Другое основание использования этой стратегии – рассмотрение измеряемой ПП в качестве второго фактора, который наряду с НП существенно определяет изменения ЗП, т.е. имманентно связан с изучаемым базисным процессом.

В случае если для попарного уравнивания используется более чем одна ПП, то число испытуемых в отбираемых таким образом группах существенно уменьшается, даже если потенциальная выборка была большой. Но главное, состав групп при использовании такой стратегии для контроля более чем одной ПП оказывается в результате нерепрезентативным для популяции, в пределах которой измеряемые свойства сочетаются иным образом, чем в отобранных «чистых» группах.

Смешанной по отношению к двум предыдущим является стратегия случайного распределения слоев. На первом этапе ее реализации по заданному критерию или согласно результатам предварительного тестирования составляют группы, соответствующие выделенным характеристикам слоев. В экспериментальной схеме таких групп будет столько, сколько уровней выделено согласно изменениям контролируемой ПП. Состав испытуемых в каждой из отобранных таким образом групп – в каждом слое – уравнивается по всем другим ПП. В результате группы являются однородными, поскольку испытуемые отнесены в группу согласно уровню заданной или измеренной индивидуальной характеристики. На втором этапе случайным образом из каждого слоя отбирают лиц в экспериментальную и контрольную группы. Сравниваемых экспериментальных групп будет столько, сколькими уровнями представлена НП. В результате использования этой стратегии в каждой из отобранных (или подобранных) групп равным образом представлен каждый уровень ПП. Тем самым эта ПП будет считаться проконтролированной, и ее вмешательство не исказит экспериментального эффекта. Случайное распределение слоев имеет преимущество перед стратегией простой рандомизации в том случае, когда различие между слоями связано с изучаемым видом деятельности. Эта стратегия используется часто для контроля переменной, имеющей согласно гипотезе статус дополнительной.

Например, фактор гендерных различий контролируется путем уравнивания состава групп по представленности в них мужчин и женщин. Предполагаемое обобщение исследуемой зависимости на лиц разных возрастов или специальностей будет требовать выделения слоев для обеспечения их равного представительства в составе экспериментальных и контрольных групп.

Случайный отбор групп – четвертая стратегия, обеспечивающая эквивалентность состава групп для экспериментальных и контрольных условий. Она применяется в тех случаях, когда приближение к эксперименту полного соответствия предполагает реализацию Х-воздействий в реальных условиях жизнедеятельности. Например, это сравнение разных методов обучения в средней и высшей школе или изучение изменения систем управления служащими в условиях реально работающих коллективов. Отбор испытуемых в группы означал бы здесь нарушение экологической валидности ситуации. Так, фактор мотивации испытуемых мог бы существенно исказить изучаемые процессы, виды деятельности или личностную включенность испытуемых в выполнение экспериментальных задач.

Таким образом, как содержание проверяемой гипотезы, так и оценка возможностей последующих обобщений создают предпосылки для предпочтения той или иной стратегии.

Интраиндивидуальные схемы

Обеспечение внутренней валидности – основная цель планирования психологического эксперимента при разработке интраиндивидуальных схем сравнений ЗП. Чтобы задать сравниваемые условия, необходимо не менее двух проб, соответствующих уровням НП. Обеспечить идентичность двух проб для одного и того же испытуемого невозможно, так как эти пробы будут следовать в определенном порядке и тем самым будут предъявлены в разное время. Факторы времени и последовательности – основные угрозы смешений (этих ПП) с влиянием экспериментального фактора или базисным процессом, представленным в показателе ЗП. Следует также учесть, что для разных условий НП (активного и пассивного ее уровней) сами задания, выполняемые испытуемым, не могут быть одними и теми же (одну и ту же задачу нельзя решить дважды); они в лучшем случае будут сходными по типу, уровню трудности и т.д. Фактор задач – третий основной источник угроз внутренней валидности при интраиндивидуальных схемах.

Различают три вида смешений, связанных с названными факторами.

1. Несистематическое смешение возникает, когда любой из факторов (или их сочетания) нерегулярно вмешивается в исследуемую зависимость. Источником ПП, связанных с влиянием фактора времени, могут быть как внутренние причины (изменения состояний самого испытуемого, фоновые колебания показателя ЗП), так и внешние (случайное отвлечение на шум в коридоре, окрик коллеги, телефонный звонок и т.п.). Если они неравномерно распределились по сравниваемым условиям НП, то будет иметь место искажение экспериментального эффекта (как разницы в показателях ЗП). Это будет эффект другого вида или другой величины по сравнению с тем, который был бы получен, если бы ПП не влияла на измеренные показатели.

2. Одно из следствий таких нерегулярных влияний ПП – ненадежность данных, т.е. при другом разбросе уровней ПП – по пробам в течение времени – устанавливается другая связь значений ЗП с уровнями НП. Обычно эта угроза выводу об экспериментальной зависимости контролируется в двух противоположных направлениях. С одной стороны, экспериментатор стремится свести число проб в общей экспериментальной последовательности к минимуму, чтобы провести индивидуальный эксперимент в как можно более сжатые сроки, нивелируя фактор времени. С другой стороны, экспериментатор должен обеспечить достаточно большое число проб, т.е. постараться приблизиться к бесконечному эксперименту, чтобы все смешения с колебаниями со стороны ПП случайно – и в этом смысле поровну – распределились между уровнями НП. Аналогично обстоят дела и с контролем фактора задач. Воспроизводимость результатов – тот критерий, который позволит оценить результаты как достаточно надежные.

Есть и другие источники ненадежности данных. Так, может иметь место вариабельность самой НП, когда экспериментатор считает пробы отнесенными к одному и тому же уровню, а на самом деле в одной или части из них произошло что-то, что не позволяет считать условия идентичными. На примере физических стимулов можно предполагать колебания напряжения в сети; на примере принятия испытуемыми проблемных ситуаций – изменения их субъективного понимания или личностного принятия проблемы и т.д. О фоновых изменениях измеряемых показателей уже было сказано. Рассмотрим надежность методик измерения.

Ошибки измерения могут быть связаны как с субъектом, проводящим его, так и с устройством прибора или построением психологической методики. Ненадежность психодиагностических средств, включенных в экспериментальную схему сравнений, приведет к тому, что ненадежным будет и полученный экспериментальный результат. Эти источники ошибок, приводящие к смешениям и тем самым к артефактным результатам, уже не связаны с фактором времени. Количеством проб контролируется, таким образом, не только возможность несистематической изменчивости, т.е. первый из источников смешений, связанных с фактором времени.

3. Систематические смешения – основной вид угроз внутренней валидности. Такое смешение возникает, когда один из уровней НП неразрывно связан с активным уровнем какой-то другой переменной (ПП). Например, если испытуемый знает, в чем заключается различие между пробами, то, оказавшись в условиях одной из них, он может стремиться быть более активным или более осторожным. Именно в экспериментальном условии, расцениваемом как более важное для его индивидуальных результатов, он и будет обеспечивать дополнительные усилия, позволяя себе несколько отдохнуть в контрольной пробе. Однако дело не только в мотивационном факторе.

Задачи, подобранные экспериментатором для контрольного условия, могут оказаться несколько более легкими, чем подобранные для активного уровня НП. В таком случае смешением будет регулярное сочетание более активного уровня НП с более высоким уровнем по фактору задачи. Если эксперимент многодневный и в каждый из дней испытуемый проходит только по двум пробам, то может оказаться, что при получении второй из них он всегда будет более уставшим. В таком случае, если пробы чередуются регулярно – каждый день в последовательности АБ, уровень Б оказывается систематически смешанным с фактором времени (большей усталостью испытуемого).

Отдельная проблема – неидентичность влияния предшествующей пробы на последующую. Симметричным эффектом последовательности называется такое влияние предыдущего условия на последующее, когда эффект влияния этой производной ПП (последовательность условий) остается постоянным при изменении направленности переходов между уровнями экспериментального фактора – от А к Б и от Б к А.

Допустим, это сенсибилизирующий эффект. Тогда независимо от того, на каком месте стоят пробы А и Б, следует предполагать лучшее выполнение испытуемым любой второй (последующей) пробы. Например, независимо от того, с какой песни начнет концерт исполнитель, вторая по порядку будет более успешной.

Асимметричным называют такой эффект, когда влияние последовательности уровней НП (А на Б и Б на А) меняет направленность или вид эффекта. Так, переход из темного в освещенное помещение вызовет иной эффект (адаптации), чем из более светлого в темное.

Основные интраиндивидуальные схемы направлены на решение проблем контроля как систематических, так и несистематических смешений. Перечислим главные из них.

Первая – уже названная ранее случайная последовательность. Она предполагает случайное распределение уровней экспериментального фактора в общей последовательности проб, ограниченной числом п, которое в свою очередь связано с предполагаемой величиной экспериментального различия и возможностью допустимых смешений с фактором времени (какое время занимает проба и как долго может длиться эксперимент без существенных фоновых колебаний ЗП и состояний человека). Использование таблицы случайных чисел – самый старый способ организации случайной последовательности проб. Современный способ – использование компьютера (гиперация случайных последовательностей).

Квазислучайная последовательность включает дополнительное условие: общее число проб делится на равные микропоследовательности (например, последовательность из 100 проб исследователь разделил на 5 последовательностей по 20 проб в каждой). Уровни НП в соответствующих отрезках, включающих равное число проб, предположительно будут испытывать равные влияния со стороны побочных переменных, связанных с факторами времени, несистематическим смешением и т.п. Теперь задача исследователя – случайно распределить все уровни НП на каждом из этих отрезков, в результате чего общая последовательность на самом деле включит ряд случайных микропоследовательностей, т.е. станет «как бы» случайной (квазислучайной). Этот прием используется в любом психофизическом эксперименте, предполагающем влияние фактора времени, который в этом случае предположительно равным образом влияет на все уровни НП. Предполагается, что изменения ЗП в течение этих микропоследовательностей в равной степени отразились на всех уровнях НП, поэтому фактор времени применительно к общей последовательности считается здесь проконтролированным.

Равное число предшествующих и последующих позиций каждого условия НП также контролируется случайной (рандомизированной) и квазислучайной последовательностями. Асимметричные эффекты при этом не исчезают. Они оказываются лучше проконтролированными, чем при использовании следующей стратегии – регулярного чередования экспериментальных условий.

Схема регулярного чередования выглядит как повторяемость одних и тех же условий в неизменном порядке: АБАБАБ. Она оправданна, если каждое из условий проводится в разные дни; тогда можно не бояться влияния порядка проб. Если исследователь не знает, сможет ли он реализовать задуманное число проб, то такая последовательность позволяет устанавливать экспериментальный эффект и в том случае, если эксперимент был прерван. Она позволяет контролировать угрозы со стороны несистематической изменчивости (например, влияние погоды в разные дни проведения эксперимента, влияние циклических изменений в состоянии человека). Существенный недостаток этой схемы – возникновение дополнительных эффектов последовательности, например контраста. В этом случае именно разница между условиями оказывается воздействующим фактором, причем смешение имеет систематический характер.

Схема позиционного уравнивания – четвертая из наиболее часто используемых. Пример ее был представлен в главе 5: обсуждалась ее применимость для случаев, когда экспериментальных проб немного, а изменения, связанные с фактором времени, имеют линейный характер. Эта схема, как и все предыдущие, является схемой контроля угроз внутренней валидности со стороны и фактора времени, и фактора задач, и фактора последовательности проб. Выбранная для контроля последовательности условий НП схема АББА включает также возможность попарного уравнивания задач: главное, чтобы в каждой микропоследовательности условий А и Б задачи оказались равными по типу и трудности, а в следующей микропоследовательности уровень фактора задач может быть иным.

Таким образом, планирование интраиндивидуального эксперимента предполагает комплексный охват исследователем всех тех факторов, которые подлежат экспериментальному контролю, чтобы иметь возможность сделать вывод об установлении экспериментального эффекта. Получить экспериментальный факт, а не артефакт – конечная цель планирования и проведения эксперимента. Оценка его внутренней валидности служит цели контроля за возможными искажениями исследуемой зависимости.

Использование тех или иных схем не решает проблемы контроля внешней валидности для индивидуального эксперимента. Насколько хорошо задачи представляют исследуемый вид деятельности, не зависит от выбранной схемы. В какой степени полученная в интраиндивидуальном эксперименте зависимость является универсальной для других испытуемых, обусловлено другими факторами. Их оценка позволяет сделать выводы о репрезентативности зависимости. Репрезентативность методики будет означать оценку уверенности в том, какой базисный процесс актуализировался в экспериментальной модели, и тем самым возможность контроля других интерпретаций исследуемой причинно-следственной связи. Репрезентативность испытуемого, оцениваемая с точки зрения того, насколько типичным представителем популяции он является, позволит предполагать ее повторяемость у других лиц. Итак, решение проблем соответствия с точки зрения контроля конструктной, популяционной и более широко понятой внешней валидности будет определять возможности обобщений на основании результатов интраиндивидуального эксперимента.

Правильный отбор испытуемых для интраиндивидуальных экспериментов имеет при этом не меньшее значение, чем для межгрупповых сравнений.

План контроля сопутствующих смешений

Представленные в предыдущих разделах планы направлены в основном на нивелирование угроз внутренней валидности эксперимента со стороны систематических и несистематических смешений с побочными переменными. Однако они не всегда решают задачи контроля сопутствующих смешений. В самом общем случае возникновение сопутствующих смешений и соответственно артефактных выводов связано c самим способом задания НП, фиксацией ЗП или актуализацией изучаемой базисной переменной в совокупности с другим базисным процессом. Имманентная связь смешивающейся переменной с методическими условиями контроля переменных или с другими переменными отличает этот третий вид смешений.

Общая схема контроля подразумевает актуализацию активного уровня сопутствующей переменной во всех экспериментальных и контрольных условиях. В результате связанный со смешивающейся переменной эффект как бы вычитается из совокупного результата действия экспериментального фактора. План контроля сопутствующих смешений и приводится далее в контексте одного из источников возникновения факторных планов. В общей схеме контроля сопутствующих смешений место второй – сопутствующей – переменной могут занимать разные, но всегда связанные со способом задания первой – основной НП факторы (схема 9.5).

Сопутствующая переменная	Независимая переменная
Активный уровень	Неактивный уровень
Постоянно активный уровень	Экспери-ментальное условие	Контроль-ное условие

Схема 9.5. План эксперимента с контролем сопутствующего смешения.

Наиболее известен случай, когда эта схема представляет возможность оценивать эффект плацебо. С точки зрения формального планирования в качестве плацебо выступает то контрольное условие, для которого неактивный уровень НП включает так называемую пустую пробу: в ней присутствует способ задания НП, но другие составляющие экспериментального воздействия отсутствуют.

В медицинских исследованиях плацебо – это индифферентная таблетка (меловая или сахарная), которую дают человеку, но она не оказывает фармакологического действия. В реальных условиях лекарственный препарат, кроме фармакологического эффекта, оказывает второе воздействие: сам факт предъявления таблетки (или, например, инъекции). Иными словами, всегда имеет место смешение с таким процедурным фактором, как способ дать лекарство.

В книге «НЛП и здоровье» [39] слово «плацебо» означает «я хочу доставить удовольствие». Возможно, им зафиксировано удовольствие врача от выздоровления пациента, которому давалось что-то, что доставляло ему удовольствие как факт лечения. Этот факт лечения посредством пустой пробы заключается в том, что наступает действительное улучшение здоровья (изменение ЗП). Само плацебо при этом может выступать в качестве таблетки, процедуры или словесного воздействия. Главное – оно мобилизует мнение или убеждение пациента относительно его здоровья, изменяя его саморегуляцию (в частности, активируя его иммунную систему).

О влиянии самого врача в качестве фактора плацебо свидетельствует следующий пример из той же книги.

Экскурс 9.1

Терапевт К. Томас в 1987 г. опубликовал исследование, построенное как сравнение двух групп испытуемых с разными уровнями врачебного влияния. Двести пациентов с одинаковыми симптомами (головная боль, кашель, утомляемость) были разделены случайным образом на две группы. В первой врач после консультации и постановки диагноза выражал уверенность в скором выздоровлении. Больным второй группы он выразил неуверенность в том, что с ними происходит, и предложил повторно посетить его, если им не станет лучше. Половине больных в каждой группе были выписаны рецепты, второй половине ничего не было прописано. Экспериментальный результат позволил оценить эффекты, или основные результаты действия, каждого из двух включенных в ситуацию факторов. Фактор рецепта не определил различия в переменной улучшение состояния больных. Примерно половина испытуемых отметили улучшение: и те, кому выписали лекарства, и те, кто не принимал их. Основным выглядел эффект влияния консультации врача. В первой группе к концу недели лучше себя чувствовали 64% пациентов, во второй – 39%. Разница в 25% могла быть связана только с варьируемой уверенностью, выраженной терапевтом. Авторитет врача в западной культуре таков, что его влияние оказывается большим, чем плацебо-эффект таблеток. Так автор интерпретирует пример.

В психологии такие схемы контроля при планировании экспериментов обычно нацелены на более четкое разведение базисных процессов, стоящих за влиянием НП, с попыткой выделить процедурный эффект ее задания и исследуемое причинное воздействие. Следующий пример – анализ влияния разных психотерапевтических воздействий демонстрирует еще одно различие компонентов содержательного и формального планирования: разный статус самого воздействия с точки зрения испытуемых, находящихся внутри ситуации (и подвергающихся психологическому воздействию), и исследователей, анализирующих роль этих воздействий с внешней позиции.

Благодаря работе немецкого исследователя В. Лаутербаха [34] отечественные психологи смогли ознакомиться с результатами метаанализа эффективности множества психотерапевтических процедур, который провели на основе обзора 867 работ К. Grawe с сотр. (представлен в книге «Психотерапия в процессе перемен. От конфессии к профессии»). В этом примере важно учесть два разных аспекта того, что выступало в качестве психологического воздействия.

Для пациентов, или испытуемых, посещавших психотерапевтические группы, воздействие со стороны психотерапевта и метода, которым он работал, выглядело целостным. Для исследователей, проверяющих гипотезы о том, что та или иная психотерапевтическая процедура является лучше (или не хуже) другой, изучаемым фактором был именно используемый метод. Сам факт участия в психотерапевтической группе можно рассматривать с этой точки зрения в качестве сопутствующей переменной, сохраняющей свой активный уровень в равной степени при анализе двух сравниваемых психотерапевтических процедур (табл. 9.1).

Таблица 9.1

Результаты катамнеза психотерапии 42 пациентов в клинике К. Меннингера [34]

Результат лечения	Раскрывающий психоанализ	Поддерживающая психотерапия
Число пациентов	%	Число пациентов	%
Значительное улучшение Умеренное улучшение Сомнительное улучшение Отсутствие улучшения
Всего:

Экскурс 9.2

Самое тщательное и длительное исследование осуществлено в США в естественных условиях в 50-е годы XX в. В клинике К. Меннингера, согласно диагнозу и необходимости лечения 42 испытуемым были проведены две разные психотерапевтические процедуры. Первая называлась «раскрывающий психоанализ»; в ней пациенты участвовали на протяжении ряда лет. Это условие отвечало положению, что для достижения удовлетворительных результатов согласно методу психоаналитической психотерапии требуются сотни сессий (по 3–5 встреч врача с пациентом в неделю). Вторая процедура – «поддерживающая психотерапия», аналогичная первой по длительности и числу встреч клинициста с пациентом, но в беседах с пациентом не использовался метод психоанализа.

В двух группах – из 22 и 20 человек – в течение ряда лет проводилась психотерапия разными методами. Полученные данные не свидетельствовали в пользу ожидаемого эффекта психоаналитического метода. Долговременная поддерживающая психотерапия дала примерно такие же результаты. Причем они еще более впечатляли на фоне того, что выяснилось некоторое неравенство состава групп; психоаналитики были склонны отправлять пациентов с более выраженной симптоматикой в группу получивших поддерживающую психотерапию.

В таблице ЗП фиксирует процент случаев, соответствующих в каждой группе разным исходам (улучшение или нет) состояния пациентов.

Выявление эффективности психотерапевтических процедур часто строится только путем применения «доэкспериментального» плана измерений психологических показателей: как тестирование «до – после». Наличие контрольной группы является, однако, необходимым условием, если обобщение касается не самого факта или длительности участия в психотерапевтической группе, а вывода о том, что именно использованный метод определил изменения базисных переменных, измеряемых в показателях ЗП.

Контрольные вопросы

1. Каковы основные четыре критерия классификации экспериментальных планов?

2. Что означают понятия критерий экспериментирования и стратегия рандомизации?

3. Какие исследовательские схемы относят к «доэкспериментальными» планам?

4. В чем заключается специфика методического приема «анализ единичного случая»?

5. Для чего вводится предварительное измерение ЗП и как контролируются «эффекты тестирования»?

6. Как схематически представить основные истинные эксперименталъные планы (по Кэмпбеллу)?

7. Как связаны контроль состава групп и оценки валидности применительно к межгрупповым схемам?

8. Как схематически представить основные интраиндивидуальные схемы?

9. Каковы основные угрозы внутренней валидности при интраиндивидуальных схемах экспериментов?

10. Каковы основные стратегии отбора и подбора испытуемых в группы?

11. Как связаны оценки репрезентативности испытуемого, выборок испытуемых с обобщениями на основе психологических экспериментов?

12. В чем отличие сопутствующего смешения от систематического? Как представлен эффект плацебо с точки зрения контроля смешений?

13. Как выглядит общая схема контроля сопутствующего смешения?

14. О чем свидетельствует сравнительный анализ эффективности психологических воздействий при различных психотерапевтических процедурах, рассматриваемых в качестве разных уровней экспериментального фактора?

Глава 10

ФАКТОРНЫЙ ЭКСПЕРИМЕНТ