Рекуррентный институциональный цикл —

«лоскутный» план

План 15 является примером стратегии полевого ис­следования, при котором, начав с неадекватного плана, затем добавляют к нему специфические меры контроля того или иного рекуррентного источника невалидности. Результатом часто оказывается неуклюжее нагромож­дение проверок, которое — хотя ему и недостает внут­ренней симметрии истинных экспериментов — все же приближается к экспериментальному исследованию. Приняв эту стратегию, экспериментатор должен быть начеку относительно конкурентных интерпретаций (от­личных от констатации эффекта X), от которых план не застрахован, и искать такие способы анализа или обобщения данных, которые исключали бы подобные интерпретации. Другая черта, часто присущая данному плану, состоит в выявлении эффекта X несколькими различными способами. Это очень важно, когда каждое отдельное сравнение результатов само по себе не поз­воляет сделать однозначного вывода.

Такой «лоскутный» план, о котором идет речь, при­меним лишь к ограниченному кругу проблем и условий и должен строиться исходя из особенностей этих усло­вий. Основная его идея становится яснее при рассмотре­нии третьей и четвертой граф табл. 1. Как легко за­метить, ряды стоящих там плюсов и минусов для пла­на 2 и 3 по большей части дополняют друг друга, а удачное сочетание этих двух неполноценных пла­нов может оказаться весьма эффективным. Данный план применим в тех случаях, когда определенный ас­пект институционального процесса циклически реали­зуется каждый раз для новой группы респондентов, как это имеет место, скажем, в школе, в системе воспитания, обучения ремеслу и т. д. Если в этих усло­виях интерес представляет оценка результатов такого всеобъемлющего и сложного воздействия, как об­щая программа обучения и социализации, то план 15 является, видимо, наилучшим из всех пока разрабо­танных.

Этот план был впервые концептуально разработан применительно к изучению влияния командирской и летной подготовки курсантов военно-воздушной школы

(в ходе 14-месячного учебного цикла) на их социаль­ные установки в отношении начальников и подчиненных и на функции лидерства в группе (Campbell, McCormack [16]). Проведение истинного эксперимента затруднялось отсутствием контроля над тем, кто будет подвергнут экспериментальному воздействию, а кто — нет. Действительно, как разделить принятых курсантов на две уравненные группы, одна из которых прошла бы годичную программу обучения, а другая — отправлена «на гражданку»? Даже если бы такой эксперимент и удалось поставить (непредвиденные сокращения бюд­жета сделали бы в отдельных случаях возможным про­ведение такого опыта), то все равно из тех, кто был принят, прошел отсев, доставлен на авиабазу, а затем отправлен домой, вряд ли получилась бы идеальная контрольная группа ввиду реакции испытуемых на экс­перимент и нарушения ритма их жизни. Различие меж­ду ними и экспериментальной группой, проходящей под­готовку, вряд ли могло бы служить хорошей основой для распространения результатов на нормальные усло­вия набора и обучения курсантов. Экспериментатор, од­нако, мог выбирать, когда и на ком производить наблю­дения. Это, а также тот факт, что экспериментальная переменная носила рекуррентный (циклический) харак­тер, то есть оказывала воздействие каждый раз на новую группу респондентов, обеспечивало какую-то степень контроля параметров эксперимента. В этом исследова­нии можно было проводить два типа сравнений, отно­сившихся к влиянию опыта военной службы на соци­альные установки. Каждое из них было совершенно не­адекватно в плане экспериментального контроля, но если оба они свидетельствовали об одном и том же, они взаимно подкрепляли друг друга, ибо их слабые места оказывались различными. Сравнения первого типа производились по результатам, полученным в одно и то же время на группах, отличавшихся сроком служ­бы, а сравнения второго типа — внутри каждой группы между показателями первой недели и после 13 месяцев обучения. В идеализированной форме эта схема выгля­дит так:

Класс А X О₁,

---------------- .

Класс В O₂ X O₃

В этой схеме объединены «лонгитюдинальный» под­ход и «сравнительное изучение поэтапных срезов» — процедуры, обычно используемые в исследованиях раз­вития. При этом предполагается, что одновременно из­мерения могут производиться на группе, уже подверг­шейся X, и на группе, которая вскоре должна подверг­нуться X. Сравнение данных O₁ и O₂, следовательно, отвечает плану 3 (сравнение статических групп). По­вторные измерения в классе В спустя один цикл позво­ляют воспроизвести план 2. В табл. 3 первые две строч­ки, относящиеся к плану 15, показывают особенности этих сравнений. Результат сравнения в поперечном срезе, О₁ > O₂, нельзя отнести за счет фоновой стиму­ляции или эффекта повторного тестирования. Однако его можно объяснить тем, что из года в год состав кур­сантов меняется (на что указывает минус в колонке «состав группы») или что респонденты стали на год старше (минус по фактору «естественное развитие»). Если тестирования проведены в один и тот же период времени, то маловероятно смешивание эффектов X и фактора инструментальной погрешности, или изменения характера средств измерения. Эффект выбывания обычно также является конкурентным объяснением при сравнении социальных установок новичков и слушате­лей второго года обучения: результаты O₁и O₂ могут отличаться друг от друга из-за того, что лица, подоб­ные отсеявшимся из класса A, еще представлены в клас­се В. Этого недостатка можно избежать, если регистри­ровать индивидуальные результаты и отложить анализ данных до того момента, когда закончится воздействие X на класс В,что позволит устранить из O₂ результа­ты тех респондентов, которые не завершили курса под­готовки. Поскольку эта процедура часто отсутствует, в колонке «выбывание» поставлен вопросительный знак. Другой знак вопроса в колонке «регрессия» предупреж­дает о возможности ложных эффектов в случае, если в эксперименте используются показатели, по которым производился отбор курсантов для обучения. В этих условиях следует ожидать систематического смещения результатов, которое нельзя приписать воздействию X. Если сравнение предварительного и итогового тестиро­ваний при O₂ и О₃ показывает, что изменение перемен­ной от O₂ к О₃ того же порядка, что и при переходе

от O₁ к O₂, есть основания отклонить конкурентную гипотезу о том, что это изменение обусловлено разли­чием в отборе слушателей для данных двух классов, а также исключить возможность использования в каче­стве объяснения фактора выбывания. Однако если пользоваться одним лишь сравнением O₂ — O₃, то воз­никает опасность конкурентного объяснения результа­тов фоновой стимуляцией и эффектом тестирования.

В тех случаях, когда исследуется эффект годичного обучения, наибольших затрат требует проведение двух измерений, разделенных промежутком времени в один год. Если на это уже имеются средства, то проведение дополнительных измерений во второй период обследо­ваний потребует лишь незначительных добавочных за­трат. Принимая это во внимание, можно расширить план данного эксперимента согласно схеме, приведен­ной в табл. 3. Пользуясь правом решать, кто и когда будет проходить измерительную процедуру, можно раз­бить класс В на две уравненные выборки, одна из ко­торых обследуется и до и после воздействия, а дру­гая — только после него (O₄). Эта вторая группа обеспечивает сравнение тщательно уравненных выборок по первому измерению, проводимому до и после X, при­чем точность сравнения здесь выше, чем для O₁ — О₂ с точки зрения фактора состава групп, и выше, чем для О₂ — O₃ в плане эффекта повторного тестирования. Эффект X,таким образом, должен быть зафиксирован в трех различных сравнениях: O₁ > O₂, O₂ < O₃ и O₂ < O₄.

Отметим, однако, что О₂ фигурирует во всех трех сравнениях и все они могут подтверждать эффект толь­ко благодаря необычному характеру этой серии изме­рений. Введение O₅ и вместе с ним класса С, проходя­щего обследование во время второй волны тестирования перед X, позволяет получить данные для сравне­ния с O₄ и O₁ и т. д., что обеспечивает необходимую избыточность. Разбиение класса В на две части обеспе­чивает бóльшую четкость сравнения O₄ — O₅, чем O₃ — О₅. Но разбиение класса на обследуемую и необ­следуемую группы нередко провоцирует реакцию испы­туемых на эксперимент. Поэтому в строке O₂ < O₄ в табл. 3 для этого фактора поставлен вопросительный знак. Возникновение указанной реакции зависит от

конкретных условий. Если испытуемые тянут жребий, а затем половину класса просят пройти в другую ком­нату, то опасность реакции на эксперимент велика (см., например, Duncan et al. [31], Solomon [104]). Если, как это бывает в ряде исследований, контакт с испытуемым устанавливается в индивидуальном поряд­ке, класс удается разделить на две уравненные полови­ны, не вызывая подозрений респондентов. В тех случа­ях, когда поток слушателей состоит из ряда групп, каж­дая из которых работает по своему расписанию, есть возможность, не разрушая эти группы, разделить их на те, которые проходят и не проходят предваритель­ное тестирование (см., например, Hovland, Lumsdaine, Sheffield [51]). В рамках одной аудитории анкеты или тесты разного содержания можно раздать всем испытуемым таким образом, что одна случайно выбран­ная половина слушателей составит группу, данные ко­торой можно использовать в качестве предварительного тестирования, а другая, обследуемая с помощью иного инструментария, может служить группой для сравне­ния. При этом такое разделение будет провоцировать нежелательную реакцию не больше, чем обследование всей аудитории.

В плане 15 (в той его части, которая представлена измерениями O₁ — O₅) не контролируется фактор есте­ственного развития. Серьезность этого ограничения за­висит от объекта исследования. Если речь идет об ус­воении специфических (эзотерических) навыков или знаний, конкурентная гипотеза о том, что испытуемый покажет более высокие результаты, становясь старше и приобретая жизненный опыт, представляется крайне маловероятной.

Однако в рассмотренном выше исследовании отно­шения к старшим и младшим по званию (Сampbell, McCormack [16]) изменение показателей было таким, что вполне могло объясняться приобретением жизнен­ного опыта людьми данного возраста и происхождения просто в силу взросления или пребывания вдали от дома. В таких условиях контроль естественного разви­тия представляется весьма важным. Поэтому к плану были добавлены измерения O₆ и O₇, обеспечивавшие проверку гипотезы естественного развития в попереч­ном срезе во второй период обследования. Это предпо-

лагало тестирование двух групп (из общей популяции), отличающихся друг от друга только по возрастным пока­зателям. Но эти показатели были сходны с теми, кото­рые характеризовали классы В и С в период их обсле­дования. Для подтверждения гипотезы о наличии эф­фекта X результаты О₆ и О₇ должны быть одинаковы­ми или по крайней мере отличаться друг от друга мень­ше, чем данные тестирований, проведенных до и после X. Составление контрольных групп из общей популя­ции зависит от особенностей гипотезы. Учитывая то значение, которое повсеместно придается социальному происхождению и образованию, можно было бы подо­брать группы таким образом, чтобы они были сопоста­вимы с институциональными группами по показателю принадлежности к тому или иному социальному классу и по предварительному образованию. Следовало бы также составлять контрольные группы из лиц призыв­ного возраста, проживших вдали от дома один год (группа О₆) или только что покинувших родные места (группа О₇). Но и тогда эти контрольные группы, в которых учитывался бы фактор возраста, были бы в какой-то степени неудовлетворительным средством конт­роля, а их обследование составляло бы самую большую статью расходов, так как обычно легче провести тес­тирование в рамках одной организации, чем отбирать респондентов из общей популяции. По этим соображе­ниям О₆ и О₇ были приурочены ко второй волне тес­тирования, поскольку если бы эффект X не был обнаружен при сравнении результатов О₁ и O₂, то указан­ные дорогостоящие мероприятия, скорее всего, оказа­лись бы неоправданными (иное дело, когда гипотеза состоит, скажем, в том, что действие институциональ­ного по своему характеру X подавляет естественный процесс развития).

Возможен и другой подход с использованием попе­речного среза для контроля фактора естественного развития, если популяция, которая вовлекается в инсти­туциональный процесс, неоднородна по показателям воз­раста (или числа лет, проведенных вне дома, и т. д.). Это характерно для многих ситуаций — например, когда изучается эффект какого-либо лекционного курса в колледже. В этом случае измерения O₂ делят на две части, относящиеся к старшей (O _2о) и младшей (O _2у}

подгруппе, и выясняют, отличаются ли друг от друга эти подгруппы в той же степени, как и O₂ от О₁(правда, здесь возникает опасность все той же отрица­тельной корреляции между возрастом и способностями в рамках одного года обучения). Вместо контрольных групп, отобранных из общей популяции по признаку возраста и зрелости, иногда лучше для сравнения поль­зоваться контингентом другого института. Например, новобранцев военно-воздушных сил сравнить с перво­курсниками колледжа. Если проводится сравнение та­кого типа, то экспериментальная переменная сводится лишь к тем характеристикам, которые не являются общими для обоих типов институтов или организаций. В этих случаях обычно могут быть использованы в це­лом более эффективные планы 10 и 13.

Формальные свойства плана 15 как будто делают его применимым даже в сфере психотерапии. Здесь, однако, обнаруживается, насколько трудно осуществить надлежащий контроль фактора естественного раз­вития. Независимо от того, как испытуемые контроль­ной группы отбираются из общей популяции, они будут существенно отличаться от членов экспериментальной группы, если только сами не являются пациентами пси­хотерапевта. Даже если они точно так же больны, как и пациенты, подвергающиеся психотерапевтическому воздействию, их информированность, мнение о психоте­рапии, вера в нее будут почти наверняка иными. У группы больных, настроенных оптимистически в от­ношении психотерапии, скорее активизируются потен­циальные силы организма для борьбы с болезнью, что будет нетипичным для любой сопоставимой с нею груп­пы, которую мы могли бы, вероятно, составить, и, та­ким образом, взаимодействие состава групп и естествен­ного развития могло бы быть ошибочно истолковано как эффект X.

Когда объектом изучения становится процесс раз­вития как таковой, отсутствие контроля фактора есте­ственного развития, конечно, не является недостатком, поскольку этот фактор находится в фокусе исследова­ния. В исследовании процессов развития следовало бы систематически использовать сочетание лонгитюдинальных и поэтапно-срезовых сравнений. В поперечном срезе естественное развитие смешано с фактором соста-

ва и выбывания из групп. В лонгитюдинальных иссле­дованиях эффект естественного развития смешивается с эффектами тестирования и фоновых воздействий. Само по себе лонгитюдинальное исследование, вероят­но, не лучше поэтапных срезов, хотя бóльшие затраты придают ему бóльший престиж. Идеальным представ­ляется сочетание того и другого с использованием по­вторных поперечных срезов, выполненных в разное время.

При построении плана 15 предполагалось, что ито­говое тестирование одной группы проводится одновре­менно с предварительным тестированием другой. Од­нако это возможно не во всех случаях, когда мы хо­тели бы применить этот план. Типичную ситуацию ис­следования, проводимого в условиях школы, более точ­но отражает следующая схема:

Класс А X О₁

-----------------------------------

Класс B₁ R O₂X О₃

Класс B₂ R X О₄

-----------------------------------

Класс C О₅ X

В этой схеме нет четкого контроля фактора фона вслед­ствие того, что сравнения О₁ и O₂, а также О₄ и О₅ проводятся не одновременно. Однако когда эффект обнаруживается в обоих сравнениях, то ссылка на по­сторонние воздействия вряд ли будет обоснованной, разве только предположить, что имел место чрезвы­чайно сложный ряд совпадений.

Отметим, что общие исторические изменения, влия­ние которых мы действительно обнаруживаем при из­учении социальных установок, не смешиваются с чет­кими экспериментальными результатами. Любые такие изменения могут вызвать O₂, занимающее промежуточ­ное положение между О₁ и О₃, тогда как по гипотезе о наличии эффекта X они должны быть одинаковыми, а O₂ отличаться от обоих (О₁ и О₃) в одном и том же направлении. В целом при повторении эксперимента в различных условиях смешивание с эффектами фоно­вых воздействий маловероятно для данного варианта этого плана. Но если продолжительность институцио­нального цикла менее года, становится возможным

смешивание эффекта X ссезонными колебаниями социальных установок, морального состояния, оптимиз­ма, уровня интеллекта — всего, чего угодно. Предполо­жим, X — курс, читаемый только в осенний семестр, а в период с сентября по январь под влиянием сезон­ных климатических факторов возрастают враждебность и пессимизм. Тогда все проявления этой рекуррентной сезонной тенденции будут примешиваться к эффектам X. В подобных случаях следует предпочесть планы 10 и 13.

Если сравнение данных лонгитюдинального иссле­дования и исследования поэтапных срезов выявляет со­поставимые эффекты X, это нельзя приписать взаимо­действию между естественным развитием и различиями в составах классов. Но, поскольку этот контроль не отражен в схеме, представленной в табл. 3, данная колонка оставлена незаполненной. Оценки по крите­риям внешней валидности в целом следуют образцу, характерному для предыдущих планов, содержащих те же элементы. Знак вопроса в колонке «Взаимодей­ствие состава групп и X»предупреждает о том, что результаты действительны только для институцио­нального цикла, изучавшегося в эксперименте. Ввиду сложности X исследование обычно подходит ско­рее для практических, а не теоретических целей, и, вероятно, в данном случае выводы и предназначаются для одного исследуемого института.

Последним в этом ряду квазиэкспериментальных планов вводится план 16, связанный с анализом нару­шения непрерывности регрессии.

План, в котором нарушение