Тестированием на различных выборках

При изучении больших популяций, таких, как города, предприятия, школы, воинские подразделения и т. д., часто может оказаться, что, хотя рандомизированное выделение подгрупп для дифференцированного экспери­ментального воздействия и невозможно, все же удается осуществить нечто вроде полного контроля над тем, когда и на ком производить тестирование, применяя процедуры рандомизированного распределения испытуе­мых по группам. Такой контроль позволяет реализовать план 12:

R О (X)

R X O.

В этой схеме строки представляют случайным об­разом выделенные эквивалентные подгруппы, а скобки при X означают, что результаты предъявления X по данной группе не используются. Одна выборка прохо­дит тестирование до X, а другая — после X. Этот план не относится к числу сильных, на что указывает его графа в табл. 2. Тем не менее часто это единственная возможность, и ею стоит воспользоваться. План 12 при­менялся в социальных исследованиях, которые остают­ся лучшими в своей области (см., например, Star, Hughes[118]). Хотя его называли «имитацией» плана с на­чальным и конечным тестированием (Selltiz, Jahoda, Deutsch, Cook [99, с. 116]), он на самом деле имеет пре­имущество по сравнению с обычным планом с предвари­тельным и последующим тестированием (то есть пла­ном 2), поскольку обеспечивает контроль над глав­ным эффектом тестирования и взаимодействием этого фактора с X. Главным недостатком этого плана являет­ся неконтролируемость фактора фона (см. Star, Hughes [118]).

В этой работе мы стремимся повысить у читателя интерес к «лоскутным» схемам, в которых средства контроля отдельных факторов вводятся более или ме­нее постепенно (в отличие от более изящных «истинных» экспериментов, в которых контроль всех факторов рис­ка для внутренней валидности обеспечивается одной контрольной группой). Повторное применение плана 12 в различных условиях и в разное время, как в плане 12а (см. табл. 2), обеспечивает контроль фонового фактора: если эффект обнаруживается снова, вероят­ность того, что он является результатом действия со­путствующих фоновых событий, снижается. Но неконт­ролируемыми конкурентными объяснениями все еще остаются сезонные циклы и некоторые другие фоновые изменения. Повторение эффекта в других условиях может снизить вероятность того, что он свойствен лишь первоначально взятой популяции. Однако если условия исследования допускают применение плана 12а, то при­меним также и план 13, которому в целом следует от­дать предпочтение.

Ссылка на естественное развитие вряд ли может быть конкурентным объяснением даже в продолжаю­щемся несколько месяцев исследовании общественного мнения. Но при выборочном исследовании обществен­ного мнения или даже в некоторых студенческих ауди­ториях выборки достаточно велики и в возрастном от­ношении достаточно разнородны, чтобы группу, которая подвергается предварительному тестированию, можно было разделить на подвыборки, различающиеся по фактору естественного развития (по признаку возраста, курса и т. д.), и сравнивать эти подвыборки. Фактор естественного развития и, вероятно, более серьезная угроза медленных и сезонных изменений могут так­же контролироваться в плане 12б, где вводится до­полнительная группа, которая подвергается более ран­нему предварительному тестированию. Это сближает данный план с планом временных серий, хотя и без повторного тестирования. Для популяций, подобных упомянутым в примере с пациентами психотерапевти­ческого кабинета, где возможна спонтанная ремиссия, может оказаться несостоятельным имплицитное предпо­ложение о линейности естественного развития. Скорее, оно будет представлять собой постепенно замедляю-

щийся процесс, так что естественное увеличение от O₁ к O₂ будет большим, чем от O₂ к O₃, что препятствует выявлению эффекта X.

Инструментальная погрешность представляет опас­ность, если план 12 применяется в массовом обследова­нии. Если одни и те же интервьюеры проводят предва­рительное и итоговое тестирование, обычно оказывает­ся, что для многих из них начальное интервью было первым в их жизни, а к конечному они набираются не­которого опыта и, пожалуй, цинизма. Если каждая волна опросов проводится разными, причем немногими, людьми, происходит смешивание личных особенностей интервьюеров с экспериментальной переменной. Если интервьюерам известна гипотеза, то независимо от на­личия или отсутствия воздействия X их ожидания мо­гут породить различия, как это экспериментально пока­зали Стэнтон и Бейкер [117], а также Смит и Хаймен [102]. Идеальным было бы использовать в каждой волне опросов различные эквивалентные случайные вы­борки интервьюеров и держать их в неведении относи­тельно замысла эксперимента. Кроме того, состав ин­тервьюеров может зависеть от времени года, например вследствие того, что в летние месяцы можно использо­вать студентов. Летом число отказов меньше и интер­вью длится дольше, чем зимой. В случаях, когда рес­понденты сами заполняют анкеты в классе или аудито­рии, подобная инструментальная погрешность менее вероятна, хотя изменение установки в отношении анке­ты может оказаться таким, что его будет правильнее считать инструментальной погрешностью, чем влияния­ми X на О.

Если между предварительным и итоговым тестиро­ванием проходит несколько месяцев, то в эксперименте типа 12 возникает проблема выбывания. Если обе вы­борки составлены одновременно (этап R), популяция со временем может меняться: на различных этапах исследования утрачивается доступ ко все большему чис­лу респондентов и из популяции выбывают наиболее мобильные. Сигналом такой опасности служит различие между группами по числу лиц, с которыми интервьюе­рам не удалось встретиться.

По-видимому, в длительном исследовании выборки, на которых проводятся предварительное и итоговое

тестирования, должны составляться независимо друг от друга и в разное время, хотя это в свою очередь служит источником систематической погрешности вслед­ствие возможных изменений в данной части генеральной совокупности. В условиях, например, школы учет посе­щаемости позволяет из результатов предварительного тестирования изъять те, которые принадлежат отсутство­вавшим при итоговом тестировании ученикам. Это об­легчает сравнение результатов обоих тестирований. Чтобы сделать возможной такую коррекцию в массо­вом обследовании, равно как и для дополнительного под­тверждения наличия эффекта, на который не оказывал бы влияния процесс выбывания, группа, выбранная для предварительного тестирования, может быть подверг­нута повторному тестированию (как в плане 12в, где различие O₁ — O₂ следует подтвердить путем сравне­ния показателей О₁ — O₃). Так было построено иссле­дование Дункана и сотрудников [31], посвященное влиянию вводного курса психологии на преодоление ошибочных взглядов. (В этом плане эксперимента на­личие группы, прошедшей оба тестирования, не обеспе­чивает возможности анализа приращений зависимой переменной по отдельным испытуемым ввиду отсутствия контрольной группы для учета влияния регрессии.)

Для экспериментов данного типа характерно то, что они переносят лабораторные методы в полевые условия, на которые исследователь хочет распространить свои выводы, испытывая действие X в естественной обста­новке. Вообще говоря, как показано в табл. 1 и 2, пла­ны 12, 12а, 12б и 12в по обеспечению внешней валидности или возможностям обобщения результатов могут превосходить планы 4, 5, 6 «истинных» экспери­ментов. Они предъявляют к респондентам так мало требований в отношении сотрудничества, пребывания в определенное время в определенном месте и т. д., что можно формировать репрезентативные выборки из за­ранее определенных популяций.

Планы 12 и 13 (и, конечно, некоторые варианты планов 4 и 6, в которых X и О осуществляются в усло­виях индивидуального контакта с обследуемыми) дей­ствительно обеспечивают возможность пользоваться репрезентативными выборками. Плюсы в колонке «взаимодействие состава групп и X»весьма

относительны и могли бы, справедливости ради, быть заменены вопросительными знаками, поскольку, как правило, респонденты выбираются не по теоретиче­ским соображениям, а по признаку готовности уча­ствовать и доступности, что нередко делает их нетипичными представителями генеральной совокупности, на которую предполагается распространить результаты. Но величина смещения, обусловленного составлением групп по признаку доступности испытуемых, намного меньше, чем в планах экспериментов, предъявляющих к ним более высокие требования, так что на этом фоне плюс представляется оправданным.

План с контрольными выборками

для предварительного и итогового тестирования

Предполагается, что план 12 может быть использо­ван в условиях, когда X (если он вообще имеет место) предъявляется всей группе в целом. При наличии сравнимых (или даже эквивалентных) групп, в которых X не вводится, можно в плане 12 добавить контроль­ную группу, получив тем самым план 13:

RО X

R XO

--------------

RО

R O

Этот план сходен с планом 10, если не считать того, что предварительное и итоговое тестирование прово­дится на разных лицах, благодаря чему исключается возможное взаимодействие тестирования и X. Как и для плана 10, в этом случае существует опасность (что и является недостатком плана в отношении внутренней валидности) принять за эффект X частную тенденцию, характерную для данной экспериментальной группы и фактически не связанную с воздействием. Этот источ­ник невалидности можно устранить, увеличивая число вовлеченных в исследование социальных единиц (школ, городов, предприятий и т. д.) и предписывая им по­средством рандомизации экспериментальный или конт­рольный режим. Это позволяет получить план истинного

эксперимента, подобного плану 4, с тем, однако, исклю­чением, что здесь мы избегаем повторного тестирования одних и тех же испытуемых. Такой план можно обо­значить как план 13а. Его схематическое представле­ние (см. табл. 3) усложняется двумя уровнями эквива­лентности (достигаемой путем рандомизации). На уровне испытуемых внутри каждой социальной едини­цы существует эквивалентность отдельных выборок, ис­пользуемых для предварительного и итогового тестиро­вания (что отмечено пунктом рандомизации — R). Между отдельными социальными единицами, которые подвергаются одному из этих воздействий, такой экви­валентности нет, на что указывают пунктирные линии, R' обозначает уравнивание экспериментальной и конт­рольной групп путем рандомизированного распределе­ния этих многочисленных социальных единиц по двум режимам.

Как видно из табл. 3, план 13а оказывается безуко­ризненным в отношении как внутренней, так и внешней валидности (последнее уже обсуждалось при анализе плана 12), причем здесь благодаря наличию многочис­ленных социальных единиц (в отличие от использова­ния только одной из них) добавляется контроль взаи­модействия между факторами состава групп и X. На­сколько известно, эта отличная, но требующая больших затрат схема эксперимента еще не была реализована.

План с множественными сериями измерений

При изучении эффектов крупной административной перестройки по данным серии измерений исследователь поступит правильно, отыскав аналогичное учреждение, не подвергшееся Х,и взяв оттуда данные для «конт­рольной» серии (в идеале учреждение, подвергающееся X, должно быть, выбрано наугад):

О O O O O X O O O O O

------------------------------------ .

O O O O O O O O O O

Этот план включает план 10, то есть план с неэквива­лентной контрольной группой (X в окружении О), по сравнению с которой он выигрывает в достоверности

интерпретации благодаря использованию многочислен­ных измерений, причем экспериментальный эффект как бы демонстрируется дважды — один раз на фоне конт­рольных данных, а другой — в сравнении со значениями до X внутри той же самой серии данных, как в плане 7. Кроме того, взаимодействие фактора состава групп с естественным развитием контролируется постольку, по­скольку при большей общей скорости изменения зависи­мой переменной в экспериментальной группе это долж­но проявиться также в О, предшествующих X. В табл. 2 и 3 этот добавочный выигрыш представлен слабо. Он нашел отражение лишь в последней колонке внутрен­ней валидности — «взаимодействие состава групп с есте­ственным развитием». Поскольку естественное развитие контролируется как в экспериментальной, так и в конт­рольной серии, то по соображениям, приведенным выше при обсуждении серии периодических измерений (план 7), различие в составе групп, подвергаясь влия­нию со стороны факторов естественного развития, ин­струментальной погрешности или регрессии, вряд ли может дать заметный эффект. Однако взаимодействие фактора состава групп с фоном может сказываться на результатах.

Как для плана 7, поставлен минус в колонке внеш­ней валидности — «взаимодействие тестирования и X»,хотя, как и план 7, данный план используется преиму­щественно в условиях, когда тестирование не вызывает такого эффекта. Табл. 3 показывает также, что надо учитывать возможность того, что полученный эффект X может оказаться особенностью исследуемой популя­ции. Что касается проверки значимости эффекта, то предлагается анализировать различия между результа­тами соответственных измерений в экспериментальной и контрольной группах, как данные, полученные по плану 7. Эти различия более вероятно могут оказаться линейными, чем данные исходных временных рядов.

В общем, это отличный квазиэксперимент — пожа­луй, лучший из наиболее доступных. Как видно из сде­ланных выше замечаний и из обсуждения плана 10, он обладает явными преимуществами перед эксперимен­тами типа 7 и 10. Доступность повторных измерений делает его особенно пригодным для исследовательской работы в школе.