Проверка наличия эффекта в различные моменты времени

В исследованиях убеждающих воздействий, которые в известном смысле сродни педагогике, Ховленд и его сотрудники неоднократно обнаруживали, что долговре­менные эффекты отличаются от кратковременных не только количественно, но и качественно. Долговремен­ные эффекты более выражены для общих и слабее для специфических социальных установок (Hovland, Lumsdain, Sheffield [51]). Речь дискредитированного орато­ра не производит немедленного убеждающего действия на слушателей, но может давать значительный эффект месяц спустя, если только слушателям не напоминать о первоисточнике (Hovland, Janis, Kelley [50]). Эти факты предупреждают нас о том, насколько рискован­но ограничиваться в оценке методики обучения немед­ленным или вообще однократным тестированием после введения экспериментального воздействия. Хотя это очень затрудняет проведение исследования, можно лишь рекомендовать включение в его программу тести­рований, проводимых, скажем, через месяц, полгода и год. Правда, дело сводится к обычному учету (включая сюда и учет выбывших испытуемых), если в качестве итоговых показателей берутся годовые школьные оцен­ки или результаты контрольных работ, которые все рав­но подлежат регистрации. Но если тестирование прово­дится экспериментатором, то, как считает большинство авторов, получение повторных данных на одних и тех же учениках еще опаснее, чем использование предвари­тельного тестирования. Это мнение, разумеется, под­твердилось в исследовании памяти (см., например, Underwood [128]). Хотя Ховленд и его сотрудники, как правило, проводили предварительное тестирование (план 4), они также составляли отдельные группы — экспериментальные и контрольные — для каждого пе­риода проведения последующего тестирования, напри­мер:

R О X О

R О О

R О X О

R O O.

Подобное дублирование групп требовалось бы и для плана 5 или 6. Отметим, что этот план не обеспечивает полного контроля, если мы хотим установить, как экс­периментальный эффект зависит от времени, истекшего после введения X: наблюдаемые различия могут объяс­няться взаимодействием между X и определенными фо­новыми событиями, которые могли произойти в проме­жутке между «близким» и «отдаленным» последующими тестированиями. Полный контроль этой возможности требует разработки еще более сложных планов экспери­мента. Подобные исследования обходятся чрезвычайно дорого. Исключение составляют случаи, когда тестиро­вание является составной частью обычной деятельности исследуемого института. Поэтому те, кто располагает данными таких тестирований, должны воспользоваться этой возможностью для прослеживания эксперименталь­ного эффекта в различные периоды времени.

Обобщение на другие X:

вариативность реализаций X

Цель науки предполагает распространение результатов не только на другие популяции или периоды вре­мени, но и на другие неидентичные случаи предъявле­ния X, то есть на те воздействия, которые в теории будто идентичны X, но в действительности отличаются от X теоретически несущественными элементами. Эта цель вступает в противоречие с часто встречающимся широким толкованием необходимости эксперименталь­ного контроля, которое выражается в стремлении к точ­ному воспроизведению X при каждом повторении экспе­римента. Так, сравнивая эффекты эмоциональных и рациональных речей, можно было бы заставить одного оратора произнести все речи перед группами слушате­лей каждого типа. Есть даже еще лучшая возможность: записать речь на магнитную ленту так, чтобы все груп­пы, проходящие тестирование по этому уровню воздей­ствия, услышали «совершенно одно и то же». Такой способ проведения эксперимента может показаться бо­лее совершенным, чем привлечение нескольких орато­ров, каждый из которых произнес бы одну-единственную речь. Действительно, в последнем случае мы «точно не знали бы», какой экспериментальный стимул предъяв-

ляется той или иной группе. Но ошибочно думать, что мы в состоянии ограничить экспериментальное воздей­ствие рамками некоей абстрактной классификации и эффективно передавать эту информацию все новым ис­пытуемым. В случае записанного на магнитофон ин­тервью мы каждый раз воспроизводим множество спе­цифических иррелевантных деталей. А кто знает, может быть, эти детали, а не сознательно выбранные нами компоненты воздействия и вызвали данный эффект. Если, однако, мы воспользуемся многочисленными независимыми реализациями воздействия, то специфические иррелевантные детали не будут воспроизводиться каж­дый раз в том же виде и наша интерпретация источни­ка эффектов будет иметь больше шансов оказаться пра­вильной.

Рассмотрим, например, исследование Гецкоу, Келли и Мак-Кичи [47], в котором сравнивалась эффектив­ность опроса учеников и дискуссии. В эксперименте участвовало восемь учителей, каждый из которых ин­терпретировал оба метода по-своему. В результате нам лучше известно, каковы были экспериментальные воз­действия (с точки зрения составления рекомендации учителям), чем, если бы использовался только один учи­тель или восемь учителей, усвоивших одни и те же де­тали, не включенные в абстрактное описание сравнива­емых методов. (Этот акцент на различные реализации X должен по возможности сопровождаться, как у Гец­коу и др., применением обоих методов всеми учителями, участвующими в эксперименте, с тем, чтобы специфиче­ские побочные компоненты урока не смешивались с конкретным воздействием. Чтобы оценить значимость взаимодействия «учитель» — «метод» при использова­нии целых классов, каждый учитель должен дать по два урока, применяя каждый из двух методов.)

Еще более наглядный пример: при изучении влияния пола учителя на эффективность начального обучения арифметике следует привлечь к эксперименту многих учителей обоего пола, а не по одному на тот и другой пол. Хотя это положение очевидно, ему, как отмечает Хэммонд [48], следуют не всегда. Эта проблема явля­ется одним из аспектов проблемы репрезентативности эксперимента, рассматриваемой Брунсвиком [9]. Андервуд [129, с. 281—287] по аналогичным соображениям

выступал против точной стандартизации или точного воспроизведения аппаратуры в различных эксперимен­тах, что отнюдь не противоречит его строгому операционализму.

Обобщение на другие X:

последовательная детализация X и

Новые контрольные группы

Реальное воздействие (X) в любом эксперименте яв­ляется комплексным, включающим компоненты, которые могут быть концептуализированы как различные пере­менные. Когда обнаруживается сильный и отчетливый эффект, логика науки требует проведения все более тонких экспериментов, выделения тех аспектов, от ко­торых больше всего зависит эффект. Это может дости­гаться путем повышения четкости в определении и предъявлении воздействий или с помощью новых конт­рольных групп, уравненных с экспериментальной груп­пой по все большему числу показателей, благодаря чему различия сводятся к более специфическим признакам первоначального X. В качестве примера сошлемся на введение в медицинские исследования контрольных групп пациентов, принимающих плацебо или подвер­гающихся инсценированной операции. Первоначальные эксперименты обнаруживали внутренне валидный эф­фект, который, однако, мог быть вызван тем, что паци­ент знал о том, что он подвергается лечению, или хи­рургическим шоком, а не специфическими свойствами принимаемого лекарства или удалением мозговой ткани. Отсюда и использование особых контрольных групп, назначение которых — исключить подобные предполо­жения. Процесс обобщения на другие X — направляе­мая теорией поисковая экстраполяция, осуществляемая посредством проб и ошибок, и в этом процессе подоб­ное уточнение X может играть важную роль.

Обобщение на другие О

Подобно тому, как за любым X тянется шлейф его теоретически несущественных особенностей, так и лю­бой конкретный измерительный инструмент есть комп­лекс, в котором релевантное содержание связано с кон­кретной инструментальной формой, детали которой не имеют отношения к теоретической цели. Так, если мы

пользуемся для регистрации ответов специальными ка­рандашами и бланками фирмы 1ВМ¹, то это скорее по соображениям удобства, а не из-за того, что мы хотим включить в наши результаты дисперсию, обусловленную навыками работы с машинными бланками, знакомством с заполняемой формой, способностью следовать инст­рукции и т. д. Точно так же проверку знаний по прой­денному материалу посредством письменных работ при­ходится осуществлять с учетом индивидуального стиля и лексики, и поэтому результирующие колебания пока­зателей должны содержать дисперсию, обусловленную этими источниками, что, как правило, не входит в чис­ло наших целей. Ввиду комплексного характера любо­го О попытка распространить результаты на другие по­тенциальные О ставит нас перед проблемой: каким ас­пектом примененного в эксперименте О был обусловлен внутренне валидный эффект? Поскольку цель обуче­ния — не просто подготовка к будущим сочинениям и контрольным работам, мы должны все время иметь в виду эту проблему внешней валидности, или обобща­емости результатов.

И снова с концептуальной точки зрения следует не уповать на «чистые» показатели, свободные от иррелевантных наслоений, а использовать множество разных измерений, в которых специфические средства реализа­ции, конкретные иррелевантные детали были бы по воз­можности различными, а общее, существенное для нас содержание присутствовало бы в каждом из них. В рамках одного эксперимента в этом плане можно больше сделать применительно к О, чем к X, так как в один и тот же эксперимент обычно можно включить целый ряд мер эффекта (то есть зависимых перемен­ных). В исследовании Гецкоу, Келли и Мак-Кичи [47] эффекты регистрировались не только в ходе экза­менов и проведения специальных тестов установок, но учитывались и такие последующие действия, как выбор профилирующего предмета и запись на продвинутый курс по данной проблематике. (Эти последние оказа­лись столь же чувствительными к различиям в экспе­риментальных воздействиях, как и результаты тестов.)

_____________________________________________________________________________

¹ 1ВМ (International Business Machines) — одна из крупнейших американских фирм, производящих вычислительную аппаратуру, в частности, для школ. — Прим. перев.

Требование множественности О должно стать стандар­том для любого исследования методов обучения. В про­стейшем случае следует сочетать результаты письмен­ных работ и экзаменов (см. Stanley, Beeman [115]), присоединяя к ним по возможности данные относитель­но активности учащихся на уроке. (Распространение этого подхода на вопросы валидности тестов содержит­ся в: Campbell, Fiske [15]; Campbell [12]).

Квазиэкспериментальные планы

Существует немало естественных социальных усло­вий, в которых исследователь может использовать нечто вроде планирования эксперимента при сборе данных (то есть в отношении того, когда и на ком производить измерения), даже если он не полностью контролирует порядок экспериментальных воздействий (то есть когда и кому предъявляются воздействия, рандомизацию предъявления), что делает возможным подлинный экс­перимент. Такие исследования в целом могут рассма­триваться как квазиэксперименты. Одна из целей на­стоящей главы — пробудить интерес к таким квазиэкс­периментам и уточнить условия, в которых возникает возможность их проведения. Но как раз из-за отсутст­вия полного контроля экспериментальных параметров исследователь должен отдавать себе отчет в том, какие именно переменные в его конкретном плане не подда­ются контролю. Собственно говоря, список источников невалидности, приведенный в табл. 1, 2 и 3, был раз­работан скорее ради оценки квазиэкспериментов, чем для понимания истинного эксперимента.

Ознакомившись с предыдущим параграфом, будущий исследователь, вероятно, почувствовал, что планирова­ние эксперимента сопряжено с более многочисленными трудностями, чем он полагал ранее. Такой итог следует приветствовать, если результатом будет планирование и проведение более совершенных экспериментов и боль­шая осмотрительность в выводах, которые делаются на основе полученных результатов. Однако мы вовсе не хо­тели бы, чтобы у читателя сложилось впечатление, буд­то контроль параметров эксперимента все равно недо­стижим, и прекратил направленные на это усилия,

обратившись к еще более неформальным методам иссле­дования. Кроме того, этот внушительный список источ­ников невалидности может с еще большей вероятностью отпугнуть от проведения квазиэкспериментов, раз уж с самого начала, очевидно, отсутствие полного контроля за экспериментальными параметрами. Подобный итог был бы прямо противоположен нашим намерениям.

С точки зрения конечной интерпретации эксперимен­та и попыток вписать его в развивающуюся науку, каж­дый эксперимент несовершенен. Польза от списка фак­торов валидности могла бы состоять в том, чтобы экс­периментатор лучше понимал недостатки своего плана, которые он не может устранить, и соответственно знал бы о возможной альтернативной интерпретации полу­ченных данных. Конечно, он должен планировать самый лучший эксперимент, какой только возможен в данной ситуации. Он должен сознательно выискивать такие ис­кусственные и естественные лаборатории, которые обес­печивают наилучшие возможности контроля. Но после этого ему нужно провести эксперимент и интерпрети­ровать результаты, полностью сознавая, в каких пунк­тах эти результаты двусмысленны. Такое понимание важно и для осуществления экспериментов с «полным» контролем, однако оно абсолютно необходимо в случае квазиэкспериментов.

Осуществляя этот общий замысел, мы в этом разде­ле дадим обзор сильных и слабых сторон разнородных планов квазиэкспериментов, каждый из которых заслу­живает использования, если применение лучшего плана невозможно. Сначала будут обсуждены три плана экс­перимента с одной группой. Затем будут представлены пять общих типов экспериментов с многими группами. Отдельный параграф отводится вопросам корреляции, планам ex post facto, панельным исследованиям и т. д.

Некоторые предварительные замечания