Iii. типология артефактов, погрешностей

УГРОЗ ВАЛИДНОМУ ВЫВОДУ

Хотя угрозы валидному выводу, или артефакты, могут быть обязаны своим происхождением любому аспекту экспериментального процесса и хотя полная типология их невозможна, полезно, быть может, на­метить некоторые типы артефактов, появляющихся с известной периодичностью.

А. Смешанные факторы экспериментального воздействия: основные эффекты

Мы можем рассматривать с этой целью в качестве аспектов экспериментального воздействия все характе-

ристики, по которым различаются между собой экспе­риментальная и контрольная группы. Неизбежно, что многие из них не имеют никакого отношения к той теоретической переменной, которой мы манипулируем в эксперименте. Они обусловлены средствами исследо­вания и являются «инструментальными случайностями». Такие характеристики произвольны — в том смысле, что эксперимент мог быть осуществлен как-то иначе, но и неизбежны — в том смысле, что, если бы не эти случай­ности, вместо них должны были бы фигурировать дру­гие. Никакие «чистые воздействия» невозможны.

Каждая из этих нерелевантных характеристик является потенциальным конкурентным объяснением эффекта воздействия. Большой класс артефактов — именно такого типа. Примером могут служить спе­циальные указания Розенберга о том, что релевант­ным объектом манипулирования в обсуждавшемся им эксперименте был не когнитивный диссонанс, а боязнь оценки. Еще более обобщенным примером является критика Розенталем большого числа экспериментов, в которых фундаментальной переменной, вызывающей эффект, была не какая-нибудь конкретная характе­ристика воздействия, а различные ожидания экспери­ментаторов.

Возможны два способа контролирования смешения данного типа. Во-первых, введение новой контрольной группы или использование контрольной группы, подвер­гающейся дополнительному воздействию. Иными сло­вами, воздействие на контрольную группу модифици­руется таким образом, чтобы оно включало максимум того, чему подвергалась ранее одна только эксперимен­тальная группа. Контрольные группы, подвергающиеся ложной операции или получающие плацебо, относятся к данному типу. Таким образом, создается контрольная группа с заданной «боязнью оценки», или «требова­ниями», или ожиданиями экспериментатора, эквивалент­ными тем, которые характерны для экспериментальной группы. Общий знаменатель возрастает настолько, что экспериментальная и контрольная группы по этому признаку больше не различаются. Во-вторых, в ряде случаев имеет место установка на поиск новых форм осуществления эксперимента, в которых переменная, связанная с основной теорией, очищается от этой конк-

ретной конкурентной переменной, то есть «уравновешивание» осуществляется за счет известной модификации экспериментальной группы. Эта форма, если рассматри­вать ее как контрольную меру, a priori предполагает эко­номию усилий, ибо никогда не исключена возможность того, что непротиворечивые с виду результаты объяс­няются действием двух отдельных нерелевантных фак­торов, различных в каждой экспериментальной ситуа­ции. Нам следует оставить без внимания и эту возмож­ность, пока не будут разработаны какие-нибудь конк­ретные правдоподобные версии.

Б. Смешанные аспекты воздействия:

Эффекты взаимодействия

Может случиться, что какой-то подлинный эффект действия основной теоретической переменной приобре­тает специфическую форму (или подавляется) в резуль­тате использования конкретных технических компонен­тов. В этом случае также возникает так много различ­ных возможностей, что мы уделяем внимание только вполне разработанным и правдоподобным гипотезам такого рода. Более того, мы скорее даже не примем во внимание или сочтем неправдоподобным какой-то из эффектов взаимодействия, чем какой-то из основных эффектов. По-видимому, основанием для этого отчасти может служить то обстоятельство, что основные эффек­ты в большей мере поддаются контролю. Возможно, более важным следует признать полученное путем вы­вода весьма широкое обобщение, согласно которому основные эффекты более вероятны, чем эффекты взаимо­действия. Это положение могло бы служить аналогом или, может быть, даже частью индуктивной предпосыл­ки Милля, утверждавшего, что природа упорядочена. Возможно, что с дескриптивной точки зрения такое обобщение действительно и, на мой взгляд, имело бы смысл скрупулезное исследование приемов дисперсион­ного анализа в докторских диссертациях (составляю­щих менее смещенную выборку, чем опубликованные исследования). Но даже если оно не является дескрип­тивным по отношению к природе, какой мы ее находим, оно дескриптивно по отношению к тем аспектам при­роды, которые доступны знанию — той несовершенной

выборке, на которой по необходимости сосредоточи­ваются наука и более простые познавательные про­цессы. Под знанием мы здесь понимаем, в частности, некие пригодные к употреблению, поддающиеся повтор­ному воспроизведению общие закономерности, наблю­даемые в ситуациях и условиях, которые не являются идентичными. Если взаимодействия высших порядков, обладающие пространственной, временной спецификой, всегда оказываются значимыми, то обобщение невоз­можно, а следовательно, невозможно ни знание, ни наука. Успешно установленный основной эффект пред­ставляет собой куда более широкое обобщение, чем эффект взаимодействия. Основанием для пере­градуировки параметров измерения по большей части является поиск возможностей квантификации, которая переводит большую часть регулярностей в основные эффекты.

Конкурентные гипотезы этого типа не доступны контролю путем использования контрольной группы, подвергающейся дополнительному воздействию; кон­троль за ними может быть осуществлен путем измене­ния экспериментального воздействия. Отметим, что этот последний подход, будучи здесь контрольной мерой, также a priori предполагает экономию усилий и содер­жит презумпцию предпочтения основных эффектов. Ибо всегда есть вероятность того, что очевидное общее подтверждение определенного закона в двух различных ситуациях было не чем иным, как случайным совпадением двух отдельных частных эффектов взаимо­действия.

В. Фоновые взаимодействия

Под фоном (background) здесь имеются в виду характеристики, общие для экспериментальной и кон­трольной групп. К нему неизбежно относятся многие ха­рактеристики, которые не отражены в теории, и, по всей вероятности, они более многочисленны в социальных науках, чем в физических. Все они являются потен­циальными источниками эффектов взаимодействия — либо с теми аспектами воздействия, которые имеют пря­мое отношение к проверяемой теории, либо с каким-то нерелевантным фактором, примешанным к воздействию.

И опять-таки их так много, что мы можем уделить вни­мание только правдоподобным и хорошо разработан­ным конкурентным гипотезам.

Гипотезы взаимодействия, относящиеся к этой, к предыдущей, а также к ряду нижеперечисленных кате­горий (например, составу групп), представляют в каком-то смысле не столь серьезную угрозу валидности, как гипотезы, принадлежащие к самой первой категории. Они представляют собой всего лишь потенциальные ограничения в отношении общности какого-нибудь закона, уже установленного для одной совокупности условий. Только в том случае, когда эта одна совокуп­ность условий является «искусственной» и когда нас интересует, прежде всего, возможность распространения наших обобщений на иные совокупности условий, не­жели эта искусственная лабораторная ситуация, такие угрозы валидности вызывают у нас беспокойство. Тако­ва по своей природе сенсибилизация, возникающая, возможно, в ходе предварительных тестирований при исследованиях процесса убеждения. Следует признать, что изящные научные исследования процессов убежде­ния, которые ограничиваются изучением аудиторий, прошедших предварительное тестирование, были бы значительным научным достижением, даже если бы они не имели большого практического значения. Ведь физи­ческие науки сплошь да рядом занимаются предсказа­ниями только в лабораторных условиях, хотя, конечно, если иметь в виду их действительно впечатляющие достижения, они на основе одной искусственной лабо­раторной ситуации делают предсказания относительно других ситуаций, совершенно иных по своей струк­туре.

И в этом случае контроль с помощью контрольной группы, подвергающейся дополнительному воздействию, невозможен и общий контроль обеспечивается лишь пу­тем изменения экспериментального воздействия.