Факторы, угрожающие внутренней

и внешней валидности²

В следующих разделах приводится 12 факторов, угрожающих валидности различных экспериментальных планов. Каждый фактор будет подробнее описан при обсуждении тех планов, в которых его действие проявляется наиболее отчетливо, и этот список будет завершен после обсуждения 10 из 16 планов. Основным при составлении этого списка было различение внутренней и внешней валидности.

Внутренняя валидность — это тот минимум, без которого не может быть интерпретирован ни один эксперимент: действительно ли именно это экспериментальное воздействие привело к изменениям в данном эксперименте? Внешняя валидность относится к возможности обобщения вывода: на какие популяции, ситуации, другие независимые переменные, параметры воздействия и переменные измерения могут быть распространены результаты эксперимента. Несомненно, что оба типа критериев являются важными, хотя часто они находятся в противоречии в том смысле, что увеличение валидности одного типа может угрожать валидности другого типа. Хотя внутренняя валидность есть условие

_____________________________________________________________________________

¹ Два последних вида валидности в данной работе специально не рассматриваются. – Прим. ред.

² Бóльшая часть этого параграфа основана на работе Кэмпбелла [10].

sine qua non¹ и хотя проблема внешней валидности, как и проблема индуктивного вывода, никогда не может быть полностью решена, очевидно, что нашим идеалом является выбор таких экспериментальных планов, которые обеспечивают оба типа валидности. Это особенно важно для педагогических исследований, где весьма желательным является распространение данных на практические ситуации, определенного характера. Различия и взаимоотношения между этими двумя видами валидности станут яснее после рассмотрения примеров при обсуждении конкретных типов эксперимента.

Далее будут представлены восемь различных классов внешних переменных, относящихся к внутренней валидности. Если эти переменные не контролируются в экспериментальном плане, то они могут дать эффекты, которые смешиваются с эффектом экспериментального воздействия. Эти переменные представляют влияние:

1) фона (history) — конкретных событий, которые происходят между первым и вторым измерением наряду с экспериментальным воздействием;

2) естественного развития (maturation) — изменений испытуемых, являющихся следствием течения времени per se (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;

3) эффекта тестирования (testing) — влияния выполнения заданий, применяемых для измерения, на результаты повторного испытания;

4) инструментальной погрешности, нестабильности измерительного инструмента (instrumentation), при которой изменения в калибровке инструмента или изменения, характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах измерения;

5) статистической регрессии (statistical regression), имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;

6) отбора испытуемых (selection) — неэквивалентности групп по составу, вызывающей появление систематической ошибки в результатах;

7) отсева в ходе эксперимента (experimental mortality) — неравномерности выбывания испытуемых из сравниваемых групп;

_____________________________________________________________________________

¹ Непременное условие (лат.)

8) взаимодействий фактора отбора с естественным развитием и др., которые в ряде квазиэкспериментальных планов с несколькими группами (таких, как план 10) ошибочно принимаются за эффект экспериментальной переменной¹.

К факторам, ставящим под угрозу внешнюю валидность, или репрезентативность эксперимента, относятся:

9) реактивный эффект, или эффект взаимодействия тестирования,— возможное уменьшение или увеличение сензитивности, или восприимчивости, испытуемых к экспериментальному воздействию под влиянием предварительного тестирования. Результаты лиц, прошедших предварительное тестирование, будут нерепрезентативны по отношению к тем, кто не подвергался предварительному тестированию, то есть тем, из кого состоит генеральная совокупность, из которых были отобраны испытуемые;

10) эффекты взаимодействия фактора отбора и экспериментального воздействия;

11) условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не позволяет распространить полученные данные о влиянии экспериментальной переменной на лиц, подвергающихся такому же воздействию в неэкспериментальных условиях;

12) взаимная интерференция экспериментальных воздействий, нередко возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних воздействий, как правило, не исчезает. Это относится особенно к планам экспериментов с одной группой (планы типа 8 и 9).

Для представления различных характеристик экспериментальных планов в дальнейшем будет применяться постоянная система графических и символических обо-

_____________________________________________________________________________

¹ В других работах Д. Т. Кэмпбелла этот список факторов, ставящих под угрозу внутреннюю валидность, уточняется и дополняется. Так, приводится еще шесть факторов: 1) сомнение по поводу направления причинной связи; 2) диффузия или имитация воздействия; 3) компенсаторное уравнивание воздействия; 4) компенсаторное соперничество; 5) деморализация испытуемых, вызванная обидой в связи с обделенностью желаемым воздействием; 6) особенности фона в данной группе, взаимодействие факторов отбора и фона (см.: C o o k T. D., C a m p b e l l D. T. Op. cit., p. 228 — 229). — Прим. ред.

значений. Символ Х будет обозначать экспериментальную переменную или событие, влияние которого подлежит измерению; символ О — некоторый процесс наблюдения или измерения¹; Х и О, стоящие в одной строке, относятся к одним и тем же конкретным лицам. Направление слева направо обозначает временнóй порядок, а расположение Х и О одно под другим — одновременность. Для обозначения важных различий, например между планами 2 и 6 или между планами 4 и 10, используется символ R, указывающий на случайное распределение испытуемых по разным режимам эксперимента (то есть по различным группам). Предполагается, что такая рандомизация осуществляется в определенное время и служит универсальным методом уравнивания групп перед введением воздействия в известных статистических границах. Наряду с этим вводится дополнительная графическая символика: параллельные строки, не разделенные пунктирной линией, представляют группы, уравненные посредством рандомизации, тогда как сопоставляемые группы, не уравненные рандомизацией, отделяются друг от друга пунктирной линией. Не предусматривается никакого символа для обозначения групп, сформированных путем попарного уравнивания, поскольку ценность этой процедуры слишком переоценивается, и она чаще ведет к ошибочному выводу, чем служит средством достижения валидного вывода. (См. далее обсуждение плана 10 и последний раздел по корреляционным планам.) Символ М для обозначения материалов будет использован в плане 9.

ТРИ ДОЭКСПЕРИМЕНТАЛЬНЫХ ПЛАНА