И основные характеристики психологического эксперимента 4 страница

Рис. 4.13.

Инвертированная U- образная зависимость получается в многочисленных экспериментальных и корреляционных исследованиях как в психологии личности, мотивации, так и в социальной психологии (см. рис. 4.12).

Последний вариант зависимости обнаруживается не так часто, как предыдущие, — сложная квазипериодическая зависимость уровня зависимой переменной от уровня независимой (см. рис. 4.13).

При выборе способа описания работает "принцип экономии". Любое простое описание лучше, чем комплексное, даже если они одинаково успешны. Поэтому аргументы, распространенные в отечественных научных дискуссиях типа "Все гораздо сложнее на самом деле, чем представляет автор" по меньшей мере бессмысленны. Тем более что никто не знает, как "на самом деле".

Так называемое "комплексное описание", "многомерное описание" есть зачастую просто попытка уйти от решения научной проблемы, способ маскировки личной некомпетентности, которую хотят скрыть за путаницей корреляционных связей и сложносоставными формулами, где все всему равняется.

4.5.4Контроль переменных

Следует различать контроль независимой переменной и контроль "прочих" или внешних (побочных и дополнительных переменных). Контроль независимой переменной состоит в ее активном варьировании или знании

закономерности ее изменения. Второй смысл понятия "контроль" — управление внешними, "прочими" переменными эксперимента. Влияние внешних переменных сводится к эффекту смешения.

Различают два основных способа контроля независимой переменной. Эти способы лежат в основе двух типов эмпирического исследования: активного и пассивного. Напомним, что в психологии к активным относятся деятельностный метод (эксперимент) и коммуникативный (беседа), а к пассивным — наблюдение и измерение. Пассивные методы называют также методами систематизированной регистрации, или систематизированного наблюдения (включая в него и процедуру измерения).

В эксперименте контроль независимой переменной производится с помощью активного манипулирования, варьирования. При систематизированном наблюдении (также — измерении) контроль осуществляется за счет отбора (селекции) требуемых значений независимой переменной из числа уже существующих переменных. Примером активного контроля является, например, изменение громкости сигнала, подаваемого экспериментатором в наушники. Примером пассивного контроля может служить разбиение группы учеников на неуспевающих, среднеуспевающих и хорошо успевающих при исследовании влияния уровня успешности обучения на статус личности в учебной группе.

При планировании исследования следует иметь в виду, что принципы, предъявляемые к формированию плана для активного и пассивного исследований, одни и те же, за исключением контроля эффектов, связанных с экспериментальным воздействием.

Существует несколько основных приемов контроля над влиянием внешних ("прочих") переменных на результат эксперимента:

1. элиминация внешних переменных;

2. константность условий;

3. балансировка;

4. контрбалансировка;

5. рандомизация.

Эти приемы, разумеется, не позволяют полностью избежать воздействий со стороны "прочих" переменных, однако их выполнение является своеобразной профилактической процедурой: мытье рук перед едой не дает 100 %-й гарантии от заболевания дизентерией, но существенно снижает вероятность заболевания.

4.5.5Определение внешней переменной

Диаграмма последовательности шагов в процессе контроля переменных [МакГиган, 1993] (рис. 4.14).

Рассмотрим последовательно различные способы контроля внешних переменных.

1. Элиминация . Наиболее простой по сути, но не по возможностям осуществления "радикальный" способ контроля. Экспериментальную ситуацию конструируют таким образом, чтобы исключить какое-либо присутствие в ней внешней переменной. Например, в психофизических лабораториях часто создаются

Рис. 4.14

экспериментальные камеры, изолирующие испытуемого от внешних звуков, шумов, вибрационного воздействия и электромагнитных полей. Но зачастую элиминировать влияние внешних переменных невозможно. Например, трудно представить себе, как можно исключить влияние таких переменных, как пол, возраст или интеллект.

2. Создание константных условий . Если внешние переменные не удается исключить из экспериментальной ситуации, то исследователю приходится делать их неизменными. При этом влияние внешней переменной остается неизменным на всех испытуемых, при всех значениях независимой переменной и на протяжении всего эксперимента. Однако эта стратегия не позволяет полностью избежать эффекта смешения: данные, полученные при константных значениях внешних переменных, можно переносить только на те реальные ситуации, в которых значения внешних переменных такие же, какими они были при исследовании. Исследователь стремится сделать неизменными внешние пространственно-временные условия проведения эксперимента. В частности, экспериментальные пробы или наблюдение за поведением проводятся со всеми испытуемыми в одно и то же время суток и в один и тот же день недели, например в понедельник в 9 часов утра. Однако это не гарантирует избавления от эффекта смешения. Допустим, мы тестируем уровень достижений школьников при решении простых арифметических задач. Школьники-"совы", у которых уровень работоспособности приходится

Рис. 4.15. Эксперимент "сенсорной депривации" (пример элиминации влияний внешней среды) 106

на вторую половину дня, будут в менее благоприятном состоянии, чем школьники-" жаворонки". Если они преобладают в группе, то их результаты будут смещены по сравнению с результатами, которые могли бы получиться на генеральной совокупности.

Следует стандартизировать технику проведения исследования и оборудование экспериментальных помещений (звуки, ароматы, окраску стен, вид фурнитуры, расположение мебели и т. д.).

Исследователь стремится сделать константными дополнительные переменные — уравнять группы испытуемых по основным значимым для исследования индивидуальным характеристикам (уровню образования, полу, возрасту).

Экспериментатор должен предъявлять инструкцию одинаково всем испытуемым (разумеется, исключая те случаи, когда она изменяется в соответствии с планом эксперимента). Он должен стремиться сохранять неизменными интонацию и силу голоса. Рекомендуется записывать инструкцию на магнитофон и предъявлять запись (кроме особых случаев).

3. Балансировка . В тех случаях, когда отсутствует возможность создать константные условия проведения эксперимента или константности условий недостаточно, применяют технику балансировки эффекта от действия внешних переменных. Балансировка применяется в двух ситуациях: 1) в том случае, если невозможно идентифицировать внешнюю переменную; 2) в том случае, если можно ее идентифицировать и использовать специальный алгоритм для контроля этой переменной.

Рассмотрим способ балансировки влияния неспецифических внешних переменных. Он состоит в том, что в дополнение к экспериментальной группе в план эксперимента включается контрольная группа. Экспериментальное исследование контрольной группы проводится в тех же условиях, что и исследование экспериментальной. Отличие в том, что экспериментальное воздействие осуществляется только на испытуемых, включенных в экспериментальную группу. Тем самым изменение зависимой переменной в контрольной группе обусловлено лишь внешними переменными, а в экспериментальной — совместным действием внешних и независимой переменных.

Разумеется, при этом нельзя выделить специфическое влияние каждой внешней переменной и особенности такого влияния независимой переменной из-за эффекта взаимодействия переменных. 1.Способ балансировки с применением контрольной группы (рис. 4.16).

2.Способ балансировки с выделением эффекта внешней переменной (рис. 4.17). Для того чтобы определить, как влияет на зависимую переменную та или иная

внешняя переменная, используют план, включающий более чем одну контрольную группу. В общем случае число контрольных групп в экспериментальном плане должно быть N = n + 1, где n — число внешних ("прочих") переменных. Вторая контрольная группа помещается в экспериментальные условия, где исключено действие одной из внешних переменных, влияющих на зависимую переменную экспериментальной и первой контрольной групп. Различие в результатах 1-й и 2-й контрольных групп позволяет выделить специфическое влияние одной из внешних переменных. Несколько отличается процедура балансировки при контроле известных внешних переменных. Типичный пример учета такой переменной — выявление уровня

влияния принадлежности испытуемых к тому или иному полу на результаты эксперимента, поскольку известно, что многие данные, полученные на выборке мужчин, невозможно перенести на женскую выборку. Пол — это дополнительная переменная, поэтому планирование эксперимента сводится к выявлению эффекта действия независимой переменной на зависимую в каждой из двух экспериментальных групп.

Рис. 4.16

Рис. 4.17

Аналогично строится эксперимент по сравнению эффекта от различных аппаратурных методик в зависимости от возраста испытуемых и др.

В более сложных экспериментах применяется балансировка нескольких переменных одновременно. Примером может служить учет влияния пола экспериментатора на поведение испытуемых при тестировании интеллекта. У нас две группы испытуемых, мужчин и женщин, и два экспериментатора (мужчина и женщина). План эксперимента может выглядеть следующим образом:

Группа I (эксперимент) Группа II (контроль)

1. Мужчины — экспериментатор мужчина Мужчины — экспериментатор мужчина

2. Мужчины — экспериментатор женщина Мужчины — экспериментатор женщина

3. Женщины — экспериментатор мужчина Женщины — экспериментатор мужчина

4. Женщины — экспериментатор женщина Женщины — экспериментатор женщина 108

4. Контрбалансировка . Этот прием контроля дополнительной переменной чаще всего применяют тогда, когда эксперимент включает в себя несколько серий. Испытуемый оказывается в разных условиях последовательно, и предыдущие условия могут изменять эффект воздействия последующих условий. К примеру, при исследовании дифференциальной слуховой чувствительности не безразлично, какой звук, громкий или более тихий, предъявлялся испытуемому первым, а такой — вторым. Также при выполнении тестов на интеллект важен порядок предъявления испытуемому задач: от простой к сложной или от сложной к простой. В первом случае более интеллектуально развитые испытуемые больше утомляются и теряют мотивацию, так как вынуждены решать большее количество задач, чем остальные. При втором варианте предъявления заданий менее интеллектуально развитые испытуемые испытывают стресс неуспеха и вынуждены решать больше задач, чем их более интеллектуальные коллеги. В этих случаях для ликвидации эффектов последовательности и эффекта последствия используют контрбалансировку. Смысл ее состоит в том, что порядок предъявления разных задач, стимулов, воздействий в одной из групп компенсируется иным порядком предъявления заданий в другой группе.

Приведем пример плана контроля за внешней переменной для 2 условий (табл. 4.2).

Для 3 независимых переменных применяется такой план контрбалансировки, например для предъявления 3-х цветов — красного, желтого, зеленого: (табл. 4.3).

Контрбалансировка применяется в тех случаях, когда есть возможность провести несколько серий. Следует лишь учитывать, что большое число попыток может

Таблица 4.2

Группа Экспериментальная серия (порядок)

1-я 2-я

1-я Громкий звук Тихий звук

2-я Тихий звук Громкий звук

Таблица 4.3

Группа Экспериментальная серия (порядок)

1-я 2-я 3-я

1-я Кр. Ж 3

2-я Кр. 3 Ж

3-я Ж Кр. 3

4-я Ж 3 Кр.

5-я 3 Кр. Ж

6-я 3 Ж Кр.

вызвать утомление у испытуемого. Но этот план позволяет контролировать эффект последовательности. Упрощение же плана контрбалансировки приводит к появлению эффекта последовательности. Однако контрбалансировка не позволяет полностью исключить еще один эффект, а именно — влияние изменения порядка предъявления заданий на значение зависимой переменной. Он называется дифференцированным переносом: переход от ситуации 1 (когда она создается первой) к ситуации 2 отличается от перехода от ситуации 2 (когда она идет первой) к ситуации 1. Этот эффект приводит к тому, что реальные различия между двумя разными экспериментальными ситуациями при регистрации преувеличиваются.

Итак, техника контрбалансировки заключается в том, что каждый испытуемый получает более чем один вариант воздействия ( АВ или ВА ) и эффект последовательности целенаправленно распределяется на все экспериментальные условия.

Рис. 4.17. К. В. Бардин — крупнейший специалист в области методов психофизического исследования

При балансировке каждый испытуемый получает лишь одно экспериментальное воздействие — внешняя переменная балансируется за счет выявления эффекта ее действия на членов экспериментальной группы по сравнению с эффектом, полученным при исследовании контрольной группы. Испытуемый может оказаться только в экспериментальной или же только в контрольной группе и получить воздействие какой-нибудь внешней переменной в обеих

группах. Балансировка используется при исследовании независимых групп, тогда как контрбалансировка применяется в исследованиях с повторяющимися воздействиями.

5. Рандомизация . О ней мы уже говорили (раздел 4.4). Рандомизацией называется процедура, которая гарантирует равную возможность каждому члену популяции стать участником эксперимента. Каждому представителю выборки присваивается порядковый номер, а выбор испытуемых в экспериментальную и контрольную группы проводится с помощью таблицы "случайных" чисел. Рандомизация является способом, позволяющим исключить влияние индивидуальных особенностей испытуемых на результат эксперимента.

Рандомизация применяется в двух случаях: 1)когда известно, как управлять внешними переменными в экспериментальной ситуации, однако у нас нет

возможности использовать одну из предшествующих техник контроля; 2) когда мы предполагаем оперировать какой-либо внешней переменной в экспериментальной ситуации, однако не можем ее специфицировать и применить другие техники.

Если предположить, что значение дополнительной переменной (переменных) подчиняется вероятностным законам (например, описывается нормальным распределением), то в состав экспериментальной и контрольных групп войдет выборка, которая имеет те же уровни дополнительных переменных, что и генеральная совокупность.

По мнению многих специалистов, в том числе Кэмпбелла, уравнивание групп посредством процедуры рандомизации является единственно надежным способом элиминации влияния внешних (дополнительных) переменных на зависимую. Кэмпбелл определяет рандомизацию как универсальный способ уравнивания групп перед экспериментальным воздействием. Другие способы, например метод попарного сравнения, характеризуются им как малонадежные и ведущие к невалидным выводам.

И в заключение: обратите особое внимание на таблицу, в которой отображен предложенный МакГиганом алгоритм пошагового контроля влияния внешних переменных на зависимую переменную.

Вопросы

1. Зачем применяется контрольная группа?

2. Для чего нужны процедуры балансировки и контрбалансировки?

3. В чем отличие дополнительной переменной от независимой переменной?

4. Какие факторы нарушают внутреннюю валидность эксперимента, а какие — внешнюю? 5. Какие методы отбора и распределения испытуемых по группам применяются при организации эксперимента?

ЭКСПЕРИМЕНТАЛЬНЫЕ

И НЕЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ

Содержание . Планирование эксперимента. Основные экспериментальные планы: планы для одной и двух независимых переменных, факторные планы, планирование по методу латинского и греко-латинского квадратов. Взаимодействие независимых переменных, виды взаимодействия. Планы экспериментов на одном испытуемом. Анализ кривых научения. Планирование по методу временных серий. Контроль асимметричного переносов и плацебо- эффекта. Доэкспериментальные и квазиэксперимёнтальные планы, в том числе планы временных серий. Эксперимент ex- post- facto. Корреляционное исследование и его планирование. Виды планов корреляционного исследования. Перспективы развития эксперимента: многомерный эксперимент, дифференциально-психологический эксперимент, кросскультурные исследования.

Основные понятия . План исследования, план истинного эксперимента, квазиэкспериментальный план, воздействие, источники артефактов, факторный план, воздействие, источники артефактов, факторный план, латинский квадрат, ротационный план, асимметричный перенос, симметричный перенос, план альтернативных воздействий, схемы уравнивания, план ex- post- facto, корреляция, коэффициент корреляции, лонгитюд, естественное развитие.

112 :: Оглавление

***********************************

***********************************

Файл C:\Мои документы\Литература\Дружинин\B131Chapter1-5-1-1.html ***********************************

112 :: 113 :: 114 :: 115 :: 116 :: 117 :: Оглавление

5.1 ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ

5.1. 1 Планы для одной независимой переменной

План "истинного" экспериментального исследования отличается от других следующими важнейшими признаками:

1)применением одной из стратегий создания эквивалентных групп, чаще всего — рандомизации;

2)наличием экспериментальной и, как минимум, одной контрольной группы;

3)завершением эксперимента тестированием и сравнением поведения группы, получившей экспериментальное воздействие ( Х1 ), с группой, не получившей воздействия Х 0.

Классическим вариантом плана является план для 2 независимых групп. В психологии планирование эксперимента начинает применяться с первых десятилетий XX в.

Существуют три основные версии этого плана. При их описании будем пользоваться символизацией, предложенной Кэмпбеллом.

Таблица 5. 1

1. Экспериментальная группа R X O2

2. Контрольная группа R O2

Здесь R — рандомизация, X — воздействие, О1 — тестирование первой группы, O2 — тестирование второй группы.

1) План для двух рандомизированных групп с тестированием после воздействия. Его автор — известный биолог и статистик Р. А. Фишер [Fisher R. A., 1935]. Структура плана показана в табл. 5.1.

Равенство экспериментальной и контрольной групп является совершенно необ- . ходимым условием применения этого плана. Чаще всего для достижения эквивалентности групп применяют процедуру рандомизации (см. гл. 4). Этот план рекомендуют использовать в том случае, когда нет возможности или необходимости проводить предварительное тестирование испытуемых. Если рандомизация проведена качественно, то этот план является наилучшим, позволяет контролировать большинство источников артефактов; кроме того, для него применимы различные варианты дисперсионного анализа.

После проведения рандомизации или иной процедуры уравнивания групп осуществляется экспериментальное воздействие. В простейшем варианте используется лишь две градации независимой переменной: есть воздействие, нет воздействия.

Если необходимо использовать не 1 уровень воздействия, то применяются планы с несколькими экспериментальными группами (по числу уровней воздействия) и одной контрольной.

Если же нужно контролировать влияние одной из дополнительных переменных, то применяют план с 2 контрольными группами и 1-й экспериментальной. Измерение поведения дает материал для сравнения 2 групп. Обработка данных сводится к применению традиционных для математической статистики оценок. Рассмотрим случай, когда измерение проводится интервальной шкалой. Для оценки различия в средних показателях групп используют t- критерий Стьюдента. Оценивание различий в вариации измеряемого параметра между экспериментальной и контрольной группами проводится с помощью критерия F. Соответствующие процедуры подробно рассмотрены в учебниках математической статистики для психологов.

Применение плана для 2 рандомизированных групп с тестированием после воздействия позволяет контролировать основные источники внутренней невалидности (как их определяет Кэмпбелл). Поскольку предварительное тестирование отсутствует, исключен эффект взаимодействия процедуры тестирования и содержания экспериментального воздействия и сам эффект тестирования. План позволяет контролировать влияние состава групп, стихийного выбывания, влияние фона и естественного развития, взаимодействие состава группы с другими факторами, позволяет также исключить эффект регрессии за счет рандомизации и сравнения данных экспериментальной и контрольной групп. Однако при проведении большинства педагогических и социально-психологических экспериментов необходимо жестко

Таблица 5.2

1. Экспериментальная группа R O 1 X O2

2. Контрольная группа R O3 O4 контролировать исходный уровень зависимой переменной, будь то интеллект, тревожность, знания или статус личности в группе. Рандомизация — лучшая процедура из возможных, но она не дает абсолютной гарантии правильности выбора. Когда существуют сомнения в результатах рандомизации, применяют план с предварительным тестированием.

2) План для двух рандомизированных групп с предварительным и итоговым тестированием . Рассмотрим структуру этого плана (табл. 5.2).

План с предварительным тестированием пользуется популярностью у психологов. Биологи больше доверяют процедуре рандомизации. Психолог прекрасно знает, что каждый человек своеобразен и отличен от других, и подсознательно стремится уловить эти различия с помощью тестов, не доверяя механической процедуре рандомизации. Однако гипотеза большинства психологических исследований, особенно в области психологии развития ("формирующий эксперимент"), содержит прогноз определенного изменения свойства индивида под влиянием внешнего фактора. Поэтому план "тест — воздействие — ретест" с применением рандомизации и контрольной группой очень распространен.

При отсутствии процедуры уравнивания групп этот план преобразуется в квазиэкспериментальный (он будет рассмотрен в разделе 5.2).

Главный источник артефактов, нарушающий внешнюю валидность процедуры, — взаимодействие тестирования с экспериментальным воздействием. Например, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет актуализации мнемонических способностей и создания установки на запоминание.

Однако с помощью этого плана можно контролировать другие внешние переменные. Контролируется фактор "истории" ("фона"), так как в промежутке между первым и вторым тестированием обе группы подвергаются одинаковым ("фоновым") воздействиям. Вместе с тем Кэмпбелл отмечает необходимость контроля "внутри-групповых событий", а также эффекта неодновременности тестирования в обеих группах. В реальности невозможно добиться, чтобы тест и ретест проводились в них одновременно. План превращается в квазиэкспериментальный, например:

R O1 X O2

R O3 O4

Обычно контроль неодновременности тестирования осуществляют два экспериментатора, проводящие тестирование двух групп одновременно. Оптимальной считается процедура рандомизации порядка тестирования: тестирование членов экспериментальной и контрольной групп производится в случайном порядке. То же самое

Таблица 5.3

Группа Тест

1 2

1 O 1 O2

2 O3 O4

Таблица 5.4

Группа Уровень

Эксперимент 1 2

O 1 O2

Контроль On+ 1 O4

делается и с предъявлением — не предъявлением экспериментального воздействия. Разумеется, такая процедура требует наличия значительного числа испытуемых в экспериментальной и контрольной выборках (не менее 30-35 человек в каждой).

Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группах, а эффекты состава групп и регрессии [Кэмпбелл, 1980] контролируются при помощи процедуры рандомизации. Результаты применения плана "тест — воздействие — ретест" представлены в таблице.

При обработке данных обычно используются параметрические критерии t и F (для данных в интервальной шкале). Вычисляются три значения t: сравнение 1) O 1 и O2; 2) О 3 и O4; 3) O3 и O4. Гипотезу о значимом влиянии независимой переменной на зависимую можно принять в том случае, если выполняются два условия: а) различия между O 1 и О 2 значимы, а между O3 и O4 — незначимы и б) различия между О 2 и O4 значимы. Гораздо удобнее сравнивать не абсолютные значения, а величины прироста показателей от первого тестирования ко второму (.(i)). Вычисляются .(i12) и .i34 и сравниваются по t- критерию Стьюдента. В случае значимости различий принимается экспериментальная гипотеза о влиянии независимой переменной на зависимую (табл. 5.3).

Рекомендуется также применять ковариационный анализ по Фишеру. При этом показатели предварительного тестирования берутся в качестве дополнительной переменной, а испытуемые разбиваются на подгруппы в зависимости от показателей предварительного тестирования. Тем самым получается следующая таблица для обработки данных по методу MA NOVA (табл. 5.4). Применение плана "тест — воздействие — ретест" позволяет контролировать влияние "побочных" переменных, нарушающих внутреннюю валидность эксперимента.

Внешняя валидность связана с возможностью переноса данных на реальную ситуацию. Главным же моментом, отличающим экспериментальную ситуацию от реальной, является введение предварительного тестирования. Как мы уже отметили, план "тест — воздействие — ретест" не позволяет контролировать эффект взаимодействия тестирования и экспериментального воздействия: предварительно тестируемый испытуемый "сенсибилизируется" — становится более чувствительным к воздействию, так как мы измеряем в эксперименте именно ту зависимую переменную, на которую собираемся воздействовать с помощью варьирования независимой переменной.

Таблица 5.5

Предварительное тестирование Воздействие

Да Нет

Есть O2 O4

Нет O5 O6

Для контроля внешней валидности используется план Р. Л. Соломона, который был предложен им в 1949 г.

3) План Соломона используется при проведении эксперимента на четырех группах:

1. Эксперимент 1: R O1 X O2

2. Контроль 1: R O3 O4

3. Эксперимент 2: R X O5

4. Контроль 2: R O6

План включает исследование двух экспериментальных и двух контрольных групп и по сути является мультигрупповым (типа 2 х 2), но для удобства изложения он рассматривается в этом разделе.

План Соломона представляет собой объединение двух ранее рассмотренных планов: первого, когда не производится предварительное тестирование, и второго — "тест — воздействие — ретест". С помощью "первой части" плана можно контролировать эффект взаимодействия первого тестирования и экспериментального воздействия. Соломон с помощью своего плана выявляет эффект экспериментального воздействия четырьмя разными способами: при сравнении 1) O2 — O 1 2) O2 — O4; 3) O5 — O6 и 4) O5 — O3.

Если провести сравнение O6 с O 1 и O3, то можно выявить совместное влияние эффектов естественного развития и "истории" (фоновых воздействий) на зависимую переменную. Кэмпбелл, критикуя предложенные Соломоном схемы обработки данных, предлагает не обращать внимания на предварительное тестирование и свести данные к схеме 2 x 2, пригодной для применения дисперсионного анализа (табл. 5.5).

Сравнение средних по столбцам позволяет выявлять эффект экспериментального воздействия — влияние независимой переменной на зависимую. Средние по строкам показывают эффект предварительного тестирования. Сравнение средних по ячейкам характеризует взаимодействие эффекта тестирования и экспериментального воздействия, что свидетельствует о мере нарушения внешней валидности.

В том случае, когда эффектами предварительного тестирования и взаимодействия можно пренебречь, переходят к сопоставлению O4 и O2 методом ковариационного анализа. В качестве дополнительной переменной берутся данные предварительного тестирования по схеме, приведенной для плана "тест — воздействие — ретест".