Формирование объекта эксперимента

Для успешности эксперимента важно правильно подобрать участников. К методам отбора участников выдвигается жесткое требование: они должны обеспечить правомерность распространения выводов эксперимента на реальные условия.² Применение того или иного метода предопределяется схемой планируемого эксперимента.

Метод попарного отбораиспользуется преимущественно в параллельном эксперименте. Из генеральной совокупности подбираются две группы таким образом, чтобы они были идентичны по нейтральным и контролируемым характеристикам. Обеим группам создаются одинаковые условия; на экспериментальную группу оказывается воздействие изучаемым фактором. Результат эксперимента фиксируется на основании измерения и сравнения значений зависимых переменных в обеих группах. Если существенных признаков много, то отбор становится очень сложным и в реальных условиях трудновыполнимым, поэтому применим в экспериментах с малыми группами. В умозрительных экспериментах возможности применения этого метода шире. Главным недостатком метода попарного отбора является утрата репрезентативности групп в отношении генеральной совокупности, когда экспериментатор пытается обеспечить максимально возможное соответствие между двумя претендентами, один из которых включается в экспериментальную, а другой — в контрольную группу.

Метод частотного выравниванияоснован на сопоставлении экспериментальной и контрольной групп в целом по процентному распределению или средним величинам существенных признаков. Недостатком этого метода стало нежелательное появление неодинаковых сочетаний характеристик, например: среди приверженцев марки (10% группы) в экспериментальной группе — в основном молодежь, а в контрольной группе те же приверженцы представлены в основном лицами среднего возраста.

Метод выравнивания по квоте(метод структурной идентификации) помогает устранить обозначенные выше недостатки, поскольку выравнивает распределение характеристик (как порознь, так и их комбинаций) в соответствии с распределением признаков генеральной совокупности. В этом случае каждая группа — своеобразная микромодель генеральной совокупности по нейтральным и контролируемым характеристикам. Метод применяется как в линейном, так и в параллельном эксперименте, но по сложности реализации лишь немногим проще метода попарного отбора.

Для формирования участвующих в эксперименте групп объектов (формирования выборки) может быть применен метод случайного отбора(метод рандомизации). Этот метод считается наиболее надежным в силу детальной разработанности процедуры случайных выборок и возможного анализа точности и надежности выборки. Метод рандомизации основан на довольно большом объеме выборки (методы расчета ошибки при выборках 50-100 человек не обеспечивают устойчивых результатов); исходные подмножества также должны быть достаточно большими для проявления закона больших чисел.

Для тех случаев, когда в качестве группы рассматриваются города или регионы, тестируемый рынок должен быть репрезентативным целевому сегменту с точки зрения структуры населения и потребностей, структуры торговых предприятий, структуры конкуренции и средств массовой информации.

Комбинация различных приемов обеспечивает надежность выравнивания и при малых выборках. При сочетании частотного распределения с рандомизацией формируются группы в соответствии с частотным распределением, а затем они переформировываются случайным образом. Если при первоначальном отборе упущена какая-либо существенная характеристика, то при случайном распределении лица, обладающие данной характеристикой примерно с одинаковой вероятностью, попадут в обе группы.

Сочетание рандомизации и квотного отбора считается наиболее надежным,² но требует не только модели распределения существенных признаков, но и фиксирования характеристик относительно всех членов исходной совокупности — без этого невозможно произвести корректировку выборки на основе случайного отбора.

Проведение экспериментальных мероприятий и замер показателей.Проведение экспериментальных мероприятий выражается в экспериментальном воздействии и измерении значений выбранных показателей в соответствии с запланированной схемой эксперимента. Измерение осуществляется посредством опроса мнений участников или наблюдения за их реакцией.

В процессе эксперимента могут использоваться количественный и качественный замеры показателей. В основе количественных измеренийлежит фиксирование интенсивности и длительности проявления определенной переменной. При качественных измеренияхфиксируется лишь наличие или отсутствие результата воздействия переменной.

Аналитический этап эксперимента.Аналитический этап эксперимента состоит из следующих процедур:

• анализ выявленных зависимостей;

• определение внутренней и внешней достоверности результатов эксперимента;

• составление отчета о проведении эксперимента, содержащего информацию об условиях существования объекта исследования и проведения эксперимента.

После завершения эксперимента необходимо определить, в чем же заключаются его результат, и оценить его достоверность.

Внутренняя и внешняя достоверность результатов эксперимента.Достоверность с точки зрения математической статистики обозначает обязательное наступление событий и характеризует существенность в различии тех или иных показателей. Для оценки достоверности эксперимента используются критерии внешней и внутренней валидности (внешней и внутренней достоверности).

Внутренняя валидность определяет границы, в которых изменение зависимой переменной действительно обусловлено изменением независимой переменной. Внешняя валидность определяет границы, в которых результаты эксперимента могут быть распространены на другие условия, в первую очередь на условия генеральной совокупности.

Для достижения внутренней валидности следует учесть и максимально нейтрализовать влияние следующих факторов:

1. Внешний фон — влияние конкретных событий, происходящих между первым и вторым измерениями наряду с экспериментальным воздействием.

2. Естественное изменение — влияние, которое оказывает на участников эксперимента течение времени, например усиление голода или усталости. Естественное изменение не связано с конкретными событиями — это биологические, социальные или психологические изменения участников эксперимента в процессе его проведения.

3. Эффект предварительного измерения (эффект обучения) — влияние заданий, связанных с начальным измерением зависимой переменной «до» экспериментального воздействия, на результаты повторного измерения «после» экспериментального воздействия.

4. Погрешность измерительного инструмента — влияние технических сбоев аппаратуры или естественных изменений, происходящих с исследователями (например усталость).

5. Отбор участников эксперимента — влияние неэквивалентности составов экспериментальной и контрольной групп.

Факторы, ставящие под угрозу внешнюю валидность, репрезентативность эксперимента:

1.Эффект взаимного влияния процедуры измерения в группах и характера экспериментального воздействия — предварительное измерение оказывает влияние на восприимчивость к экспериментальному воздействию участников эксперимента, поэтому реакция людей, прошедших предварительное измерение, будет нерепрезентативной по отношению к тем, кто этому не подвергался, т. е. генеральной совокупности.

2.Эффект взаимного влияния процедуры отбора участников эксперимента и характера экспериментального воздействия — наблюдаемый результат может быть свойствен только данной группе и не проявляться в других частях изучаемой совокупности.

3.Эффект контроля условий организации эксперимента — полученный результат может быть вызван не только экспериментальным фактором, но и знанием, например, что проводится эксперимент, отклонениями «реальной жизни» от заявленных условий эксперимента и пр. Поэтому некорректно распространять полученные данные на лица, подвергающиеся экспериментальному воздействию, в неэкспериментальных условиях.

Наиболее проблематичны эксперименты по изучению влияния цены на выбор товара покупателем. В ходе эксперимента люди могут вести себя более рационально, акцентируясь на цене в большей степени, чем в реальной жизни; в такой ситуации практически исключены импульсивные покупки. С другой стороны, покупатели в ходе эксперимента зачастую не тратят свои реальные деньги, что также снижает внешнюю валидность эксперимента.

Для преодоления влияния этих факторов необходимо контролировать репрезентативность выборки участников эксперимента и соответствие условий эксперимента реальным условиям.

Анализ факторов, создающих угрозу достоверности результатов, позволяет сделать некоторые выводы о преимуществах и недостатках / различных схем эксперимента (табл. 7.3).

Таблица 3

Источники невалидности экспериментов по Д. Т. Кэмпбеллу

Факторы	Схема эксперимента
«до-после» без контр. группы	«только после» с контр. группой	«до-после» с контр, группой
Внутренняя валидность
Внешний фон	-	+	+
Естественное изменение	-	+	+
Эффект обучения	-	+	+
Погрешность измерительного инструмента	-	+	+
Отбор участников эксперимента	+	+	+
Внешняя валидность
Взаимодействие тестирования и экспериментального фактора		+	-
Эффект взаимодействия отбора участников эксперимента и экспериментального фактора		?
Эффект контроля условий организации эксперимента	?	?