Посторонние переменные
История. Это события, ситуации, обстоятельства, которые происходят или возникают одновременно с экспериментом, являются внешним для эксперимента и могут влиять на его результаты.
Например, для эксперимента,
O1 X O2 ,
где O1 – измерение объема продаж в магазине;
X – изменение цен, в данном случае – снижение;
O2 – измерение нового объема продаж по новой цене,
в момент измерений O2 могла произойти задержка выплаты зарплаты на предприятиях, что отрицательно сказывается на объеме продаж. Результатом такого исследования может быть вывод, что при снижении цены товары меньше покупают.
Чаще всего история проявляется не столь явно, поэтому проблема оценки влияния этого фактора достаточно сложна.
Созревание. Это процессы в объектах эксперимента, зависящие от времени. Люди устают, стареют, изменяются их семейное положение и вкусы. Интерьеры магазина выходят из моды, устаревают, периодически обновляются. Дилеры совершенствуются. Даже в процессе двухчасового интервью люди устанут, проголодаются, будут проявлять нетерпение, что скажется на их ответах.
Опросы следует тщательно готовить и проводить достаточно быстро.
В связи с созреванием возникает извечная проблема маркетинговых исследований: когда их проводить. Если опрос провести сразу после рекламной кампании, не успеет проявиться эффект распространения слухов. Если же ждать слишком долго, то воздействие исследуемой рекламы заслонится другими эффектами, изменится отношение покупателей к рекламируемому товару.
Статистическая регрессия. Это тенденция экстремальных случаев стремиться со временем к среднему. Типичный пример: некоторая семья закупила большое количество упаковок сока. Впоследствии выяснилось, что это было обусловлено семейным праздником. В дальнейшем объем покупок семьи становится близким к среднему.
Смещение выборки. Иногда нельзя сказать, что группы были одинаковы до проведения эксперимента. Например, утверждение типа: 60% слышавших рекламу по телевидению положительно относятся к товару, в то время как 60% не слышавших относятся отрицательно неверно, так как рекламу могли слушать те, кто уже и без нее хорошо относился к товару и интересовался им. Они лучше запомнили, что реклама была.
Способ устранения этой ошибки – тщательный подбор объектов. Например, для оценки эффекта от выставки нового пищевого продукта в магазине экспериментальная и контрольная группы объектов выбираются среди магазинов, близких по параметрам: площади, району расположения и др. Другой способ подбора – выделение пар похожих магазинов и определение одного из каждой пары в экспериментальную группу, а другого – в контрольную.
Хорошие результаты дает также рандомизация[30]. Она предпочтительнее, так как часто неясно, по каким параметрам подбирать пары, да и обходится дешевле.
Когда группы невелики, обычно лучше использовать подбор.
Потери в ходе эксперимента. Это исчезновение тестируемых единиц в процессе проведения эксперимента. Например, если для эксперимента было случайно выбрано 30 магазинов, но пять из них отказались участвовать в исследовании, то нельзя сразу сказать, что их отказ не изменит среднего измеренного эффекта. Требуется устранить сомнения на этот счет. Может быть, это магазины, испытывающие финансовые затруднения, и они по-другому отнеслись бы к экспериментальному воздействию.
Фактором, искажающим результат эксперимента, является и сам процесс тестирования[31]. Он вызывает следующие эффекты:
Основной эффект тестирования заключается во влиянии априорного наблюдения на последующие наблюдения. Например, если студентам дается тест на сообразительность, то результаты повторного теста будут лучше, даже если им не сообщать о результатах первого теста (здесь О1 влияет на О2). Приемы, методы решения задач, тип задач будут уже знакомы. В анкете ответы на начальные вопросы влияют на последующие ответы респондента (то есть О1 влияет само на себя).
Интерактивный эффект тестирования – влияние предварительных (априорных) измерений на эффект воздействия (О1 влияет на Х). Если опрашиваемых попросили ответить, что они думают о некоторой марке машин, то после этого они будут замечать рекламу данной марки, интересоваться ею. Соответственно, воздействие рекламы на них будет выше, чем на людей, которых заранее не опрашивали.
Инструментальная ошибка. Любой физический прибор имеет определенную погрешность измерений. В маркетинговых исследованиях наблюдается аналогичный эффект. Так, при опросах разные интервьюеры по-разному задают вопросы. На ответы респондентов влияет даже тон, которым задается вопрос. Даже если опрос проводит один интервьюер, он не может точно повторить интервью. Он вдохновляется от хороших ответов, испытывает разочарование от плохих, устает. Наконец, не исключены и ошибки при записи ответов.