Дублирование и размер выборки

Делать общие выводы на основе единственного примера нелогично и нечестно. Испорченное яблоко, принесенное вами из магазина, вполне может оказаться исключением из правила. Точно так же одного-единственного научного исследования недостаточно для убедительного доказательства того или иного утверждения. Слишком многое может пойти наперекосяк. Исследователи могут оказаться бесчестными людьми. Кроме того, иногда происходят неожиданности. Чтобы защититься от этого, ученым для подтверждения любого открытия требуются дополнительные эксперименты (проведенные другими — незаинтересованными — исследователями и лабораториями). При этом каждое исследование, чтобы быть убедительным, должно включать в себя достаточное количество участников; только тогда его результаты можно считать значимыми. Как правило, данных от одного-двух человек недостаточно, их можно отнести скорее к свидетельствам очевидцев (глава 3).

Контрольные группы

Хороший способ исключить случайные флуктуации в качестве возможной причины происходящего — включить в исследование контрольную группу. Может быть, все учащиеся автошкол перед сдачей экзамена по вождению в течение недели пьют только зеленый чай. Само по себе такое открытие почти ничего не означает, потому что мы не знаем, от какого уровня следует вести отсчет. Необходима контрольная группа учащихся, которая будет сдавать экзамен без зеленого чая. Правильно организованная контрольная группа позволит нам ответить на вопрос: «В сравнении с чем?..»

Прекращение эксперимента в произвольный момент

Мы уже видели, что совершенно случайные события обычно следуют одно за другим — кучками или полосами. Если бы вам пришлось изучать чисто случайное явление — к примеру, зависимость между школьными оценками и размером ноги, — вы рано или поздно обязательно столкнулись бы с несколькими подряд случаями, когда отличные оценки получают люди с маленькой ногой. Скорее всего, при дальнейших испытаниях этот перекос выровнялся бы. А может быть, вы вскоре встретили бы сразу несколько человек с маленькой ногой и плохими отметками. Но! Что произойдет, если вы прекратите исследование сразу после встречи первой группы двоечников с маленькой ногой? Это будет мошенничество. Формально ваше исследование подтвердит существование связи между размером ноги и коэффициентом интеллекта. Поэтому нельзя продолжать исследование до тех пор, пока не будут получены желаемые результаты, а потом произвольно прекратить процесс. К примеру, именно в этом можно заподозрить Еоклена (Gauquelin, 1974), известного исследователя астрологии. Можно предположить, что он обрабатывал свои данные до тех пор, пока не наткнулся на некую кажущуюся закономерность — сомнительную связь между нахождением планеты Марс в двух секторах неба и атлетизмом родившегося человека (глава 5). Почему мы можем сказать, что Гоклен просто прекратил свой эксперимент в произвольный, устраивающий его момент? Дело в том, что очевидно вытекающий из его исследований астрологический прогноз не работает, да и обнаруженная им будто бы связь не относится к тем, о которых обычно говорят астрологи.

Предпочтения при публикации

Мы уже видели (глава 3), что исследователи предпочитают публиковать необычные и обязательно положительные результаты. Неудачи их не интересуют. Журналы делают то же самое и отбирают для публикации преимущественно положительные результаты. Если вы проведете тщательный эксперимент и установите, что, на тучи кричи не кричи, дождь пойдет вне зависимости от ваших усилий, то вы вряд ли станете посылать этот результат для публикации в научный журнал. А если пошлете, то журнал наверняка откажется публиковать вашу статью. То, что у положительных результатов больше шансов на публикацию в научном журнале, не секрет. Скорее всего, именно предпочтениями при публикации объясняются многие «научные демонстрации» паранормальных явлений. Рассмотрим это с точки зрения теории вероятностей. Так, мы можем предположить, что из 100 исследований некоего паранормального явления пять случайно дадут положительный результат. В данном случае 5 % — это вероятность случайной флуктуации в том случае, если на самом деле этого паранормального явления не существует вовсе. При этом из 100 исследований именно 5 положительных результатов со временем, скорее всего, будут опубликованы, создавая у читателей ложное впечатление о том, что существование этого паранормального явления доказано.

Чтобы исключить влияние предпочтений при публикации, исследователям и журналам следовало бы публиковать все без исключения результаты — и положительные, и отрицательные. Журналы, посвященные исследованию паранормальных явлений, начинают это делать; они требуют, чтобы исследователи еще до проведения регистрировали намеченные исследования, тогда отрицательные результаты не останутся незамеченными.

Еще один метод борьбы с предпочтениями при публикации — метаанализ множества различных исследований по данному вопросу, позволяющий определить, сколько негативных исследований потребовалось бы, чтобы свести на нет некий положительный результат. Метаанализ — очень популярный инструмент обработки данных парапсихологических исследований, поэтому мы подробнее рассмотрим его в главе 12.

Надо отметить, что одно из самых серьезных открытий, сделанных в процессе научных исследований паранормального, — это отрицательная корреляция между качеством проводимого исследования и полученными свидетельствами в пользу паранормального (Bauseil, 2007; Hines, 2003). Плохо спланированные дешевые исследовательские программы гораздо чаще дают положительные результаты, чем правильно организованные строгие исследования. В остальных областях научных исследований все обстоит с точностью до наоборот. Обычно чем лучше организовано исследование, тем более вероятен положительный результат.