Исследовательская гипотеза
Проверка статистических гипотез: выбор между реальностью и совпадением
Предположим, что настойчивый коммерческий агент пытается продать вам чудесную, повышающую выход готовой продукции добавку для увеличения производительности вашего нефтеперерабатывающего завода. Это кажется выгодной сделкой, но вы колеблетесь. Вы испытывали ее в течение недели и убедились в эффективности. Но это испытание не в полном объеме, а так как процесс может изменяться, то трудно сказать, получится из этого что-либо существенное или нет. Вам необходима объективная оценка, но вы знаете, что по телефону вы услышите только реплику: “Объем продукции возрос, не так ли? Ну, что я вам говорил? Если вы подпишете сегодня, мы дадим вам “зеленую улицу”. Итак, вы подаете тайный сигнал своему секретарю, чтобы она ответила, что вы сейчас на собрании и позвоните позже.
Что же вас беспокоит? Да, объем продукции повышается. Но если даже специально не предпринимать никаких мер, то объем продукции также отклоняется каждый день, каждую неделю от вычисленного за долгий период работы среднего значения. Следовательно, объем продукции увеличивается по одной из двух причин: либо добавка действительно работает, либо это просто совпадение. Иными словами, независимо от наличия добавки, шансы получить такой недельный объем продукции, который превышает среднее значение за длительный период, составляют приблизительно 50 на 50, и в то же время шансы получить недельный объем продукций ниже этого среднего значения также составляют приблизительно 50 на 50.
Теперь посмотрим на эту проблему с точки зрения коммерческого агента. Предположим, что эта добавка действительно бесполезна и никак не влияет на результат. Убеждаем менеджеров в 100 различных компаниях испытать эту добавку в течение недели. Примерно 50 менеджеров обнаружат, что объем продукции уменьшился, и с ними можно дальше не работать. Но другие 50 менеджеров обнаружат, что объем продукции слегка повысился. Может быть, некоторые из них даже заплатят большие деньги, чтобы продолжать использовать этот бесполезный продукт.
Итак, Вам необходимо проанализировать собранную информацию, чтобы определить, является ли повышение объема продукции на прошлой неделе простым совпадением (один вариант), или вы имеете убедительное доказательство того, что эта добавка действительно работает (другой вариант). Проверка статистических гипотез помогает решать подобные задачи.
Проверка статистических гипотез позволяет на основе имеющейся информации сделать выбор между двумя предположениями (которые называют гипотезами). Эта процедура дает ответ на вопрос, являются ли наблюдаемые результаты простым совпадением (и их причиной можно с полным основанием считать случай), или они реальны. О проверке статистических гипотез иногда говорят как о способе использования статистики для принятия решений. Если смотреть на проблему шире, то можно рассматривать проверку гипотез как один из компонентов процесса принятия решений. Сама по себе проверка гипотез, вероятно, не может быть использована для принятия решения о покупке продукта, но она дает важную информацию об эффективности продукта.
Гипотезы
Гипотеза представляет собой некоторое утверждение об окружающем мире. Это утверждение относится к генеральной совокупности. Гипотеза не обязательно должна быть верной; она может быть либо верной, либо неверной, и для решения этого вопроса используют выборочные данные. Если все известно, то необходимости в проверке статистических гипотез нет. При наличии неопределенности проверка статистических гипотез помогает максимально использовать имеющуюся информацию.
Обычно мы будем рассматривать две гипотезы. Используя имеющиеся данные, мы будем решать, какая из этих двух гипотез более предпочтительна. Но эти гипотезы не взаимозаменяемы; каждая из них играет свою особую роль.
Нулевая гипотеза
Нулевая гипотеза, обозначается Н0 и представляет собой такое утверждение, которое принимается тогда, когда нет убедительных аргументов для его отклонения. Это очень выгодная позиция. Если ваши данные неполны или слишком неоднородны, то вы примете нулевую гипотезу, поскольку она имеет “презумпцию справедливости”. Фактически нулевую гипотезу можно принять без реальных доказательств, поставив себя при этом в довольно уязвимую позицию.
В значительной мере исходя из этого вы и определяете то, какую из двух гипотез вы будете считать нулевой.
Из двух гипотез нулевая часто является более определенной. Например, нулевая гипотеза может утверждать, что среднее совокупности точно равно некоторому определенному значению или что наблюдаемое различие имеет случайную природу.
Чтобы было понятно, что гипотеза о случайности действительно является более определенной, заметим, что неслучайности могут характеризоваться разными структурами, а случайность подразумевает отсутствие структуры.
Исследовательская гипотеза
Исследовательскую гипотезу обозначают Н1 и принимают только тогда, когда есть убедительное статистическое доказательство, которое отвергает приемлемость нулевой гипотезы. Исследовательскую гипотезу также называют альтернативной гипотезой. Принятие альтернативной гипотезы представляет более сильную позицию, чем принятие нулевой гипотезы, так как она требует убедительного доказательства.
Часто исследовательская гипотеза представляет собой как бы скрытые планы исследователя, и нулевая гипотеза выдвигается только для того, чтобы быть отвергнутой. Окончательный результат тогда представляется так, что “это не случайность, и я могу объяснить это таким образом...”. Это принятый способ проведения исследования. Поскольку многие люди имеют склонность к фантазиям, научное сообщество требует, чтобы перед публикацией полученных результатов была отвергнута нулевая гипотеза об их чистой случайности, что позволяет эффективно отсеивать многие абсолютно дикие идеи, не имеющие под собой никакого фактического основания. Это не является гарантией правильности всех полученных результатов, но это отсеивает многие некорректные идеи.
Определяя, какая из двух гипотез будет альтернативной, следует спросить себя: “Какая из гипотез требует доказательств?” Иначе говоря, необходимо определить, для принятия какой из гипотез требуются более убедительные доказательства. Эта гипотеза и должна стать альтернативной исследовательской гипотезой. Не пренебрегайте личными интересами! Не стесняйтесь переложить бремя доказательств на тех, кто пытается продать вам свою продукцию. Пусть они доказывают свои утверждения!
О чем свидетельствует результат
Есть два возможных результата проверки гипотезы. Для удобства мы представим их следующим образом.
| Принять нулевую гипотезу Н0 в качестве приемлемой возможности | Слабое заключение, отсутствует значимый результат | |
| Отвергнуть нулевую гипотезу Н0 и принять альтернативную гипотезу Н1 | Сильное заключение, есть значимый результат |
Замечание. 1. Никогда не говорят об отклонении альтернативной гипотезы. Это обусловлено тем, что нулевая гипотеза имеет предпочтительный статус быть принятой без доказательств. Принятие нулевой гипотезы просто означает, что нет достаточных доказательств для ее опровержения. Мы решаем “принять” нулевую гипотезу, не будучи обязательно уверенными в ее истинности. Принимая ее как возможный сценарий, который мог бы привести к получению таких данных, мы, тем не менее, признаем, что существует много других в такой же мере возможных сценариев, которые близки к нулевой гипотезе и которые также могли привести к получению таких данных. Например, когда мы принимаем нулевую гипотезу о том, что среднее совокупности равно $2000, то обычно не исключаем того, что среднее может быть равно $2001 или $1999. По этой причине некоторые статистики предпочитают говорить, что у нас “недостаточно данных, чтобы отклонить” нулевую гипотезу, а не просто, что мы “принимаем” ее.
2. Можно рассматривать нулевую гипотезу в терминах уголовного права. Нулевая гипотеза утверждает “невиновен”, в то время как альтернативная гипотеза утверждает “виновен”. Поскольку наша правовая система основана на принципе “невиновен, пока не доказана виновность”, есть смысл обозначить гипотезы именно так. Принятие нулевой гипотезы о невиновности означает, что нет достаточных доказательств для осуждения, но в то же время это не является действительным доказательством невиновности. В то же время отклонение нулевой гипотезы и принятие альтернативной гипотезы о виновности говорит о том, что существует достаточно доказательств, которые исключают возможность невиновности и убеждают в виновности. Мы не должны показывать отсутствие вины для доказательства невиновности, но мы должны показать отсутствие невиновности для доказательства виновности.
Примеры гипотез
Ниже приведены примеры нулевых и альтернативных гипотез, сформулированных относительно генеральной совокупности. Обратите внимание, что в каждом случае обе гипотезы не могут быть верными одновременно и чтобы выбрать, какую из них следует принять, необходимо использовать данные.
1. Ситуация. Случайно отобранная группа из 200 человек посмотрела рекламу; после этого регистрируется количество людей из этой группы, которые в течение следующей недели купили рекламируемый продукт.
Нулевая гипотеза. Реклама не имела никакого эффекта. Другими словами, процент покупателей среди тех в генеральной совокупности, кто видел рекламу, в точности равен проценту покупателей среди тех в генеральной совокупности, кто не видел ее (т.е., равен обычному уровню продаж). Из прошлого опыта известно, что этот обычный уровень продаж составляет 19,3%.
Альтернативная гипотеза. Реклама имеет эффект. Это значит, что процент покупателей среди тех в генеральной совокупности, кто видел рекламное объявление, отличается от обычного уровня продаж, равного 19,3%, и представляющего тех покупателей в генеральной совокупности, кто невидел рекламу.
Обсуждение. Обратите внимание, что эти гипотезы представляют собой предположения относительно генеральной совокупности в целом, а не относительно выборки из 200 человек. Выборочные данные, собранные в результате наблюдения поведения 200 случайно отобранных человек, помогут решить, какую из гипотез принять. Поскольку нулевая гипотеза содержит точное значение процента, она является более определенной, чем альтернативная гипотеза, которая содержит утверждение о более широком диапазоне (т.е. о любом значении, отличном от 19,3%). Кроме того, заметим, что если вы примете решение, что реклама была эффективной, вы сделаете более строгое утверждение, так как это альтернативная гипотеза. Это так, как если бы вы заявили: “Прекрасно. Если эта реклама работает так хорошо, как мы думаем, давайте это докажем. Или, с другой стороны, если эта реклама будет иметь катастрофические последствия для продаж, давайте это также докажем”.
2. Ситуация. Вы оцениваете добавку, улучшающую объем выпуска продукции, описанную в начале этой главы.
Нулевая гипотеза. Добавка в долгосрочном плане не оказывает влияния на объем выпускаемой продукции, величина которого известна из прошлого опыта.
Альтернативная гипотеза. Добавка оказывает некоторое долгосрочное влияние на объем выпускаемой продукции.
Обсуждение. Нулевая гипотеза является более определенной. Обе гипотезы формулируются относительно генеральной совокупности (объем продукции за длительный период времени), а не только относительно результатов работы за прошедшую неделю (выборка). Вы должны опровергнуть, что добавка неэффективна, и убедиться в противоположном, что потребует дополнительных доказательств. Производители добавки должны представить доказательства и продемонстрировать ее эффективность. Это не ваша забота доказывать им, что добавка не является эффективной.
3. Ситуация. Вашей фирме предъявлен иск в дискриминации сотрудников по полу, и вы анализируете документы, представленные другой стороной. Они включают проверку статистической гипотезы, основанную на данных о заработной плате мужчин и женщин, которая утверждает наличие “очень значительной разницы” между размерами средней заработной платы мужчин и женщин.
Нулевая гипотеза. Размеры заработной платы мужчин и женщин равны, если не принимать во внимание случайные отклонения. Иными словами, реальная разница в размерах заработной платы мужчин и женщин не намного бы изменилась, если бы мы сложили все заработные платы в шляпу, хорошо их перемешали и раздали сотрудникам без учета их пола.
Альтернативная гипотеза. Различие в размерах заработной платы мужчин и женщин превышает простую случайность.
Обсуждение. Обратите внимание, что здесь используют идеализированную совокупность. Ввиду того, что эти служащие никак не могут рассматриваться как случайная выборка, гипотеза относится к некоторой идеализированной совокупности, которая представляет собой мужчин и женщин, равных с точки зрения размера заработной платы и таких, что все имеющие место различия в размерах заработной платы могут быть объяснены случайностью распределения заработной платы между отдельными людьми. Если будет отвергнута нулевая гипотеза и принята альтернативная, то ваша фирма будет иметь проблемы. Такое сильное заключение будет работать против вас. Но не все потеряно! Не забывайте, что статистические методы говорят в основном только о числах, а не о том, почему эти числа именно такие. Разница в заработной плате может быть обусловлена непосредственно дискриминацией по полу, а может, и другими факторами, такими как образование, опыт и способности. Проверка статистической гипотезы, рассматривающей только пол и размер заработной платы, не может показать, какие именно факторы повлияли на эту разницу. Кроме того, результаты проверки гипотезы могут быть неверными, так как использование статистических методов всегда связано с наличием ошибок.