Статистическая значимость и уровни проверки
Используя значения из различных столбцов t-таблицы можно проверить гипотезу на уровнях 10, 5, 1 и 0,1%. Уровень проверки, или уровень значимости, представляет собой вероятность совершить ошибку I рода при условии, что нулевая гипотеза является истинной. Когда вы отвергаете нулевую гипотезу и принимаете альтернативную, то вы можете утверждать, что ваш результат является значимым на уровне 10, 5, 1 или 0,1%, — в зависимости от того, какой столбец t-таблицы вы использовали. Чем ниже уровень, на котором вы можете определить значимость, тем более впечатляющим будет результат. Например, получение результата, значимого на уровне 1%, является более впечатляющим, чем получение значимости на уровне 10 или 5%; вероятность ошибки первого рода в таком случае меньше, и аргументы против нулевой гипотезы сильнее. Обычно используют следующие фразы для описания результатов.
| Незначимый | Отсутствие значимости на обычном уровне 5% |
| Значимый | Значимость на обычном уровне 5% |
| Высоко значимый | Значимость на уровне 1% |
| Очень высоко значимый | Значимость на уровне 0,1% |
Что делать, если вам удалось определить значимость на нескольких уровнях? Следует радоваться! Чем ниже уровень, на котором вам удалось определить значимость, тем сильнее доказательство против нулевой гипотезы. Поэтому следует указывать наименьший из уровней значимости. Например, если найдена значимость на уровнях 5% и 1%, достаточно указать, что ваш результат является высоко значимым (т.е. значим на уровне 1%).
Если значимость найдена на некотором уровне, то значимость обязательно имеет место на всех более высоких уровнях. Таким образом, высоко значимый результат (значимый на уровне 1%) должен обязательно (и это можно строго доказать математически) быть значимым на уровнях 5% и 10%. Однако он может быть, а может и не быть значимым на уровне 0,1%.
Доверительная вероятность (р-значение)
Результат проверки статистической гипотезы характеризуется также значением доверительной вероятности (p-значением), которое показывает вероятность того, что данные соответствуют нулевой гипотезе. Малые значения свидетельствуют об удивительности такого события и приводят к тому, что Н0 отклоняют. Обычно Н0 отвергают, когда p-значения меньше 0,05. В предположении о том, что нулевая гипотеза является верной, р-значение равно вероятности наблюдать имеющиеся данные (или даже данные, еще в большей мере не соответствующие Н0). Если Н0 является верной, то появление малых p-значений маловероятно, поэтому малые p-значения приводят к тому, что Н0 отклоняют. Например, если р = 0,001, то данные с большими отличиями от Н0 встречаются реже, чем один раз на тысячу случайных выборок. Вместо того чтобы предполагать, что это редкое (одно на тысячу попыток) событие может произойти (потому что оно происходит по крайней мере не чаще), проще объяснить, что нулевая гипотеза Н0 является ложной и должна быть отклонена. Обычно p-значения описывают следующим образом.
| Описание | Интерпретация |
| Незначимый (р > 0,05) Значимый (р < 0,05) Высоко значимый (р < 0,01) Очень высоко значимый (р < 0,001) | Незначимый на обычном уровне 5% Значимый на обычном уровне 5%, но незначимый на уровне 1% Является значимым на уровне 1%, но незначим на уровне 0,1% Значимый на уровне 0,1 % |
В некоторых областях исследования можно рассматривать и результаты, значимые на уровне 10%. Это означает, что вероятность совершить ошибку, отклоняя фактически правильную нулевую гипотезу, равна 0,1. Во многих областях исследования такой высокий уровень ошибки недопустим. Однако в некоторых сферах непредсказуемость и изменчивость данных создает трудности для получения результата на (обычном) уровне значимости 5%. Если вы работаете именно в такой области, используйте в качестве возможной следующую формулировку утверждения о р-значении.
Результат является значимым на уровне 10%, но не на обычном уровне 5% (р<0,1)
Большинство современных статистических пакетов программ в качестве результата проверки статистической гипотезы вычисляет точное p-значение. Если проверка осуществляется на уровне 5% и p-значение представляет собой любое число меньше 0,05, то результат будет значимым (например, р = 0,0358 соответствует значимому результату, а р = 0,2083 — незначимому). Учтите, что р - значение представляет собой статистику (а не параметр генеральной совокупности), потому что его вычисляют на основе данных выборки (и заданного опорного значения).
Сравнение двух выборок