Проблема репрезентативности выборки

Ключевая идея всей статистики – получение решений на основе данных из выборки, которая несет в себе свойства (признаки) генеральной совокупности. По мере того, как выборка по своему объему становится все ближе и ближе к генеральной совокупности, эти свойства и признаки проявляются в ней все более отчетливо. Однако, в основном по причинам стоимости, чаще всего в распоряжении исследователя имеется выборка ограниченного объема. Возникает вопрос – насколько глубоко унаследованы выборкой свойства и признаки генеральной совокупности. Эта проблема известна как проблема репрезентативности (представительности) выборки. Определение (и обоснование!) степени репрезентативности выборки больше искусство, чем наука. Репрезентативность выборки обеспечивается прежде всего условиями проведения эксперимента: основное требование состоит в том, чтобы выборочные значения были независимыми между собой и выбирались из генеральной совокупности случайным образом.

Одним из эффективных методов фильтрации данных является спектральный анализ (Фурье). Метод Фурье и его современная эффективная реализация – БПФ имеет широкое применение в различных областях анализа и обработки данных. Основная цель анализа Фурье в прикладной статистике – выявить скрытые периодичности в данных, например, связанные с сезонностью колебания объема пассажирских перевозок.

Метод спектральной фильтрации выборочных данных с использованием анализа Фурье состоит в преобразовании данных в спект-ральную область, воздействии на спектральные данные фильтром – математическим преобразованием, отсекающим те или иные составляющие спектра – и обратного преобразования данных в предметную (временную) область. В отличие от рассмотренного выше «грубого» метода коррекции данных, фильтрация по методу Фурье учитывает частоты тех или иных событий в эксперименте (данных) и позволяет их скорректировать. Для этих целей в пакете анализа MS Excel служит утилита.

Анализ Фурье. Предназначается для решения задач в линейных системах и анализа периодических данных на основе метода быстрого преобразования Фурье (БПФ). Эта процедура поддерживает также обратные преобразования, при этом, инвертирование преобразованных данных возвращает исходные данные.

Библиография

1. Ермолаев, О.Ю. Математическая статистика для психологов /
О.Ю. Ермолаев. - М.: МПСИ: Флинта. - 2002. – 325 с.

2. Наследов, А.Д. Математические методы в психологическом исследовании. Анализ и интерпретация данных / А.Д. Наследов. - СПб.: Речь. - 2004.

3. Сидоренко, Е.В. Методы математической обработки в психологии. – СПб.: ООО «Речь» - 2004. – 350с.

4. Глинский, В. В., Ионин, В. Г. Статистический анализ данных /
В.В. Глинский, В.Г. Ионин. - М.: Филин. - 2008. – 265 с.

Лекция 10.

Статистические гипотезы

1. Проверка гипотез.

2. Ошибки 1 и 2 рода.

Проверка гипотез

Логика проверки статистических гипотез часто вызывает трудности у студентов-психологов, поэтому остановимся на этой теме подробнее.

В социальных науках исследователи согласились, что следующие два значения будут основанием для допущения действия неслучайного фактора:

1) если некоторое событие происходит случайно в 5% случаев или еще реже, то предполагается, что это происходит благодаря действию некоторых неслучайных факторов. Это значение называется 5 %-м уровнем статистической значимости или уровнем статистической значимости, равным 0,05;

2) если некоторое событие происходит случайно в 1 % случаев или еще реже, то предполагается, что это происходит благодаря действию некоторых неслучайных факторов. Это значение называется 1 %-м уровнем статистической значимости или уровнем статистической значимости, равным 0,01.

Уровень статистической значимости, установленный исследователями для заключения о действии неслучайных факторов часто называется уровнем а (в более новых книгах он обычно обозначается латинской буквой р). Когда мы говорим о 5 %-м уровне статистической значимости, то р=0,05. Когда мы говорим об 1 %-м уровне статистической значимости, то р=0,01.

Чтобы определить, стоит ли объяснять какое-либо явление действием некоторого неслучайного фактора, надо найти вероятность того, что это явление произойдет случайно и сравнить с выбранным уровнем статистической значимости. Следует отметить, что приемлемый уровень статистической значимости должен быть определен до проведения исследования.

Дадим теперь несколько формальных определений, которые помогут нам сформулировать идею проверки гипотез.

Нуль-гипотеза- это гипотеза об отсутствии различий (например, девушки такие же умные, как и юноши; монетка правильная).

Альтернативная гипотеза(гипотеза исследования, рабочая гипотеза) - это гипотеза о значимости различий. Альтернативные гипотезы бывают направленные и ненаправленные. Направленные гипотезы указывают направление отношений между переменными (например, девушки умнее, чем юноши; орел выпадает чаще, чем решка). Ненаправленные гипотезы не указывают направление отношений (юноши и девушки отличаются по интеллекту; монетка неправильная).

Нуль-гипотеза никогда не может быть доказана. Статистическая логика точно такая же. Мы не можем доказать нуль-гипотезу и не можем доказать альтернативную гипотезу. Однако если мы можем отвергнуть нуль-гипотезу, то можем принять альтернативную ей. В случае с монеткой если мы отвергаем нуль-гипотезу о том, что монетка правильная, то, следовательно, принимаем, что она неправильная. Обратите внимание, что альтернативная гипотеза всегда подтверждается не прямо, а косвенно. Именно поэтому никогда не пишут, что «гипотеза доказана», а пишут «гипотеза подтверждается».

Уровень статистической значимости рпредставляет собой, таким образом, вероятность неправильного отвержениянуль-гипотезы.

Статистический критерий (критерий) - это случайная величина, закон распределения которой известен, и которая служит для проверки нуль-гипотезы. Статистический критерий можно рассматривать как инструмент, позволяющий определить вероятность того, что результаты получились случайно. Если эта вероятность достаточно мала (например, <0,05), то можно сделать вывод о том, что данные результаты получились неслучайно (т. е. отвергнуть нуль-гипотезу). А раз эти результаты получились не случайно, то, видимо, это из-за разницы условий независимой переменной. Например, если мы исследовали физическую агрессивность юношей и девушек и оказалось, что агрессивность юношей выше, то следует применить статистический критерий, который поможет определить уровень статистической значимости вероятность того, что такая разница в физической агрессивности, которая есть в нашем исследовании, получилась случайно. Если эта вероятность мала, то, следовательно, разница в агрессивности не случайна. То есть физическая агрессивность зависит от пола испытуемого. Если же эта вероятность достаточно велика, разница в агрессивности вполне могла получиться случайно, то делается вывод о невозможности отвергнуть нуль-гипотезу о равенстве физической агрессивности юношей и девушек.

Таким образом, несмотря на довольно запутанную логику, процедура проверки гипотез проста. Следует при помощи соответствующего статистического критерия определить уровень статистической значимости р (вероятность того, что полученная вами разница случайна) и сравнить его с заранее выбранным порогом ошибки (например, 0,05). Если р>0,05, то у вас нет оснований для отвержения нуль-гипотезы. Если р<0,05, то можно отвергнуть нуль-гипотезу и сделать вывод о том, что предложенная вами гипотеза подтвердилась.

Ошибки 1 и 2 рода

Рассмотрим пример: в общежитии установлена противопожарная система, которая подает сигнал тревоги, когда концентрация дыма достигает определенного уровня.

Возможны четыре ситуации:

	Нет пожара	Пожар
Подает сигнал тревоги	Ошибка 1 рода	Нет ошибки
Нет сигнала тревоги	Нет ошибки	Ошибка 2 рода

Ошибка 1 рода - сигнал без пожара, например, когда вы просто приготовили вкусные тосты. Ошибка II рода - пожар без сигнала. Известно, как избежать ошибки I рода - отключить или сломать противопожарную сигнализацию. К несчастью, это приведет к увеличению возможности допустить ошибку 2 рода.

Точно так же и в статистике:

Решение	Нуль-гипотеза верна	Альтернативная гипотеза верна
Отвержение нуль-гипотезы	Ошибка 1 рода	Нет ошибки
Принятие нуль-гипотезы	Нет ошибки	Ошибка 2 рода

Ошибка, состоящая в том, что мы отклонили нуль-гипотезу, в то время как она верна, называется ошибкой I рода.Вероятность такой ошибки обозначается а (или р). Это уже знакомый нам уровень статистической значимости.

Ошибка, состоящая в том, что мы приняли нуль-гипотезу, в то время как она неверна, называется ошибкой II рода.Вероятность такой ошибки обозначается р.

Следует помнить, что критерии различаются по мощности. Мощность критерия - это его способность не допустить ошибку II рода. Поэтому мощность=1. Мощность критерия определяется эмпирическим путем.

Библиография

1. Ермолаев, О.Ю. Математическая статистика для психологов /
О.Ю. Ермолаев. - М.: МПСИ: Флинта. - 2002. – 325с.

3. Сидоренко, Е.В. Методы математической обработки в психологии. – СПб.: ООО «Речь» - 2004. – 350с.

4. Глинский, В. В., Ионин, В. Г. Статистический анализ данных /
В.В. Глинский, В.Г. Ионин. - М.: Филин. - 2008. – 265 с.

Лекция 11