И представление результатов
Содержание . Результаты эмпирического исследования и их представление. Принятие решения о гипотезе (подтверждение, опровержение). Ошибки первого и второго рода, их причины и средства минимизации. Обобщение экспериментальных результатов на другие выборки, другие условия эксперимента и на других экспериментаторов. Представление результатов исследования: графическое, символическое и вербальное. Требования к научному тексту. Структура и содержание научной статьи. Оформление научной статьи. Стандарт "Психологического журнала" и стандарт АРА (США).
Основные понятия . Принятие решения, ошибки первого и второго рода, достоверность, обобщение, текст, график, граф, диаграмма, полигон распределения, гистограмма, стандарт.
7.1 РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ, ИХ ИНТЕРПРЕТАЦИЯ И ОБОБЩЕНИЕ
Автор сознательно не включил главу с изложением методов математико-статистической обработки данных. Во-первых, существует обширная учебная литература, справочники и монографии, где эти вопросы изложены профессионально и подробно. Во-вторых, студенты- психологи изучают отдельный курс "Математические методы в психологии", а попрактиковаться в их применении они могут, обрабатывая результаты лабораторных исследований на практикуме по общей психологии. Поэтому содержание этой главы начинается с того момента, когда данные исследования уже обработаны и представлены в той или иной форме. Кроме того, применение статистических критериев уже позволило сделать вывод о принятии или отвержении статистической гипотезы H1 или H0.
Предположим, что статистическая гипотеза о различии результатов экспериментальной и контрольной групп принята. Какие выводы мы можем сделать после обработки экспериментальных результатов? Итог любого исследования - преобразование "сырых" данных в решение об обнаружении явления (различий в поведении двух и более групп), о статистической связи или причинной зависимости. Подтверждение или опровержение статистической гипотезы о значимости обнаруженных сходств - различий, связей и должно быть интерпретировано как подтверждение
Таблица 7. 1
Гипотеза
Решение Нуль-гипотеза верна Исследовательская гипотеза
верна Отвержение нуль-гипотезы Ошибка 1-го рода Верное решение Принятие нуль-гипотезы Верное решение Ошибка 2-го рода (неопровержение) или опровержение экспериментальной гипотезы. Как правило, исследователь пытается подтвердить гипотезы о различиях поведения контрольной и экспериментальной групп. Нуль-гипотеза - гипотеза о тождестве групп.
При статистическом выводе возможны различные варианты решений. Исследователь может принять или отвергнуть статистическую нуль-гипотезу, но она может быть объективно ("на самом деле") верной или ложной. Соответственно возможны четыре исхода: 1) принятие верной нуль-гипотезы; 2) отвержение ложной нуль-гипотезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной нуль-гипотезы. Два варианта решения правильны, два - ошибочны. Ошибочные варианты называются ошибками 1-го и 2-го рода.
Ошибку 1-го рода исследователь совершает, если отвергает истинную нуль-гипотезу. Ошибка 2-го рода состоит в принятии ложной нуль-гипотезы (и отвержении верной исследовательской гипотезы о различиях) (см. табл. 7.1).
Чем больше число испытуемых и опытов, чем выше статистическая достоверность вывода (принятый уровень значимости), тем меньше вероятность совершения ошибок 1-го рода. Например, если при а = 0,1 слабые различия между средними, определенные с помощью t- критерия, могут быть значимыми, то при а = 0,05 и а = 0,001 значимых различий мы можем не получить.
Ошибка 1-го рода особо значима в уточняющем ( конфирматорном ) эксперименте, а также в тех случаях, когда принятие неверной гипотезы о различиях имеет практическую значимость. Допустим, принятие ложной гипотезы об интеллектуальных различиях представителей разных социальных страт или этнических групп имеет чрезвычайно значимые социально-политические следствия.
Ошибки 2-го рода - отвержение верной исследовательской гипотезы и принятие нуль- гипотезы - особенно существенна при проведении пробного ( эксплораторного ) эксперимента. Отклонение исследовательской гипотезы на начальной стадии может надолго закрыть дорогу исследователям в данной предметной области. Поэтому уровень статистической достоверности при проведении эксплораторного эксперимента на малых выборках стремятся понизить, т. е. выбирают а = 0,1 или а = 0,05. Исследователю, разумеется, приятнее получить подтверждение своим собственным мыслям, поэтому субъективная значимость ошибок 2-го рода значительно ниже, чем субъективная значимость ошибок 1-го рода.
Но для науки как сферы человеческой деятельности важнее получить максимально достоверное знание, а не "засорять" научные журналы невалидными и ненадежными результатами. Поэтому стратегия исследований в любой области
психологической науки такова: переход от эксплораторного (поискового) эксперимента к конфирматорному (уточняющему), от низких уровней достоверности - к высоким, от исследований на малых выборках - к исследованиям на больших.
В конкретных же исследованиях значимость ошибок 1-го и 2-го рода может сильно зависеть от целей, которые преследуются в эксперименте, от предмета изучения и характера решаемой исследовательской задачи и т. д. В обыденной и профессиональной жизни мы часто сталкиваемся с такими ситуациями, когда нам надо оценить сравнительную значимость ошибок 1-го и 2-го рода. Например, судья или присяжные, определяя виновность или невиновность подсудимого, должны для себя решить, что более значимо: признать невиновного виновным или виновного невиновным. Установка на "гуманность" диктует правило: пусть будут оправданы десять преступников, чем пострадает один невиновный. "Репрессивная" установка предполагает другое правило: пусть пострадают десять невиновных, лишь бы один виновный не ушел от наказания.
Принятие или отвержение статистической гипотезы не является единственным условием принятия или не принятия экспериментальной гипотезы. Если статистическая гипотеза отвергнута, то исследователь может это реализовать по-разному. Он может завершить эксперимент и предпринять попытку выдвижения новых гипотез. Экспериментатор может
провести новое исследование на расширенной выборке с использованием модифицированного экспериментального плана и т. д. "Отрицательный" результат, как говорят опытные экспериментаторы, тоже результат.
С позиций критического рационализма "отрицательные" выводы, отвергающие экспериментальную гипотезу, - это главный результат любого эксперимента, так как сам эксперимент есть способ выбраковки нежизнеспособных гипотез. Отклонение экспериментальной гипотезы отнюдь не означает, что теорию, следствием которой она являлась, следует сразу отбросить. Возможно, неверно сформулирована теоретическая гипотеза: в прямой вывод из теории может вкрасться ошибка. Не исключено, что теоретическая гипотеза верна, но ее экспериментальная версия некорректно сформулирована. При этом зачастую даже подтверждение экспериментальной гипотезы не свидетельствует о подтверждении теории. Допустим, исходя из концепции фасилитации, мы предполагаем, что эмоциональная поддержка действий испытуемого будет приводить к более успешному решению задач. Но вместо превентивной эмоциональной поддержки любых проявлений интеллектуальной активности мы в эксперименте поощряли испытуемого за хорошую работу по окончании решения задания. Разумеется, эффект будет обнаружен, но никакого отношения к исходной теоретической гипотезе он не имеет.
Рассмотрение различных частных случаев подтверждения или неподтверждения конкретных экспериментальных гипотез - дело увлекательное и вполне доступное любому студенту, который усвоил азы психологического экспериментирования. Предположим, что экспериментальная гипотеза подтверждена или, следуя строгой логике К. Поппера, не опровергнута. Требуется решить проблему обобщения результатов эксперимента: на какие группы испытуемых могут быть распространены выводы, в каких внешних условиях будут воспроизводиться результаты, не будет ли влиять на результаты исследования смена экспериментатора?
В отличие от классического естествознания, экспериментальный результат в психологии должен быть инвариантен (неизменен) по отношению не только ко всем
объектам данного типа, к пространственно-временным (и некоторым другим) условиям проведения эксперимента, но и к особенностям взаимодействия экспериментатора и испытуемого, а также к содержанию деятельности испытуемого.
1. Обобщение по отношению к объектам . Если мы провели эксперимент на 30 испытуемых - мужчинах в возрасте от 20 до 25 лет, принадлежащих к семьям из среднего класса, обучающихся на 2-3-м курсах университета, то, очевидно, нужно решить следующую проблему: на какую популяцию распространить результаты? Предельным обобщением будет отнесение выводов ко всем представителям вида Homo sapiens. Обычно исследователи заканчивают первую экспериментальную часть своей работы предельно широким обобщением. Дальнейшая исследовательская практика сводится не только к уточнению, но и к сужению диапазона применимости найденных закономерностей.
Исследования Скиннера по оперантному обучению на крысах, голубях и др. дали результаты, которые автор распространил на представителей других видов, занимающих верхние ступени эволюционной лестницы, в том числе и на человека. Эксперименты И. П. Павлова по выработке классических условных рефлексов у собак позволили выявить закономерности высшей нервной деятельности, общие для всех высших животных. Феномены Ж. Пиаже воспроизводятся при исследовании групп детей во Франции, США, России, Израиле и т. д.
Ограничителями генерализации выступают внепсихологические характеристики популяции: 1) биологические и 2) социокультурные.
К основным биологическим характеристикам относятся пол, возраст, раса, конституциональные особенности, физическое здоровье. В дифференциально-психологическом исследовании выявляются изменения зависимости между двумя переменными, которые относятся к дополнительным признакам объекта изучения.
Социокультурные особенности являются вторым важнейшим ограничением обобщения результатов. Решается проблема возможности распространения данных на представителей других народов и культур в кросскультурных исследованиях. Аналогичная работа проводится по уточнению влияния на результаты эксперимента таких дополнительных переменных, как уровень образования и уровень доходов испытуемых, классовая принадлежность и т. д.
Бывает, что результаты эксперимента можно применить лишь к той популяции, представители которой вошли в состав экспериментальных групп. Но и в этом случае существует проблема: можно ли данные, полученные на экспериментальной выборке, распространить на всю популяцию? Решение этой проблемы зависит от того, насколько в ходе планирования исследования и формирования экспериментальной выборки соблюдалось требование репрезентативности.
Для проверки выводов, во-первых, проводят дополнительные эксперименты на группах представителей той же популяции, не вошедших в первоначальную выборку. Во-вторых, стремятся максимально увеличить в уточняющих экспериментах численность экспериментальной и контрольных групп.
2. Условия исследования . В психологическом эксперименте важны не столько пространственно-временные факторы (в отличие от физического), сколько условия деятельности испытуемого, а тем более - особенности заданий. В какой мере влияют на результат вариации инструкции, материала заданий, действий испытуемого,
предусмотренных в ней, вид мотивации, присутствие или отсутствие "обратной связи"? На все эти вопросы нельзя ответить, ограничившись проведением одного эксперимента. Исследователь должен варьировать в последующих экспериментальных сериях дополнительные переменные, относящиеся к характеристикам экспериментального задания, чтобы установить, являются ли результаты инвариантными по отношению к задаче испытуемого.
Классическим примером влияния особенностей задачи, решаемой испытуемым, на результат эксперимента стали психофизические исследования абсолютных порогов чувствительности.
"Слепой метод" позволяет исключить влияние на результат знания испытуемого о том, когда и какое воздействие он получает.
3. Экспериментатор . Проблеме влияния экспериментатора на результаты исследования было уделено достаточно внимания в этой книге. Следует лишь напомнить, что психология, в отличие от других научных дисциплин, не может полностью исключить, "вынести за скобки" влияние личностных черт, мотивации, компетентности исследователя в ходе эксперимента. "Двойной слепой опыт" позволяет контролировать влияние ожиданий экспериментатора на результаты исследования. Однако полный контроль воздействия индивидуальных особенностей экспериментатора предполагает применение факторного плана вида К Ч L Ч M, где в качестве дополнительной переменной выступают экспериментаторы, различающиеся по полу, национальной принадлежности, возрасту, индивидуально-психологическим особенностям и т. д.
Инвариантность результатов по отношению к личности экспериментатора особенно часто нарушается в социально-психологических и дифференциально-психологических исследованиях.
Вариация результатов исследования, определяемая влиянием экспериментатора, описана в большинстве практических руководств по проведению психологического эксперимента. Подведем итог. Исследователь может совершить две ошибки относительно гипотезы: 1) принять неверную экспериментальную гипотезу и 2) отвергнуть верную экспериментальную гипотезу. В эксплораторном (поисковом) эксперименте опаснее ошибка 2-го рода. В конфирматорном (уточняющем) эксперименте большее значение имеет ошибка 1 -го рода. Увеличение объема выборки и статистической достоверности вывода способствует минимизации ошибки 1-го рода.
Исследователя подстерегает опасность неправомерного обобщения результатов исследования. Ограничителями генерализации результатов выступают: 1) особенности выборки; 2) содержание эксперимента (задания испытуемому, воздействия, среда); 3) личность экспериментатора.
Возможны две стратегии проведения дополнительных исследований: 1) ограничение генерализации путем введения дополнительных переменных в план эксперимента; 2) индуктивный путь на основе перепроверки результатов на других рандомизированных экспериментальных выборках.
Процедура эксперимента никогда не может дать абсолютно достоверного знания, так как индукция принципиально неполна. Эксперимент - это лучший способ критики и отбора идей, но не лучший способ порождения нового знания.
7.3ТРЕБОВАНИЯ К ОФОРМЛЕНИЮ НАУЧНОЙ СТАТЬИ
Имеется несколько вариантов текстового представления научных результатов: а) тезисы научного доклада; б) отчет о научно-исследовательской работе; в) письмо в редакцию (краткое сообщение о научных результатах; г) статья в научном журнале либо в сборнике научных работ; д) научная монография.
Основной формой научной публикации является статья в научном журнале. Существуют общепринятые требования, предъявляемые к научной статье. Стандарт подготовки рукописи "Психологического журнала" приводится в Приложении 3.
В США используется стандарт оформления статьи, принятый АРА (Американская психологическая ассоциация). В титуле статьи указываются имя и фамилия автора (авторов) и место его работы. Заголовок статьи краткий (не более 15 слов).
Он должен кратко информировать читателя о сути исследования. Статью сопровождает изложение содержания (abstract) - не более 100-175 слов: информация о проблеме исследования, его предмете, об испытуемых, о методе, результатах и главные выводы. Резюме содержания статьи идет в реферативный журнал "Psychological Abstracts". В журналах АРА краткое резюме принято предпосылать статье, во многих других журналах оно помещается в конце статьи.
Введение . В начале введения предлагается постановка проблемы. Затем излагается обзор исследований предшественников. Приводятся основные методы, с помощью которых осуществлялись прежние исследования, а также анализируются противоречия в результатах, полученных до настоящего момента. Автор дает
теоретическое обоснование своего исследования. Излагаются гипотеза и способ ее проверки. Приводится список изучаемых и контролируемых переменных (зависимая, независимая, дополнительные и другие внешние переменные), а также дается прогноз исхода исследования. Метод . Основные сведения о методе помещаются еще во введении. В этом разделе полностью раскрываются все особенности процедуры исследования. Читателю предоставляется информация о плане исследования таким образом, чтобы другой психолог мог его воспроизвести по описанию. Дается характеристика выборки испытуемых, рассказывается о стратегии формирования групп. Дается информация о внешних условиях, времени проведения исследования и т. д. Очень подробно описывается процедура исследования. Автор предоставляет читателю информацию об алгоритме работы экспериментатора (инструкция экспериментатора). Приводится полностью инструкция испытуемому, описывается способ предъявления инструкции. Рассказывается о способах управления независимой переменной, об измерении зависимой переменной и о приемах контроля внешних переменных. Специально оговариваются приемы балансировки, контрбалансировки, стабилизации внешних условий, способы общения между испытуемыми и экспериментатором и т. д.
Методики и аппаратура . При описании методики и аппаратуры следует указать конкретное название модели и ее спецификацию. Обычно уникальная аппаратура описывается детально. Стандартная техника и стандартизированные методики (тесты) в подробном описании не нуждаются. Но при описании используемых тестов необходимо точно указать их название, дату, место и авторов валидизации или ревалидизации, основные психометрические характеристики, а также учреждение - производителя теста. Пример: культурно-свободный тест интеллекта Р. Кеттлера (GFT- 2), авторы адаптации - А. Ф.Денисов, У. Д. Дорофеев, производство - ГП "ИМАТОН", Санкт-Петербург, 1994.
Исходя из специфики эксперимента, в описание метода могут включаться и другие моменты.
Результаты . Главный раздел статьи посвящается представлению и анализу результатов. В начале этого раздела рекомендуется напомнить постановку проблемы и исходную гипотезу. Затем сжато, соответствующими значениями показателей, а также значениями критериев и уровня достоверности, приводятся основные результаты. Дается представление об общей структуре результатов и их статистической значимости.
Для пояснения и иллюстрации результатов в статье приводятся таблицы и рисунки. В стандарте, принятом АРА , указано, что автор не должен включать таблицы и графики в текст статьи, а должен помещать их в конце текста. Каждая таблица или рисунок представляются на отдельном листе. Нумерация таблиц и рисунков должна соответствовать последовательности ссылок на них в тексте. Поскольку в тексте они не приводятся, в нужном месте дается ссылка на таблицу или график.
Обсуждение результатов . В этой части автор статьи обязан привести выводы из полученных данных, соотнести их с исходной гипотезой и результатами предшественников. Автор должен объяснить исход эксперимента, руководствуясь теоретическими или методическими соображениями. Кроме того, он может выдвинуть дополнительные гипотезы для объяснения, предложения по совершенствованию или опровержению теории, на которую он опирался, проводя исследование.
Обычно приводятся суждения о возможности обобщения результатов исследования, о перспективах дальнейших экспериментальных исследований в этой области, а также о том, как можно использовать полученные результаты на практике.
Ссылки на источники . Список использованной литературы представляется на отдельной странице. Стиль АРА предусматривает, чтобы в тексте при ссылке давалась фамилия автора и
дата публикации, например: (Adams, 1970) или Adams (1979). Публикация примечаний не входит в стандарт АРА .
На последних страницах статьи помещаются таблицы, графики и примечания. Реферируемые источники и ссылки, например "Smith (примечание 1)", идут на первом отдельном листе. Каждая таблица или график также представляются на отдельной странице. Надписи в стандарте АРА пишутся над таблицами: сначала следует номер таблицы (Table 1), под ней - название, указывающее на то, связи каких переменных отражают представленные данные. Обычно по столбцам обозначаются группы испытуемых, а по строкам - условия эксперимента.
Интересующиеся могут подробнее ознакомиться со стандартом АРА , обратившись к любому издаваемому ассоциацией научному журналу.
В стандарте АРА приняты некоторые аббревиатуры для общепринятых названий и буквенные сокращения для основных статистических терминов. Приведем перечень ряда сокращений:
Миннесотский многофакторный личностный опросник - MMPI
Коэффициент интеллекта - IQ
Хронологический возраст - СА
Время реакции - RT
Сокращения статистических терминов:
М - среднее (оценка математического ожидания);
SD - стандартное отклонение;
Mdn - медиана;
df - число степеней свободы;
п - количество субъектов в группе;
N - общее количество субъектов;
Р - уровень достоверности;
SS - сумма квадратов;
MS - среднее квадратов;
r - коэффициент корреляции Пирсона.
Итак, стандарт АРА предлагает следующую структуру научной публикации:
1. Титульный лист
2. Краткое изложение (abstract)
3. Основной текст: название (над статьей) и введение, метод, результаты, обсуждение
4. Основной реферируемый источник
5. Список литературы (ссылки)
6. Примечания
7. Таблица
8. Название графика
9. График
Можно еще раз привести несколько полезных рекомендаций, касающихся стиля написания работы:
излагать свои идеи следует упорядоченно, разбивая по смыслу изложения на абзацы и параграфы;
писать следует по возможности просто и кратко;
нужно избегать двусмысленностей;
статья пишется для читателя, поэтому автору не мешает прочитать ее перед публикацией самому.
В руководстве АРА (1974) приводится еще несколько советов по поводу стиля научной статьи. Рекомендуется при формулировке предложений избегать пассивного залога. Слова "критерий", "феномен" и др. давать во множественном числе: "критериями были...". Автор может представлять себя в первом лице - "Я" - в подходящих случаях и умеренно. В отличие от других научных дисциплин, где не приветствуют употребление местоимения "Я", в психологии признается право автора высказывать мнение от себя лично. Руководство АРА рекомендует отказаться от "сексизма" при написании статей, а именно - исключительного употребления мужского рода для характеристики испытуемых. Например, считается, что слова "индивидуальность", "личность", "человек" (human being) предпочтительнее, чем обобщенное "man" (по-английски - и человек, и мужчина). Здесь проявляется специфика английского языка, американской культуры. Точнее - успехи движения женщин за равноправие, приобретающего в США анекдотические формы.
Опубликованные результаты входят в информационный поток, который "растекается" по ручейкам и доходит до каждого пользователя. На совести автора - достоверность научных результатов. Огромная сила науки - в ее неподвластности субъективным влияниям, которые обусловлены разной человеческой мотивацией: тщеславием, властолюбием, завистью и т. д. "Позолота сотрется, свиная кожа останется" - "информационный шум" пустых публикаций затихнет, а дутые репутации лопнут. Для исследователя важно не пропустить "сигнал" -действительно ценную работу среди массы второстепенных. Но самая непростительная ошибка - попустительство группам, кланам, кликам, которые стремятся ограничить возможность реализовать интересные мысли, идеи, разработки ученых, не принадлежащих к "неформальным группам". Затоптать истину на время можно. Хорошо, что не навсегда.
Открытое общество создает предпосылки для проявления активности личности, но не гарантирует от попыток навязать научному сообществу вненаучные принципы. Эксперимент - надежное средство критики любой идеи, которая навязывается научному сообществу.
Вопросы
1. Чем отличается ошибка 1-го рода от ошибки 2-го рода при принятии решения?
2. Каковы ограничения генерализации выводов и результатов экспериментальной работы? 3. Какой должна быть примерная структура научной статьи?
4.Какие требования к оформлению научной публикации предъявляет редакция "Психологического журнала"?
5. Как интерпретируется "отрицательный" результат эксперимента? 219
ЗАКЛЮЧЕНИЕ
Психолог, который занимается экспериментальной работой, вряд ли почерпнет что-то новое в этой книге. По своему содержанию она мало чем отличается от многочисленных, в первую очередь зарубежных, учебников, посвященных методам психологического исследования. Но для студентов-психологов, а также специалистов других областей она может быть полезной. Сегодня наука находится в обороне: слишком велик напор адептов околонаучного и псевдонаучного знания, претендующих на истину в последней инстанции. Длительный и кропотливый поиск истины в эксперименте непрестижен, плохо оплачивается, а главное — экспериментальная критика недостоверного знания, фантазий и мифов не прощается. Психолог-экспериментатор может найти утешение в следовании морали стоиков или же в словах великого Макса Нордау, которые я приведу в завершение этой работы:
"Конечно, тот, кто требует от науки, чтобы она с непоколебимою уверенностью отвечала на все вопросы праздных или беспокойных умов, терпит разочарование, потому что она не хочет и не может удовлетворять этому требованию. Всякого рода метафизика облегчает себе задачу: она сочинит какую-нибудь побасенку и рассказывает ее вполне серьезно. Когда люди ей не верят, сочинители бранятся и угрожают; но они ничего не могут доказать, они не могут заставить людей принимать их фантасмагории за чистую монету. Это их, однако, не смущает: им ничего не стоит прибавлять к словам новые слова, к недоказанным положениям — новые недоказанные положения, воздвигать на одном догмате новые догматы. Серьезный и нормальный ум, жаждущий и алчущий точного знания, не будет обращаться к метафизике: к ней обращаются только те, кого может удовлетворить убаюкивающая сказка старой няни.
Наука не соперничает ни с метафизикой, ни с богословием. Если последние раскрывают тайну мироздания, то это их дело. Наука же скромно говорит: "Вот — факт, вот — гипотеза, вот — предположение. Я не могу дать больше без обмана", За столом науки есть место для всех, и всякий может присоединить свои наблюдения к наблюдениям других" (М. Нордау. Вырождение. М., 1995).
ЧАСТЬ II