Коэффициенты надежности и способы их измерения.

Как подчеркивают многие авторы, разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний (В Черны, 1983). Однако практическое применение находят лишь несколько видов надёжности.

Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, — это корреляции (по Пирсону или Спирмену, см гл. XIV). Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

В данном пособии при описании видов надёжности основной упор делается на работы К.М. Гуревича (1969, 1975, 1977, 1979), который, проведя тщательный анализ зарубежной литературы по этой проблеме, предложил толковать надёжность как:

1. надёжность самого измерительного инструмента,
2. стабильность изучаемого признака;
3. константность, т.е. относительную независимость результатов от личности экспериментатора.

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности, показатель, характеризующий стабильность измеряемого свойства, — коэффициентом стабильности; а показатель оценки влияния личности экспериментатора — коэффициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надёжность психодиагностической методики.

1. Определение надёжности измерительного инструмента. От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измерения. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Для проверки надёжности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод "расщепления". Обычно задания делятся на чётные и нечётные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они смогли успеть решить (или попытаться решить) все задания. Если методика однородна, то большой разницы в успешности решения по таким половинкам не будет, и, следовательно, коэффициент корреляции будет достаточно высоким.

Можно делить задания и другим путём, например, сопоставить первую половину теста со второй, первую и третью четверть — со второй и четвертой и т.п. Однако "расщепление" на чётные и нечётные задания представляется наиболее целесообразным, поскольку именно этот способ наиболее независим от влияния таких факторов, как врабатываемость, тренировка, утомление и пр.

Методика признается надёжной, когда полученный коэффициент не ниже 0,75—0,85. Лучшие по надёжности тесты дают коэффициенты порядка 0,90 и более.

Но на начальном этапе разработки диагностической методики можно получить невысокие коэффициенты надёжности, например, порядка 0,46—0,50. Это означает, что в разрабатываемой методике присутствует некоторое число заданий, которые в силу своей специфичности ведут к снижению коэффициента корреляции. Такие задания необходимо специально проанализировать и либо переделать их, либо вообще изъять.

Чтобы легче было установить, за счёт каких заданий снижаются коэффициенты корреляции, необходимо проанализировать таблицы с выписанными данными, подготовленными для корреляций. Следует отметить, что любые изменения в содержании методики — изъятие заданий, их перестановка, переформулировка вопросов или ответов требует заново высчитывать коэффициенты надёжности.

При ознакомлении с коэффициентами надёжности не следует забывать, что они зависят не только от правильного подбора заданий с точки зрения их взаимосогласованности, но и от социально-психологической однородности той выборки, на которой проверялась надёжность измерительного инструмента.

В самом деле, в заданиях могут встретиться понятия, малоизвестные одной части испытуемых, но хорошо известные другой части. От того, как много в методике таких понятий, будет зависеть и коэффициент надёжности, задания с такими понятиями могут случайно расположиться и в чётной и в нечётной половине теста. Очевидно, показатель надёжности не следует приписывать только методике как таковой и нельзя уповать на то, что он будет неизменным, с какой бы выборкой ни проводилось тестирование.

2. Определение стабильности изучаемого признака. Определить надёжность самой методики — это не значит решить все вопросы, связанные с ее применением. Нужно ещё установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со временем меняется, нет ничего опасного для надёжности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что испытуемый по непонятным причинам оказывается то в начале, то в середине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленного измеряемого признака у такого испытуемого нельзя. Таким образом, колебания признака не должны иметь непредсказуемого характера. Если не ясны причины резких колебаний, то такой признак не может быть использован в диагностических целях.

Для проверки стабильности диагностируемого признака, свойства используется прием, известный как тест — ретест. Он заключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и повторного обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико. Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тестирование проводилось в утренние часы, то и повторное должно быть проведено утром, если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т.д.

При определении стабильности признака большое значение имеет промежуток времени между первым и повторным обследованием. Чем короче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возрастает число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности если срок между первым и вторым опытом небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы в памяти и, таким образом, отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлении методики уже нельзя рассматривать как независимые.

Трудно чётко ответить на вопрос, какой срок можно считать оптимальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она проводится, особенностей выборки испытуемых, может определить этот срок. При этом такой выбор должен быть научно обоснован. В тестологической литературе наиболее часто называются временные интервалы в несколько месяцев (но не более полугода). При обследовании детей младшего возраста, когда возрастные изменения и развитие происходят очень быстро, эти интервалы могут быть порядка нескольких недель (А. Анастази, 1982).

Важно помнить, что коэффициент стабильности не следует рассматривать только с его узко формальной стороны, по его абсолютным значениям. Если тест исследует свойство, которое в период тестирования находится в процессе интенсивного развития (например, умение проводить обобщения), то коэффициент стабильности, может оказаться невысоким, но это не следует истолковывать как недостаток теста. Такой коэффициент стабильности должен интерпретироваться как показатель определённых изменений, развития исследуемого свойства. В этом случае, например, К.М. Гуревич (1975) рекомендует рассмотреть по частям ту выборку, на которой устанавливался коэффициент стабильности. При таком рассмотрении выделится часть испытуемых, проходящих путь развития в одинаково ровном темпе, другая часть — где развитие шло особенно быстрыми темпами; и часть выборки, где развитие у испытуемых практически совсем нельзя заметить. Каждая часть выборки заслуживает специального анализа и истолкования. Следовательно, недостаточно просто констатировать, что коэффициент стабильности низкий, нужно понять, от чего это зависит.

Совсем другое требование предъявляется к коэффициенту стабильности, если автор методики считает, что измеряемое свойство уже сформировано и должно быть достаточно устойчивым. Коэффициент стабильности в этом случае должен быть достаточно высоким (не ниже 0,80).

Таким образом, вопрос о стабильности измеряемого свойства решается не всегда однозначно. Решение зависит от сущности самого диагностируемого свойства.

3. Определение константности, т.е. относительной независимости результатов от личности экспериментатора. Поскольку методика, разработанная для диагностических целей, не предназначена для того, чтобы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности экспериментатора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указывающими, как проводить эксперимент, регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, выражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требованиями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т.п.).

Особенно существенную роль личность экспериментатора играет при проведении так называемых недетерминированных методик (например, в проективных тестах).

Хотя в тестологической практике критерием константности пользуются нечасто, однако, по мнению К.М. Гуревича (1969), это не может служить основанием для его недооценки. Если у авторов методики возникают подозрения по поводу возможного влияния личности экспериментатора на исход диагностической процедуры, то целесообразно проверить методику по этому критерию. При этом важно иметь в виду следующий момент. Если под воздействием нового экспериментатора все испытуемые в одинаковой степени стали работать немного лучше или немного хуже, то сам по себе этот факт (хотя и заслуживает внимания) на надёжность методики не окажет влияния. Надёжность изменится лишь тогда, когда воздействие экспериментатора на испытуемых различно: одни стали работать лучше, другие хуже, а третьи так же, как и при первом экспериментаторе. Другими словами, если испытуемые при новом экспериментаторе изменили свои порядковые места в выборке.

Коэффициент константности определяется путём корреляции результатов двух опытов, проведённых в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Итак, были рассмотрены три показателя надёжности психодиагностических методик. Может возникнуть вопрос, нужно ли при создании психодиагностических методик осуществлять проверку каждого из них? В зарубежной литературе идет дискуссия по этому поводу. Одни исследователи считают, что все способы определения надёжности теста в какой-то мере идентичны и поэтому достаточно проверить надёжность методики каким-нибудь одним из них. Например, автор неоднократно переиздававшейся в США книги по статистике для психологов и педагогов Г. Гэррет (1962) не находит принципиальных различий между способами проверки надёжности. По его мнению, все эти способы показывают воспроизводимость тестовых показателей. Иногда тот, иногда другой обеспечивает лучший критерий. Другие исследователи придерживаются иной точки зрения. Так, авторы "Стандартных требований к педагогическим и психологическим тестам" (1974) в главе "Надёжность" отмечают, что коэффициент надёжности в современном понимании — это родовое понятие, включающее в себя несколько видов, и каждый вид имеет свой особый смысл. Разделяет эту точку зрения и К.М. Гуревич (1975). По его мнению, когда говорят о разных способах определения надёжности, то имеют дело не с лучшей или худшей мерой, а с мерами разной по существу надёжности. В самом деле, чего стоит методика, если не ясно, надежна ли она сама по себе как измерительный инструмент или не установлена стабильность измеряемого свойства? Чего стоит диагностическая методика, если неизвестно, могут ли изменяться результаты в зависимости от того, кто ведет эксперимент? Каждый в отдельности показатель никак не заменит других способов проверки и, следовательно, не может рассматриваться в качестве необходимой и достаточной характеристики надёжности. Только методика, располагающая полной характеристикой надёжности, наиболее пригодна для диагностико-практического применения.