Надежность методов исследования

Критерии и показатели в оценке методов исследования.Надеж­ность методов психолого-педагогического исследования во многом зависит от критериев и показателей, по которым происходит изу­чение выбранного для исследования образовательного феномена.

Критерий (от греч. кгНепоп — средство для суждения) — это признак, на основании которого производится оценка, определе­ние или классификация чего-либо; мерило оценки. В диагностике критерием является переменная величина, принимающая разные значения в различных случаях или в разные моменты времени в рамках одного случая. Критерии дают возможность судить о состо­янии объекта исследования.

Показатель (тШса(ог — то, что доступно восприятию, то, что «показывает» наличие чего-либо) — это некоторая величина или качество переменной (критерия), которое может проявляться у конкретного объекта, т. е. это мера проявления критерия, его ко­личественная или качественная характеристика, по которой су­дят о различных состояниях объекта; это внешне хорошо различи­мый признак измеряемого критерия. Можно сказать, что показа­тель выполняет роль эмпирического индикатора критерия.

Внешние показатели поведения опасно принимать за сущностные признаки, это приводит к ошибкам в квалификации социально-пси­хологического новообразования, характеристиках воспитанности.

Представим, что детям свойственны послушание, исполнитель­ность, вежливость, аккуратность. Эти позитивные показатели не могут не радовать. Но стоит задуматься об истоках данных харак­теристик и о том, как позитивные показатели преобразуются в не­гативные. Допустим, страх перед учителем и боязнь наказания вы­нуждают детей выстраивать поведение в рамках положительных характеристик. Хотя, разумеется, основой для них могут быть по­знавательный интерес и уважение к преподавателю, организующе­му процесс познания.

Фиксируя показатели, педагогическое наблюдение должно иметь своим основным объектом вовсе не их, а признаки воспи­танности, т.е. отношение к ценностям жизни (согласно программе воспитания). Всегда за показателями, если они воспроизводятся много раз, можно распознать реальное отношение к определенно­му объекту. Показатели свидетельствуют о реальном отношении к объекту часто без воли и сознания самого ребенка. Просто и есте­ственно реагируя на окружающий мир, ребенок отражает во внеш­нем рисунке поведения проживаемое отношение к определенно­му объекту. Если профессиональное восприятие заметит такое многоразовое отражение, можно констатировать реальность конк­ретного отношения¹.

Принято считать, что количество критериев должно состав­лять не менее трех, а по каждому критерию следует выделять как минимум три показателя. Только тогда можно говорить о полном отображении объекта и предмета диагностики и проявлении каж­дого соответствующего критерия.

Определение критериев и признаков объекта позволяет осуще­ствить переход от абстрактного уровня его описания к конкретным

наблюдениям.

Общие требования к методам исследования.Насколько можно доверять данным, которые получены с помощью различных ме­тодов? Годятся ли они для математической и статистической об­работки? Чтобы исследование не превратилось в самоцель, а ста­ло средством совершенствования образовательной практики, каж­дая методика должна иметь следующие составляющие:

1) описание, обеспечивающее ее адекватное использование в точном соответствии со стандартами: предмет диагностики, сфе­ра применения, контингент испытуемых, процедура применения;

2) подробные сведения о процедуре разработки методики, полученных при этом данных о надежности и валидности;

3) однозначное описание выборки стандартизации и характе­ра диагностической ситуации в обследовании;

¹ Щуркова Н.Е. Педагогическая технология. — М., 2005.

4) процедура подсчета баллов и интерпретации должна быть описана с однозначной ясностью, позволяющей получить иден­тичные результаты при обработке одинаковых протоколов разны­ми пользователями руководства.

В начале XX в. в психологии были официально признаны и при­няты требования, предъявляемые к понятиям и методам исследо­вания и диагностики в наиболее развитых современных науках, — требования операционализации и верификации.

Под операционализацией понимается требование, согласно ко­торому при введении новых научных понятий необходимо четко указывать на конкретные процедуры, приемы и методы, с по­мощью которых можно практически удостовериться в том, что явление, описанное в понятии, действительно существует. Опе-рационализация предполагает указание на практические действия или операции, которые может выполнить любой диагност, чтобы убедиться в том, что определенное в понятии явление обладает именно теми свойствами, которые ему приписываются.

Требование верификации означает, что всякое новое понятие, вводимое в научный оборот и претендующее на получение стату­са научного, обязательно должно пройти проверку на наличие методики экспериментальной диагностики описанного в нем яв­ления. Качество результатов диагностики при этом принято оце­нивать по общепринятым критериям объективности, надежно­сти, валидности и др.

Объективность характеризуется корреляцией (совпадением или согласованностью) между результатами, полученными двумя оце­нивающими лицами. Необходимо, чтобы коэффициенты корре­ляции в этом случае были близки к единице (г = 1).

Объективность связана с чистотой измерения (испытания), максимально исключает субъективизм в оценке результатов диа­гностики в целом. Констатация и оценка или измерение и интер­претация должны быть максимально отделены друг от друга. С этой целью должны быть составлены точные инструкции проведения работы, исправления ошибок и оценки результатов.

Для большей объективности обработки данных рекомендуется в анкетировании, тестировании, наблюдении использовать кос­венные (диагностируемые факты не называются, а предполагают­ся), альтернативные (с несколькими вариантами ответов) вопро­сы. В целях обеспечения объективности проведение, обработка и интерпретация (оценка) результатов работы должны быть строго нормированы.

Стандартизация — это единообразие процедуры проведения и оценки выполнения диагностического метода. Стандартизирован-ность в диагностике — это неизменность заданных вопросов и задач, точность соблюдения испытуемыми инструкции, а диагно­стами — способов вычисления и интерпретации полученных по-

казателей. Сопоставимость в педагогической диагностике допус­кает более широкое сравнение результатов тестирования с дан­ными других научно-практических методов: наблюдения, беседы, анализа продуктов деятельности (письменных работ, рисунков, поделок), поведения и общения.

Объективность проведения измерений требует, например, что­бы все учащиеся были подвергнуты одному и тому же испытанию в аналогичных условиях (испытание должно длиться для всех оди­наковое количество времени; необходимо следить за тем, чтобы учащиеся не списывали друг у друга в процессе выполнения рабо­ты и т.д.).

Стандартизация предусматривает унификацию инструкций ра­бочих бланков, способов регистрации результатов, условий про­ведения обследования. Унифицированные задания для всех испы­туемых, одинаковый отрезок времени диагностирования, четкое описание критериев оценки, равные условия взаимодействия ис­пытуемых с диагностом — основа объективности результатов диа­гностики.

Об объективности интерпретации можно говорить в том слу­чае, если несколько лиц одинаковым образом описывают одни и те же результаты при обработке данных, устанавливают одни и те же взаимосвязи, так как при оценке разными людьми одной и той же работы испытуемого с открытыми вопросами (свободной формой конструирования ответа) может отличаться субъектив­ность обработки данных. Объективность — предпосылка надежно­сти и валидности измерения.

Надежность метода исследования.Надежность — один из кри­териев качества результата в диагностике, относящийся к степе­ни точности и устойчивости показателей диагностируемого при­знака. Чем больше надежность методики, тем свободнее она от погрешностей измерения. В самом широком смысле надежность — это характеристика того, в какой степени выявленные у испы­туемых различия по результатам проведения методики являют­ся отражением действительных различий в измеряемых свой­ствах и в какой мере они могут быть приписаны случайным ошибкам.

В теории диагностики понятие надежности имеет два значения: надежность методики как определенного инструмента (к примеру, пользуясь метром, мы уверены в том, что он остается неизмен­ным, какие бы измерения мы ни производили) и относительная неизменность объекта диагностики (мы должны быть уверены, что в обычных условиях измеренная величина останется неизменной).

Понятие надежности связано с точностью измерений, вернее, с оценкой погрешности и определением на этой основе истинно­го значения величины.

Существуют три основных приема для оценки надежности диа­гностической методики.

Прием ретеста, или повторной диагностики, позволяет обра­ботать одни и те же задания, выполненные одними и теми же испытуемыми в разное время, и просчитать взаимосвязь результа­тов, выраженную в коэффициенте самокорреляции.

Прием деления пополам — подборка однажды выполненных за­даний делится пополам (например, в первый полутест входят за­дания с нечетным порядковым номером, а во второй полутест — с четным), затем устанавливаются результаты каждого испытуе­мого по обоим полутестам и вычисляется коэффициент корреля­ции между полученными результатами.

Прием параллельного теста — для измерения одних и тех же знаний конструируются два различных набора заданий, которые по своему содержанию напоминают близнецов; оба параллельных набора заданий предлагаются непосредственно друг за другом или при удобном случае.

Во всех случаях при коэффициенте корреляции методик /•> 0,7 методика считается надежной (о коэффициенте корреляции см. в разд. 4.2).

В тестовой методике принято учитывать три коэффициента надежности:

1) коэффициент стабильности, или постоянства, — пока­затель корреляции между результатами первого и повторного испытаний одним тестом одной и той же выборки испытуе­мых;

2) коэффициент эквивалентности, или коэффициент корреля­ции, результатов тестирования одного и того же контингента ис­пытуемых с помощью вариантов одного и того же теста либо раз­ными, но эквивалентными по форме и цели, тестами;

3) коэффициент внутреннего постоянства, или внутренней од­нородности, который соответствует корреляции результатов час­тей теста, показанных одними и теми же испытуемыми.