Множественные компоненты измерения

Теория генерализуемости может применяться для психометрических исследований сложноорганизованных измерений, в которых на общее качество измерения могут влиять различные его компоненты. Данное соображение составляет фундаментальное и потенциально ценное отличие G-теории от классической теории тестов.

Вариативность в результатах психологического тестирования может быть вызвана различными компонентами измерения; в свою очередь, различные компоненты измерения могут различным образом влиять на общее качество тестирования. В этом плане доктора Джонсон могут интересовать, например, количество пунктов, количество наблюдателей, а также то, каким образом на качество измерения влияет взаимодействие данных двух факторов. С точки зрения классической теории, общая дисперсия тестовых баллов подразделяется лишь на два компонента: дисперсия измеряемого признака («истинных баллов») и дисперсия ошибки. В классической теории тестов дисперсия ошибки рассматривается как недифференцированная, аморфная и монолитная (R.L.Brennan, 2001; Cronbach et al., 1972). Таким образом, классическая теория не может дифференцировать эффекты различных компонентов измерения, например, пунктов и наблюдателей, объединяя их в единую «ошибку измерения». Выбранный доктором Джонсон метод исследования дает по девять оценок для каждого из респондентов – три наблюдателя, оценивающие видеозаписи по трем пунктам. В рамках классической теории данные девять оценок могут рассматриваться лишь как девять однотипных «тестов» на агрессивность.

В противоположность этому, G-теория рассматривает ошибку измерения как составную из нескольких компонентов. Другими словами, теория генерализуемости может быть использована для исследования влияний, оказываемых различными аспектами измерительной стратегии на общее психометрическое качество измерения. Существует множество теоретических и практических причин, по которым исследователь мог бы захотеть разграничить различные источники ошибки измерения. Так, доктор Джонсон может быть заинтересована в том, чтобы рассмотреть пункты экспертного опросника и самих наблюдателей как отдельные, однако потенциально взаимосвязанные, источники ошибки измерения.

По теоретическим причинам доктора Джонсон может интересовать восприятие учителями агрессивного поведения учеников. С этой целью она может провести исследование, в котором несколько взрослых наблюдателей оценивают агрессивность подростков в процессе их взаимодействия друг с другом. В связи с задачами данного исследования, ее интересуют индивидуальные особенности наблюдателей в восприятии агрессивного поведения, а потому ей может быть необходимо отделить этот источник ошибки измерения от ошибки, связанной с различием самих пунктов.

С другой стороны, для разграничения пунктов и наблюдателей как различных компонентов измерительного процесса у доктора Джонсон могут быть и практические причины. К примеру, планируется масштабное исследование агрессии, и может быть необходимо разработать эффективный и надежный метод измерения агрессивности в поведении. В плане необходимого времени и финансовых средств делать ставку на количество наблюдателей менее выгодно, чем делать ставку на количество пунктов – включение в исследование каждого дополнительного наблюдателя (например, переход от трех наблюдателей к пяти), вероятно, более затратно, чем простое включение в тест дополнительных пунктов (например, расширение теста с трех пунктов до пяти). Тем не менее, доктор Джонсон еще не знает психометрические последствия добавления (или удаления) наблюдателей или пунктов. Возможно, общее качество теста на агрессивность при добавлении дополнительных наблюдателей возрастет достаточно сильно, а при добавлении новых пунктов – лишь незначительно.

Чтобы оценить потенциальные преимущества различных измерительных стратегий для своего масштабного исследования, доктор Джонсон проводит небольшое пилотное исследование с применением трех пунктов и трех наблюдателей. Руководствуясь в анализе полученных данных теорией генерализуемости, она сможет оценить психометрическое качество различных комбинаций количества наблюдателей и количества пунктов (например, два наблюдателя и четыре пункта, три наблюдателя и два пункта). Можно оценить качество измерения, наиболее вероятное для каждой из таких комбинаций. Используя эту информацию вместе с информацией о стоимости добавления новых наблюдателей и/или пунктов, доктор Джонсон сможет выбрать оптимальную (с точки зрения качества и эффективности) стратегию для своего будущего полномасштабного исследования.

На языке G-теории каждый из аспектов измерительной стратегии называется компонентом измерения, а сами эти стратегии частично определяются по количеству задействованных в них компонентов измерения. Рассмотрим первоначальный вариант исследования доктора Джонсон – три пункта, один наблюдатель в одной ситуации и в один момент времени. Поскольку данное исследование систематически включает в себя более чем один пункт, разница пунктов в данной исследовательской стратегии является единственным компонентом измерения. Другими словами, формулировка пункта может влиять на результаты исследования, и анализ генерализуемости может быть использован для оценки психометрического эффекта различий между пунктами. В измерительной стратегии рассматриваемого исследования больше не было характеристик, которые проявлялись бы более чем на одном уровне или в одной форме – исследование квлючало в себя три различных пункта, но лишь одного наблюдателя (Дорис), лишь одну ситуацию (беседа с незнакомцем противоположного пола) и лишь один момент времени. При такой организации исследования теория генерализуемости не может быть использована для оценки различий между наблюдателями. Сходным образом, поскольку в исследовании использовалась лишь одна ситуация наблюдения, G-теория не может быть применена для оценки различий между ситуациями. Тем не менее, поскольку в исследование было включено три разных пункта, G-теорию в данном случае можно применить для оценки различий между пунктами. Поскольку исходный вариант организации исследования доктора Джонсон включает в себя лишь одну характеристику измерительной стратегии, проявляющуюся более чем на одном уровне (пункты), данный исследовательский дизайн в терминологии G-теории называется однокомпонентным.

Более сложные исследовательские стратегии включают в себя несколько компонентов измерения. Во второй вариант исследования доктора Джонсон было включено несколько разных пунктов и несколько разных наблюдателей (Дорис, Кен, Тим). Данный исследовательский дизайн является двухкомпонентным, и у доктора Джонсон появляется возможность оценить не только различия между пунктами, но и различия между наблюдателями. Как будет показано ниже, такая усложненная стратегия приводит к постановке некоторых интересных и потенциально важных психометрических вопросов. Усложняя дизайн исследования еще дальше, доктор Джонсон могла бы проводить наблюдение за испытуемыми в двух ситуациях – общение с незнакомцем того же пола и общение с незнакомцем противоположного пола. Для такого рода исследования она могла бы попросить трех наблюдателей оценить испытуемых по трем пунктам в каждой из двух ситуаций. Данный исследовательский дизайн будет трехкомпонентным – пункты, наблюдатели и ситуации. Данный трехкомпонентный дизайн сделает возможной постановку большего количества интересных и потенциально важных психометрических вопросов, в том числе выходящих за пределы возможностей двухкомпонентного дизайна.