Относительные и абсолютные решения

Как уже упоминалось, G-теория может использоваться для принятия двух типов решений. В рассмотренных примерах использовались лишь «относительные» решения, при которых важным является порядок респондентов относительно друг друга. Если почетное общество принимает в свои ряды 15 % лучших (по какому-либо показателю) студентов, интерес представляет порядковое ранжирование студентов, а решения принимаются на основе расположения баллов, полученных студентами, в порядке возрастания/убывания. Когда тесты используются для принятия относительных решений, они зачастую называются тестами, «ориентированными на норму» (R.L. Brennan, 2001).

В противоположность этому, «абсолютные» решения принимаются на основе самого тестового балла, полученного респондентом. Так, желающие попасть в армию США проходят тестирование по Батарее тестов на профориентацию в службе в вооруженных силах (ASVAB, Armed Services Vocational Aptitude Battery), которая описывается как инструмент диагностики «знаний и способностей в десяти различных областях, от математики до электроники. Это не тест интеллекта, однако ASVAB является одним из способов помочь вам принять решение относительно того, какие области работы в армии лучше всего подойдут именно вам» (http://www.goarmy.com/contact/how_to_join.jsp). На вербовочном Интернет-сайте армии США потенциальным новобранцам говорится, что «для рассмотрения вашей кандидатуры вам необходимо набрать по крайней мере 31 балл». Предположительно, балл ниже отметки в 31 дисквалифицирует новобранца, а при бале 31 или выше респондент попадает в список кандидатов на службу в армии. Таким образом, армия принимает решение частично на основе тестового балла рекрута по батарее тестов ASVAB, а не на основе процента граждан страны, которых необходимо взять в армию. Когда тесты используются для принятия абсолютных решений, они называются тестами, «ориентированными на критерий» (R.L. Brennan, 2001).

Разница между абсолютными и относительными решениями важна, т.к. она влияет на способ представления «шума» или ошибки измерения. Это различие оказывает влияние на количество компонентов дисперсии, которые вносят вклад в ошибку измерения при вычислении коэффициентов генерализуемости. В целом при относительных решениях ошибка измерения состоит из меньшего количества компонентов дисперсии, чем при абсолютных решениях, следовательно, при относительных решениях имеется тенденция получения более высоких коэффициентов генерализуемости.

В рассмотренном выше примере с однокомпонентным измерительным дизайном абсолютная дисперсия ошибки (т.е. дисперсия ошибки для абсолютного решения) включает в себя на один элемент больше, нежели относительная дисперсия ошибки (т.е. дисперсия ошибки для относительного решения). Говоря конкретнее, коэффициент генерализуемости для абсолютных решений (φ², иногда называемый индексом зависимости (dependability)) в данном примере составляет

.

Заметьте, что данное уравнение включает в себя компонент дисперсии для основного эффекта пунктов, которого не было в коэффициенте генерализуемости для относительных решений (см. Формулу 12.1). Для измерительной стратегии с использованием трех пунктов абсолютный коэффициент генерализуемости составляет 0.823:

,

,

.

Данный коэффициент несколько ниже того, который вычислялся ранее для относительных решений ( = 0.87). Последняя строка в Таблице 12.4 содержит абсолютные коэффициенты генерализуемости для разного количества пунктов.

В описанном выше двухкомпонентном измерительном дизайне абсолютная дисперсия ошибки включала бы в себя три дополнительных элемента (по сравнению с относительной дисперсией ошибки). Конкретнее, коэффициент генерализуемости для абсолютных решений в двухкомпонентном дизайне составляет:

.

Заметьте, что в данное уравнение входят компоненты дисперсии для основного эффекта пунктов, основного эффекта наблюдателей и для взаимодействия эффектов «наблюдатели х пункты». Ни один из этих эффектов не использовался при вычислении коэффициента генерализуемости для относительных решений (см. Формулу 12.2). Для исследовательской стратегии, основанной на использовании трех пунктов и трех наблюдателей, коэффициент генерализуемости для абсолютных решений составляет 0.76:

,

,

.

Данный коэффициент несколько ниже, чем соответствующее значение для относительных решений ( = 0.84). Последняя строка в Таблице 12.10 содержит абсолютные коэффициенты генерализуемости для разного количества пунктов в примере с двухкомпонентным измерительным дизайном.

В целом разница между относительными и абсолютными решениями может иметь важные последствия для величины коэффициентов генерализуемости. По-разному определяя ошибку измерения, исследователь в этих двух случаях включает в состав ошибки различные компоненты дисперсии, что, в свою очередь, приводит к получению различных коэффициентов генерализуемости. Не вдаваясь подробно в причины существования данных различий или в точные уравнения, которые используются в данных двух случаях, важно помнить, что такие различия существуют, и что абсолютные решения обычно сопровождаются большей ошибкой измерения и меньшей генерализуемостью.

РЕЗЮМЕ

Теория генерализуемости расширяет традиционные взгляды на психометрическое качество тестирования по крайней мере по двум направлениям. Во-первых, теоретическое понимание надежности расширяется и включает в себя возможность того, что на качество измерения влияют сразу несколько его аспектов или компонентов. Во-вторых, в данной теории предлагаются статистические процедуры, направленные на вычисление эффектов каждого из компонентов измерения и планирование качественных и эффективных измерительных стратегий.

В данной главе рассматривалась общая логика наиболее основополагающего измерительного дизайна: относительные решения на основе перекрестных рандомизированных компонентов измерения. Тем не менее, кратко были освещены и другие дизайны, их концептуальная логика, вычисление и интерпретация в рамках теории генерализуемости. В целом можно утверждать, что теория генерализуемости представляет собой гибкий и эффективный психометрический подход, расширяющий классическую теорию тестов (CTT) в нескольких немаловажных аспектах.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА

Классическая работа по теории генерализуемости:

Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: John Wiley.

L. Cronbach, выдающийся исследователь в области психометрики, подготовил комментарии по поводу теории надежности и широко распространенного коэффициента надежности «альфа» почти через 50 лет после публикации этой теории. Данные комментарии, как и аргументация точки зрения о том, что теория генерализуемости предоставляет более разносторонний взгляд на проблему надежности, приведены в работе:

Cronbach, L. J., & Shavelson, R. J. (2004). My current thoughts on coefficient alpha and successor procedures. Educational and Psychological Measurement, 64, 391-418.

Довольно техническое, но весьма понятное и глубокое обсуждение теории генерализуемости:

Brennan, R. L. (2001). Generalizability theory. New York: Springer-Verlag.

Широко используемое введение в теорию генерализуемости:

Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: A primer. Newbury Park, CA: Sage.

ГЛАВА 13