Построение шкал методом экспертных оценок

Один из наиболее известных методов построения шкал в социологии основан на обработке субъективных суждений экспертов (судей). Измерение в этом случае разбивается на два этапа: построение шкалы, т. е. построе­ние шкальных весов признаков, и оценивание респондентов по этим шкалам.

Существует несколько методов определения шкальных весов признаков. Остановимся на двух основных.

Метод парных сравнений. Предположим, что строится шкала для выяснения отношения к таким социальным ценностям, как «хорошие друзья», «здоровье», «успехи в работе», «материальная обеспе­ченность» и т. п. Обозначим для простоты эти ценности символами А₁, A₂, A₃ ..., А_k.

Сущность метода парных сравнений в том, /что экспертам пред­лагается произвести попарное сравнение объектов с тем, чтобы ус­тановить в каждой паре предпочтениe. Предпочтение может быть определено по критерию важности, значимости, привлекательности. Одним из главных требований к эксперименту является тщательная формулировка инструкции для экспертов, где суть Задания должна быть изложена просто и ясно.

Из символов образуем всевозможные пары: (А₁A₂), А₁А₃)и т. д. Всего получится k(k — 1)/2 парных комбинаций. Выделенные пары признаков предъявляются экспертам на отдельных карточках, расположенных в случайном порядке⁴.

Результаты опроса сводятся в таблицу по образцу табл. 23, в которой приводим гипотетические результаты опроса 30 экспертов по 5 признакам.

Таблица строится так. Если в паре признаков i, f выбран f ( j> 1), то в клетку (if) заносится 1, если в паре выбран i, то — 0, за отсутствие предпочтения (i = j)заносится 0,5. Числа накопления в каждой клетке, полученные в результате такого структурирования, делят на общее число судей.

В математической модели, лежащей в основе построения шкалы методом парных сравнений, предполагается, что доля случаев предпочтения признака iпризнаку j(m_ij) подчиняется нормальному закону, т. е.

Следующий шаг в построении шкальных оценок заключается в том, чтобы обратить наблюдаемые отношения m_ij в Z_ijпо приведен­ному уравнению. Для этого уравнения существуют специальные таблицы, по которым для заданного m_ijможно найти соответствую­щее Z_ij. Воспользуемся ими⁵ и занесем результаты в табл. 24⁶.

Если Z_ij оказывается большим, чем 2,0, или меньшим 2,0, оно отвергается как нестабильное. Если ни одна из оценок не отверга­ется, то шкальная оценка признака i будет равна средней величи­не всех чисел в графе i табл. 24. Когда, некоторые j отвергаются, то в таблице ставится прочерк. Далее из данных столбца 2 вычитаются данные столбца 1, из 3 — 2 и т. д., а результат заносится в новую таблицу. При этом разность между двумя прочерками или: между значением и прочерком считается незначимой и в матрице ставится прочерк. Для преобразованной таблицы вновь вычисляются средние по столбцам, которые и отождествляются с весом признака измеряемого явления.

Нулевую точку устанавливают произвольным образом (см., на­пример, последнюю строку табл., 24)⁷.

Метод равных интервалов. При большом числе признаков метод парных сравнений оказывается громоздким, поскольку эксперты должны рассмотреть каждую возможную пару признаков, а число таких пар быстро растет с ростом числа признаков⁸.

В таких случаях используются другие методы, из которых наи­большее применение получил метод равных интервалов. Основная идея и отличие его от метода парных сравнений заключается в том» что большой список суждений об изучаемой характеристике — при­думанных, отобранных из литературы и взятых из исследований других исследователей — оценивается экспертами, которые располагают признаки (суждения) в фиксированное число категорий (обычно равное 7,9 или 11), ранжированных по степени предпочтения. Интервалы между категориями должны быть субъективно равными, т. е. судящему должно казаться, что различия по степени предпочтения между суждениями любых двух смежных категорий равны.

Построение шкалы осуществляется в несколько этапов. На пер­вом этапе необходимо собрать несколько сот различных мнений, связанных с объектом измерения. В задачу исследователя входит получить всевозможные оттенки мнений по интересующему его воп­росу, причем формулировки должны выражать самые различные мнения.

Например, если исследуется отношение школьников к учебе, то могут быть высказаны такие суждения:

— Учусь, потому что хочу больше знать.

— Bee учатся и я учусь.

— Учусь, потому что интересно.

— Учиться заставляют близкие.

— Я и сам не знаю, зачем учусь.

— Это позволит исполнить мою мечту, овладеть желаемой профессией.

— Учусь, чтобы иметь возможность поступить в институт.

—Учеба позволит мне достигнуть материального благополучия (и. т. д.)

Из списка отбираются 100—200 суждений, которые по возмож­ности равномерно покрывают весь континуум установки: от мнений, выражающих крайнее положительное отношение к объекту установки, до мнений, выражающих крайнее отрицательное отношение к этому объекту. Особое, внимание уделяется формулировке нейтральных мнений. При отборе суждений необходимо руководствоваться следующими правилами:

а) суждения формулируются в утвердительной форме и, должны выражать сиюминутную психологическую установку испытуемого, не смешивая ее с отношением к тому же объекту в прошлом;

б) каждое суждение должно быть достаточно кратким, чтобы не утомлять опрашиваемых;

в) суждения должны быть сформулированы таким образом, что­бы их можно было принять или отвергнуть, и выражать они долж­ны одну, а не несколько идей; необходимо избегать утверждений, но отношению к которым большинство респондентов не имеют опре­деленного мнения;

г) суждения должны иметь такую форму, чтобы согласие или несогласие с ними указало на их отношение к объекту установки;

д) характер суждений не должен быть фактическим;

е) необходимо исключить утверждения, которые могут быть при­няты как теми, кто имеет отрицательное отношение к объекту уста­новки, так и теми, кто имеет положительную установку.

Следующая процедура состоит в отборе судей. Отбирается 50— 300 человек, которые сами по себе представляют широкий диапазон мнений по данному вопросу.

Каждое утверждение, отобранное по перечисленным выше кри­териям, заносится на отдельную карточку и затем предъявляется, труппе экспертов для упорядочения⁹. Экспертов просят независимо друг от друга разложить карточки на 7, 9 или 11 групп так, чтобы в последней группе были карточки с утверждениями, соответствую­щими максимально положительной установке индивида, высказав­шего эти утверждения;. в первую группу помещались карточки с утверждениями, соответствующими- максимально негативной уста­новке к объекту исследования; в среднюю группу помещались кар­точки с нейтральными утверждениями.

Необходимо обратить особое внимание экспертов на то, чтобы расстояния между любыми двумя соседними группами карточек были субъективно равными. В ходе процедуры эксперты должны руководствоваться не своим согласием или несогласием с утвержде­ниями, а оценкой того, какой направленности и интенсивности должна быть установка индивида к исследуемому объекту, если он высказал оцениваемое утверждение.

После того как судьи провели сортировку, необходимо оценить каждое суждение с точки зрения его соответствия шкале и устано­вить вес суждения на шкале. На этом этапе построения шкалы суждению, помещенному данным экспертом в некоторую категорию, приписывается число (оценка), совпадающая с номером этой кате­гории. Затем вычисляется медиана (Me) распределения оценок дан­ных всей группы экспертов для каждого суждения.

Пусть, например, распределение судей для какого-то определенного суждения задается таким образом.

Но кумулятивной кривой распределения находится медиана, • а также нижний и верхний квартили (Q_1/4,Q_3/4). По графику на рис. 12 для данного случая Мe = 1,7, Q_1/4 = 1,3 Q_3/4 = 2,4. На осно­вании подобных расчетов каждому суждению приписывается вес, равный его медиане. В итоговую шкалу отбираются суждения, „ко­торые, во-первых, сравнительно равномерны по всей шкале (по Me), во-вторых, обладают сравнительно небольшим квартальным отклонением.

Это значит, что если встречаются два суждения с примерно оди­наковым весом, выбирается то, которое имеет наименьшее квар­тальное отклонение (такое, относительно которого эксперты наибо­лее единодушны).

В окончательном виде шкала содержит 15—30 суждений, каж­дое из которых имеет свой вес. Если необходимо с большей точ­ностью определить шкальные значения каждого высказывания, нужно провести вторую стадию более строгого оценивания. Обычно на этой стадии применяется метод парных сравнений.

Присуждение баллов респонденту. Когда с помощью одного из рассмотренных методов шкала построена, дальнейшая процедура заключается в том, чтобы присвоить каждому респонденту в массо­вом опросе балл. Для этого отобранные суждения в беспорядке та суются и заносятся в опросный лист. Веса суждений при этом не указы­ваются.

Обычно задание респонденту состоит в том, что его просят отметить те суж­дения, с которыми он согласен. При этом естественно ожидать, что он от­метит ограниченное число суждений.

За количественную оценку респон­дента берется медиана шкальных зна­чений отмеченных им суждений.

Кроме рассмотренных выше проце­дур построения шкал, существует ряд других методов обработки информации, полученной от экспертов. Экспертный метод применяется не только для построения социологических шкал, нои для решений множества других проблем в условиях дефицита информации, когда необходимо обращаться к мнению специалистов. Считается, что шкалы, построенные этим методом, принадлежат интервальному уровню измерения. Однако исчерпывающее доказа­тельство этого факта привести весьма трудно.

Метод суммарных оценок.

В 1932 г. Лайкерт предложил метод измерения установки без использования экспертной оценки, кото­рый получил название шкалы Лайкерта¹⁰. Идея довольно проста: группе лиц даются вопросы, которые должны оцениваться по пятибалльной системе в отношении согласия с этими вопросами (суждениями): 5 —«полностью согласен» 4—«согласен» 3 — «нейтрален» 2—«не согласен» 1—«полностью не согласен»

Баллы одного лица относительно всех вопросов суммируются. Полученная сумма — балл этого лица. Затем лица ранжируются по баллам.

Для построения шкалы отбирается большое число утверждений, относящихся к исследуемой установке.

Главная заслуга Лайкерта состоит в том, что он предложил критерий внутренней состоятельности вопросов, который позволяет вбрасывать вопросы, не вписывающиеся в программу исследования. Определяется корреляция между баллами вопроса и общим баллом данного лица. Это можно проиллюстрировать следующим примером. 10 лицам (А, Б, В и т. д.) дается 10 вопросов, которые они должны оценить по пятибалльной системе. Каждому лицу дается бланк (табл. 25),

Индивид делает отметку по каждому вопросу в соответствии о своим отношением к нему. Далее подсчитывается общий балл лица относительно всех вопросов. Полученные данные сводятся в следующую таблицу (здесь даны вычисления для пятого вопроса):

Вычисляется коэффициент корреляции между баллом и раз­ностью. Так для каждого вопроса. Вопросы с малыми корреляция­ми выбрасываются.

Можно действовать, используя квартильные отклонения (в качестве, критерия выбраковки вопросов). Нерешенным остается во­прос о значимости квартальных отклонений и коэффициентов кор­реляции вопросов.

Окончательный опросный лист, где остается около 20 различ­ных утверждений, раздается респондентам. Общий балл респондента по всему вопроснику равен сумме отмеченных им баллов.

Техника построения шкал методом суммарных оценок обеспечи­вает порядковый уровень измерения. Построение шкал этим мето­дом является делом более простым чем все экспертные процедуры. Кроме того, иногда считается, что использование пяти оттенков для каждого суждения позволяет извлечь из них более богатую информацию.

В то же время шкалы, построенные экспертным методом,, име­ют более абсолютный характер; шкальный балл респондентов располагает их по отношению к некоторой объективной норме, определенной экспертами, а не по отношению друг к другу, как в ме­тоде суммарных оценок.

Шкалограммный анализ.

Шкалограммный анализ Гуттмана ве­дет к построению шкал порядкового уровня измерения. Эта тех­ника связана с построением одномерных шкал, т. е. шкал, не за­трагивающих вопросов или не включающих факторов, посторонних по отношению к измеряемой характеристике.

Например, при обсуждении построения шкал методом равных интервалов рассматривались также такие суждения: «Учусь по­тому, что хочу больше знать» к «Учеба позволит мне достигнуть материального благополучия». Очевидно, эти два суждения отра­жают отношение к учебе по двум разным измерениям. Если второе утверждение имеет дело с экономической стороной, то первое от­ражает сторону познавательную. Метод Гуттмана направлен на построение одномерных шкал, т. е. шкал, не затрагивающих свойства посторонних по отношению к измеряемой характеристике.

Основная идея метода состоит в том, что шкала должна состоять из иерархизированной системы вопросов, т. е. такой, в которой согласие с вышестоящим по иерархии суждением должно вест: к согласию с нижестоящими суждениями. Например, утверждении о том, что респондент имеет высшее образование, говорит о том, что он учился в вузе, а также о том, что он закончил среднюю школу.

Построение шкалы распадается на ряд этапов.

l. Отбирается серия суждений относительно измеряемого, свойства.

2. Эти суждения раздаются группе респондентов (около 100 че­ловек), в которую входят представители обследуемой категории населения. Респонденты отвечают на каждый вопрос либо «да», либо «нет».

3. Отбрасываются те суждения, которые набрали более 80% благожелательных и отрицательных ответов. Число оставшихся признаков должно быть нелепее десяти.

4. Следующий шаг состоит в ранжировании оставшихся вопро­сов и респондентов по числу набранных баллов от высшего к низ­шему. В идеальном случае должна получиться картина (шкалограмма), представленная табл. 26.

Поскольку такая идеальная ситуация почти никогда не наблю­дается, то в результате перестановки строк и столбцов исходной: эмпирической таблицы получается только приблизительная шкалограмма (не имеющая треугольного вида);

Предположим, что группе респондентов (10 человек) предъяв­лено 8 суждений и результаты опроса сведены в исходную таблицу данных (табл. 27) (знаком «+» обозначено согласие с данным суждением). Преобразованная исходная матрица данных, полученных путем ранжирования лиц и суждений, представлена в табл. 28. Полученная в результате шкалограмма (табл. 28) очень близка к идеальной и имеет лишь три ошибки (одну слева от ломаной и две — справа).

Вычисляется коэффициент воспроизводимости (это процент ре­акций на признак, которые воспроизводятся правильно);

Если воспроизводимость не менее 0,90, то это означает, что данный набор суждений образует одномерную шкалу. Для табл. 28 коэффициент воспроизводимости равен

Иначе говоря, данную шкалу можно рассматривать как одномер­ную в гуттмановском смысле.

Кроме того, необходимо учитывать следующие критерии:

а) каждая категория (суждение) должна обладать минимальной ошибкой;

б) ошибки должны иметь случайный характер. Если же какая-то одна частная ошибка встречается значительно чаще, чем другая, то это значит, что признак не принадлежит шкальному типу. Суж­дение, которое не удовлетворяет этим требованиям, отбрасывается.

В более сложных шкалах вместо ответов «да», «нет» респон­дентам можно предложить оценить каждое суждение, например, по шкале: 4 — «полностью согласен»; 3 — «согласен»; 2— «не знаю, не могу ответить»; 1 — «не согласен»; 0—«категорически не со­гласен».

Процедура построения шкалограммы в этом случае совершенно аналогична дихотомическому случаю. Баллы при ранжировании вопросов и ответов равны сумме отмеченных значений отдельных вопросов. Коэффициенты репродуктивное для таких шкал могут быть повышены как за счет выбрасывания отдельных вопросов, не укладывающихся в шкалограмму, так и путем укрупнения числа градаций ответов на вопрос (например, ответы с пятью градациями укрупнить до трех градаций: 2— «согласен»; 1 —- «не знаю»; 0 — «несогласен»).

Построенная шкала предъявляется обследуемой совокупности респондентов, причем все. суждения шкалы предварительно тасуются в беспорядке. Ранг опрашиваемого определяется по сумме набранных баллов.

Подсчитав средний ранг для различных групп респондентов, можно проранжировать сами группы относительно измеряемого свойства.

Основное преимущество шкалограммного анализа состоит в од­нозначности балла, получаемого респондентом в отличие от ранее рассмотренных методов шкалирования.

К недостаткам шкалы относятся большие технические и ряд теоретических трудностей, связанных с ее построением. Кроме того, одномерность не является инвариантной чертой шкалы, т. е. дан­ная шкала может быть одномерной для одной группы индивидов и не быть таковой для другой.