Анализ распределения судейских оценок для построения шкалы равных интервалов
| Пункт шкалы | Число суден, поместивших суждение в этот пункт | Процентная доля ко всему числу судей | Суммарный (кумулятивный) процент |
| - | - | ||
| - | - | ||
| - | - | ||
| - | - | ||
| - | - | ||
| - | - | ||
| Итого |
Анализ распределения судейских оценок производится путем исчисления медианы и отклонений от медианной точки.
Подсчитаем судейские оценки для одного из суждений по табл. 5. Имея такое распределение, построим график, где по вертикали отложим кумулятивный процент, а по горизонтали — шкалу из 11 интервалов. Кривая пересекает вертикали в точках, соответствующих медианной оценке для двух соседних пунктов на шкале. Поэтому они оцениваются дробями: 3,5 или 6,5, но не 3 или 6 (рис. 7).
В районе 0 — позитивный полюс, 5 — нейтральный, 11 — негативный. Медианная оценка определяется по среднему перпендикуляру на базовую шкалу из 11 пунктов. Перпендикуляр опущен из точки, разделяющей ранжированный ряд судейских решений ровно пополам. Цена суждения по медиане в нашем случае: S = 8,5.
Определим, насколько единогласны судьи в своих решениях об этом суждении по квартальному отклонению (Q):
Q=Va(Q3 - Q,);
или для нашего примера
Q=V2(9,3 - 7,3)=1,0.
(5) В итоговую шкалу отбираются суждения, получившие наиболее согласованные оценки. Например, если имеются три суждения со сходной ценой (скажем, от 8,1 до 9,2) и с квартальными отклонениями, равными 1,0; 1,3; 1,5, то в итоговую шкалу отбирается суждение с Q=l,0, как получившее наиболее согласованную оценку судей.
В окончательном виде шкала обычно содержит от 15 до 30 суждений, каждое из которых имеет "цену" или "вес", определенный по медиане судейских решений.
Очевидно, что, коль скоро арбитраж 50 судей позволил найти пороги различения между суждениями, шкалу можно признать метрической шкалой равных интервалов с отсчетом от О.
(6) Для использования в массовом опросе все суждения тасуются как игральные карты. Опрашиваемые выражают согласие или несогласие с каждым из предложенных суждений. Цена суждения в опросном листе не проставлена: веса всех суждений записаны в инструкции по обработке данных.
(7) Индивидуальный ранг опрошенного по шкале Тёрсто-уна определяется как медиана весов принятых им суждений. Например, в ответах некоего лица содержится всего четыре принятых суждения (все остальные им отвергнуты) с весами (S): 4,4; 4,8; 5,1; 5,6; 6,1. Тогда ранг индивида соответствует медианной оценке 5,1. При четном числе принятых пунктов медианный ранг можно принять как среднеарифметическое интервала, в котором лежит медиана.
(8) Ранговая позиция группы опрошенных определяется как среднеарифметическая рангов всей совокупности, составляющей группу.
Обоснованность и устойчивость шкалы можно проверить с помощью уже известных нам приемов: использование независимого критерия, контроль по известной группе, повторное измерение с интервалом во времени.
Не обязательно начинать отбор суждений со столь большого числа вариантов, как это делал Тёрстоун. Наша практика показывает, что 30—50 суждений вполне достаточны для судейского отбора, после которого определится десяток вполне приемлемых пунктов шкалы. Также не обязательно вовлекать в работу очень большое число судей: можно получить статистически устойчивые данные на 50—60 экспертах.
Снижение точности замера за счет снижения дробности шкалы существенно повышает ее надежность. Если предлагать судьям расположить суждения не в 11, а в 5 интервалов, итоговая шкала будет более надежна, но менее точна. Выбор в пользу большей—меньшей точности зависит от предмета исследования и значимости гипотез, а также от того, насколько точно измеряются в нем другие переменные. Если большинство переменных измеряется по трехчленным и пятичленным шкалам, но только одна — по 11-членной шкале, и притом все переменные подлежат взаимной корреляции, в этом случае повышенная точность 11-членной шкалы — излишняя роскошь. Она не оправдывается логикой сопоставления с другими переменными.
Работа с экспертами, аналогичная описанной выше, широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы [232. С. 109—128].