Прогнозирование и пересчет

Предыдущий эксперимент показал, что прогнозы значения переменной не регрессивны по сравнению с оценками этой переменной, следующими из входных данных. В следующем эксперименте мы покажем, что существуют ситуации, когда прогнозы значения переменной (академических достижений) не более

регрессивны, чем простой пересчет этой переменой с единиц одной шкалы на единицы другой шкалы.

В качестве результирующей переменной был выбран средний балл, поскольку корреляты и характеристики распределения этой переменной хорошо известны популяции испытуемых.

В эксперименте участвовали три группы испытуемых. Во всех группах испытуемые прогнозировали средний балл 10 гипотетических студентов, основываясь только на статистическом балле, полученном каждым из студентов. Всем группам предлагался один и тот же набор статистических баллов, но, как будет показано далее, они получили различные интерпретации этих начальных данных.

1. Статистический средний балл.Испытуемым из первой группы (N = 32) было сказано, что имсообщат «статистические баллы, которые отражают академические достижения нескольких студентов на первом курсе, и попросят предсказать средний балл каждого студента в этом году». Испытуемым объяснили, что если «статистический балл равен, например, 65, то это означает, что средний балл этого студента выше, чем средний балл 65 % студентов его группы, и т. д.».

2. Сосредоточенность.Испытуемым из второй группы N = 37) объяснили, что «при тестировании

сосредоточенности измеряется способность человека концентрировать внимание и извлекать всю информацию, которая содержится в сложных сообщениях. Было обнаружено, что студенты с высоким средним баллом, как правило, получают высокие результаты при тестировании сосредоточенности и наоборот. Однако оказалось, что результаты тестирования сосредоточенности зависят от настроения и психического состояния человека во время тестирования. Поэтому при повторных тестированиях один и тот же человек может получать различные баллы, в зависимости от того, выспался ли он перед тестированием и как себя чувствовал в этот день».

3. Чувство юмора.Испытуемым из третьей группы N = 35) сказали, что «при тестировании чувстваюмора измеряется способность человека придумывать остроумные подписи к карикатурам и тонко чувствовать юмор в различных формах. Было обнаружено, что студенты с высокими результатами по этому тесту, как правило, получают более высокие средние баллы, чем студенты с низкими показателями по этому тесту. Тем не менее, исходя из чувства юмора, невозможно с высокой точностью прогнозировать средний балл».

Согласно плану эксперимента все испытуемые должны были прогнозировать средний балл на основе одного и того же набора статистических баллов. Группа 1 просто производила пересчет значений статистического среднего балла на шкалу среднего балла. С другой стороны, группы 2 и 3 прогнозировали средний балл по входным данным, имеющим менее непосредственную связь со средним баллом. Поэтому, согласно статистической теории прогнозирования, прогнозы этих двух групп должны быть более регрессивными, то есть менее вариабельными, чем суждения испытуемых из группы 1. Однако с точки зрения гипотезы репрезентативности распределение результатов должно быть другим.

Группа 2 прогнозировала, исходя изданных потенциально эффективного, но ненадежного теста сосредоточенности, который был представлен в качестве показателя академических способностей. Мы выдвинули гипотезу, что прогнозы этой группы будут нерегрессивными по сравнению с прогнозами группы 1. В целом мы предполагали, что балл достижений (например, средний балл), наиболее репрезентативный для статистического значения показателя способностей (например, сосредоточеннос-ти) — это тот балл, который соответствует тому же статистическому показателю на шкале достижений. Поскольку ненадежность не влияет на репрезентативность, мы ожидали, что прогнозы среднего балла, сделанные на основе данных ненадежного теста сосредоточенности, будут по существу идентичны прогнозам среднего балла, сделанным исходя из статистического среднего балла. С другой стороны, ожидалось, что прогнозы группы 3 будут регрессивными, поскольку чувство юмора не часто рассматривается в качестве показателя академических способностей.

Средние значения прогнозов на основе статистических баллов, сделанных тремя группами испытуемых для 10 случаев, показаны на рис. [1]. Из графиков видно, что прогнозы группы 2 не более регрессивны, чем прогнозы группы 1, в то время как прогнозы группы 3 кажутся более регрессивными.

<...>

...Как показывает высокая корреляция между входными данными и прогнозами, испытуемые во всех трех группах дали упорядоченные прогнозы... Результаты сравнения группы 1 с группой 2 и группы 2 с группой 3 подтверждают закономерность, наблюдаемую на рис. [1]. Между прогнозами, сделанными на основе статистического среднего балла и на основе сосредоточенности, нет существенных различий. Таким образом, при прогнозировании показателя достижений по показателю способностей, даже очень ненадежному, люди не возвращаются к априорным данным.

С другой стороны, прогнозы на основе чувства юмора оказались регрессивными, хотя и в недоста-точной степени. Корреляция между средним баллом и чувством юмора, полученная путем сравнения линий регрессии, равна примерно 0,70. Кроме того, значения прогнозов, сделанных на основе чувства юмора, значительно выше, чем значения прогнозов на основе сосредоточенности. Существует также следующая' тенденция: значения прогнозов на основе сосредоточенности оказываются выше, чем значения прогнозов, основанных на статистическом среднем балле. Мы наблюдали этот результат во многих экспериментах. При прогнозировании академических достижений индивида на основе неполной информации, испытуемые проявляют снисходительность... Они реагируют на снижение

надежности повышением прогнозируемого уровня показателей деятельности.

В ситуациях, когда входные и выходные переменные кажутся отражением одной и той же характеристики, следует ожидать, что прогнозы будут существенно нерегрессивными. Пример таких прогнозов наблюдался в реальной жизненной ситуации, при работе комиссии по подбору офицерского состава израильской армии. Обычно оценочная комиссия, состоящая из обладающих большим опытом офицеров, исходя из результатов тестирования и наблюдений в течение нескольких дней, оценивает кандидатов по шкале из семи пунктов. В экспериментальных целях членов комиссии попросили, кроме того, предсказать для каждого из кандидатов балл, который он получит на выпускном экзамене в школе подготовки офицеров. При анализе оценок более 200 кандидатов и прогнозов, сделанных многими судьями, было обнаружено, что распределение значений прогнозов практически совпадало с

фактическим распределением баллов, полученных на выпускном экзамене в школе подготовки офицеров, с одним лишь очевидным исключением: прогнозы провалов на экзамене встречались реже, чем провалы в действительности. В частности, частота прогнозов двух высших оценок точно соответствовала фактической частоте. Все судьи были прекрасно знакомы с теорией, которая говорит о том, что надежность их прогнозов всего лишь средняя (порядка 0,20-0,40). Тем не менее их прогнозы были нерегрессивными.

<...>