Прогнозирование единичных событий

Важным фактором, который может повлиять на коэффициенты валидности, является то, на чем основана критериальная переменная: либо на наблюдении какого-то единичного события, либо на комбинации наблюдений. Например, представим себе тест, гипотетически направленный на измерение экстраверсии. Представим также, что данные о конструктной валидности были получены путем коррелирования баллов по этому тесту с показателем «разговорчивости» в ситуациях социального взаимодействия. На теоретических основаниях можно предполагать, что экстраверты должны быть относительно разговорчивыми, поэтому исследователь надеется получить положительную корреляцию, умеренную или высокую.

Допустим, исследователь набрал выборку из 50 респондентов, которые заполняли тест, а затем на протяжении 5 минут общались с незнакомым человеком противоположного пола. После этого собеседник оценивал разговорчивость респондента по шкале от 1 до 10, где более высокие баллы означают большую степень разговорчивости. Исследователь вычислил корреляцию между результатами теста и экспертной оценкой разговорчивости и обнаружил положительное, но невысокое значение. Ученый разочарован и вынужден признать, что разработанный опросник не является валидной мерой экстраверсии.

Прежде чем применять решение о модификации теста или о полном отказе от него, следует рассмотреть сущность критериальной переменной. В данном случае следует помнить о том, что она была основана на наблюдении единичной черты поведения (т.е. разговорчивости) в единичной социальной ситуации (т.е. пятиминутное общение с незнакомым человеком противоположного пола). Даже если не учитывать дисперсию метода, существует множество факторов, которые могли бы повлиять на разговорчивость респондента в какой-то определенный момент. В каком он был настроении? Как вел себя его собеседник? Могла ли на разговорчивость респондента повлиять какая-либо особенность ситуации или темы разговора?

Коэффициент валидности мог бы быть выше, если бы исследователь оценил поведение респондентов в нескольких различных ситуациях общения или на протяжении более длительного периода времени. По ряду причин единичные события являются менее прогнозируемыми, чем любого рода комбинации событий (Epstein, 1979).

Особенно убедительный пример трудности прогнозирования единичных событий был предоставлен Abelson (1985). Некоторым бейсболистам платят десятки миллионов долларов - частично потому, что среднее количество отбитых мячей у них гораздо выше, чем у среднестатистического игрока. Предположительно, владельцы и менеджеры бейсбольных команд полагают, что игроки с высоким средним показателем отбитых мячей будут гораздо более успешны, чем игроки с низким средним показателем отбитых мячей. Другими словами, в каждом отдельном случае игрок с высоким показателем будет иметь гораздо больше шансов отбить мяч, чем игрок с низким показателем. Но действительно ли это так? Какая доля вариативности в успехе удара объясняется средним арифметическим показателем? Abelson проанализировал бейсбольную статистику, чтобы определить взаимосвязь между средним показателем отбитых мячей (по шкале от 0 до 1.0) и шансами на успех в каком-либо единичном случае.

Анализ Abelson (1985, с.132) показал, что коэффициент взаимосвязи между бейсбольными навыками (которые выражены средним показателем отбитых мячей) и вероятностью отбивания мяча в каком-либо единичном случае «ничтожно мал». В свете такой низкой статистической взаимосвязи он задался вопросом о том, почему же он сам, другие эксперты по статистике, бейсбольные фанаты и даже менеджеры бейсбольных команд считают, что среднее количество отбитых мячей играет такую значительную роль. Он приходит к выводу, что «успех игрока было бы адекватнее оценивать на протяжении всего сезона, а не успехом в каком-либо единичном случае» (с.132). Другим словами, несмотря на то, что возможность спрогнозировать единичное событие (т.е. успех игрока в единичном случае) является достаточно малой, значение имеет не единичное событие само по себе, а совокупный эффект многих подобных событий. Даже низкий уровень прогнозируемости единичных событий может приводить к получению довольно точных прогнозов, если эти события кумулятивны.

Итак, единичные события – будь это отбивание бейсбольного мяча или определенный тип поведения в конкретной ситуации общения – могут в сущности являться непрогнозируемыми. Говоря о коэффициенте валидности, эта проблема напрямую связана с проблемой выбора критериальной переменной. Должен ли прогнозируемый критерий представлять собой единичное событие, например, единичное наблюдение за поведением респондента в ситуации общения? Или же критерий должен представлять собой кумулятивную переменную, например, показатель, усредненный по множеству наблюдений за поведением респондента в ситуациях взаимодействия? Большие коэффициенты валидности с большей долей вероятности могут быть получены в том случае, когда критериальная переменная основана на совокупности нескольких наблюдений или событий.