Валидизация тестов для отбора наемных работников

Как нанимателю, так и наемному работнику представляется крайне важным, чтобы люди получали должности, соответствующие их квалификации. Эффективное распределение персонала означает также, что качества, несущественные для выполнения данной работы, не должны благоприятно или неблагоприятно сказываться на решении об отборе. Если тест механических способностей требует гораздо более высокого уровня понимания читаемого, чем этого требует определенная должность, его применение вряд ли приведет к наиболее эффективному использованию кадров для этой должности. Давно известна простая психометрическая истина, что валидность теста должна устанавливаться для конкретных областей его применения. В настоящее время она приобрела особую актуальность из-за широкой озабоченности трудоустройством представителей меньшинств, оказавшихся в невыгодном положении вследствие культурных барьеров или пробелов в образовании (см. главу 18). Невалидный или содержащий не связанные с работой элементы тест может стать причиной несправедливого отказа в приеме на работу тем представителям меньшинств, которые могли бы удовлетворительно с ней справиться.

Еще одна серьезная озабоченность, которую испытывают организации и общество в целом, вызвана подтвержденной связью между продуктивностью работы и валидно-стью инструментов отбора. Методы оценки этой связи и типичные результаты приводились в главе 6. Оцениваемые выигрыши и потери в производительности, связанные

¹ Самый последний том этого руководства, вышедший под ред. Трайандиса, Даннетта и Хока (Тп-andis, Dunnette, & Hough, 1994), посвящен проблемам промышленной/организационной психологии в различных культурах мира.

² Тестирование в сфере профессиональной деятельности, включая тестирование для выдачи свидетельств и лицензий психологам, рассматривается Анастази (Anastasi, 1988b, p. 468-474). Что касается совсем недавнего рассмотрения вопросов, касающихся обоснования и применения лицензирования и аттестации вообще, см. специальный выпуск Evaluation & the Health Professions под ред. LaDuca (1994).

Глава 17. Основные области применения тестов в наше время

с повышением или снижением валидности процедур отбора персонала, оказываются весьма существенными. В организациях наподобие правительственных, которые нанимают много служащих, суммарный выигрыш или совокупные потери в продуктивности труда настолько велики, что заслуживают пристального внимания.

На протяжении нескольких десятилетий в психологии персонала преобладало мнение, что применяемые для отбора тесты должны подвергаться полномасштабной валидизации относительно локальных критериев выполнения работы. Конкретные методы такой валидизации путем предсказания критерия рассматривались в главах 5 и 6. Однако в подавляющем большинстве ситуаций провести полномасштабное лон-гитюдное исследование валидности таких тестов просто нереально. Даже в самых благоприятных условиях, при наличии доступа к большим выборкам наемных работников, обнаруживается несколько практических ограничений (см., например, Anastasi, 1972; J. Т. Campbell, Crooks, Mahoney, & Rock, 1973). Ввиду этих практических трудностей проведения полномасштабной валидизации путем предсказания локального критерия, был опробован ряд альтернативных методов.

Общиепроцедуры для оценки выполнения работы.Один подход к отбору персонала использует процедуры оценки, которые максимально приближены к выполнению работы в полном объеме. Тем не менее сходство между процедурой отбора и реальной деятельностью никогда не может быть абсолютным. Принятие на работу с испытательным сроком (probationary appointment) ближе всего к тому, чтобы быть точной копией работы в конкретной должности. Но даже в этом случае краткость испытательного срока и знание о том, что назначение на должность является проверкой, могут сказываться на поведении работника в целом ряде отношений. Выборочный анализ работы (job samples) представляет собой другую попытку аппроксимации реального выполнения работы. В этом случае предлагаемая кандидату задача фактически является частью работы, выполняемой на реальном рабочем месте, однако и сама задача, и рабочая обстановка остаются неизменными для всех кандидатов. Некоторые тесты этого типа изготавливаются по специальному заказу, с учетом специфики конкретного вида работ. При этом в первую очередь исходят из соображений репрезентативности выборки образцов работы и степени сходства тестовой задачи с реальной рабочей обстановкой. Известные примеры — тесты вождения (driving tests) и стандартизованные тесты для оценки навыков канцелярской (конторской) работы, скажем, печатания на машинке или обращения со счетной техникой.

В некоторых тестах для воспроизведения выполняемых на рабочем месте функций используется моделирование (simulation). Между моделированием и выборочным анализом работы нет четкой границы, они незаметно переходят друг в друга. Примеры варьируют от выполнения операций на миниатюрном дыропробивном прессе до управления движением электропоезда или пилотирования самолета на соответствующих имитаторах. Тренажеры-имитаторы использовались для целей тестирования и подготовки специалистов в программах NASA и ряда военных ведомств.

К этому перечню можно добавить методики оценки в центрах (см. главу 16), которые получили широкое применение при оценивании управленческого или административного персонала (Вгау, 1982; Finkle, 1983; Moses, 1985; Thornton, & Byham, 1982). Отличительной особенностью этого подхода является включение ситуационных тестов, наподобие «лотка для входящих документов» (in-basket) — методики, применяемой для тестирования администраторов в самых разных областях деятельности

Часть 5. Области применения тестирования

(N. Frederiksen, 1962,1966; Shapira & Dunbar, 1980). Имитируя знакомый всем «лоток для входящих документов», закрепленный на столе администратора, этот тест предлагает испытуемому тщательно подготовленный набор поступающих писем, служебных записок, докладных, бумаг на подпись и других аналогичных материалов. Перед прохождением теста испытуемому предоставляется возможность ознакомиться с вводной информацией для того, чтобы он мог составить представление о характере гипотетической работы и сориентироваться в обстановке. Задача собственно теста состоит в том, чтобы обработать все скопившиеся в лотке материалы и решить все поставленные в них вопросы, как это пришлось бы сделать испытуемому на реальном рабочем месте. Все его действия должны фиксироваться письменно, но могут включать и деловые письма, служебные записки, резолюции, планы, приказы, получаемую или передаваемую информацию, повестки дня предполагаемых совещаний или любые другие записи. В других методиках оценки в центрах могут применяться разыгрывание ролей, групповое решение проблем и деловые игры. Их общая особенность — использование группы экспертов-оценщиков и рейтингов кандидата, полученных от лиц одного с ним положения. Большинство оцениваемых таким способом свойств и черт имеют отношение к мотивации, навыкам общения и другим личностным переменным.

Несмотря на то что эти общие процедуры для оценки выполнения работы опираются, по крайней мере отчасти, на сходство с реальной деятельностью как доказательство их «принадлежности к одному роду», сами они также подвергались, по одиночке или в сочетании, оценке относительно разнообразных критериев (см. Landy et al., 1994; Schmidt, Ones, & Hunter, 1992).

Анализ содержания работы и метод рабочих элементов.Отмечается растущий интерес к применению содержательной валидизации тестов для отбора персонала. Во всех своих формах такая валидизация опирается на полный и систематический анализ содержания работы (McCormick, 1979). Чтобы быть эффективным, анализ содержания работы (job analysis) должен установить требования, которые отличают определенный вид работы от всех других. Описание на языке неопределенных утверждений общего характера, одинаково применимых к большинству работ, для этой цели оказывается бесполезным. Чтобы получить достаточно полную картину конкретной профессиональной деятельности, аналитик может черпать сведения из нескольких источников информации. Он может воспользоваться опубликованными руководствами по обучению конкретной профессии или должностными инструкциями, официальными отчетами о выполнении определенных видов работ и, что особенно важно, может получить консультацию экспертов в данной области — инструкторов производственного обучения, опытных работников и их непосредственных руководителей.

Эффективный анализ содержания работы должен к тому же сосредоточиваться на тех аспектах профессиональной деятельности, которые позволяют четко различать хороших и плохих работников. В ставшей классической книге К. Халла «Тестирование способностей» (С. L. Hull, 1928) подчеркивается важность этих дифференцирующих аспектов выполнения работы. Позднее на важность этого принципа указал Дж. Фланаган (J. С. Flanagan, 1949, 1954), предложивший метод критических случаев (critical incident technique). По существу, данный метод требует фактографического описания конкретных образцов выполнения работы, типичных как для хороших, так и для плохих работников.

Глава 17. Основные области применения тестов в паше время

Сосредоточение на критических требованиях конкретных видов профессиональной деятельности привело к разработке метода рабочих элементов (job element method) для конструирования тестов и доказательства их содержательной валидности (Мс-Cormick, 1979,1983; McCormickJeanneret, & Mecham, 1972; Primoff, 1975; Primoff & Eyde, 1988). Этот метод был полностью разработан и широко применялся Примовым и его сотрудниками в Службе управления кадрами США (когда-то — Комиссии по государственной гражданской службе США (U. S. Civil Service Commission)). В сущности, рабочие элементы — это единицы описания критических требований, предъявляемых конкретным видом работы к работнику. Хотя разные адаптации метода рабочих элементов различаются деталями процедуры, все они дают описание профессиональной деятельности на языке специфических требований к поведению работника, исходя из которых можно прямо формулировать задания теста. Конкретные поведенческие формулировки могут, в свою очередь, объединяться в более широкие категории, или конструкты, — такие как точность вычислений, развитая тонкая моторика, зрительное различение или способность работать под давлением (to work underpressure). Наблюдается рост числа исследований, нацеленных на разработку общей таксономии профессиональной деятельности на основе широких поведенческих конструктов (Fleishman, 1975; Fleishman, & Quaintance, 1984; Fleishman, & Reilly, 1992b).

Методы анализа содержания работы могут способствовать более эффективному использованию тестов отбора для множества внешне непохожих профессий. Это можно проиллюстрировать на примере таких инструментов, как Обзор Флейшмана для анализа содержания работы (Fleishmanjob Analysis Survey [F-JAS]) и система «Ключевые элементы труда» ( Work Keys system). Обзор Флейшмана представляет собой средство анализа работы в целях описания различных видов работ с точки зрения знаний, навыков и способностей, необходимых для их выполнения. Пятьдесят две из его 72 шкал охватывают тщательно определяемые способности в когнитивной, психомоторной, физической и сенсорноперцептивной областях, причем большинство этих шкал были увязаны с существующими тестами (Fleishman, & Mumford, 1991; Fleishman, & Reilly, 1992a, 1992b). Остающиеся 20 шкал имеют отношение к двум областям: межличностной/социальной (Interpersonal/Social) и знаний / навыков (Knowledge/ Skills), — и все еще находятся в состоянии развития. С другой стороны, система «Ключевые элементы труда» — совсем недавно разработанная в рамках программы ACT (ACT, 1995; Scruggs, 1994), — сконцентрирована на гораздо меньшем наборе общих рабочих навыков, таких как «Поиск информации», которым можно обучить в разумно короткие сроки. Однако внутри этой строго очерченной области, система Work Keys предоставляет сопряженный пакет средств для: 1) анализа особенностей работы (job analysis) и построения профиля; 2) оценки уровня навыков; 3) обеспечения обратной связи с тестируемыми, преподавателями и работодателями; 4) информационной поддержки в реализации плана практической или образовательной подготовки.

Анализ содержания работы — один из старейших и наиболее жизнеспособных методов, разработанных в промышленной психологии. Его применение при в^лидиза-ции тестов для отбора наемных работников стало расширяться по мере того как прогресс в области компьютерных технологий сделал сбор и анализ данных о выполняемой работе более дешевым.¹ В добавление к этому, собранная в ходе тщательного

¹ Обзор достижений и проблем в области методологии анализа содержания работы (job analysis) можно найти в работе Harvey (1991). Нэпп, Рассел И Кэмпбелл (Knapp, Russell, & Campbell, 1993) описывают специфические приложения анализа содержания работы в условиях отбора и распределения персонала вооруженных сил США.

Часть 5. Области применения тестирования

анализа работы информация может найти применение для решения множества других задач, таких как определение рыночной стоимости работы или проектирование рабочих мест (см., например, Campion, 1994; I. L. Goldstein, Zedeck, & Schneider, 1993)

Предсказание характеристик выполнения работы.Практические трудности, связанные с проведением валидизации посредством предсказания локального критерия (см. главы 5 и 6), привели к относительному дефициту таких исследований. Тем не менее фактическое положение дел таково, что многие организации нуждаются в прогнозах интенсивности и качества будущей работы для того, чтобы принимать решения по поводу отбора и расстановки кадров.¹ В качестве альтернатив для этих целей все чаще выбираются методики синтетической валидизации и обобщения валидности. Обе они позволяют оценивать валидность теста для конкретной работы, не прибегая к локальной валидизации. Кроме того, по мере накопления эмпирических данных обе методики должны давать сходящиеся результаты в отношении существа оцениваемых конструктов (J. P. Campbell, 1990a).

Понятие синтетической валидизации (synthetic validation) основано на предпосылке метода рабочих элементов, состоящей в том, что всегда имеется возможность выявить навыки, знания и другие требования к рабочим характеристикам индивидуума, которые являются общими для многих видов выполняемой работы. Синтетическая валидность (synthetic validity) была определена как «предварительный вывод о валидности в конкретной ситуации на основе систематического анализа элементов работы, определение валидности теста для этих элементов и объединение валидностей элементов в единое целое» (Balma, 1959, р. 395). По существу, эта методика включает три этапа: 1) всесторонний анализ содержания работы для выявления ее элементов и определения их относительного веса в реальной деятельности на данном рабочем месте или в данной должности; 2) анализ и эмпирическое исследование каждого теста для установления того, в какой степени он измеряет уровень выполнения каждого из выделенных на предыдущем этапе элементов работы; 3) нахождение валидности каждого теста для данной работы путем синтеза весов этих элементов в реальной работе и в соответствующем тесте. Статистическая процедура для вычисления синтетической валидности была разработана Примовым (Primoff, 1959; Primoff & Eyde, 1988). Получившая названиеу-коэффициента (отjob coefficient), эта процедура, по существу, является адаптацией уравнений множественной регрессии, описанных в главе 6. Другие подходы к синтетической валидизации описаны в работах J. P. Hollenbeck, & White-mer (1988) и Mossholder, & Arvey (1984).

Процедуры обобщения валидности (VG), — впервые разработанные Шмидтом и Хантером (Schmidt, & Hunter, 1977) и рассмотренные в главе 5, — предоставляют другую возможность для валидизации тестов отбора персонала. В своей основе этот подход позволяет применять накопленные ранее данные о валидности к новым ситуациям благодаря использованию методик метаанализа (Schmidt, Hunter, Pearlman, & Hirsh, 1985). Действительная степень обобщения данных, получаемых в результате метаанализа, была подвергнута сомнению со стороны некоторых специалистов. Критики обратили внимание на различия, существующие между ситуациями, в которых выполняется работа, и на методологические проблемы в оценивании параметров. В свою

¹ Продуктивное обсуждение ограничений предсказания как парадигмы отбора персонала см. в Wolff (1993).

Глава 17. Основные области применения тестов в наше время

очередь, это привело к усовершенствованию метааналитических методов и, как следствие, к их возросшему признанию и применению. Несмотря на остающиеся спорные моменты и на сохраняющиеся возможности дальнейшего совершенствования, методы обобщения валидности во многом способствовали поддержанию жизнеспособности теории, исследований и практики профессионального тестирования (см., например, L. R.James et al., 1992; Landy et al., 1994; Schmidtetal., 1993).

Критерий выполнения работы.Некоторые из наиболее перспективных работ в области отбора и распределения персонала вызваны возобновившимся интересом к тому, что задается в качестве критериев. Напомним, отсылая к главе 5, что существует широкое множество индексов, которые можно рассматривать как меры критерия, в зависимости от того, как определяется критерий. Тем не менее в рамках каждого ва-лидационного исследования обычно использовалась какая-то одна удобная мера выполнения работы, представляющая «единственный» критерий, независимо от цели процесса предсказания. До последнего времени, несмотря на неоднократные призывы к более тщательному рассмотрению критериев, раздававшиеся в течение нескольких десятилетий (см., например, L. R.James, 1973; Тепоруг, 1986; Wallace, 1965), практически не предпринималось никаких попыток решения этой важной проблемы. И только в последние годы некоторые исследователи попытались добиться более четкой концептуализации профессиональной деятельности (jobperformance) и лучшего понимания ее детерминант (Borman, 1991; Campbell, McCloy, Oppler, & Sager, 1993; В. F. Green, & Wigdor, 1991; Schmidt, & Hunter, 1992).

Одна новая модель профессиональной деятельности {jobperformance), которая обещает сыграть важную эвристическую роль в этой области, — мультифакторная теория, разрабатываемая Джоном Кэмпбеллом и его сотрудниками в связи с Проектом отбора и распределения специалистов сухопутных войск США или, как его сокращенно называют, Проектом A (J. P. Campbell, 1990a, 1990b, 1994; Campbell, McHenry, & Wise, 1990). Модель Кэмпбелла учитывает многоаспектный характер выполнения работы (job performance) и выделяет ее разнообразные элементы, распределяя их по соответствующим категориям. На начальной стадии эта модель проводит принципиальные разграничения между теми аспектами оценивания работы, которые контролируются работником, — например, поведение, связанное с самим выполнением работы, и теми, которые он не может контролировать, — например, последствия выполнения работы (эффективность), связанные с ней относительные затраты (производительность) и значение, придаваемое каждому из этих аспектов организацией (полезность). Что касается собственно выполнения работы, данная теория постулирует, что любая работа предполагает множество исполнительных компонентов (задач) и что детерминанты каждого компонента состоят из различных сочетаний знаний, навыков и мотиваций работника. Кроме того, каждая детерминанта выполнения работы имеет несколько предпосылок {antecedents), допускающих более или менее точное определение — таких, как профессиональная подготовка, непредвиденные подкрепления {reinforcement contingencies) и индивидуальные особенности, — которые могут косвенно влиять на характеристики выполнения через воздействие на уровень знаний, навыков и мотивации конкретного человека. Вдобавок ко всему, эти детерминанты выполнения работы взаимодействуют между собой, что также сказывается на выполнении работы.

Хотя многофакторная теория профессиональной деятельности (job performance) находится еще в процессе развития (J. P. Campbell, 1990а, 1994; D. J. Knapp, & Camp-

Часть 5. Области применения тестирования

bell, 1993), ее общий замысел созвучен другим важным концептуальным и методологическим успехам в оценивании трудовой деятельности (Borman, 1991). В настоящее время данная модель идентифицирует восемь общих факторов выполнения работы, включая такие характеристики, как согласованность усилий, личная дисциплина, лидерство, опытность в отношении выполнения конкретных рабочих заданий и другие виды профессионального опыта. Предполагается, что эти факторы достаточно широки для того, чтобы охватить главные элементы, необходимые для описания всех профессиональных занятий, перечисленных в Словаре названий профессий (Dictionary of Occupational Titles). В добавление к этому, модель Кэмпбелла устанавливает три вида детерминант индивидуальных различий в выполнении работы, именно — декларативные знания, процедурные знания и навыки, мотивацию, а также их предпосылки (antecedents). Эта широкая и четко сформулированная теоретическая структура, по всей вероятности, найдет применение в самых разных исследованиях конструктов выполнения работы (jobperformance).