Критериальные системы оценивания

Как правило, критериальные системы оценивания используются в случаях, когда целью теста является выявление того, что умеет де­лать кандидат. Общими характеристиками большинства критериаль­ных способов намерения являются следующие:

• тест, как правило, состоит из элементов, для выполнения которых требуются совершенно определенные формы поведения или уро­вень профессиональной деятельности;

• тесты обычно направлены на оценку базы знаний, являющихся фундаментом для необходимого поведения;

• успешность прохождения теста обычно определяется по принци­пу «приемлемо или неудовлетворительно», хотя в некоторых слу­чаях для обозначения успешности могут использоваться различ­ные ступени или уровни достижений.

• кандидаты имеют возможность предпринимать несколько попыток до тех пор, пока им не удастся сдать тест, при этом между попытка­ми часто требуется дополнительное обучение (как, например, для того, чтобы сдать экзамен по вождению).

Тесты на выполнение образца работы (см. главу 7) представляют собой основной пример критериального подхода к оценке профессио­нальной деятельности. Например, в число различных компонентов умений (т. е. критериев), необходимых рабочему высокой квалифи­кации, специализирующемуся на возведении строительных лесов, входят умение работать на большой высоте, перенося при этом груз, вес которого превышает вес тела работника; умение ставить трубы длиной 21 фут¹ вертикально и вставлять их одна в другую; конструи­ровать и сооружать различные типы подмостей, используя, например, консольные балки и горизонтальные распорки; создавать инженерные чертежи и т. п. Кроме того, требуется знать правила техники безопа­сности и уметь рассчитывать напряжение под нагрузкой. Тесты Управ­ления по профессионально-техническому образованию для строи­тельной промышленности (Construction Industiy Training Board, CITB) оценивают компетентность специалиста по возведению лесов во всех этих сферах. Несостоятельность специалиста в любом из аспектов при­водит к признанию общего результата теста неудовлетворительным.

¹ 6,3 метра. — Примну, персе.

76 ■ Глава 4. Оценочные стандарты для методов отбора персонала

Оценивается только собственно профессиональный уровень специа­листа по возведению лесов, при этом не происходит сравнения с дру­гими специалистами. Таким образом, в нрпнципелюбой кандидат мо­жет пройти или не пройти этот тест.

Нормативные системы оценивания

Поскольку отбор кадров часто осуществляется па конкурентной основе, сотрудники отдела персонала почти всегда хотят сравнить кан­дидатов друг с другом. Интерпретацию результатов одного кандидата по отношению к результатам других наиболее целесообразно прово­дить с помощью нормативных систем оценивания. 1 {анрнмер, па ос­нове выполнения упражнения по выбору профессиональных задач (Stahl, 1983) 1417 респондентами было выявлено, что нормой для вы-сокомотивировапных управленческих кадров является балл более 3,14 по шкале потребности власти (NPozc) и балл более 4,64 по шкале потребности и достижениях (NAch). Обнаружилось, что у тех канди­датов, чьи результаты оказались ниже этих показателей, управленче­ская мотивация была низкой.

Первым типом нормативных систем оценивания, подходящих для отбора кадров, является позиционная система оценки, прикоторой кандидат оценивается по отношению к остальным. Определение от­меток кандидатов производится обычно на основе нормативной таб­лицы,показывающем'!, какие результаты показали ранее другие люди при прохождении лого же самого испытания. Например, организация, принимающая на работу менеджеров-стажеров, может сравнивать ре­зультаты претендентов, проходивших испытания валом году, с резуль­татами предыдущих лет. Однако разработка нормативной таблицы должна производиться весьма тщательно (см. Bethel-Fox, 1989), при этом должна быть использована достаточно большая выборка испы­туемых — как правило, не менее 400 человек.

Существует множество различных видов позиционной системы оценки, одни из которых более полезны, а другие — менее. В самых простых из этих систем результаты, полученные кандидатом, опреде­ляются только как «выше среднего» пли «ниже среднего» либо ран­жируются в порядке убывания, от самого лучшего до наихудшего. Преимуществом этих методов являются легкость и быстрота их при­менения. Недостаток состоит в том, что полумаются очень грубые результаты, причем имеющаяся информация используется чрезвы­чайно неэффективно. Следовательно, к этим методам имеет смысл прибегать только тогда, когда нет других возможностей. К примеру,

Интерпретируемость ■ 77

отнесение к определенной категории не показывает уровня компетен­тности или других положительных качеств. Может оказаться, что кан­дидат, отнесенный к самой высокой категории, оказался лучшим из числа группы слабых кандидатов. С другой стороны, то, что кандидат отнесен к низшей категории, может говорить только о том, что его по­казатели немного хуже, чем у группы кандидатов высочайшего уров­ня. Кроме того, ранжирование может приводить к искажению и пре­увеличению отличий между кандидатами, сводя к минимуму прин­ципиальную разницу и усиливая незначительную, и по этой причине очень трудно проанализировать систему ранжирования и получить сколько-нибудь достоверные результаты.

Более сложная разновидность позиционной системы оценки осно­вана на применении ранжирования по процептилю; кандидат при этом помещается в репрезентативную последовательность, где данные о нем соотнесен ы сданными о других 99 кандидатах. Например, поло­жение, обозначаемое 80-м процептилем, говорит о том, что результа­ты, полученные кандидатом при прохождении теста, равны результа­там 80% остальных кандидатов или выше, чем они. Процентиль имеет два преимущества:

• имеется возможность сравнить отдельного кандидата со всеми остальными, проходившими определенный тест;

• результаты, полученные кандидатом при прохождении различных тестов, можно оцепить путем сравнения их друг с другом.

Например, процентиль 75, полученный при выполнении теста на потенциальные способности {aptitude test), является лучшим резуль­татом, чем процентиль 65 при тестировании умений. Основным не­достатком нроцентиля является то, что этот метод позволяет только ранжировать относительные показатели достижений кандидатов в рамках конкретного теста, не являясь при этом единицей измерения отличий результатов, полученных разными кандидатами.

В отличие от позиционных систем оценки стандартизованные си­стемы оценки учитывают как положение кандидатов на классифи­кационной шкале, так и степень их отличия друг от друга. Благодаря этому стандартизованные системы позволяют более точно и рацио­нально оценить относительные результаты достижений. Для этого используются результаты сравнения со стандартным показателем, не только показывающие положение результатов, полученных канди­датом, относительно среднего результата, полученного всеми тести­руемыми (т. е. выше или ниже среднего), но и дающие возможность

78 ■ Глава 4. Оценочные стандарты для методов отбора персонала

увидеть, насколько данный результат отличается от среднего. Исполь­зование результата по сравнению со стандартным показателем для дифференциации кандидатов имеет три основных преимущества, а именно метод позволяет:

• выявить положение результатов, полученных отдельным кандида­том, по отношению к результатам всех остальных;

• определить масштаб отличия результатов теста;

• избежать искажения или преувеличения различий между канди­датами.

Таким образом, и какой-то степени легче осуществляется анализ и интерпретация результатов теста. (Читатели, которые хотят лучше попять сущность нормативных систем оценивания, могут обратиться к приложению А.)

Практичность

Для того чтобы любой метод отбора был полезен на практике, це­лесообразно обеспечить, чтобы он измерял и прогнозировал именно те показатели, для которых предназначен. Однако практическая цен­ность метода определяется не только с точки зрения его точности и прогностического потенциала, но и еще по двум аспектам, а именно его субъективно воспринимаемой эффективностью и справедливо­стью, а также тем, насколько больших затрат он потребует от органи­зации. Обе эти характеристики являются оценочными стандартами и, как правило, учитываются при дальнейшем принятии решений. Если полезность выбранного метода весьма ограниченна, или он кажется несправедливым по отношению к определенной группе кандидатов (например, по признаку пола, этнической принадлежности или обра­зовательного уровня), или же затраты по его применению не будут оправданы возможностью получения выгоды, применение такого ме­тода следует прекратить.

Еще на этапе разработки процедуры отбора необходимо принять решение о приемлемости конкретных методов отбора (см. главу 5). Как правило, в первую очередь такая оценка будет проводиться спе­циалистами отдела персонала, которые будут осуществлять отбор кан­дидатов, поскольку их компетентность и знания в данной области обеспечивают достаточные возможности для определения ценности метода. Однако следует также привлечь к разработке процедур отбо-

Создание тестов ■ 79

pa и других сотрудников, потенциально имеющих к ней отношение. Совершенно необходимо участие представителей высшего уровня ад­министрации компании, отчасти потому, что они принимают решение о выделении финансирования, и отчасти для того, чтобы заинтересо­вать п убедить этих людей в необходимости применения эффектив­ных методов кадрового отбора. Также важно перед применением опре­деленного метода кадрового отбора на практике провести испытания метода на обратившихся в компанию кандидатах. Если метод вызы­вает у кандидатов чувство неловкости, они могут давать такие отве­ты, па основе которых будет создано искаженное представление, и, та­ким образом, полезность теста снизится. Например, при выполнении упражнения на анализ документов в тихом помещении, где кандидат находится один, или в шумной комнате, где на пего могут смотреть другие кандидаты, будут получены совершенно разные результаты. Подобным образом может отразиться и позиция в отношении про­блем, рассматриваемых политическими организациями и другими влиятельными группами, в тех случаях, когда метод считают неспра­ведливым по отношению к каким-либо этническим группам пли дру­гим социальным меньшинствам. Например, в работе Келлета и др. (Kellet el al., 1994) сообщается, что сеть национализированных желез­ных дорог Великобритании «Бритиш Heii./i» изменила применявшие­ся методы оценки персонала после того, как зта организация была при­влечена к суду. Восемь начальников поездов с лондонской станции Паддингтон, которых поддерживала Комиссия по вопросам расового равенства (Commission for Racial fa/italiti/), подали в суд на «Бритиш Рейл» но причине неблагоприятного воздействия методов оценки в отношении .этнических меньшинств. Выло выявлено, что подобные проблемы имеются и у лопдопского метро. В результате судебного процесса обе компании достигли обоюдного согласия работников и руководства и изменили применявшиеся методы. Этот пример хоро­шо показывает, насколько важно оценить практичность способов кад­рового отбора перед применением их в действии с. точки зрения по­лезности и необходимых затрат.

Создание тестов

Существует множество тестов различных типов, предназначенных для отбора персонала; наиболее распространенными из них являют­ся тестирование когнитивных способностей, личностные опросники

80 ■ Глава 4. Оценочные стандарты для методов отбора персонала

и задания на выполнение образца работы. Хотя имеется возможность приобретения таких тестов у профессиональных разработчиков, иног­да может потребоваться создать тест для конкретной фирмы. Для раз­работки теста любого типа наиболее важно провести систематическую подготовку и соблюдать логически оправданную последовательность этапов. Ниже приводятся основные принципы создания теста, но при этом мы не ставили перед собой задачу дать исчерпывающую инфор­мацию, поскольку применяемые методики достаточно сложны и мно­гоаспектны. Все же описываемые.здесь основы помогают в определен­ной степени понять суть процесса создания тестов, благодаря чему те, кому предстоит сделать выбор между приобретением серийного теста и разработкой теста для своей фирмы, могут принять во внимание различные аспекты и иметь в своем распоряжении большую инфор­мацию поэтому вопросу. Заинтересовавшиеся читатели могут найти более подробные описания в работе Кронбаха н Глессера (Cronbach and Glesser, 1965).

Очень тщательно должны быть написаны и отобраны вопросы для любого теста, при этом существует полезное эмпирическое правило: необходимо, чтобы вопросы были как можно более простыми и по­нятными. Необходимо, чтобы использовались соответствующие це­левой аудитории выражения; кроме того, важно исключить лишние элементы или те пункты, которые содержат два вопроса и более, по­скольку они могут запугать респондентов и затруднить интерпрета­цию результатов. Существует хороший способ обеспечить выполне­ние вышеприведенных требований: проанализировать все вопросы теста один за другим, постоянно задавая себе вопрос, почему необхо­дим каждый имеющийся пункт. Например, если тест создастся для оценивания аналитических способностей бухгалтеров-стажеров, то имеет смысл определить, что имеется в виду под «аналитическими способностями». Возможно, под этим подразумевается только то, что в работе стажеру потребуется извлекать информацию из таблиц, гра­фиков или секторных диаграмм. Следовательно, для обеспечения со­держательной вадидности тест должен быть построен так, чтобы из­мерить способность кандидата извлекать сведения из таких таблиц и графиков, где определенная информация дастся приблизительно или даже отсутствует. Однако необходимо добиться того, чтобы каждый пункт теста отражал только те конструкты, которые необходимо из­мерить. Следует также попытаться отчетливо представить себе, как может оцениваться ответ на каждый вопрос, поскольку это будет

Создание тестов ■ 81

иметь определенное значение при выборе формата для подсчета бал­лов того или иного типа.

Существует большое число форматов для подсчета баллов, и вы­бор одного из них не менее важен, чем выбор самих контрольных эле­ментов, поскольку выбранный формат определяет принцип, по кото­рому кандидаты будут приняты или отсеяны. Существуют различные форматы, начиная от простых альтернативных ответов «да/нет» и за­канчивая биполярными шкалами, и у каждого из них имеются свои преимущества и недостатки. Альтернативные вопросы проще, чем вопросы с множественным выбором, но они имеют меньший селек­тивный потенциал, хотя есть возможность компенсировать это за счет увеличения длины геста. Вопросы с множественным выбором дают возможность высокой дифференциации кандидатов и часто применя­ются в когнитивных тестах, например тестах знаний или тестах на потенциальные способности. Вопросы с множественным выбором также обеспечивают точность начисления баллов, поскольку любой ответ может быть только правильным или неправильным. Основной их недостаток заключается в сложности подбора отвлекающих вари­антов (т. е. неверных ответов), похожих на правду и при этом доста­точно сложно различаемых по сравнению с правильным ответом. Если правильный ответ будет слишком очевиден, то селективные возмож­ности теста будут значительно снижены. Достаточно часто использу­ются биполярные шкалы; в этом случае от кандидата требуется ука­зать степень своего согласия или несогласия с утверждениями или характерист! i кам и.

После выбора вопросов теста и формата для подсчета баллов необ­ходимо составить из них тест в удобной для испытуемого форме, по­нятно сформулировать инструкции и привести пример ответа на во­прос, чтобы кандидаты полностью понимали, что от них требуется при выполнении этого теста. Очень часто на этой стадии разработки вопросов в тесте бывает больше, чем необходимо. Считается, что в окончательном варианте теста число вопросов сократится втрое. За­тем проводится предварительное испытание пробного варианта теста на достаточно большой выборке уже работающих в компании сотруд­ников для того, чтобы обеспечить простоту понимания вопросов.

Селективная ценность элементов теста выявляется с помощью корреляции балла по каждому отдельному пункту с общим баллом за весь тест или его раздел. Обычно сохраняются пункты, для кото­рых выявлена высокая корреляция, и исключаются те, у которых она

82 ■ Глава 4. Оценочные стандарты для методов отбора персонала

оказалась низкой (более подробно вопрос анализа пунктов теста рас­смотрен в работе Guilford and Frnchter, 1978). После того как пункты теста признаны пригодными, составляется окончательная его версия. В тестах знаний обычно сначала следуют легкие вопросы, а затем все более сложные. В тестах, выявляющих свойства личности или пози­цию по отношению к чему-либо, может оказаться полезным чередо­вать пункты, сформулированные с помощью положительных и отри­цательных выражений, чтобы исключить бездумные ответы.

На последнем этапе проводится тестирование большой репрезен­тативной выборки, позволяющее установить нормы выполнения те­ста, его надежность и валидность перед тем, как он будет применяться в качестве инструмента отбора. Кроме того, необходимо выявить спра­ведливость теста и исключить дискриминацию каких-либо групп на­селения, например по половому или расовому признаку.