Глава 4. оценочные стандарты для методов отбора

Благодаря созданию единого рынка в рамках Европейского Сообщества канадская компания по производству игрушек Greatplay Inc. решила основать новый завод в Великобритании, чтобы сохранить и увеличить свою долю на рынке. Во время строительства завода компания-учредитель попросила британских специалистов по персоналу определить качества, требуемые для различных управленческих должностей. В двух филиалах канадской компании, используя Job Analysis Checklist (Lewis, 1985), провели процедуры анализа управленческих должностей, чтобы разработать квалификационные требования к исполнителю и персональные характеристики, которыми должен был обладать кандидат. На основании этого анализа был сделан вывод: разным отделам и уровням компании требуются различные стили управления. Например производственные отделы нуждались в руководителях, способных поддерживать жесткий надзор и контроль, тогда как коммерческие отделы нуждались в менеджерах, обладающих хорошими коммуникационными навыками, — приверженцев подхода, основанного на невмешательстве. Аналогичным образом была открыта вакансия главного исполнительного директора, для которой требовались яркие лидерские качества, в то время как для вакансии второго лица был нужен жесткий администратор. На встрече с другими специалистами по персоналу обсудили различные доступные методы отбора и приняли решение — выбрать лучший метод для каждого уровня и функции. Этого достигли, определив четыре необходимых оценочных критерия, — практичность, интерпретируемость, достоверность и валидность — в дополнение к соотношению прибылей и затрат. Для всех управленческих должностей, за исключением главного исполнительного директора, надо было использовать различные психологические тесты, получение биографических данных и упражнение «Входящая корреспонденция». После этого претенденты с хорошим потенциалом должны были пройти интервью. Однако чтобы найти нового главного исполнительного директора, решили воспользоваться услугами рекрутинговой фирмы, специализирующейся на подборе персонала высшего и среднего звена.

Была разработана обширная анкета для биографических данных (см. Главу 9), чтобы облегчить проведение первоначального процесса отсеивания кандидатов, поскольку он зарекомендовал себя как достоверный и валидный инструмент прогноза будущего выполнения работы и текучести рабочей силы. После этого была выбрана батарея (набор) психологических тестов (см. Главу 9), способных определить подходящие кандидатуры для различных управленческих уровней. The Job Exercise (Stahl, 1983) был выбран за способность проводить различия между хорошо и плохо выполняющими работу менеджерами, а также за тендерную и расовую нейтральность. Кроме того, на его выполнение требуется всего 20 минут. Подобным образом был отобран вопросник личностных характеристик (the Management Potential Scale of the California Psychology Inventory) (Gough, 1984) за его способность отличать коммуникабельных, трудолюбивых, нацеленных на результат менеджеров от тех, кто бывает непостоянен, легко поддается переменам настроения и не верит в себя. Также было выбрано упражнение «Входящая корреспонденция» (см. Главу 8), используемое для оценки навыков кандидата к руководству, планированию и умению принимать решения. Анкета для биографических данных была использована в качестве базы для выявления неподходящих кандидатов. Пятьдесят потенциальных менеджеров были приглашены для участия в процессе отбора. Каждый кандидат выполнил группу тестов и упражнение «Входящая корреспонденция». После этого этапа двадцать кандидатов были исключены из процесса отбора. Оставшиеся тридцать посетили ряд структурированных интервью (см. Главу 7), проводимых пятью разными интервьюерами. Интервьюеры провели между собой проверки достоверности, с тем чтобы прийти к согласию в вопросе выбора кандидатов. Данные проверок показали 88 процентов, демонстрируя значительное совпадение точек зрения разных интервьюеров. Впоследствии двадцать пять кандидатов были приняты на работу. Год спустя последующие измерения выполнения работы управленческой командой доказали пользу применения разнообразных методов отбора. Производительность на этом заводе оказалась на 25 процентов выше производительности на подобных заводах в Канаде. Опросы также показали, что персонал на этом заводе обладал более высокой мотивацией и был удовлетворен работой. Дальнейшие оценки, проводимые каждые два года и каждые пять лет, показали, что год за годом производительность росла на 15 процентов и компания увеличила свою долю на рынке на 3 процента.

В приведенном выше примере потребности компании Greatplay Inc. были удовлетворены, так как специалисты по персоналу сумели определить подходящие методы отбору руководствуясь четырьмя оценочными критериями. Таким образом, они смогли сосредоточиться исключительно на способностях кандидатов выполнять работу и на их личных характеристиках, необходимых для выполнения работы. Последующие измерения выполнения работы отобранных кандидатов показали, что этот вдумчивый подход оказался весьма полезен компании, поскольку и производительность, и доля компании на рынке росли с каждым годом. Стремясь к этим целям, компания выбрала самые подходящие методы отбора для каждой должности, и эти методы оказались достоверными, чтобы проводить различия между кандидатами, и к тому же точно прогнозировали их будущее выполнение работы.

Чтобы выбрать самые подходящие из разнообразных методов отбора или тестов, надо заранее определить требования к процедуре отбора. Это позволит обеспечить отбор лучших кандидатур (см. Главу 5). На практике независимо от того, какие реальные методы были выбраны, систематический отбор требует, чтобы они соответствовали определенным критериям, в частности достоверности, валидности, интерпретируемости и практичности. Заметим, что поскольку эти критерии применимы к любой измерительной системе, то методы, используемые для оценки будущего выполнения работы кандидатов, также должны обладать этими качествами, иначе определять валидность процедуры отбора абсолютно бессмысленно.

Достоверность

Очевидно: если специалисты по персоналу должны довериться результатам процедуры отбора, то им важно иметь достоверные инструменты измерения. Устойчивость результатов измерения — фундаментальное понятие. Именно устойчивость результатов измерения составляет основу достоверности — очень важного критерия оценки любого метода отбора. Если тест или метод отбора недостоверны, то тот, кто производит отбор, может с тем же успехом тянуть бумажки с именами кандидатов из шляпы или гадать на кофейной гуще. В принципе достоверность любой системы измерения может быть установлена путем повторяющихся измерений одного и того же объекта в одних и тех же условиях. Это происходит потому, что средний показатель, базирующийся на 100 повторениях, более устойчив, чем любой одиночный показатель, в силу того, что «необычные» обстоятельства, которые могут повлиять на выполнение (например невыполненные заказы за отчетный период, уравновешиваются; а также случайные вариации показателей из-за вводящих в заблуждение или неудачных вопросов теста будут выровнены. В сущности, чем больше согласуются результаты, тем выше достоверность данной системы измерения.

Например предположим, что компания Greatplay Inc. протестировала два метода набора персонала (до начала их использования в процедуре отбора), проведя собеседования с сотней человек. Первый метод включал стандартизированное интервью с одинаковыми вопросами, задаваемыми в одном и том же порядке каждому претенденту; второй метод представлял собой традиционное неструктурированное интервью, позволяющее интервьюерам задавать любые подходящие, по их мнению, вопросы. Предположим, что консенсус интервьюеров по вопросу выбора кандидатов составил 95 процентов для структурированных интервью и 37 процентов для неструктурированных интервью. Очевидно, это указывало на то, что структурированные интервью более достоверны, поскольку они устойчиво приводят к более высоким уровням согласия между лицами, производящими отбор.

Типы достоверности

Поскольку в большинстве случаев оценка достоверности метода отбора путем многочисленных повторений представляется непрактичной и дорогостоящей, часто требуется Другая стратегия. Например еще до использования в качестве инструмента отбора упражнений «Входящая корреспонденция» компания Greatplay Inc. могла бы попытаться определить их достоверность, испытав эти упражения для одних и тех же групп существующих работников — с двумя раз-очными поводами для обсуждения. Если бы представители компании сделали это, они бы смогли оценить достоверность метода, соотнеся друг с другом два набора показателей. Поскольку достоверное средство измерения должно производить два очень близких по значению показателя для каждого человека, результирующая корреляция используется в качестве индекса стабильности. Чем выше корреляции, тем лучше соответствие между каждым набором показателей претендентов и, следовательно, тем достовернее метод. Стратегия, описанная для оценки достоверности упражнения «Входящая корреспонденция», показывает устойчивость результатов повторного тестирования; ее главная цель — установление стабильности средства измерения по прошествии длительного времени (см. Куретон (Cureton), 1971). В сущности, она включает: получение набора показателей претендента для отдельного метода; ожидание, пока пройдет определенный промежуток времени; и затем проведение того же теста для тех же исполнителей. Главный недостаток этого подхода заключается в том, что претенденты могут извлечь уроки из первого теста и улучшить свои показатели при повторном тестировании, что в итоге может снизить коэффициент достоверности. Можно сделать вывод, что временной интервал между выполнениями задания (применениями инструмента измерения) очень важен. В общем, чем короче период времени, тем вероятнее, что эффект извлечения уроков из первого теста сыграет свою роль. В равной степени, если временной интервал слишком велик, другие факторы (например опыт) могут повлиять на результат, что снова может понизить достоверность средства измерения. Трудно предложить оптимальный интервал времени для повторного тестирования, но обычно оно проводится спустя некоторое время — от одного до трех месяцев.

Если есть два разных варианта одного и того же теста или процедуры отбора, коэффициент достоверности может быть оценен путем корреляции показателей обоих вариантов. Этот тип достоверности называется «достоверность параллельных форм», но он считается непрактичным для большинства целей из-за дорогостоящего, отнимающего много времени процесса, необходимого для разработки двух отдельных форм средства измерения. Поэтому метод параллельных форм обычно используется, когда два варианта теста уже существуют по другой причине. Оба варианта должны быть сбалансированы друг с другом в показателях границ действия, трудности, качества содержания и т.д. В противном случае полученный коэффициент достоверности будет просто отражать менее удовлетворительный вариант, маскируя тем самым надлежащую достоверность лучшего варианта. Это может вести к тому, что обе варианта будут исключены их процедуры отбора, даже если лучший вариант отличается высокой степенью достоверности. Также проблемы могут появляться в процессе применения этих двух средств измерений. Если претенденты не выполняют задания обоих вариантов одинаково (в состоянии повышенного внимания и долгих размышлений над обоими вариантами), достоверность, скорей всего, будет преуменьшена. Аналогично, если у претендентов во время выполнения обоих вариантов разное настроение, оценка достоверности может оказаться завышенной.

Чаще используемый метод, основанный на логике параллельных форм — метод внутренней последовательности. Вместо разработки двух параллельных форм одного теста один тест делится на две части (например нечетные и четные числа). Затем показатели двух частей коррелируют один с другом. Главное преимущество этой формы достоверности заключается в ее удобстве, приводящем к более низкими суммарным затратам. Тем не менее важно осознавать, что у этой формы достоверности могут быть некоторые ограничения. Простое разделение количества статей пополам в любой данной шкале приводит к снижению оценок достоверности, потому что короткие шкалы менее Достоверны, чем длинные. Это недооценка может быть исп-Равлена с помощью формулы Спирмана — Брауна Spearman—Brown) (см. Смит и Робертсон (Smith and Robertson), 1993a). Однако на практике использование компьютерных программ типа SPSS (Statistical Package for the Social Sciences) устраняет потребность в использовании формулы, потому что оценки достоверности могут быть получены из методики, которая задействует все пункты в тесте. Самые распространенные индексы внутренней устойчивости — индекс Альфа Кронбаха (Cronbach's Alpha) (1951), используемый, когда статьи теста подсчитываются в форме шкалы оценок, и индекс Кюдера — Ричардсона (Kuder— Richardson) (1937), используемый, когда подсчет идет на основе ответов да / нет. На самом деле средние значения всех возможных разделенных пополам показателей достоверности подсчитываются и тем и другим методами, хотя конечный результат представляет собой небольшое преувеличение общей достоверности средства измерения (приблизительно 3 процента). Из всех различных методов оценки достоверности теста чаще всего издатели тестов останавливают свой выбор на методе внутренней последовательности, используя индекс Альфа Кронбаха или индекс Кюдера — Ричардсона. Другой важной формой достоверности, проиллюстрированной на примере компанией Greatplay, является достоверность оценщиков, используемая для определения уровня согласия между оценщиками. В основном она используется для интервью или других методов отбора, полагающихся на суждения лиц проводящих отбор. Как правило, оценщики обучены пользоваться точно выраженной системой количественных показателей. Два оценщика подсчитывают небольшую репрезентативную выборку результатов. Любые расхождения обсуждаются до тех пор, пока оба не придут к согласию по поводу того, как подсчитывать отдельные аспекты. Затем оба оценщика независимо друг от друга подсчитывают полную выборку претендентов. Показатели, полученные одним оценщиком, затем сопоставляют с показателями другого. Желательным считается коэффициент достоверности среди оценщиков свыше 0,8; так как показывает 80 процентов совпадений между показателями оценщиков. Меньший коэффициент свидетельствует о проблемах. Очевидно, чем ниже коэффициент достоверности, тем большие проблемы это означает. Скорее всего, несмотря на первоначальное соглашение о способах оценки отдельных аспектов качеств кандидата, разные оценщики строят свои суждения на немного отличающихся критериях. Например один может больше уделять внимания образованию кандидата, а другие — опыту работы. С другой стороны, один оценщик может быть более снисходительным в оценке претендентов, чем другие. Следовательно, очень важно выявить ту характеристику оценки, которая снижает коэффициент достоверности, и решить появившиеся проблемы. В случае использования недостоверных средств измерения могут быть сделаны дорогостоящие ошибки.

Валидность

В равной степени очень важным является понятие валидности, представляющей собой точность измерения. Чтобы быть точной, любая измерительная система должна измерять именно то, для чего она предназначена. Если измерительная система обладает высокой степенью достоверности, но не обеспечивает получения точных результатов, ее валидность считается низкой, и, несмотря на высокую достоверность, у нее плохое качество измерений. Валидность теста — исключительно важный оценочный критерий. Прежде чем применять на практике определенный тест, тот, кто занимается отбором, должен удостовериться в валидности этого теста, — проведя точные измерения его неотъемлемого признака (или признаков). Это очень ответственный момент, так как прогноз будущего поведения кандидата на работе базируется на результатах таких тестов. Например рассмотрим использование в процессе отбора полиграфа (детектора лжи) для проверки честности кандидатов. В 1986 году был проведен эксперимент: исследователи подвергли тестам на детекторе лжи 1000 человек. 500 из них должны были говорить правду, а 500 — лгать. Полиграф показал, что 185 человек из группы говорящих правду лгали, а 120 человек из группы «лжецов» говорили правду. Эти результаты показывают, что валидность полиграфа как средства измерения честности не является безупречной. Детектор лжи может быть абсолютно достоверным и показывать одинаковые результаты каждый раз при выполнении теста одним и тем же человеком. Но он не является валидным, потому что дает неправильные результаты и не измеряет честность с безукоризненной точностью.

Строго говоря, признание правильности — валидность — относится скорее к интерпретации показателей, полученных в результате какого-либо теста или метода отбора, чем к интерпретации самих тестов или процедур отбора. Это центральная проблема, поскольку тест может быть валидным при измерении чего-либо одного и не быть валидным при измерении другого. Например разработчики отборочных тестов для программистов-стажеров обычно стараются оценить математические способности тестируемых, чтобы предсказать, как они будут справляться со своей будущей работой. Однако поскольку современное программирование требует прежде всего более высоких уровней способностей к словесно-логическому мышлению, а уже потом математических способностей (Пенней и Лаза-рини (Penney and Lazzarini), 1979), такие тесты несостоятельны для отбора компьютерных программистов. Тем не менее они могут быть валидными при оценке кандидатов, претендующих на вакансии, для которых математические способности важны. Следовательно, валидность осуществима только в тесной связи с целями, ради которых применялся тест.

Самыми известными дефинициями валидности являются: содержательная достоверность, конструктивная достоверность и достоверность, связанная с критерием. Каждая из них — сама по себе оценочный критерий. Нужно признать, что тест или метод отбора должен обладать всеми тремя типами валидности. Содержательную достоверность часто разделяют на два отдельных аспекта: внешнюю достоверность и собственно содержательную достоверность. Внешняя достоверность — это восприятие самих кандидатов, насколько правильно проводятся измерения при тестировании. Сама по себе внешняя достоверность в действительности вообще не является типом валидности. Некоторые исследователи утверждают, что внешняя валидность неважна (см. Мозьер (Mosier), 1947, полное освещение дискуссии), но на самом деле она имеет очень большое практическое значение, поскольку часто становится причиной, по которой или компания или кандидаты отбраковывают тест. Предполагается, что, несмотря на низкую валидность специальных интервью, они широко применяются именно из-за внешней достоверности. Содержательная достоверность как таковая решает проблему отбора образцов, имеющих отношение к процессу измерения. Содержание любого измерения может быть визуализировано в виде выборки вопросов, заданий или типов поведения, отражающих измеряемую структуру. Обеспечение содержательной достоверности — двухфазовый процесс. Первая фаза фокусируется на вопросе, отражает ли метод отбора все известные характеристики рассматриваемой работы (например навык межличностных отношений, экстраверсия). Обычно этого достигают, сравнивая измеряющий инструмент и квалификационные требования и требования к персоналу, разработанные на основе анализа содержания работы. Вторая фаза оценивает, насколько точно все задачи измеряющего инструмента отражают отличительные черты того, что измеряется. Например, если тест предназначен для измерения общих математических способностей, но не включает заданий по сложению или вычитанию, его содержательная Достоверность будет низкой. Но если этот же тест разрабатывался только для измерения способностей кандидата к умножению и делению, достоверность его содержания может быть высокой.

Потенциально конструктивная достоверность является самым полезным типом валидности, но в то же время она, как правило, — самый неопределенный и сложный из всех типов валидности. Кронбах и Мил (Cronbach and Meehl) (1955) определяют конструкцию — или обобщенный мысленный образ — как «некий постулированный атрибут человека, предположительно отражаемый в выполнении теста». Как таковой, этот тип валидности пытается ответить на вопрос: «В чем состоит психологический смысл этих показателей, и как эти показатели соотносятся с другими измерениями?» Следовательно, конструктивная достоверность имеет дело со степенью соответствия предполагаемого образа и реальности. Возьмем, к примеру Job Choice Exercise, разработанный Майклом Сталом (Michael Stahl) в 1983 году и примененный компанией Greatplay Inc. для выявления признаков управленческой мотивации. Управленческая мотивация не является некоей физической сущностью, это просто ярлык, применяемый для описания интенсивности и направленности поведения, состоящий из двух образов: Потребности Власти (NPow) — описательного названия, отражающего потребность влиять на других, и Потребности Успеха (NAch) — описательного названия, отражающего потребность ставить цели и достигать их. Чтобы определить конструктивную достоверность, Стал проверил гипотезу, что человек, обладающий высокой управленческой мотивацией, получит высокие показатели на шкалах NPow и NAch, и наоборот, показатели человека с низкой управленческой мотивацией будут низкими. Он измерил показатели 1417 респондентов разных профессий — и «синих воротничков», и управленческого персонала, — работающих в различных областях. Он обнаружил, что те, кто получили высокие показатели на шкалах NPow и NAch, имели более высокий темп продвижения по службе, чем те, чьи показатели были низкими. Обладатели высоких показателей в большей степени оказывались лидерами, чем обладатели низких показателей; среди первых оказалось больше менеджеров, чем среди вторых. На основании этих результатов мы можем сделать вывод, что образ управленческого поведения обладает значительной степенью доверия. Следовательно, Стал в сущности испытывал конструктивную достоверность идеи, скрывающейся за тестом, а не сам тест. Однако, как и в этом случае, часто довольно трудно разделить свидетельства валидности, обеспечиваемые этим подходом, от свидетельств достоверности, связанной с критерием. Более рельефный метод установления конструктивной достоверности вновь разработанного теста заключается в корреляции показателей нового теста с показателями заслуживающего доверия теста, точно отражающего данный образ. Например конструктивная достоверность теста на экстраверсию может быть установлена путем корреляции нового измерения экстраверсии с признанным тестом на экстраверсию. Конструктивная достоверность измерения также может быть определена статистическими методами, такими как исследовательский и подтверждающий факторный анализ, с помощью компьютерных программ. Но эти методики выходят за рамки исследования нашей книги; интересующийся этими вопросами читатель может обратиться к работам Джорескога и Сорбома (Joreskog and Sorbom) (1988), Бентлера (Bentler) (1989) или Фергюсона и Кокса (Ferguson and Cox) (1993).

Осведомленность о конструктивной достоверности теста может также помочь в оценке применимой достоверности, связанной с критерием. Как было продемонстрировано на примере компании Greatplay Inc., достоверность, связанная с критерием, касается отношений между применяемым тестом и выполнением работы по какому-то критерию (например выполнением производственных заданий). Прогнозирующая достоверность показывает, насколько сильно определенный тест связан с последующим выполнением работы. Но определение прогнозирующей достоверности нового теста может включать определенную долю риска и стоить довольно дорого. Предположим, компания Greatplay Inc. разработала новый тест определения управленческой Мотивации и наняла работников, основываясь на результатах теста; а некоторое время спустя представители компании решили оценить, как выполнил работу каждый из приятых работников, и соотнести полученные показатели с первоначальными результатами. Предположим, они получили низкую корреляцию. Так как соответствие между первоначальным тестом и показателями выполнения работы служат признаком прогнозирующей достоверности теста, Greatplay Inc. обнаружит, что наняла много неподходящих кандидатов. В этом и заключается риск, на который многие компании не хотят идти из-за высоких издержек. Практический способ преодоления этой проблемы заключается в том, чтобы предложить всем кандидатам новый тест, но при этом выбрать кандидатов на основании других, укоренившихся методов. Через некоторое время нужно сравнить показатели выполнения работы успешными кандидатами с их же показателями, полученными при выполнении нового теста. Если корреляция окажется высокой, показав, что новый тест обладает высокой прогнозирующей достоверностью, этот тест можно использовать в последующих процедурах отбора. Естественно, итоговый коэффициент валидности повлияет не только на точность нового теста, но и на средства измерения выполнения работы. Это очень важно, поскольку часто большие усилия направлены на то, чтобы сделать новый тест точным, а средства измерения выполнения работы почти совершенно игнорируются.

Еще одна процедура оценки достоверности, связанной с критерием, — установление согласующейся достоверности. Это способ предусматривает применение методов отбора к существующим работникам и измерение их текущего выполнения работы. Затем эти два показателя сверяются друг с другом. Преимущества этого метода заключаются в быстроте установления валидности измерения и в меньших затратах. Однако у этого метода есть свои недостатки: во-первых, реальные работники обладают более низкой мотивацией, чем потенциальные, и поэтому могут отвечать некорректно, что может привести к неверной оценке коэффициента валидности; во-вторых, реальные работники, скорее всего, хорошо выполняют свою работу, иначе они перешли бы на другую или покинули бы компанию. Это означает, что, возможно, диапазон полученных показателей теста будет ограничен, что почти всегда имеет результатом более низкий коэффициент валидности, чем он есть на самом деле. Эта проблема может быть решена при помощи математических формул (см. Смит и Робертсон, 1993а). Особый тип согласующейся достоверности, способный преодолеть эти затруднения, — методика номинированных групп, базирующаяся на использовании двух групп людей с различающимися характеристиками, подлежащими измерению. Например это группа добросовестных работников со стажем, обладающих хорошими показателями выходов на работу, и группа молодых работников. Разработанный тест на добросовестность можно испытать на этих группах. Измерение будет эффективным, если результаты покажут четкое различие показателей этих групп, с более высокими показателями в группе старших работников. Если между показателями обеих групп вообще не будет никакой разницы, измерение нельзя признать достоверными.

Интрепретируемость

Разработка достоверного и эффективного метода еще не гарантирует, что хороших кандидатов можно будет легко отличать от плохих. Чтобы это произошло, кандидаты должны быть ранжированы каким-то образом. Так как ранжирование обычно происходит на основании показателей теста, то особенно важно, чтобы показатели кандидатов отражали их способности. Например, если отборочное собеседование при приеме на работу или тест на способности были такими легкими, что их прошли все кандидаты, или, наоборот, такими трудными, что никто не смог их выполнить, тот, кто производит отбор, «за деревьями не увидит леса». Следовательно, важным критерием качества метода отбора является степень, насколько точно показатели теста отражают способности кандидата, — которая позволяет проводить различия между кандидатами. Чем выше эта степень, тем лучше будет качество теста, его интерпретируемость и полезность.

Интерпретация показателей теста кандидата обычно проводится одним из следующих способов: при помощи системы на базе критерия или при помощи системы количественных показателей на базе стандарта. В первой системе показатели кандидата сравниваются с определенными критериями с целью обозначить абсолютный уровень выполнения: «выполнено» или «не выполнено». Примером может послужить тест на скорость (40 слов в минуту) и точность (без ошибок) печати. При применении системы количественных показателей на базе стандарта показатели теста кандидата сравниваются с показателями других кандидатов, существующих работников или некоей более широкой выборки людей. Выбор системы количественных показателей в основном определяется квалификационными требованиями к исполнителю и персональными характеристиками, требуемыми от кандидата, разработанными на основе анализа содержания работы.