Главная страница Статьи LogiPass

Валидность и полезность методов сортировки в психологии человеческих ресурсов

Краткое содержание статьи: Валидность и полезность методов отбора в психологии персонала: Практические и теоретические последствия 85 лет исследований/Шмидт и Хантер

Валидность и полезность методов отбора в психологии персонала: Практические и теоретические последствия 85 лет исследований
Шмидт и Хантер, Психологический бюллетень (1998)

Аннотация

В статье обобщаются практические и теоретические выводы 85 лет исследований в области подбора персонала. На основе мета-аналитических данных в статье представлена прогностическая валидность 19 психометрических и других методов отбора для оценки производительности кандидатов на работе и в обучении, а также комбинированная валидность GMA (Общая умственная способность) с каждым из остальных 18 методов.

Три комбинации с наивысшей валидностью, и, следовательно, с наибольшей ценностью для прогнозирования производительности на работе, это:

(1) GMA с тестами рабочих образцов (средняя валидность 0.63)

(2) GMA с тестом на честность (средняя валидность 0.65)

(3) GMA со структурированным интервью (средняя валидность 0.63)

Дополнительным преимуществом последних двух комбинаций является то, что они могут использоваться для отбора как опытных работников, так и работников без опыта.

В статье обсуждается значение этих выводов, как с практической точки зрения, так и для разработки теорий прогнозирования производительности труда.

Введение

Самое важное в отборе персонала для работы: прогностическая валидность.

Было установлено, что использование методов с хорошей прогностической валидностью приводит к повышению производительности сотрудников и повышению уровня обучения навыкам, связанным с работой.

Известным выводом из 85 лет исследований в этой области является: когда нет предыдущего опыта в аналогичном виде работы, лучшим предиктором успеха являются когнитивные способности GMA (Общая умственная способность), обычно проверяемые в рамках психометрического теста. Однако существуют дополнительные методы с хорошей прогностической валидностью.

В данной статье рассматриваются 19 методов отбора персонала. В ней представлены выводы, собранные за 85 лет об эффективности этих методов. Также рассматривается эффективность различных комбинаций этих методов.

Факторы, определяющие практическую ценность (полезность) инструмента
Прогностическая валидность: Как упоминалось, было установлено, что использование методов с хорошей прогностической валидностью приводит к повышению производительности сотрудников и повышению уровня обучения навыкам, связанным с работой.
Вариативность в производительности труда: Если бы вариативность производительности была нулевой, это означало бы, что все сотрудники, нанятые на работу, имели бы одинаковый уровень производительности. В таком случае полезность инструмента отбора была бы нулевой: не имело бы значения, кого нанимают, так как производительность была бы одинаковой.

Факторы, определяющие практическую ценность (полезность) инструмента

Прогностическая валидность: Как упоминалось, было установлено, что использование методов с хорошей прогностической валидностью приводит к повышению производительности сотрудников и повышению уровня обучения навыкам, связанным с работой.

Вариативность в производительности труда: Если бы вариативность производительности была нулевой, это означало бы, что все сотрудники, нанятые на работу, имели бы одинаковый уровень производительности. В таком случае полезность инструмента отбора была бы нулевой: не имело бы значения, кого нанимают, так как производительность была бы одинаковой.

Если вариативность производительности очень велика, процесс отбора имеет большое значение, и необходимо выбирать лучших кандидатов. В таком случае инструмент отбора должен быть эффективным с точки зрения сортировки. Этот случай (а не первый) обычно характеризует реальность.

Вариативность пула кандидатов- Вариативность пула кандидатов - это вариативность, которая определяет практическую ценность (полезность) инструмента, который мы выбираем для отбора. Это потому, что мы выбираем сотрудников из пула кандидатов, а не из пула сотрудников, которые уже находятся на должности.

Вариативность производительности труда можно измерить двумя методами:

а. Долларовая стоимость- Было установлено, что стандартное отклонение долларовой стоимости составляет не менее 40% от средней заработной платы. То есть, если средняя заработная плата на определенной должности составляет 40 000 долларов, то долларовое стандартное отклонение составляет 16 000 долларов. Используя эту шкалу, можно измерить, где сотрудники расположены на нормальной кривой по своей заработной плате. Это служит показателем вариативности производительности.

б. Дополнительный показатель вариативности производительности. Стандартное отклонение в этом показателе рассчитывается следующим образом: выработка конкретного сотрудника делится на выработку сотрудников на 50-м процентиле, а затем соотношение умножается на 100. Исследования показали, что для каждого уровня профессий существует разное стандартное отклонение: для неквалифицированных или полуквалифицированных работ СО составляет 19%. Для работ, требующих квалификации - 32%. Для управленческих и профессиональных должностей - 48%.

Коэффициент отбора (selection ratio)-Пропорция кандидатов, которые нанимаются на работу. Коэффициент отбора обычно колеблется между 0.30-0.70.

В статье представлены 3 формулы для расчета практической ценности инструмента для каждого сотрудника, за один год работы, на основе трех параметров, представленных выше - валидность, вариативность в производительности, коэффициент отбора.

Валидность инструментов отбора: Обзор и резюме результатов 85 лет исследований.

Исследования валидности психотехнических инструментов отбора начались еще в 20-х годах. Различные исследования одного и того же инструмента дали разные результаты относительно его валидности, даже для одной и той же должности. В результате возникло убеждение, что разные результаты отражают реальное положение дел, и что разные результаты являются продуктом разных условий (даже если это идентичный инструмент для идентичной роли). Эта теория была названа "теорией ситуационной специфичности". Эта теория доминировала до 70-х годов, когда было обнаружено, что различные полученные результаты были обусловлены статистическими ошибками и особенно использованием малых выборок. Для исправления результатов исследований были проведены мета-анализы, объединившие различные выборки вместе. Эти исследования полностью опровергли теорию ситуационной специфичности и показали, что нет вариативности в валидности конкретного инструмента для конкретной роли в разных ситуациях, и более того - почти нет вариативности в валидности конкретного инструмента для разных ролей.

Прогностическая валидность для успеха в работе:

В статье в таблице обобщены валидности, найденные для 19 психотехнических инструментов отбора в мета-анализах, охватывающих 85 лет исследований.

Название инструмента	Название на английском	Прогностическая валидность
Тесты способностей	GMA tests	0.51
Рабочие симуляции	Work Sample Tests	0.54
Тесты честности	Integrity Tests	0.41
Тесты добросовестности	Conscientiousness Tests	0.31
Структурированные интервью		0.51
Неструктурированные интервью		0.38
Профессиональные тесты	Job Knowledge Tests	0.48
Процедуры испытательного срока	Job Tryout Procedures	0.44
Оценки коллег	Peer Ratings	0.49
	T & E Behavioural Consistency Method	0.45
Рекомендации		0.26
Годы опыта в профессии		0.18
Биографический материал		0.35
Центры оценки		0.37
	T & E Point Method	0.11
Годы образования		0.10
Профессиональные склонности		0.10
Графология		0.02
Возраст		-0.01

GMA был признан оптимальным инструментом для отбора сотрудников на различные должности. Его прогностическая валидность высока, его стоимость относительно низка по сравнению с другими инструментами, и он также подходит для кандидатов, не имеющих знаний или опыта работы в данной должности. Теоретическая база относительно интеллекта является наиболее широкой и обоснованной, и поэтому при измерении интеллекта в рамках психотехнического теста яснее, что измеряется, чем при проведении интервью или при опоре на тесты честности. Тест на образец работы немного более валиден, но не подходит для кандидатов без знаний и опыта, и его стоимость высока (его нужно адаптировать к каждой должности уникальным образом). Структурированное интервью также было признано инструментом с высокой прогностической валидностью, но иногда в рамках такого интервью также проверяются профессиональные знания, и поэтому оно не подходит для тех, кто не имеет знаний и опыта. Кроме того, его стоимость высока по сравнению с тестами GMA.

Прогностическая валидность для успеха в обучении:

GMA также был признан наиболее эффективным предиктором обучения на рабочем месте. (Приобретение информации на должности и обучение по программам подготовки).

Ниже приведена дополнительная таблица, представляющая валидность различных инструментов в прогнозировании эффективности в программах обучения, то есть прогнозирование способности к обучению, связанному с работой:

Название инструмента	Валидность
Тесты GMA	0.56
Тесты честности	0.38
Интервью (структурированное и неструктурированное)	0.30
Оценки коллег	0.36
Рекомендации	0.23
Годы опыта в профессии	0.01
Биографический материал	0.30
Годы образования	0.20
Профессиональные склонности	0.18

Дополнительная валидность для прогнозирования успеха в работе:

Благодаря особому статусу тестов GMA, их можно рассматривать как центральный инструмент отбора. Остальные 18 инструментов являются дополнительными инструментами к GMA.

При сочетании нескольких психотехнических инструментов отбора следует задать следующий вопрос: в какой степени каждый дополнительный инструмент отбора (кроме GMA) улучшит прогностическую валидность сверх прогноза 0.51, который обеспечивают тесты GMA? Степень улучшения прогностической валидности и эффективности отбора, полученная при добавлении инструментов к GMA, зависит не только от валидности дополнительных инструментов, но и от корреляции между GMA и дополнительными инструментами. Чем меньше корреляция между ними, тем больше общая прогностическая валидность отбора.

Название инструмента	Добавленная ценность[1]
Рабочие симуляции	0.12
Тесты честности	0.14
Тесты добросовестности	0.09
Структурированные интервью	0.12
Неструктурированные интервью	0.04
Профессиональные тесты	0.07
Процедуры испытательного срока	0.07
Оценки коллег	0.07
T & E Behavioural Consistency Method	0.07
Рекомендации	0.06
Годы опыта в профессии	0.03
Биографический материал	0.01
Центры оценки	0.02
T & E Point Method	0.01
Годы образования	0.01
Профессиональные склонности	0.01
Графология	0.00
Возраст	0.00

Тесты рабочих симуляций

Это активные задания, имитирующие задачи, которые будут требоваться от кандидата на должности. При сочетании этих симуляций с GMA обнаруживается, что симуляции добавляют 0.12 к прогностической валидности. Это означает, что прогностическая валидность двух инструментов вместе составляет 0.63.

Тесты честности

Используются для снижения таких поведений, как употребление алкоголя, наркотиков, кража, растрата на рабочем месте. Тесты предсказывают эти поведения, но также являются предиктором с высокой валидностью для общей эффективности в должности. Хотя их валидность ниже, чем у рабочих симуляций, их вклад в улучшение валидности при добавлении к GMA выше, чем у симуляций: 0.14. Причина этого: корреляция между тестами честности и тестами GMA равна нулю. Тесты честности имеют наибольшее дополнение к валидности при сочетании с GMA.

Интервью

Структурированное интервью - Существует единый формат вопросов, разработанный после анализа работы. Их валидность намного выше, но и стоимость их дороже (из-за формулирования вопросов на основе анализа работы). Улучшение валидности структурированных интервью (при добавлении к GMA) составляет 0.12. Общая валидность двух вместе: 0.63. Эта комбинация имеет высокую валидность и разумную стоимость и поэтому рекомендуется при отборе.

Неструктурированное интервью - Нет единого формата, нет единого процесса оценки. Дается общая оценка на основе впечатления интервьюера.

Тесты профессиональных знаний (job knowledge tests)

Эти тесты актуальны только для кандидатов со знаниями в требуемой области. Организация обычно сама строит тесты, которые проверяют способности для должности. Это более дорогой и длительный процесс, чем создание структурированного интервью. Их добавленная валидность составляет 0.07.

Испытательные сроки (job tryouts)

В этом методе кандидатов принимают на испытательный срок от 6 до 8 месяцев, после чего руководители оценивают эффективность кандидатов относительно заранее определенного уровня эффективности.

У метода есть несколько серьезных проблем:

Занятость в течение длительного периода очень дорогостоящая. Кроме того, плохие работники вызывают значительные финансовые потери в течение этого времени.
Руководители формируют личные отношения с кандидатами в течение испытательного срока, что смещает их отчеты.
Усилия излишни, так как плохой работник все равно имеет тенденцию выбывать с работы в течение такого длительного периода занятости.

Нет информации о валидности метода в прогнозировании эффективности обучения.

Оценки коллег

В этом методе коллеги оценивают потенциал или эффективность работника. Заметным ограничением этого метода является то, что его можно применять только к кандидатам, которые имеют доступ к своим коллегам по работе, то есть к кандидатам из внутри организации. По-видимому, у метода есть два дополнительных недостатка - суждение коллег может быть под влиянием дружбы с кандидатом и его популярности, или тайных соглашений ("ты мне, я тебе"). Однако эти опасения не подтверждаются исследованиями.

Метод поведенческой согласованности T & E (T & E Behavioural Consistency Method)

Этот метод основывается на установленном психологическом принципе, что прошлая эффективность является лучшим предиктором будущей эффективности. В качестве первого шага при создании тестов по этому методу необходимо определить, какие измерения достижений отличают тех, у кого отличная эффективность в должности, от тех, у кого низкая эффективность (например, способность заставить людей выполнять задачу). Эта информация получается от опытных руководителей очень структурированным образом. В качестве второго шага подготавливаются шкалы оценки для оценки конкретных достижений в определенных измерениях. При проведении тестов по этому методу кандидатов просят описать свои прошлые достижения в определенных измерениях, и экзаменатор дает этим достижениям оценки в соответствии с заранее подготовленными шкалами. Достижения кандидатов могут быть получены из работы на схожих должностях, но также из деятельности в сообществе, университете и так далее.

Стоимость создания тестов по этому методу во времени и деньгах почти равна стоимости создания тестов на профессиональные знания, и проверка результатов тестов также не проста. Поэтому инвестиции могут быть оправданы в основном при поиске кандидатов на должность высокого уровня. Нет информации о валидности метода в прогнозировании эффективности обучения.

Проверка рекомендаций (reference checks)

В этом методе связываются с предыдущими работодателями кандидата, чтобы получить информацию о его эффективности работы, честности и так далее. Релевантность результатов существующих исследований по этой теме сомнительна. Это потому, что готовность работодателей США предоставлять детали о бывших сотрудниках находится в процессе изменения в последние десятилетия. В 70-х и 80-х годах несколько работодателей пострадали от исков бывших сотрудников и поэтому перестали предоставлять информацию о бывших сотрудниках. Однако в 90-х годах во многих штатах США были приняты законы для защиты работодателей в этой области, и работодатели могут вернуться к предоставлению информации. Если это произойдет, валидность этого метода может увеличиться.

Опыт работы

В этом методе измеряется количество лет опыта работы на идентичной или подобной должности, без учета результатов работы сотрудника на предыдущих должностях. Исследования показали, что количество лет является успешным предиктором только для опыта до 5 лет. По-видимому, большая часть профессиональных знаний накапливается в течение первых 5 лет. Из этого также следует, что горизонт прогнозирования составляет максимум 5 лет. Это по сравнению с GMA, который прогнозирует без ограничения по времени. Что касается прогнозирования результатов обучения - предыдущий опыт не помогает, но и не вредит этим результатам.

Биографические данные (biographical data measures)

В этом методе кандидату предлагается ответить на вопросы о своем жизненном опыте в целом, не обязательно на работе - например, о своих занятиях спортом. Для разработки таких тестов выбираются вопросы, которые должны измерять навыки, релевантные для должности. Трудно хорошо составить такие тесты, поскольку оценка навыков здесь не является прямой, и следует остерегаться скрытых предположений. Тем не менее, этим методом относительно легко пользоваться. Этот метод имеет определенную ценность, однако из-за высокой корреляции с GMA, он не имеет высокой добавленной стоимости.

Центры оценки

В этом методе кандидаты проводят период от одного дня до нескольких дней в определенном месте. В это время они проводят групповые обсуждения, участвуют в бизнес-играх, проходят тесты на личность и психотехнические навыки, и обычно проходят структурированные глубинные интервью. В среднем центр оценки включает 7 задач и длится два дня. Как и в случае с биографическими данными, результаты здесь хорошие, но из-за высокой корреляции с GMA, они не имеют высокой добавленной стоимости. Также нет информации об использовании центров оценки в качестве предиктора результатов в обучении.

Тем не менее, организации утверждают, что они получают различные сведения о кандидате из центров оценки. Кроме того, когда речь идет об уровнях управления, центры оценки в некоторой степени предсказывают продвижение сотрудника в иерархии и уровень заработной платы.

Метод баллов T&E для оценки предыдущего опыта и обучения

Это коллекция методов, известных под разными названиями, но у них есть общий принцип - дается балл за каждый год соответствующего опыта, а также за каждый год образования кандидата. Здесь нет оценки прошлых результатов кандидата. Этот метод очень прост в использовании, и он очень распространен в государственных учреждениях США. Валидность метода низкая, и нет пользы в его добавлении к тестам GMA.

Количество лет обучения

Простой подсчет лет обучения. Валидность метода низкая, и нет пользы в его добавлении к тестам GMA. Метод имеет некоторую ценность в прогнозировании результатов кандидата в обучении (корреляция 0.20).

Профессиональные склонности

Предположительно, результаты работы сотрудника могут улучшиться, когда он занят работой, соответствующей его интересам. На практике это не является хорошим предиктором. Кажется, что склонности влияют в основном на этапе выбора профессии, но не имеют значения в дальнейшем. Метод имеет некоторую ценность в прогнозировании результатов кандидата в обучении (корреляция 0.18).

Графология

Этот метод не распространен в США, но широко используется в других странах, таких как Франция и Израиль. Исследования показали, что он не имеет никакой валидности, и графологи не могут помочь предсказать результаты работы кандидата. Этот вывод противоречит интуиции, которая склонна связывать характер человека с особенностями его почерка. Но исследования ясно показывают, что такой связи нет. Поэтому следует предположить, что графология не внесет никакого вклада и в прогнозирование результатов сотрудника в обучении.

Возраст

Возраст кандидата также не предсказывает его результаты в должности. Хотя нет информации о валидности переменной возраста в прогнозировании результатов сотрудника в обучении, вероятно, и там она не будет иметь реальной ценности. Это потому, что существует корреляция между возрастом и количеством лет опыта, и, как мы помним, нет корреляции между количеством лет опыта и результатами сотрудника в обучении.

Ограничения представленного исследования

В области исследований есть несколько тем, которые исследование, описанное в статье, не затрагивает, в основном из-за отсутствия данных в исследовательской литературе:

Валидность комбинации тестов, которая не включает тесты GMA.
Валидность комбинации тестов, которая включает, помимо GMA, по крайней мере еще два теста.
Валидность различных комбинаций тестов для подгрупп в популяции. Следует отметить, что в целом прогностическая валидность каждого теста сама по себе выходит из исследований как справедливая, в том смысле, что среднее предсказание каждой подгруппы соответствует ее фактическому среднему баллу.

Резюме и значения

Два комбинированных метода выделяются как имеющие высокую валидность, но также удобные в исполнении:

GMA с тестом на честность - валидность 0.65 для результатов работы и 0.67 для результатов в получении обучения.
GMA со структурированным интервью - валидность 0.63 для результатов работы и 0.59 для результатов в получении обучения.

Также было обнаружено, что существует прямая связь между валидностью метода отбора при приеме на работу и денежной стоимостью, которую организация получает от работы сотрудника. Поэтому использование психотехнических тестов согласно вышеуказанным деталям рекомендуется для большинства случаев и может дать организации реальное конкурентное преимущество.

[1] Инкрементальная валидность (incremental validity): Степень, в которой инструмент улучшает прогностическую валидность помимо тестов GMA.

Мы будем рады услышать ваше мнение!

Хотите узнать больше?

У LogiPass есть десятки дополнительных интересных статей, посвященных
вопросам скрининговых тестов и профориентации.

Дополнительные статьи