Главная страница Статьи LogiPass

Сортировка сотрудников через Интернет

Интернет-тесты для оценки сотрудников - ключевые вопросы

В последние годы многие организации начали внедрять интернет-системы оценки, в которых кандидаты на работу проходят тестирование через интернет с помощью оценочных тестов.

Интернет-тестам предшествовали компьютеризированные оценочные тесты, которые появились несколько десятилетий назад, и с развитием технологий позволили создавать различные психометрические тесты по сравнению с тестами на бумаге и карандаше. Интернет-системы психометрической оценки начали появляться в основном в последнее десятилетие. Они выглядят аналогично обычным компьютерным приложениям, и с точки зрения пользователя опыт идентичен, но интернет-системы имеют два основных преимущества: во-первых, интернет-системы имеют преимущество в обслуживании. Обслуживание системы проще, так как она установлена только в одном месте (на интернет-сервере), а не на большом количестве локальных компьютеров. Система может быть внедрена удаленно, и нет необходимости посещать организацию для обслуживания, обновлений и т.д. Второе основное преимущество - это огромная экономия средств: сокращение расходов, связанных с обслуживанием отдельных систем в разных местах, затрат на различные операционные системы и оборудование, специализацию в различных системах и т.д. От организации, заинтересованной в использовании системы, не требуется специальной технологической адаптации.

Помимо технологических преимуществ, интернет-системы оценки позволяют организациям оптимизировать процессы отбора сотрудников несколькими способами. Во-первых, организации, проводящие первичный отбор через интернет, экономят значительные средства на длительных процессах отбора кандидатов, которые не соответствуют минимальным пороговым требованиям. Стоимость интернет-систем оценки обычно ниже, чем стоимость процессов отбора, проводимых в самой организации или в специализированных центрах оценки персонала. Экономические затраты на привлечение неподходящего кандидата к дорогостоящему процессу отбора, когда эти затраты можно сэкономить с помощью предварительного интернет-скрининга, могут достигать сотен шекелей на одного кандидата. Во-вторых, с помощью интернет-скрининга можно оценить очень большое количество кандидатов на работу за относительно короткое время. В отличие от процессов отбора, требующих участия человека-оценщика (например, интервьюера или экзаменатора), в интернет-системе психометрической оценки могут одновременно тестироваться десятки, сотни и тысячи сотрудников. Результаты тестов поступают в течение нескольких секунд после завершения теста отборочному органу в организации, и нет необходимости тратить драгоценное время на ожидание результатов. Третье преимущество интернет-тестов - высокий уровень доступности для кандидатов. Современный мир труда характеризуется глобализацией, а также тем, что соискатели работы часто уже трудоустроены (в отличие от безработных соискателей). Их потребности в поиске работы отличаются от прежних. Координация процесса тестирования проста, кандидат может сделать это в удобное для него время и месте, и ему не нужно отсутствовать на текущей работе или преодолевать большое географическое расстояние (будь то расстояние внутри Израиля или для работы за пределами Израиля), чтобы пройти процесс отбора. Дополнительное преимущество, которое растет, - это возможности, предоставляемые сегодня кандидатам практиковаться и улучшать свои способности перед тестом. Благодаря этим характеристикам интернет-систем оценки снижается вероятность того, что квалифицированные кандидаты откажутся от подачи заявления из-за трудностей, связанных с посещением внутренних оценок и/или психометрического тестирования в центре оценки, и поэтому организация также выигрывает от высокой доступности системы оценки для кандидата на работу.

Наконец, интернет-психометрический тест имеет преимущества для разработчиков тестов, такие как быстрое обновление тестовых элементов немедленно для всех пользователей теста, немедленный расчет психометрических данных и постоянно обновляемые нормы.

Несмотря на эти преимущества, интернет-системы оценки также имеют недостатки, которые важно отметить. Во-первых, эти системы зависят от технологий, и необходимо убедиться, что технология в доме кандидата (или в месте, где он тестируется) соответствует техническим требованиям системы. Во-вторых, существует опасение предвзятости и дискриминации в отношении кандидатов, которые не привыкли пользоваться интернетом в частности или компьютерами в целом. Эти предубеждения могут иметь такую цену, как отклонение лица, подходящего для должности, из-за плохой производительности в интернет-системе оценки, уровня производительности, который не отражает его способности в измеряемой области, а скорее уровень компьютерных навыков и уровень владения интернетом. В-третьих, существуют группы населения, которые не имеют средств, необходимых для интернет-тестирования из дома. Известно, что существует статистическая связь между социально-экономическим уровнем и наличием компьютера, подключенного к интернету дома.

Возможно, из-за этих недостатков, а может быть, по другим причинам, до недавнего времени не было различий между интернет-системами психометрических тестов и компьютеризированными тестовыми системами (приложениями) с точки зрения того, как они фактически использовались - в обоих случаях требовалось физическое присутствие испытуемого в бизнесе и тестирование на локальном компьютере. В последние два года интернет-системы начали искать решения, которые позволили бы проводить тестирование за пределами организации, чтобы максимизировать преимущества, присущие использованию интернет-психометрических тестовых систем. Сложность тестирования вне организации (в доме самого кандидата) обусловлена тремя основными причинами:

Копирование системы: Разработка системы психометрических оценочных тестов требует длительного времени и больших затрат. Опасение, что система может быть скопирована, распространена, изучена и "сожжена" в месте, где нет оператора или наблюдателя, очень высоко, и делает связанные с этим инвестиции нерентабельными.
Риски обмана и мошенничества: В отсутствие какого-либо надзора существует разумное опасение, что испытуемый не будет сдавать тест самостоятельно или будет использовать запрещенные средства, такие как калькулятор в количественных тестах, письменные принадлежности во время тестов на память, словарь в словесных тестах и т.д. Для решения этой проблемы было предложено, чтобы интернет-процессы отбора составляли первый этап двухэтапного процесса отбора сотрудников (Segall, 2001, цитируется в Nye et. al, 2008). На первом этапе проводится психометрический тест через интернет для многих кандидатов на работу, а на втором этапе проводится "проверочный тест" для наиболее успешных кандидатов. Кроме того, кандидаты на работу, тестируемые через интернет, обязаны взять на себя обязательство выполнять тест без обмана.
Технологическая сложность: Требуется сложная технологическая адаптация, чтобы все испытуемые, на всех компьютерах и существующих операционных системах, получали одинаковый внешний вид и поведение компьютера во время теста.

Несмотря на вышеупомянутые недостатки и упомянутые здесь проблемы, представляется, что преимущества, присущие психометрическим системам оценки через интернет, перевешивают потенциальные недостатки этих систем, и поэтому, как указано, использование интернет-систем оценки для отбора сотрудников увеличивается, при проведении процесса тестирования вне бизнеса. Тем не менее, возникает несколько вопросов относительно этих систем, которые стоит рассмотреть. В этой статье будут представлены некоторые из этих вопросов и исследования, которые рассматривали эти проблемы.

Уровни производительности кандидатов в тестах с бумагой и карандашом по сравнению с компьютеризированными и интернет-тестами

Один из центральных вопросов, на который необходимо ответить, прежде чем принимать решение об использовании компьютеризированной/интернет-системы оценки сотрудников, заключается в том, идентичен ли уровень производительности сотрудников в тестах с бумагой и карандашом по сравнению с компьютеризированными/интернет-тестами. Potosky и Bobko (2004) исследовали этот вопрос в своей работе. Исследователи рассматривают несколько исследований, которые изучали степень эквивалентности некомпьютеризированных интернет тестов по сравнению с тестами с бумагой и карандашом, и сообщили, что когда речь идет о неограниченных по времени тестах, таких как тесты личности, не было обнаружено значительных различий между группами, тестируемыми с использованием бумаги и карандаша или компьютера, с точки зрения полученной факторной структуры и надежности тестов, но могут быть различия в средних показателях групп и распределении баллов по различным измерениям личности.

Исследователи сообщают об отдельном исследовании 2003 года (Salgado & Moscoco, 2003), которое изучало степень эквивалентности теста личности в формате бумаги и карандаша по сравнению с интернет-тестом личности, где была обнаружена очень высокая корреляция в каждом из пяти измерений личности модели Большой пятерки (OCEAN) между интернет-доставкой и доставкой бумаги и карандаша, для группы субъектов, тестируемых в обоих средах. Также было обнаружено в исследовании Salgado & Moscoco (2003), что средние значения и стандартные отклонения тестов личности в различных форматах были аналогичны, надежность различных измерений была схожей между двумя администрированиями, а также полученная факторная структура. Отношение испытуемых к интернет-тесту было более позитивным, и не было обнаружено значимых связей между измеряемыми переменными личности и восприятием и реакциями на интернет-тесты.

Potosky и Bobko (2004) исследовали этот вопрос в контексте когнитивных тестов. Они отмечают, что исследования, изучающие различия между когнитивными тестами на бумаге и карандаше и не-интернет компьютеризированными тестами, обнаружили, что когда тесты схожи с точки зрения процедур администрирования тестов, результаты тестов аналогичны между различными методами администрирования.

Исследователи сообщают, что они не нашли исследования, которое изучало бы степень эквивалентности когнитивных тестов на бумаге и карандаше и интернет-тестов, и целью их исследования было заполнить этот пробел. Они провели исследование, в котором они провели различные типы когнитивных тестов (вербальные, числовые и образные) для испытуемых, как в формате бумаги и карандаша, так и в интернет-формате. Исследование проводилось в компьютерной лаборатории, где исследователи могли контролировать технологические факторы, такие как адаптация компьютера к системным требованиям, скорость загрузки страницы (особенно актуально в образных тестах) и т.д.

Их исследование показало, что корреляция между тестами с бумагой и карандашом и интернет-тестами составляет только 0,60 (p<0,001) для когнитивных тестов, корреляция, которая считается слишком низкой, чтобы указывать на достаточную эквивалентность этих двух форматов администрирования. Однако были значительные различия между различными типами тестов, так что числовой тест (r=0,74) дал значительно более высокую корреляцию, чем образный тест (r=0,44) [z=2,70, p<0,01]. Корреляция двух форм администрирования для вербального теста (r=0,58) не была значительно отличной от числового теста [z=1,59, n.s.] или образного теста [z=1,02, n.s.]. В отличие от когнитивных тестов (ограниченных по времени), для неограниченного по времени теста (ситуационный опросник суждений) была обнаружена более высокая и достаточная корреляция (r=0,84, p<0,001). Эти результаты аналогичны корреляциям тестов с бумагой и карандашом с некомпьютеризированными интернет-тестами.

Также в парном t-тесте было обнаружено, что интернет-версия когнитивных тестов дала более низкие баллы, чем версия с бумагой и карандашом, по сравнению с тестом ситуационного суждения, где не было обнаружено различий в баллах, полученных двумя тестовыми средами. Также было обнаружено, что баллы на когнитивных тестах были выше второй раз, когда испытуемые выполняли их в Интернете, по сравнению с их первым интернет-опытом с ними. Эти результаты особенно важны в ситуациях, когда организация сочетает различные методы администрирования, так что кандидат имеет выбор относительно метода тестирования.

В дополнение к сравнению различных форматов тестов друг с другом, исследователи изучили, в какой степени переменные, связанные с компьютерной грамотностью и интернет-грамотностью, влияли на производительность испытуемых в различных тестах. Было обнаружено, что опыт работы с компьютером, понимание компьютера и самоэффективность компьютера были положительно связаны с баллами на когнитивных тестах, так что испытуемые с более высоким уровнем понимания компьютера и/или опыта работы с компьютером и/или самоэффективности компьютера получали более высокие баллы на когнитивных тестах, как в формате бумаги и карандаша, так и в интернет-формате. Переменная возраста была обнаружена отрицательно коррелирующей с производительностью на интернет-когнитивном тесте, так что более молодые люди выполняли тест лучше; было обнаружено, что возраст является предикторной переменной сам по себе для балла интернет-когнитивного теста, независимо от уровня понимания и опыта работы с компьютерами. Этот вывод может побудить организации использовать различные методы тестирования, чтобы избежать предвзятости и дискриминации в отношении более старших кандидатов, которые, как правило, получают более низкие баллы на интернет-тестах. В целом, большинству испытуемых больше понравилось выполнение тестов в интернет-формате, хотя они чувствовали, что давление времени было выше в этом формате.

Исследователи пришли к выводу, что при переходе от тестов на основе бумаги и карандаша к интернет-тестам следует проявлять осторожность при применении норм одной среды (например, бумаги и карандаша) в администрировании в другой среде (например, интернет), особенно в образных тестах. Они также пришли к выводу, что необходимо изучить, как бороться с технологическими ограничениями, связанными со скоростью обработки компьютера, пропускной способностью интернета, временем загрузки теста и т.д.

Обман и мошенничество в интернет-тестах

Очень важный вопрос в контексте интернет-тестов - это их устойчивость к искажениям ответов испытуемыми. Искажение ответа - это общий термин, относящийся к обману, социальной желательности, подделке в хорошую сторону и т.д. (Nye, Do, Drasgow & Fine, 2008). Когда кандидат на работу приходит в организацию или центр оценки для тестов отбора, он находится под наблюдением при выполнении тестов. Искажения ответов возможны, но их сложнее выполнить. Однако, когда испытуемый сидит дома и выполняет тесты без надзора со стороны оценивающей организации, как оценщики могут знать, что он выполнил тест самостоятельно, в одиночку и прямым и честным образом?

Во-первых, возникает вопрос относительно масштаба явления искажения ответов - в какой степени существуют различия в результатах тестов между администрированием теста под надзором (в оценивающей организации) и тестированием, проводимым без надзора (через интернет, в доме кандидата). Этот вопрос сложно исследовать. В лабораторных исследованиях мотивация к обману низкая, и невозможно определить истинный масштаб явления или его последствия в высокорисковых процессах отбора. Полевые исследования также могут оказаться проблематичными из-за характера процесса отбора сотрудников: только те, у кого самые высокие баллы, продвигаются на каждом этапе, поэтому явление регрессии к среднему может снизить баллы кандидатов независимо от обмана в домашнем тесте. С другой стороны, эффект обучения, связанный с выполнением теста во второй раз, может повысить баллы испытуемых, так что их балл в тесте в оценивающей организации будет выше, чем балл, который они достигли дома.

Несмотря на упомянутые проблемы, несколько исследований были проведены по этой теме. Nye et al. (2008) рассматривают несколько исследований по неконтролируемым тестам личности, которые показывают различные результаты. В некоторых из отчетных исследований были обнаружены различия в средних баллах, полученной факторной структуре и других аспектах, в то время как в других исследованиях не было обнаружено существенных различий. Эти выводы могут быть объяснены различиями в искажениях ответов, распространенных в тестах личности: эти тесты приглашают искажения ответов типа социальной желательности или подделки в хорошую сторону, искажения, на которые, вероятно, не влияет физическое присутствие наблюдающего фактора.

В противоположность этому, неконтролируемые когнитивные тесты чувствительны к обману, который физическое присутствие наблюдателя может значительно уменьшить. Nye et al. (2008) провели крупномасштабное исследование, в котором они изучили потенциальный масштаб явления обмана в когнитивном тесте внимания к деталям (также называемом "клерковский тест"). Они изучили различия в баллах в первом неконтролируемом тесте, проведенном через интернет, и втором тесте, проведенном в оценивающей организации под надзором, и не нашли доказательств обмана в первом тесте на общем уровне, хотя были отдельные испытуемые, чей образец баллов вызывает подозрение в этом.

Основная слабость исследования Nye et al. (2008) заключается в выбранном типе теста. Этот тест изучает когнитивную структуру, для которой трудно улучшить производительность с помощью вспомогательных средств, запрещенных для использования, таких как калькулятор или словарь. Кроме того, обычному человеку трудно оценить, имеет ли другой человек более высокий уровень внимания к деталям, что делает выгодным попросить другого человека выполнить тест вместо него. Кажется, что есть место для изучения масштаба явления обмана в тестах, более чувствительных к обману, таких как тесты арифметических вычислений, тесты словарного запаса и даже тесты памяти. Помимо описанного выше исследования, не было найдено исследований, которые бы изучали вопрос обмана в неконтролируемых интернет-когнитивных тестах.

Второй вопрос касается валидности тестов отбора. Если действительно существуют различия в способе ответа в контролируемом тесте по сравнению с неконтролируемым тестом - в какой степени эти различия влияют на критериальную валидность тестов отбора сотрудников? Beaty, Nye, Borneman, Kantrowitz, Drasgow & Graur (2011) сообщают, что не было найдено исследований, которые бы рассматривали этот вопрос, и они попытались заполнить этот пробел в исследовательском поле. Исследователи провели мета-аналитическое исследование, чтобы сделать выводы по этой теме. Они изучили информацию относительно критериальной валидности личного вопросника (biodata), измерения добросовестности (conscientiousness) и потенциала продаж по сравнению с оценками менеджера по эффективности работы и фактическим уровнем продаж. В целом, исследователи обнаружили, что критериальная валидность трех тестов (личный вопросник, добросовестность, потенциал продаж) была схожей между контролируемыми и неконтролируемыми тестами.

Beaty et al. (2011) предлагают несколько объяснений для своих выводов. Во-первых, возможно, что явления, такие как обман, подделка или предвзятости, вытекающие из различных условий тестирования, не являются распространенными явлениями, и поэтому не влияют на критериальную валидность различных тестов. Во-вторых, возможно, что на уровне должностей, на которые были проведены отборы (младшее руководство), кандидаты не имеют достаточно высокой мотивации, чтобы обманывать или подделывать результаты в этих тестах. Кроме того, возможно, что изменения ответов в некогнитивных тестах не влияют на критериальную валидность, как следует из аналогичных исследований по теме подделки в хорошую сторону в тестах личности в контексте отбора сотрудников.

В результате исследователи делают вывод, что использование некогнитивных интернет-тестов отбора оправдано для рассмотренных работ. Валидность интернет-тестов аналогична валидности контролируемых тестов, и их стоимость значительно ниже.

החוקרים הסיקו כי במעבר ממבחנים מבוססי נייר ועיפרון למבחנים אינטרנטיים, יש לנקוט משנה זהירות ביישום נורמות של מדיה אחת (למשל נייר ועיפרון) בהעברה במדיה האחרת (למשל אינטרנט), במיוחד במבחנים צורניים. עוד הסיקו כי יש לבחון כיצד להתמודד עם מגבלות טכנולוגיות הקשורות למהירות עיבוד המחשב, רוחב פס האינטרנט, זמן העלאה של מבחנים וכיו"ב.

Не было найдено исследований, которые бы рассматривали этот вопрос для когнитивных интернет-тестов отбора, и поэтому неизвестно, в какой степени прогностическая валидность когнитивных инструментов отбора меняется, когда тесты проводятся под надзором или без надзора. Представляется, что есть место для исследования этого важного вопроса, чтобы обеспечить обоснование для распространенного использования неконтролируемых когнитивных интернет-тестов отбора.

Резюме

Целью данной статьи был обзор центральных вопросов в реализации интернет-систем тестирования, как личностных тестов, так и когнитивных тестов. Очевидно, что существует много места для дополнительных исследований по этой теме, но из нескольких рассмотренных исследований можно сделать несколько предварительных выводов:

Существуют различия между тестами на бумаге и карандаше и интернет-тестами, и поэтому использование интернет-тестов должно быть реализовано адаптированным образом. На самом базовом уровне - эти тесты требуют отдельных норм, и невозможно использовать нормы тестов на бумаге и карандаше в эквивалентных интернет-версиях.
Интернет-тесты, особенно когнитивные тесты, чувствительны к обману; очень трудно изучить масштабы этого явления на практике, но рекомендуется использовать двухэтапные процессы отбора, чтобы уменьшить возможные последствия обмана со стороны кандидатов на работу.
Критериальная валидность интернет-тестов личности не страдает в результате изменения среды, и поэтому их использование является целесообразным.
Не было найдено исследований относительно критериальной валидности интернет-когнитивных тестов отбора. Этот факт, в сочетании с более высокой чувствительностью к обману в тесте, требует от пользователей тестов проявления особой осторожности при внедрении интернет-методов отбора.

Автор: Мерав Хами, психолог

Библиография:

Potosky, D. & Bobko, P. (2004). Selection Testing via the Internet: Practical Considerations and Exploratory Empirical Findings.Personnel Psychology, 57 (4), pg. 1003-1034.

Salgado, J.F. & Moscoso, S. (2003). Internet-Based Personality Testing: Equivalence of Measures and Assessees' Perceptions and Reactions.International Journal of Selection and Assessment, 11, pg. 194-203.

Beaty, J.C., Nye, C.D., Borneman, M.J., Kantrowitz, T.M., Drasgow, F. & Graur, E. (2011). Proctored versus Unproctored Internet Tests: Are Unproctored Noncognitive Tests as Predictive of Job Performance?International Journal of Selection and Assessment, 19 (1), pg. 1-10.

Nye, C.D., Do, B.D., Drasgow, F. & Fine, S. (2008). Two-Step Testing in Employee Selection: Is Score Inflation a Problem?International Journal of Selection and Assessment, 16 (2), pg. 112-120.

Мы будем рады услышать ваше мнение!

Хотите узнать больше?

У LogiPass есть десятки дополнительных интересных статей, посвященных
вопросам профессиональных тестов и профориентации.

Дополнительные статьи