Прогностическая валидность VS критериальная валидность

Много лет назад, где-то в 2008 году, когда я делал свои первые шаги в разработке системы диагностики кандидатов через Интернет, я попросил доктора Мирав Хами, тогда молодого психолога, недавно окончившего вуз и завербованного мной, разработать систему тестирования навыков под названием Logi (logic) Pass (Passes):

1. Что такое валидность

2. Что это значит 

3. Почему менеджеры по персоналу не в восторге и продолжают спрашивать о ее валидности?

Честно говоря, я не понимал. До этого момента мой ход мыслей был таким:

Допустим, у нас есть тест по математике. Если окажется, что те, кто успешно его проходит, действительно лучше остальных в математике - аллилуйя, у нас есть валидность!

Но нет, это называется критериальная валидность и это создало для меня немало путаницы.

То, о чем меня спрашивали эти менеджеры, было Прогностическая валидность, Однако мне еще нужно было понять, что прогностическая валидность - это тип критериальной валидности. Честно говоря, даже некоторые из этих менеджеров не знали точно, о чем они спрашивают. Они хотели точное число - 70% 80%?

Мне казалось, что по крайней мере некоторые из них хотели получить некий "ориентир", чтобы знать, хороши ли мы.

Насколько я понимал в то время, мы предлагали им отличный инструмент, с помощью которого они могли точно определить, кто из кандидатов лучше работает с числами, кто хорошо владеет словами, кто более умный и у кого лучше память.

Мы действительно проверили, и это было, несомненно, правдой. Например, кандидаты, набравшие наибольшее количество баллов по математике, действительно были в ней лучше, чем те, кто плохо справился с тестом. Таким образом, наши тесты обладали отличной "валидностью".

Но оглядываясь назад, я понимаю, что это было неточно, так как насколько психотехнические тесты предсказывают успех в конкретной профессии?

Позже мы также разработали тесты на личностные качества и добросовестность, и сегодня я уже очень хорошо знаю, какую валидность они искали☺

В настоящее время у нас тысячи клиентов, сотни тысяч тестируемых, и тем не менее, значительная часть наших новых клиентов спрашивают нас, даже сегодня, только об одном типе теста. Обычно это происходит примерно так:

1. Тесты навыков –"Я ищу талантливых людей. Все остальное неинтересно и трудно предсказать..."

2. Личностные тесты – "Навыки - это хорошо, но меня интересуют личности сотрудников. Мы здесь не ракеты строим..."

3. Тест на надежность – "Это единственное, что меня интересует. Мне нужны честные и надежные сотрудники, а остальное я проверю сам"

Цель статьи - рассмотреть последствия такого выбора на прогностическую валидность психотехнических тестов

Для достижения высоких показателей прогностической валидности, и это именно то, о чем те менеджеры тогда нас спрашивали, даже если вы заинтересованы только или в основном в одном, вы должны расширить свой взгляд... Оглянитесь вокруг. Разве вы не встречали отличных медицинских работников или учителей, которые очень отличались друг от друга по характеру и навыкам? Адвокаты? Механики? Офицеры?

Я предполагаю, что да. Давайте рассмотрим это на следующем примере:

Предположим, мы ищем медсестру для отделения неотложной помощи в больнице. Какую личность нам искать? Какие навыки мы определяем как важные?
Это может выглядеть примерно так:

Теперь, когда вы видите довольно частичные списки, которые я представил вам, которые соответствуют профилю медсестры, разумно ли отказываться от того или иного набора тестов?

Откажемся ли мы от навыков? Общего интеллекта? (взвешенная оценка некоторых тестов на навыки), см. здесь: Могут ли тесты на мыслительные способности помочь оценить личность кандидата.

Откажемся ли мы от личностных качеств? Личной ответственности? Вероятно, нет.

Так почему же, подбирая курьеров, механиков, обслуживающий персонал или менеджеров, мы должны довольствоваться лишь частью той информации, которую такая система может сгенерировать для вас?

Более того, компьютеризированная система имеет значительные технологические преимущества, такие как возможность наблюдать за поведением испытуемого во время тестов на навыки и узнавать из него о его личностных характеристиках, например: 

1. Импульсивность (быстрый ответ без размышлений)

2. Утомляемость (начало теста значительно лучше, чем конец)

3. Волнение (неуверенность в начале и уверенность позже)

И многие другие личностные черты , которые можно измерить во время теста навыков..

То же самое касается и современных анкет по надежности. Посмотрите, например, неполный и ограниченный список показателей, проверяемых в тесте на надежность:

Посмотрите полный список здесь.

Я уверен, вы понимаете, что эти характеристики перекрываются и приносят пользу нашей оценке личностных качеств.Тесты на надежность в эпоху интернета - это обширная тема со многими последствиями в современном мире труда.

Возвращаясь к моим первым шагам в разработке системы, я понял, что для того, чтобы иметь подходящую и достаточную прогностическую валидность, как меня спрашивали те менеджеры, и совершенно справедливо, мы должны сформулировать дополнительные инструменты к тестам навыков, и именно это мы и сделали, так зачем же использовать только один тип теста?

Вывод:

Точно так же, как вы не осмелитесь выбрать баскетболиста только потому, что он высокий (правильное использование критерия - тест на рост), выбор кандидатов с использованием только одной анкеты будет неправильным, каким бы хорошим он ни был.

Еще одна причина заключается в том, что даже если вы правильно сосредоточитесь, например, на личности, есть области, которые пересекаются с навыками и достоверностью, которые система "видит" и отражает в итоговых отчетах. Поэтому нет причин от них отказываться.

Только разумная комбинация, основанная на статистике и значительном опыте, которыми обладает интегрированная система, и которая будет отражена при составлении профиля с помощью нашего профессионального руководства, включая желаемую продолжительность теста, может предсказать точный уровень успеха человека в должности и дать вам прогностическую валидность..

Очень важно, чтобы затраты на тесты, требуемые профилем (тип и количество тестов), не влияли на общую стоимость оценки. Для обеспечения клиенту максимально возможной прогностической валидности (путем проведения нескольких тестов) важно отделить элемент стоимости.

Габи Адам, генеральный директор Logipass.