תוקף ניבוי VS תוקף קריטריון
לפני הרבה שנים, אי שם ב-2008 כשעשיתי את צעדי הראשונים בפיתוח מערכת לאבחון מועמדים דרך האינטרנט, שאלתי את ד"ר מירב חמי, אז פסיכולוגית צעירה שלא מזמן סיימה את לימודיה וגויסה על ידי כדי לפתח מערכת מבחני כישורים בשם לוגי (לוגיקה) פס (עובר):
1. מה זה תוקף?
2. למה הכוונה בדיוק?
3. למה מנהלי משאבי אנוש לא "עפים" על המערכת ומבקשים נתוני תוקף?
האמת, לא הבנתי, עד לאותו רגע חשבתי בערך כך:
נגיד שיש לנו מבחן בחשבון, במידה ומי שיצליחו בו, יסתבר כי הם אכן יותר טובים מהאחרים בחשבון – הללויה, יש לנו תוקף!
אבל לא, לזה קוראים תוקף קריטריון וזה יצר אצלי בלבול לא קטן.
מה שאותם מנהלים ביקשו ממני היה ככל הנראה תוקף ניבוי, אבל אני עדיין לא הבנתי שהרי תוקף ניבוי הינו סוג של תוקף קריטריון, והאמת, גם חלק מאותם מנהלים לא בדיוק ידעו מה הם מבקשים, הם רצו מספר - 70%? 80%?
נדמה היה לי שלפחות חלקם רצו לקבל סוג של "תו תקן" כדי לדעת האם אנחנו טובים.
להבנתי בזמנו, אנחנו הצענו להם כלי נהדר, באמצעותו ניתן לדעת באופן מדויק למדי מי מהמועמדים טוב יותר במספרים, מי טוב במילים, מי יותר אינטליגנטי, ולמי יש זיכרון יותר טוב.
ואנחנו בהחלט בדקנו, זה בהחלט היה נכון, הטובים במבחן החשבון היו טובים בחשבון ממי שלא הצליחו במבחן וכן הלאה, למבחנים שלנו היה "תוקף" מעולה.
אבל בדיעבד אני מבין שזה לא היה מדוייק, אז איך מבחנים פסיכוטכניים מנבאים הצלחה בתפקיד?
לימים פיתחנו גם מבחני אישיות ואמינות, והיום אני כבר יודע ממש טוב מה התוקף שהם חיפשו☺
יש לנו היום אלפי לקוחות, מאות אלפי נבחנים, ועדיין, חלק לא קטן מהלקוחות החדשים מבקש מאתנו גם היום רק סוג אחד של מבחנים, לרוב זה הולך בערך כך:
1. מבחני כישורים –"אני מחפש אנשים מוכשרים, כל היתר לא מעניין וגם קשה לניבוי..."
2. מבחני אישיות – "כישורים זה נחמד אבל אותי מעניינת האישיות של העובדים, אנחנו לא בונים פה טילים..."
3. מבחן אמינות – "זה הדבר היחיד שמעניין אותי, אני חייב עובדים ישרים ואמינים, את היתר אבדוק בעצמי..."
מטרתו של המאמר היא לבחון את ההשלכות של בחירה כזו על תוקף הניבוי במבחנים פסיכוטכניים.
כדי לקבל תוקף ניבוי גבוה, וזה מה שאותם מנהלים ביקשו מאתנו בזמנו, גם אם מעניין אתכם רק או בעיקר דבר אחד, אתם חייבים להרחיב את המבט... תסתכלו סביב, האם לא פגשתם אנשי רפואה נהדרים או מורים שהיו מאוד שונים זה מזה? באופיים, בכישוריהם? עורכי דין? מכונאים? קצינים?
אני מניח שכן, בואו נבחן זאת באמצעות הדוגמא הבאה:
נגיד שאנחנו מחפשים אחות למחלקת המיון בבית החולים, מה האישיות הדרושה לנו? מה הם הכישורים שנבחר כחשובים?
אפשר שזה יראה בערך כך:
עכשיו, כשאתם רואים את הרשימות הדי חלקיות שהצגתי לכם כמתאימות לפרופיל של אחות, האם זה נראה הגיוני לוותר על סט זה או אחר של מבחנים?
שנוותר על הכישורים? אינטליגנציה כללית? (ציון משוקלל של מקצת מבחני הכישורים), ראו כאן האם וכיצד יכולים מבחני יכולות חשיבה לסייע באבחון אישיותו של המועמד.
שנוותר על מאפייני האישיות? אחריות אישית? כנראה שלא.
אז מדוע כאשר נחפש שליחים, מכונאים, אנשי שרות או מנהלים תבחרו להסתפק רק בחלק מהמידע שמערכת כזו יכולה להפיק עבורכם?
ויותר מכך, למערכת ממוחשבת יתרונות טכנולוגיים בעלי חשיבות רבה, כמו היכולת לנטר את התנהגות הנבחן במהלך המענה על מבחני הכישורים, ולמעשה ללמוד מהתנהגות זו על מאפיינים אישיותיים דווקא, למשל:
1. אימפולסיביות (מענה מהיר ללא חשיבה)
2. התעייפות (תחילת המבחן טובה מסיומו באופן ניכר)
3. התרגשות (התחלה מהוססת והתחזקות בהמשך)
ועוד כמה וכמה תכונות אישיות הניתנות למדידה במהלך מבחן הכישורים.
וכך גם לגבי שאלוני אמינות מודרניים, ראו למשל רשימה חלקית ומצומצמת של מדדים הנבדקים במבחן אמינות:
אני משוכנע שאתם מבינים שמדובר במאפיינים שחופפים ומשלימים לתכונות אישיות, מבחני אמינות בעידן האינטרנט הינו נושא רחב ובעל השלכות רבות בעולם העבודה המודרני.
אני חוזר לצעדיי הראשונים בפיתוח המערכת, הבנתי שכדי לקבל תוקף ניבוי טוב ומספק כפי שאותם מנהלים ביקשו ממני ובצדק, עלינו לפתח כלים משלימים למבחני הכישורים וכך עשינו, אז למה לעשות שימוש רק במבחן מסוג אחד?
לסיכום:
ממש כשם שלא תעזו לבחור שחקן כדורסל רק בגלל שהוא גבוה (שימוש בתוקף קריטריון - מבחן גובה), אסור ולא נכון לבחור את המועמדים שלכם רק באמצעות שאלון אחד כזה או אחר, טוב ככל שיהיה.
סיבה נוספת היא שאפילו נכון מבחינתכם להתמקד למשל באישיות, יש תחומים חופפים בכישורים ובאמינות שהמערכת "רואה" ומשקפת בדוחות הסופיים ואין סיבה שתוותרו עליהם.
רק שילוב נכון ומושכל, הנסמך על סטטיסטיקה וניסיון רב שיש למערכת משולבת ויבוא לידי ביטוי בעת הרכבת הפרופיל על ידי הדרכה והנחייה מקצועית, ובכלל זה את אורך המבחן הרצוי, יש בו כדי לנבא ברמה טובה את הצלחתו של אדם בתפקיד ולתת לכם תוקף ניבוי.
חשוב שעלויות המבחנים המשתתפים בפרופיל (סוג וכמות המבחנים) לא ישפיעו על עלות המבחן במטרה לספק ללקוח תוקף ניבוי גבוה במנותק מהשיקול הכלכלי ככל שזה ניתן.
גבי אדם, מנכ"ל לוגיפס.
נשמח לשמוע מה דעתך!