פריטים הפוכים: למה האלפא יצאה שלילית, וזה לא אומר שהשאלון שבור

חישבת את האלפא של קרונבך על השאלון שלך. ישבת על זה, בנית את הסולם, אספת מאה וחמישים תשובות. ואז קיבלת את המספר: מינוס 0.22. אלפא שלילית.

זה נראה כמו תקלה. את רגילה שאלפא נעה בין אפס לאחד. מאיפה הגיע המינוס?

או שאולי האלפא לא שלילית אצלך, רק נמוכה להחריד. והפלט, בעמודה של "אלפא אם הפריט יימחק", מצביע דווקא על שניים מהפריטים שהכי אהבת, כאילו הם מועמדים למחיקה. את מסתכלת עליהם ולא מבינה מה רע בהם.

בחלק גדול מהמקרים האלה, השאלון שלך בסדר גמור. מה ששבור זה לא הפריטים. זה שלא הפכת אותם.

הסיפור מתחיל בניסוח

בואי ניקח דוגמה. שאלון מסוגלות עצמית של מורות, שש שאלות, כל אחת בסולם של 1 עד 5, מ"כלל לא מסכימה" עד "מסכימה מאוד". ארבע מהשאלות מנוסחות בכיוון חיובי:

1. אני מצליחה להגיע גם לתלמידים המאתגרים בכיתה.
2. אני יודעת להרגיע כיתה שיצאה משליטה.
3. יש לי כלים טובים להתמודד עם בעיות משמעת.
4. אני מאמינה ביכולת שלי להשפיע על ההישגים של התלמידים.

ושתיים מנוסחות הפוך:

5. לעיתים קרובות אני מרגישה חסרת אונים מול הכיתה.
6. אני מרגישה שאין לי שליטה על מה שקורה בשיעור.

שימי לב למה שקורה כאן. מורה עם תחושת מסוגלות גבוהה תסמן 5 בשאלה הראשונה, "אני מצליחה להגיע גם לתלמידים המאתגרים". ואם היא עקבית עם עצמה, היא תסמן 1 בשאלה החמישית, "אני מרגישה חסרת אונים", כי היא לא מרגישה כך.

שתי התשובות אומרות אותו דבר: מסוגלות גבוהה. אבל המספרים, 5 ו-1, נראים הפוכים לגמרי.

למה זה הורס את האלפא

אלפא של קרונבך שואלת שאלה אחת: עד כמה הפריטים שלך נעים יחד. אם מי שמסכימה עם פריט אחד נוטה להסכים גם עם השאר, האלפא גבוהה. זאת העקביות הפנימית שהיא מודדת, עד כמה הפריטים זזים באותו כיוון.

אבל הפריטים ההפוכים נעים בכיוון הנגדי. ככל שהמסוגלות גבוהה יותר, הציון הגולמי בשאלה החמישית דווקא יורד. מבחינת החישוב, הפריט הזה נראה כאילו הוא מודד את ההפך מכל השאר.

תראי את זה במתאמים שבנתונים שלנו. הפריט הראשון מתואם עם הפריטים החיוביים האחרים בערך 0.4, חיובי ויפה. אבל עם הפריט החמישי הוא מתואם מינוס 0.45, ועם השישי מינוס 0.44. שלילי.

כשמכניסים לאותו חישוב גם פריטים שנעים בכיוון אחד וגם פריטים שנעים הפוך, הם מושכים לכיוונים מנוגדים. וכשמספיק מהקשרים בין הפריטים שליליים, מה שהם חולקים במשותף יורד מתחת לאפס, והנוסחה של אלפא מחזירה מספר שלילי. זה מה שהוציא לנו מינוס 0.22.

אלפא שלילית כמעט אף פעם לא נופלת עליך במקרה. היא דגל אדום, והסיבה השכיחה לה היא בדיוק זאת, פריטים הפוכים שלא הופכו. זה הדבר הראשון לבדוק, עוד לפני ששואלים אילו פריטים למחוק.

התיקון: שש פחות הציון

הפתרון פשוט, וזה החלק המנחם. לא מוחקים כלום. הופכים.

בסולם של 1 עד 5, היפוך פריט נעשה בשורה אחת: הציון החדש שווה ל-6 פחות הציון הישן. 5 הופך ל-1, 1 הופך ל-5, ו-3 נשאר 3. (למה 6? כי זה המקסימום ועוד המינימום, 5 ועוד 1. בסולם של 1 עד 7 זה יהיה 8 פחות הציון.)

קחי מורה בטוחה בעצמה. בשאלה הראשונה היא סימנה 5, ובשאלה החמישית, "אני מרגישה חסרת אונים", היא סימנה 1, כי זה פשוט לא נכון לגביה. יש בנתונים שלנו שתים עשרה מורות שענו בדיוק כך. אחרי ההיפוך, ה-1 שבשאלה החמישית הופך ל-6 פחות 1, כלומר 5. עכשיו ה-5 הזה אומר בדיוק מה שאמר ה-5 שלה בשאלה הראשונה, מסוגלות גבוהה. כל הפריטים מדברים סוף סוף באותה שפה.

מה קרה לאלפא אחרי שהפכנו את שני הפריטים? היא קפצה ל-0.84, עם רווח סמך של 0.80 עד 0.88. מ"בלתי קביל" ל"טוב". אותם נתונים בדיוק, אותן מאה וחמישים מורות. שינינו שתי עמודות.

תסתכלי על הגרף. העמודות האפורות הן המתאם של כל פריט עם שאר הסולם, לפני ההיפוך. ארבעת הפריטים החיוביים חלשים, סביב 0.2. שני ההפוכים צוללים מתחת לאפס. העמודות הכחולות, אחרי ההיפוך, כולן חיוביות ומעל 0.55.

ושימי לב גם לפריטים החיוביים. גם הם השתפרו, מטווח של 0.20 עד 0.25 לטווח של 0.57 עד 0.64. כי כשהפריטים ההפוכים מושכים לכיוון הלא נכון, הם פוגעים בכל החישוב, לא רק בעצמם. פריטים הפוכים שלא טופלו מרעילים את הסולם כולו.

המלכודת שבפלט

עכשיו מובן למה הפלט הטעה אותך. בעמודת "אלפא אם הפריט יימחק", לפני ההיפוך, שני הפריטים ההפוכים בולטים: מחיקת הפריט החמישי מקפיצה את האלפא ממינוס 0.22 ל-0.28. קל לקרוא את זה כאילו הם האשמים, וכאילו הפתרון הוא להעיף אותם.

אבל זאת מלכודת. הפלט לא יודע שהפריטים מנוסחים הפוך. הוא רק רואה שהם נעים נגד השאר. אם תמחקי את שניהם, תישארי עם אלפא של 0.77 על ארבעה פריטים, במקום 0.84 על שישה. לא אסון, אבל זרקת שני פריטים תקינים וחלק מהתוכן שהשאלון מודד, בשביל מספר נמוך יותר.

כי הפריטים ההפוכים לא היו שבורים. הם נכתבו הפוך בכוונה, כדי שהמשתתפת לא תסמן את אותה תשובה לכל השאלות בלי לקרוא באמת. למחוק אותם זה לזרוק עבודה טובה בגלל שלב טכני שדילגת עליו.

איך לדעת אילו פריטים להפוך

וכאן צריך להיזהר מקיצור דרך מפתה: לא הופכים פריט רק כי המתאם שלו יצא שלילי. זה בדיוק כמו למחוק אותו כי הפלט מצביע עליו, אותה טעות מהכיוון השני. ההיפוך נקבע לפי המשמעות של הפריט, לא לפי המספר בפלט.

קחי את רשימת הפריטים וקראי כל אחד עם שאלה אחת בראש: ציון גבוה בפריט הזה מצביע על הרבה מהדבר שאני מודדת, או על מעט ממנו? "אני מצליחה להגיע לתלמידים" גבוה פירושו הרבה מסוגלות. "אני מרגישה חסרת אונים" גבוה פירושו מעט מסוגלות. הפריט השני הוא ההפוך, ואותו צריך להפוך.

אם השתמשת בשאלון מתוקף מהספרות, המאמר המקורי כמעט תמיד מציין אילו פריטים הם הפוכים, לרוב במילים reverse-scored או reverse-keyed. זה המקור הכי אמין, ועדיף להסתמך עליו ולא על העין שלך.

ואחרי שהפכת, תמיד תריצי שוב את האלפא ותביטי במתאם של כל פריט עם השאר. אם פריט נשאר שלילי גם אחרי שהפכת את מי שצריך, זה כבר באמת אומר משהו על הפריט. אבל קודם תתקני את מה שאפשר לתקן בשורה אחת.

בפועל, ובדיווח

שלושה צעדים, תמיד באותו סדר. לפני שאת מחשבת ציון סולם או אלפא, עברי על הפריטים וסמני אילו מהם הפוכים. הפכי אותם, 6 פחות הציון בסולם של 1 עד 5. ורק על הגרסה ההפוכה חשבי את ציון הסולם ואת המהימנות.

ובפרק השיטות, משפט אחד מספיק: "פריטים 5 ו-6 נוסחו בכיוון הפוך והופכו לפני החישוב. מהימנות הסולם הייתה טובה, אלפא של קרונבך שווה 0.84, רווח סמך 95% בין 0.80 ל-0.88." זהו.

האלפא השלילית הזאת, שנראתה כמו אסון, הייתה בעצם ההודעה הכי שימושית שהפלט נתן לך. היא לא אמרה שהשאלון נכשל. היא אמרה ששכחת שלב אחד. ושלב אחד אפשר לתקן.