תוקף: מה Cronbach's α לא מודדת

אתמול דיברנו על Cronbach's α. אם המאמר הקודם עזר לך להבין מה α מודדת, יכול להיות שיצאת ממנו עם המסר "אם α מספיק גבוהה, השאלון בסדר". זאת תמונה חלקית, וחשוב להבין למה.

α בודקת אם הפריטים בשאלון עקביים זה עם זה. לא אם הם מודדים את מה שאת חושבת שהם מודדים. זה ההבדל בין מהימנות לתוקף, ובמאמר הזה נראה איך שאלון יכול להיות מהימן לחלוטין ועדיין למדוד דבר אחר ממה שכתוב על השער.

הדוגמה

נניח שאת בונה שאלון לתחושת מסוגלות עצמית של מורות. את כותבת חמישה פריטים כאלה (הדוגמה כאן מוקצנת בכוונה כדי שההבדל בין מהימנות לתוקף יבלוט):

• אני מאמינה ביכולת שלי להגיע לתלמידים שלי
• אני מצפה שהתלמידים שלי יצליחו השנה
• אני מרגישה שהיכולות שלי מספיקות לאתגרים שלי בכיתה
• אני נכנסת לכיתה עם תחושה טובה לגבי היום שלפניי
• אני מרגישה שאני יכולה להתמודד עם רוב הקשיים שיופיעו

הפריטים בסולם ליקרט 1 עד 5. דגמת 100 מורות. את מריצה ניתוח מהימנות:

Cronbach's α = 0.90 (95% CI [0.87, 0.93]).

זה ערך מצוין. ערך שהיית מצפה לראות בשאלונים מבוססים בספרות. הפריטים נעים יחד, מי שעונה גבוה על אחד נוטה לענות גבוה על השאר. נראה שהשאלון שלך מהימן.

אבל מה הוא מודד

זאת השאלה הנפרדת. כדי לבדוק את סוג התוקף שנדגים כאן (תוקף מבנה), את צריכה השוואה חיצונית. את לוקחת את אותן 100 מורות ומבקשת מהן למלא גם:

• שאלון TSES (Teachers' Sense of Efficacy Scale), שאלון מבוסס בספרות שמודד מסוגלות עצמית של מורות.
• שאלון אופטימיות כללית, שאלון מבוסס שמודד נטייה כללית לראות עתיד טוב.

אם השאלון שלך באמת מודד מסוגלות עצמית, את מצפה לראות:

• מתאם גבוה עם TSES (שניהם מודדים את אותו דבר). זה נקרא תוקף מתכנס.
• מתאם נמוך עם אופטימיות (היא דבר אחר, גם אם קשור). זה נקרא תוקף מבחין.

את מריצה את החישובים. הנה מה שאת מקבלת:

מתאם עם TSES: r = 0.11. כמעט אפס.
מתאם עם אופטימיות: r = 0.82. חזק מאוד.

הסיפור כאן הוא דפוס המתאמים, לא ערכי p. השאלון לא מתאם עם מה שהוא אמור למדוד, ומתאם חזק עם משהו אחר.

השאלון שלך, שאמור היה למדוד מסוגלות עצמית, נמצא במתאם של 0.82 עם אופטימיות, ובמתאם של 0.11 עם שאלון מסוגלות עצמית מבוסס. בדוגמה הזאת, הוא בעיקר מודד אופטימיות, לא מסוגלות.

α לא יכלה לתפוס את זה. היא בדקה רק אם הפריטים עקביים, והם היו עקביים, כי כולם מנוסחים בצורה שמעוררת תגובה אופטימית. כולם משתפים את אותה דרישה רגשית כללית, ולכן הם נעים יחד.

שלושה סוגים של תוקף

הספרות המתודולוגית מבחינה בדרך כלל בין שלושה סוגים, וכדאי להכיר אותם כי המנחה שלך תשתמש במונחים האלה:

תוקף תוכן (content validity): האם הפריטים מכסים את כל הפנים של המושג שאת רוצה למדוד? זה לרוב נקבע בידי מומחים בתחום שעוברים על השאלון. עבור עבודת תזה, אם השתמשת בשאלון מבוסס, את מסתמכת על העבודה של המפתחים. אם פיתחת משלך, חוות דעת של מומחים בתחום היא חלק חיוני מההצדקה.

תוקף מבנה (construct validity): האם השאלון מתואם עם מה שצריך, ולא מתואם עם מה שלא צריך? זה מה שהדגמנו עכשיו. תוקף מתכנס (התאמה עם מדדים דומים) ותוקף מבחין (אי-התאמה עם מדדים שונים) הם שני הצדדים שלו. כשהמנחה אומרת "צריך תוקף", זה לרוב מה שהיא מתכוונת.

תוקף תלוי-קריטריון (criterion-related validity): האם הציון בשאלון קשור לקריטריון חיצוני שהשאלון אמור להיות קשור אליו? כשהקריטריון נמדד באותו זמן, זה תוקף בו-זמני. כשהוא נמדד מאוחר יותר ומתקבל ניבוי (למשל מסוגלות עצמית גבוהה צריכה לנבא הישארות בהוראה אחרי חמש שנים), זה תוקף ניבוי. תוקף ניבוי יקר לבנות כי דורש נתונים אורכיים, אבל חזק מאוד כשיש אותו.

מה את עושה בעבודה שלך

רוב הסטודנטיות לתואר שני לא מפתחות שאלונים, הן משתמשות בשאלונים שכבר עברו תיקוף. במצב הזה:

• בפרק השיטה, צטטי את המאמרים המקוריים שתיקפו את השאלון. דווחי על α המקורית ועל ראיות התוקף שהמפתחים הציגו.
• חשבי את α בנתונים שלך עצמם, על המדגם שלך. רלוונטי להראות שהשאלון מהימן גם באוכלוסייה שלך, לא רק במחקר המקורי.
• אם יש לך נתונים שמאפשרים בדיקה כמו זו שעשינו (שאלון נוסף שהיית מצפה למתאם מסוים איתו), זה ערך מוסף משמעותי. לא הכרחי, אבל מחזק את הטיעון.

אם פיתחת שאלון משלך, או הוספת פריטים לשאלון מבוסס, הסיפור מורכב יותר. צריך להציג ראיות תוקף על השאלון בגרסתו החדשה. שיחה עם המנחה היא חיונית כאן, כי זה הופך את העבודה למחקר מתודולוגי בנוסף למחקר המהותי.

מה לקחת מפה

α גבוהה אומרת שהפריטים בשאלון נעים יחד. היא לא אומרת שהם מודדים את מה שכתוב בכותרת השאלון. אלה שתי שאלות נפרדות, ושתיהן צריכות תשובה בעבודת תזה רצינית.

כשהמנחה אומרת "מהימנות זה לא תוקף", זה מה שהיא מתכוונת. השאלון יכול להיות מאוד עקבי בתוך עצמו, ועדיין למדוד דבר אחר ממה שאת חושבת. אחת הדרכים החשובות לבדוק את התוקף, מהסוג שהדגמנו כאן, היא להשוות אותו עם משהו חיצוני. לא רק להסתכל על הפריטים שלו עצמו.