רגרסיה לינארית: מה היא מוסיפה מעבר לקורלציה

שאלת המחקר שלך: האם ותק בהוראה מנבא שחיקה? כיוון אינטואיטיבי. ככל שמורה מלמדת יותר שנים, אולי היא לומדת להגן על עצמה רגשית, אולי להפך. רצית לבדוק.

40 מורות מילאו שאלון. שני משתנים: שנות ותק בהוראה (1 עד 30), וציון שחיקה (0 עד 100). הרצת קורלציה של Pearson, קיבלת r = -0.79, p < 0.001. קשר חזק ושלילי. שמחת.

המנחה אמר: "יפה, עכשיו תריצי רגרסיה לינארית."

ועצרת. אם כבר יש לי r, מה רגרסיה עוד מוסיפה.

מה ש-r לא אומר לך

הקורלציה אומרת לך שני דברים: יש קשר, וכמה הוא חזק. r = -0.79 אומר "ככל שהוותק עולה, השחיקה יורדת, והקשר חזק בקנה מידה של -1 עד 1."

אבל r לבד לא אומר לך:

• בכמה בדיוק יורדת השחיקה כשהוותק עולה בשנה
• מה ציון השחיקה הצפוי למורה עם 12 שנות ותק

שתי שאלות מעשיות, ו-r לבד לא עונה על אף אחת מהן. רגרסיה לינארית עונה על שתיהן ועוד.

(שאלה שלישית נפוצה, "איזה אחוז מהשונות הוותק מנבא", דווקא כן ניתנת לחישוב מ-r לבד ברגרסיה פשוטה. נגיע לזה.)

מה רגרסיה לינארית עושה

היא מתאימה לנתונים שלך משוואה של קו ישר:

burnout = a + β × years

שני פרמטרים. a זה החיתוך עם ציר ה-y, "מה הציון הצפוי כשהוותק שווה ל-0". β זה השיפוע, "בכמה משתנה הציון לכל שנה נוספת של ותק". הקו עצמו נבחר כך שיעבור הכי קרוב שאפשר לכל הנקודות, במובן של מינימום סכום ריבועי המרחקים האנכיים. זה ה-OLS (Ordinary Least Squares), השיטה המקובלת.

הפלט

הריצה החזירה לך:

מקדם	ערך	SE	t(38)	p	95% CI
חיתוך (a)	71.59	2.60	27.56	< 0.001	[66.33, 76.85]
שיפוע (β)	-1.19	0.15	-8.00	< 0.001	[-1.50, -0.89]

שני מספרים נוספים בפלט שכדאי להכיר כבר עכשיו, ונרחיב על שניהם בהמשך: R² = 0.627, אחוז השונות בציוני השחיקה שהמודל לוכד, ו-F(1, 38) = 63.94, p < 0.001, מבחן המובהקות של המודל כולו.

איך לקרוא את השיפוע (β)

β = -1.19. במילים שאת יכולה לכתוב בפרק הממצאים: "כל שנה נוספת של ותק בהוראה קשורה לירידה ממוצעת של 1.19 נקודות בציון השחיקה."

זה משפט שיש בו תוכן מעשי. אם המנחה ישאל אותך "כמה השפעה זה?", יש לך תשובה ספציפית. מורה עם 20 שנות ותק צפויה להיות שחוקה פחות בערך ב-23 נקודות ממורה עם שנה אחת של ותק (19 × 1.19 ≈ 22.6). זה מספר שאפשר לחיות איתו, לא רק לדעת שיש קשר.

שימי לב: "קשורה לירידה" ולא "גורמת לירידה". רגרסיה לא מוכיחה סיבתיות. גם אם הקשר חזק ומובהק, יכול להיות שמשתנה שלישי (גיל, סוג בית הספר, מקצוע ההוראה) הוא שמסביר את שניהם. רגרסיה מתארת קשר, היא לא מוכיחה כיוון.

(הערת SPSS: בפלט, השיפוע הלא-מתוקנן הזה מסומן כ-B או כ-b. האות β שמורה למקדם המתוקנן (standardized beta), שזה מספר אחר. בפוסט אני קוראת לשיפוע β מטעמי פשטות, אבל את הציון 1.19 צריך לזכור כשיפוע ביחידות המקוריות: נקודות שחיקה לשנת ותק.)

איך לקרוא את החיתוך

a = 71.59. הציון הצפוי של מורה עם ותק 0, כלומר ביום הראשון להוראה.

שתי הסתייגויות. הראשונה: ותק 0 הוא מחוץ לטווח הנתונים שלך (הטווח שלך מתחיל ב-1.4 שנים). חיזוי מחוץ לטווח הנמדד נקרא אקסטרפולציה, והוא תמיד מסוכן. הקו עשוי להתעקם או להתפלג אחרת לגמרי בקצוות שלא ראית. במחקרי חינוך זאת אזהרה שמופיעה תכופות, וכדאי לציין אותה.

השנייה: בהרבה מחקרים אקדמיים, החיתוך עצמו לא ממש מעניין. הוא נחוץ לצורך החישוב, אבל אין שום פרשנות מהותית ל"מורה עם ותק 0". מה שמעניין הוא β. דווחי את שניהם, אבל הדגישי את ה-β.

R², אחוז השונות המוסבר

R² = 0.627. במילים מדויקות יותר מ"מוסבר": המודל הלינארי עם ותק כמשתנה מסביר לוכד 62.7% מהשונות בציוני השחיקה בין המורות במדגם. השאר, 37.3%, נשאר מחוץ למודל. גורמים אחרים שלא נכללו, רעש אקראי, או שניהם. שימי לב לניסוח: "מוסבר" נשמע סיבתי בעברית יומיומית, אבל R² מתאר חיזוי בלבד, לא סיבתיות.

הקשר ל-r הוא ישיר: R² = r². עם הערך הלא-מעוגל של r (-0.792), r² ≈ 0.627, בדיוק כמו ה-R² בפלט. ברגרסיה פשוטה עם משתנה מסביר אחד, R² ו-r² הם אותו דבר. כשמוסיפים יותר משתנים מסבירים, R² נפרד מ-r² של כל אחד מהם, אבל זה לפוסט אחר.

מה זה גודל אפקט סביר? Cohen הציע כללי אצבע, ש-Cohen's f² נגזר מהם ל-R²: סביב 0.02 קטן, 0.13 בינוני, 0.26 גדול. כללי האצבע האלה לא תקפים בכל תחום ובכל הקשר, אבל הם נקודת ייחוס שמופיעה תכופות. R² = 0.627 הוא גדול במונחים הללו, ובהרבה תחומים אקדמיים גם בלי הסייגים.

איך לחזות

נוסחת התחזית פשוטה: a + β × X. דוגמאות:

שנות ותק	חישוב (לא-מעוגל)	שחיקה צפויה
5	71.587 + (-1.194) × 5	65.62
15	71.587 + (-1.194) × 15	53.68
25	71.587 + (-1.194) × 25	41.74

קוראת שתחזור על החישובים עם הערכים המעוגלים שבטבלה למעלה (71.59 ו--1.19) תקבל ערכים קרובים אבל לא זהים, סטיות של עשירית הנקודה. זו תזכורת קטנה שמה ש-SPSS מציג בטבלה הוא גרסה מעוגלת של ערך מדויק יותר ששמור בזיכרון. ברגרסיה זאת תופעה נפוצה.

הנחות שכדאי לבדוק

רגרסיה לינארית עומדת על ארבע הנחות בסיסיות. כל אחת מהן מגנה על חלק אחר של הפרשנות. אם אחת נופלת, החלק הזה של המסקנה מאבד תוקף, אבל הניתוח לא בהכרח חסר ערך בכללותו. הבדיקות הן חלק מהממצאים, לא טקס.

לינאריות. ההנחה הראשונה היא שהקשר הממוצע בין X ל-Y הוא באמת ישר. אם הקשר האמיתי מעוקל (U הפוך, לוגריתמי, רוויה), OLS עדיין יתאים קו ישר ויחזיר β, אבל ה-β הזה יתאר ממוצע גס של קשר שאינו לינארי, וההסקה ממנו תהיה מוטעית. הבדיקה הראשונה היא ה-scatter plot של X מול Y עוד לפני המודל. אחרי המודל, הבדיקה היא גרף של השארים מול הערכים החזויים: אם רואים קמירות, גלים או דפוס חוזר במקום ענן אקראי, הקשר לא לינארי.

עצמאות התצפיות. כל תצפית צריכה להיות בלתי תלויה באחרות. אם יש לך 30 תלמידים משלוש כיתות, ב-OLS הם לא 30 תצפיות בלתי תלויות, הם 30 תצפיות מקובצות בתוך 3 קלסטרים. תלמידים מאותה כיתה דומים יותר זה לזה ממה שהיו אם נדגמו אקראית, וזה מטה את ה-SE כלפי מטה. כתוצאה, ה-t וה-p יקרינו ביטחון חזק ממה שהדאטה באמת תומכים בו, ויעלה הסיכון לדחיית H0 שגויה. כשהדאטה קלסטרי, חוזר, או אורך-זמני, צריך מודל אחר (מודל היררכי, GEE, repeated measures ANOVA). זאת הנחה על תכנון המחקר יותר מבדיקה סטטיסטית, וצריך להבין אותה לפני שמריצים.

נורמליות של השארים. שימי לב: ההנחה היא על השארים (residuals, המרחקים האנכיים בין כל נקודה לקו), לא על X ולא על Y עצמם. זה בלבול שגור. אם השארים מתפלגים בערך נורמלית סביב 0, ה-CI וה-p של β תקפים. אם הם א-סימטריים חזק או בעלי קצוות עבים, ההסקה על β פחות מדויקת. הבדיקה: היסטוגרמה או Q-Q plot של השארים, ו-Shapiro-Wilk כהשלמה. עם N סביר (30+), משפט הגבול המרכזי עובד לטובתך, והפרה מתונה לרוב לא קריטית. עם N קטן, היא יותר קריטית.

הומוסקדסטיות (שונות אחידה של השארים). פיזור השארים אמור להיות אחיד לכל אורך טווח ה-X. אם הוא נפתח לקונוס או הולך וצר, סימן ששגיאת התחזית גדלה או קטנה כפונקציה של X. ה-β עצמו עדיין חסר הטיה, אבל ה-SE שלו מוטה, וכל הקונפידנס שמדווח שגוי. הבדיקה: אותו גרף של השארים מול הערכים החזויים. ענן אחיד לרוחב הגרף, בסדר. צורת משולש, קונוס או "פייפר", יש בעיה.

הנחה חמישית שכדאי להזכיר, גם אם היא לא תמיד מופיעה ברשימה הקלאסית: היעדר תצפיות בעלות השפעה קיצונית. נקודה בודדת רחוקה מהענן הכללי, במיוחד אם היא בקצוות של טווח X, יכולה למשוך את הקו ולקבוע את β. הבדיקה: Cook's distance או leverage, או פשוט להריץ את הניתוח עם ובלי החשודות ולראות אם β זז משמעותית. אם הוא זז, יש לכך משמעות שצריך לדווח, לא להסתיר. הסרה של תצפית קיצונית בלי הצדקה כתובה תוקפץ לוועדה כדגל אדום.

בפרק הממצאים נהוג לציין שבדקת, וחשוב לא רק לדווח שבדקת אלא איך. "הנחת הלינאריות נבדקה באמצעות scatter plot של השארים מול הערכים החזויים, לא נמצא דפוס" זה משפט מספק. "ההנחות נבדקו ונמצאו תקינות" זה לא, וועדות כיום מבחינות בין השניים.

אם משהו לא מסתדר, יש דרכים: טרנספורמציה של המשתנים (לוג, שורש ריבועי), מודל אחר (לוגיסטי, פוליגונאלי, מעורב), או הסרת תצפיות בעלות השפעה עם הצדקה. כל אחד מאלה הוא לפוסט אחר.

איך לכתוב את זה בפרק הממצאים

נערכה רגרסיה לינארית פשוטה לחיזוי ציון השחיקה משנות הוותק בהוראה (N = 40). המודל נמצא מובהק, F(1, 38) = 63.94, p < .001, והסביר 62.7% מהשונות בציוני השחיקה (R² = .63, R²_adj = .62). המקדם של שנות הוותק היה שלילי ומובהק, β = -1.19, SE = 0.15, t(38) = -8.00, p < .001, 95% CI [-1.50, -0.89], כך שכל שנה נוספת של ותק קשורה לירידה של 1.19 נקודות בציון השחיקה.

שלושה משפטים. הצהרת המודל, F + R², המקדם עם הפרשנות המעשית.

בקיצור

קורלציה אומרת לך שיש קשר וכמה הוא חזק. רגרסיה לינארית מתרגמת את הקשר הזה למשוואה: כמה ה-Y הצפוי גבוה או נמוך יותר, בממוצע, לכל הפרש של יחידה ב-X (β), מה הציון הצפוי בכל ערך נתון של X (a + β × X), ואיזה אחוז מהשונות מוסבר (R²). שימי לב לניסוח: β הוא הפרש בערך הצפוי של Y, לא "כמה Y עצמו זז", כי Y של תצפית בודדת מתפזר סביב הקו.

ב-Pearson r לבד אפשר רק לטעון "יש קשר חזק ושלילי". ברגרסיה אפשר לכתוב "כל שנה נוספת של ותק קשורה לירידה של 1.19 נקודות בציון השחיקה, והוותק מסביר 63% מהשונות בין המורות במדגם." זה הבדל מעשי, לא רק טכני.

השלב הבא, אם בעבודה שלך יש יותר ממשתנה מסביר אחד (ותק, גיל, סוג בית ספר, ולאו דווקא רק אחד מאלה), פותח דלת חדשה: רגרסיה מרובה. אותה לוגיקה, יותר ממשתנה אחד בצד ימין של המשוואה, ושאלות חדשות כמו "כשמחזיקים את הוותק קבוע, האם הגיל עדיין מנבא?".