מורשת קרב סטטיסטית – כיצד התלהבות (ואדישות) של נסקרים עשויה להביא לתוצאה כוזבת בסקרים?

איורים: גל ערד-כבירי

בשנת 1936, ערך המגזין האמריקאי Literary Digest סקר שמטרתו לגלות מי ינצח בבחירות לנשיאות. המתמודדים היו פרנקלין דלאנו רוזוולט מטעם המפלגה הדמוקרטית ואלף לנדון מטעם המפלגה הרפובליקנית. הסקר היה עצום בגודלו: עשרה מיליון אנשים נשאלו למי הם יצביעו – 26% מסך המצביעים בבחירות הקודמות. לשם השוואה, סקרי הבחירות בישראל מתבססים על בין 500 ל-600 איש – קצת יותר מ-0.01% מהמצביעים.

הסקר של ליטררי דייג'סט חזה: לנדון ינצח עם 54% מהקולות. חלקכם בוודאי מגרדים עכשיו את הראש – איך זה שלא שמענו אף פעם על הנשיא לנדון? התשובה פשוטה – הסקר טעה. רוזוולט ניצח בגדול עם 61% מהקולות. אז מה קרה שם? האם זו עוד דוגמה לכך שאי אפשר לסמוך על סקרים? ואיך הסקר הזה הפך ל-"מורשת קרב" לסטודנטים לסטטיסטיקה?

כל סקר צריך מדגם

צריך להפריד קודם בין שני מונחים שלעיתים מתערבבים – סקר ומדגם.

הסקר הוא הנושא (למשל: בחירות בישראל) ואוסף השאלות (למשל: מי לדעתך הכי מתאים להיות ראש הממשלה?). לחלק הזה מקדישים הרבה מאוד מחשבה, למשל – כמה שאלות יהיו? ככל שיש יותר שאלות, כך נקבל יותר מידע, אבל גם נוריד את הסיכוי שאנשים יענו על הסקר או יענו על כולו באותה תשומת לב. גם הניסוח של השאלות זקוק לתשומת לב מיוחדת – הבדלים בניסוח יכולים "להוביל" אדם לענות תשובה מסוימת, וההובלה הזו יכולה להיות בתום לב או לא. כך, למשל, בניסוי "הסקר השקוף" שערכו באתר "שקוף" הראו כיצד ניסוח שונה לגבי "פתרון שתי המדינות" הוביל לתוצאות שונות. באופן אקראי, חצי מהנסקרים קיבלו נוסח "מוטה בעד פתרון שתי המדינות", והחצי הנותרים קיבלו נוסח "מוטה נגד פתרון שתי המדינות". 34% ממי שקיבלו את הנוסח המוטה נגד היו "בעד", לעומת 54% ממי שקיבלו את הנוסח המוטה בעד. זה נושא חשוב, אבל לא נתמקד בו כאן, אלא בחלק השני – המדגם.

המדגם הוא רשימת האנשים שאותם נשאל את שאלות הסקר. אלה מחולקים למשיבים – מי שענו על הסקר, ולא-משיבים – מי שלא ענו על הסקר. אי-השבה יכולה לנבוע ממספר גורמים: יכול להיות שסירבתי להשתתף (איך לעזאזל עושים פה "הסר"?!) ויכול להיות שפשוט לא מצאו אותי. הסוקר הגיע אליי הביתה, אבל בדיוק יצאתי לריצה. הכישלון של הסקר האגדי של LD ושל אין-סוף סקרים אחרים טמון כאן – מה היא "רשימת האנשים" שאותם נשאל את שאלות הסקר? אם לא כולם ענו, מדוע חלק לא ענו?

הנשיא הבא – אלף לנדון

הליטררי דייג'סט שלח בדואר 10 מיליון גלויות, שהכילו שאלה אחת עיקרית ושלוש שאלות משניות: הראשונה, "מי המועמד לנשיאות אותו אתה מעדיף"? האחרות הן "למי הצבעת בבחירות הקודמות", "אם לא הצבעת, מדוע לא הצבעת" ו-"מאיזו מדינה אתה [בארצות הברית]?".

מי הם אותם 10 מיליון שקיבלו את הגלויה? בשביל לשלוח גלויות צריך כתובת דואר. המגזין השיג 10 מיליון כתובות כאלה מכמה מקורות: ספרי טלפונים, בעלי רכבים, חברי מועדונים והתאגדויות, מצביעים רשומים, בעלי מקצוע רשומים, מנויים למגזינים שונים ואוספי כתובות עירוניים. רוב המספרים נלקחו מספרי הטלפונים ובעלי רכבים. "מורשת הקרב" הסטטיסטית הנפוצה לרוב עוצרת כאן ומבקשת מהסטודנטים לחשוב רגע – האם מי שנמצא בספרי טלפונים או שיש רכב בבעלותם או חברים בכל מיני התאגדויות וכיוצא באלו – מייצגים את כלל האוכלוסייה, ולכן גם את מגוון הדעות הפוליטיות בה, או שאלו קבוצות ייחודיות?

תארו לעצמכם שבבחירות האחרונות, היינו עורכים בישראל סקר עצום של מאות אלפי אנשים. אם, למשל, כל הבוחרים היו מגיעים מתל-אביב, היינו חוזים 11 מנדטים למפלגת העבודה, בניגוד ל-4 מנדטים שהם קיבלו בפועל מכלל הבוחרים.

אם נחזור לארצות הברית של שנת 1936 – התשובה השגורה לשאלה האם מקבלי הגלויה לא מייצגים את כלל המצביעים באמריקה היא "לא". כאמור, רובם נלקחו מספרי טלפונים. ומי מופיע בספרי טלפונים? מי שיש לו טלפון. למי יש טלפון בשנות השלושים של המאה ה-20? למעמד הבינוני-גבוה ומעלה, ואלה נוטים להיות יותר רפובליקנים מאשר דמוקרטים. במילים אחרות: המגזין לא שאל את בוחרי אמריקה למי הם יצביעו, אלא שאל את בוחרי אמריקה העשירה והיותר רפובליקנית. לפיכך, אין להיות מופתעים שהתשובה שקיבל היא... שהם מעדיפים את המועמד הרפובליקני. בדיוק כפי שאין מה להיות מופתעים אם נשאל את ישראל התל-אביבית למי הם יצביעו, ונסיק מכך על הישג חסר תקדים למפלגת מרצ.

עד כאן מורשת הקרב הסטטיסטית כפי שלימדו אותה במשך עשורים, ועדיין מלמדים. אבל האמת היא שיש כאן טעות, או לפחות חצי טעות. בשנת 1976, 40 שנה לאחר הסקר, פרסם הסטטיסטיקאי מוריס ברייסון מאמר קצרצר (2 עמודים) עם הכותרת הפרובוקטיבית (במונחים של מאמרים אקדמיים): "הסקר של ליטררי דייג'סט: כיצד נוצר מיתוס סטטיסטי". ברייסון טען טענה פשוטה – בעלות על טלפון לא יכולה להסביר את הטעות של הסקר. למרות שכולם ידעו לדקלם שבתקופה הזו לא היו הרבה טלפונים – הם טעו. בערך 40% ממשקי הבית האמריקאים היו אז בעלי טלפונים – כלומר לא "השכבות העליונות בלבד". בנוסף, לנדון קיבל רוב גדול דווקא במחוזות הכפריים – בהם שיעור בעלי הטלפון דווקא נמוך יותר. בנוסף טען ברייסון – אם לנדון אכן קיבל 60% מקולות "בעלי הטלפונים", אז מתוצאות האמת של הבחירות נובע שבקרב מי שאין לו טלפון, קיבל רוזוולט 27 קולות על כל 2 קולות של לנדון. זה אפשרי, אבל בלתי סביר לחלוטין.

למעשה, סקר שנערך רק שנה לאחר מכן מצא שבכל הנוגע לרכבים וטלפונים, התמיכה ברוזוולט הייתה גדולה יותר מלבד אצל מי שהיה להם גם רכב וגם טלפון (ראו בגרף להלן).

הטיית ההתהלבות

מהו אם כן ההסבר לכשל של הסקר? כבר סיפרנו שהליטררי דייג'סט שלח 10 מיליון גלויות, שהן יותר מרבע מכמות המצביעים בבחירות שלפני כן. זה היה המדגם. אבל מה עם הפירוק למשיבים ולא-משיבים? ברייסון טען שכאן קבור הכלב – רק 2.5 מיליון מהנשאלים גם השיבו, ואף כי לעיתים רבות טוענים שמי שהשיב ומי שלא השיב דומים זה לזה – או במילים אחרות, מי שלא השיב, לא השיב בלי סיבה מיוחדת – נראה שבמקרה ההוא זה לא היה המצב, והיה הבדל גדול מבחינה פוליטית בין מי שהשיבו לסקר לבין מי שלא השיבו.

היום, לענות לסקר קצר כזה זה ממש קל – ועדיין, חלק גדול מאיתנו בוחרים להתעלם או לנסות להסיר את עצמנו ממאגר הטלפונים של הסוקר התורן. ב-1936 זה היה סיפור גדול יותר – היה צריך למלא את הגלויה ולשלוח אותה בחזרה למגזין. כלומר, מי שלא הגיב (בניגוד למי שכלל לא קיבל) כבר, כנראה, קצת שונה ממי שכן הגיב וזאת על בסיס הטרחה לענות. אבל אם התפלגות חוסר-הרצון-לטרוח דומה בין הצדדים הפוליטיים, זה לא אמור לשנות יותר מדי.

התלהבות. ההתלהבות היא זו שהובילה לכשל הגדול של הסקר ולחיזוי השגוי שהמועמד הרפובליקני ינצח. רוזוולט עמד כאן לבחירות שניות, באמצע השפל הגדול ותוכניות הניו-דיל. לרוזוולט היה היתרון של היותו הנשיא המכהן ולכן מי שמרוצים מהדרך הנוכחית יכולים להביע בו אמון על ידי בחירה מחדש. אבל "לבחור מחדש" זה לא מלהיב כמו "לבחור בפעם הראשונה". ב-2008 נבחר אובמה על גל של אופטימיות והתלהבות עצומה; ב-2012 הוא נבחר על אף גל של עייפות כללית. התומכים של לנדון היו מאוד נלהבים בדומה, למשל, לתומכים של זהות ושל כל מפלגה "חדשה" או מועמד "חדש". התומכים של לנדון מילאו את הגלויות בהמוניהם וכך יצא שהוא אמור לנצח – אבל לקלפי מגיעים לא רק המתלהבים אלא גם המפהקים, ובשקלול הכללי לנדון הפסיד. בגדול.

ראינו כבר שגם בעלי הטלפון שהואשמו על לא עוול בכפם בכך שהם עשירים ורפובליקנים, נטו דווקא לרוזוולט. אבל מה עם שיעור המשיבים לסקר של ליטררי דייג'סט? כאן אנחנו מקבלים היפוך מוחלט של התרשים הקודם – התומכים של לנדון אכן היו מה-"מתלהבים" – היה חשוב להם להביע את חוסר שביעות הרצון שלהם מהניו-דיל ואת התקווה שלהם לשינוי עם לנדון, ובאופן בלתי תלוי בבעלות שלהם על טלפון או רכב (ראו בגרף להלן).

החוקר דומיניק לוסינצ'י חישב, על בסיס הממצאים הללו (ועל בסיס עוד כמה סוגיות שהעדפתי לא להיכנס אליהן במאמר זה), שאת הפער של 19.6 נקודות אחוז בין תוצאות האמת עבור רוזוולט (62.5%) לתוצאות בסקר של ליטררי דייג'סט (42.9%) ניתן לפרק לחלק שנובע מהטיית המדגם (ההסבר המקובל) ולחלק שנובע מהטיית ההשבה או ההתלהבות. הטיית המדגם מסבירה 5.9 נקודות אחוז מהפער, בעוד שהטיית ההשבה מסבירה 13.7 נקודות אחוז מהפער. במילים אחרות: החלק הארי של הטעות של ליטררי דייג'סט לא הגיע מכך שהסתמכו על ספרי טלפונים, אלא מכך שהדמוקרטים לא ששו לענות על הסקר, בעוד שהרפובליקנים התלהבו ו-"שיתפו בכל הכוח".

על הרלוונטיות המתמשכת של אי-ההשבה

איך כל זה רלוונטי להיום?

קודם כל, מורשת קרב חלקית מעבירה מסר חלקי. דורות של סטטיסטיקאים ומדעני חברה שמו דגש גדול (וחשוב) על כך שהמדגם שלהם יהיה מייצג, אך דגש חלקי יותר על טיפול סטטיסטי הולם באי-השבה. בנוסף, שיטת הדגימה המודרנית, המתבססת על סקרים אינטרנטיים, יכולה לסבול מאותה בעיה בדיוק של שיעור השבה נמוך ומוטה. למשל, באחד מסקרי הבחירות שנערכו ב-2019 השיבו 605 איש מתוך מדגם מייצג של האוכלוסייה בישראל בגילאי 18 ומעלה. אבל למעשה, 3,656 התבקשו להשתתף – שיעור השבה של 16.5% בלבד. קיימות היום שיטות סטטיסטיות רבות ומגוונות להתמודד (עד כמה שניתן) עם אי-השבה שכזו. ב-2017 פורסם מאמר שמראה איך בעזרת שיטות סטטיסטיות המתמודדות עם אי-השבה ניתן לקבל מן הנתונים מהסקר של 1936 שהמנצח הוא רוזוולט, ומציע שיטות תיקון דומות לסקרים מודרניים. הליטררי דייג'סט היה מודע לשיטות תיקון כאלה, אך גאוותו הייתה דווקא על כך שהוא לא נותן למומחים שלו להפעיל "שיקול דעת" שכזה, ומפרסם את התוצאות כפי שהן.

בישראל, המצב קצת שונה. ראשית, לסוקרים הישראלים יש מצב קשה יותר להערכה – קל הרבה יותר לחזות איזה מועמד לנשיאות ינצח (או לפחות איזה מועמד יקבל את רוב הקולות). בארצות הברית יש שלוש אפשרויות מרכזיות (דמוקרטי, רפובליקני, לא מצביע) ומספר זניח של מועמדים ממפלגות זניחות (ליברטריאנים, סוציאליסטים, ירוקים וכיוצא באלו). לעומת זאת, בישראל יש עשרות מפלגות שמקובצות במספר גדול של רשימות. בנוסף, ייתכן שבישראל יש בעיה גדולה יותר עקב הפעלת "יתר שיקול דעת" מצד הסוקרים – הסוקרים נוטים לקחת את מי שאינם יודעים למי יצביעו, ולחלק אותם בין המפלגות השונות לפי מפתח לא ידוע כלשהו. נדמה שהם גם דואגים להיות דומים אחד לשני, כדי שלא יואשמו בכך שהם משרתים מטרה פוליטית כלשהי, ולכן גם אם סוקר כלשהו קיבל בסקר פער גדול מאוד בין כחול-לבן לליכוד, הוא העדיף להקטין אותו על ידי, למשל, חלוקת יותר מנדטים מהלא-יודעים לליכוד מאשר בדרך כלל. מי שרוצים לדעת יותר על תעשיית הסקרים בבחירות בישראל והחלטות הסוקרים, מוזמנים לקרוא את המאמר המצוין של "הסקר השקוף". ועם זאת, המקרה של ליטררי דייג'סט מספק לנו תשובה טובה לתהייה לאן נעלמו כל המנדטים של "זהות", "עוצמה יהודית" ומפלגות אחרות שהפציעו לאורך השנים בסקרים כעוברות את אחוז החסימה. המצביעים שלהן היו הנלהבים וההחלטיים ביותר, אבל בקלפי קולות המצביעים המפוהקים שווים לקולות המתלהבים.

אריאל קרלינסקי הוא דוקטורנט במחלקה לכלכלה והמרכז לחקר הראציונליות באוניברסיטה העברית

* מערכת "דיומא" רוצה להודות לאריאל קרלינסקי על הסכמתו לפרסום עיבוד של מאמר שהופיע בבלוג האמנית והרוכל. לפרסום במקור ראו אריאל קרלינסקי, "ההתלהבות הרגה את הסקר"