טענה לזיוף במחקר בהובלת פרופ' אריאלי: ניסויים דומים לא שחזרו התוצאות

האם הכלכלן ההתנהגותי פרופ' דן אריאלי זייף את התוצאות באחד המחקרים המפורסמים שלו? הכל התחיל במחקר משנת 2012 בהשתתפות אריאלי, מבולטי החוקרים בתחום הכלכלה ההתנהגותית. ספריו (בראשם "לא רציונלי ולא במקרה") הפכו לרבי מכר והוא אף זכה לאחרונה במכרז של החמ"ל הלאומי למאבק בקורונה כדי לסייע לממשלת ישראל להתמודד עם הנגיף.

שאלת המחקר שלו מ-2012 הייתה - האם לגרום לאנשים לחתום בראש העמוד ולא בתחתיתו יגרום להם לשקר פחות במידע שהם נותנים? החלק המעניין הוא זה שאריאלי עצמו היה אחראי עליו: חברת ביטוח רכב מדרום-מזרח ארה"ב ביקשה מלקוחותיה לכתוב מה הקילומטראז' של הרכב שהם מעוניינים לבטח. התמריץ לשקר היה ברור: רכב שנסע פחות קילומטרים הוא זול יותר מבחינה ביטוחית. כנגד, עומדת היושרה של ממלא הטופס, וכמובן הרצון שלו לא להיתפס. האם חתימה בראש הטופס משדרגת את יושרת הלקוחות? לכאורה, בהחלט כן - מי שמילאו את חתימתם בראש הטופס דיווחו שנסעו 10.3% יותר קילומטרים מאלו שמילאו את חתימתם בתחתית הטופס. אם הטפסים אכן חולקו רנדומלית, לשינוי קטן מאוד באופי בקשת המידע יש השפעה ניכרת על האמינות. המחקר הכה הדים, שימש את אריאלי בהרצאותיו, ועזר לבסס אותו כמומחה בתחום.

אלא ששישה ניסויים דומים שבוצעו לאחר מכן (כולל אחד שניסה לשחזר אותו במדויק) ופורסמו ב-2020 נכשלו בשחזור התוצאות. כלומר, ביצעו ניסויים נוספים שמטרתם בדיקה האם חתימה בראש הטופס במקום בתחתית משפרת את האמינות, אך התוצאות הראו שוב ושוב - אין השפעה מובהקת. גם זה בפני עצמו מעניין מאוד, ולכאורה מצביע על הבעייתיות בניסויים התנהגותיים כאלה. אך למעשה, האמת עשויה להיות קשה יותר - בפרסום בבלוג המדעי Datacolada, שבו שלושה חוקרים מבוססים מאוניברסיטאות נחשבות מפרסמים את כתיבתם הבלתי-רשמית, נטען שיש עדויות חזקות מאוד שהנתונים המקוריים שעל סמכם בוצע הניתוח זויפו.

קודם כל, התפלגות מספר הקילומטרים שנסעו הרכבים מאז הדיווח הקודם לחברת הביטוח הייתה אחידה מאוד. 500 איש נסעו עד 2,000 מיילים מאז הבדיקה הקודמת, 500 איש שנסעו בין 10,000 ל-12 אלף, ומעט נסעו בין 48 אלף ל-50 אלף מיילים מאז הבדיקה הקודמת. כמה נסעו מעל 50 אלף מייל? אפס. המספרים גם תמיד מדויקים ולא מעוגלים, למרות שבטפסים קודמים המספרים אכן לרוב מעוגלים - מה שמעיד על שימוש בפונקציית יצירת מספרים רנדומליים. בנוסף, הנתונים כתובים בשני פונטים שונים.

לכאורה היטפלות לשגיאות קטנות וחסרות חשיבות, אך בדיוק מחצית מהנתונים הופיעו בפונט Calibri, ובדיוק חצי בפונט Cambria. למעשה, לכל לקוח שכתוב ב-Calibri אפשר להצמיד לקוח ספציפי ב-Cambria, כאשר לכל אחד מהנתונים שהוא הזין - יש למקבילו נתון זהה פלוס מספר רנדומלי בין 1 ל-1,000. מה שככל הנראה עשו, זה לקחו נתוני אמת, ו"יצרו" מכל אחד מהם נתון שקרי חדש, שהוא בדיוק הנתון הקודם פלוס מספר רנדומלי בין 1 ל-1,000, דבר שאפשר לבצע בפונקציית אקסל פשוטה.

חזרו ממסקנות המחקר

אריאלי טען בתגובה לשאלות עיתונאים שהוא מסכים שהנתונים אכן זויפו, אבל שכך הוא קיבל אותם מחברת הביטוח. זה כמובן הסבר אפשרי, אבל נשאלת השאלה - למה חברת הביטוח (שלא אמורה לדעת מה השערת המחקר) תזייף נתונים בצורה שתעזור במדויק להוכיח את השערת הכותב?

עם זאת, חייבים לציין לחיוב את החוקרים המקוריים (כולל אריאלי) שפרסמו 8 שנים לאחר פרסום המאמר המקורי את ההסתייגות שבה הם חזרו ממסקנתם משום שלא הצליחו לשחזר את המחקר. הם אף שיתפו את מסדי הנתונים המקוריים, שכלל גם את הפונטים המקוריים בהם הם השתמשו. זו יושרה מדעית נכונה וראויה, שמאפשרת ביקורת עצמית וממסדית ואיתור זיופים וטעויות. מאמר ההפרכה התפרסם בז'ורנל מדעי יוקרתי, מה שלא היה מקובל עד העשור האחרון. זאת בעקבות "משבר ההשתחזרות" - ניסיונות המוניים לשחזר מחקרי עבר (בעיקר במדעי החברה) מצאו שחלק ניכר מהם לא משתחזרים בהתאם לתוצאות המקוריות, חלק מהותי במתודה המדעית.

תגובת אריאלי

אריאלי מסר בתגובה כי "לפני יותר מעשר שנים, ערכנו ניסוי ביחד עם חברת ביטוח. בגלל שמירה על פרטיות של החברים בחברת הביטוח, הייתי צריך להישאר רחוק מכל תהליך איסוף הנתונים. ‏רק אחרי שגמרו את כל התהליך, קיבלתי את בסיס הנתונים. שמתי אותם באתר והזמנתי אנשים אחרים להסתכל. לא חשדתי ‏שיש משהו לא בסדר. לפני כמה שבועות מישהו הסתכל בנתונים בצורה חדה, וגילה בעיות גדולות. מיד הודעתי לוועדת האתיקה באוניברסיטה וביקשתי מהז'ורנל שיוריד את המאמר. האוניברסיטה עשתה על זה חקירה. עצוב לפרסם נתונים לא נכונים, עצוב לפרסם משהו שיצא לא נכון. עצוב לי על האנשים שכתבתי איתם את המאמר, שסמכו עלי, ואני סמכתי על חברת הביטוח וזה לא יצא.

זו הייתה הפעם הראשונה והיחידה שהסכמתי להיות מחוץ לתהליך איסוף הנתונים. עכשיו לוקח יותר משנה רק להסדיר דברים בין עורכי הדין של האוניברסיטה לאלו של החברה. אני תמיד מעורב בפרטים של הניסוי, זו הייתה התנסות חד פעמית בדרך הזאת. אנחנו לא אוספים שום נתונים שמישהו צריך להזין אותם באופן ידני. השילוב של שני הדברים האלה מקטין את הסיכוי שיש משהו לא בסדר. גם שיניתי את הפרוצדורות, וכל בסיס נתונים ייבדק לאפשרות שמשהו שם לא בסדר".

סייע בהכנת הכתבה: ד"ר חגי אלקיים שלם