ספק סביר #155 – תדרים, עכברים והדברים המשפיעים עליהם

היי,
כיף לשמוע תכנית חדשה, ובהרכב מלא שלכם אז בכלל מצוין.
לגבי ניסוי העכברים, אני לא חושב שאמרתם משהו לא נכון, אבל אני לא מסכים עם הרוח הכללית. יש כמה מרכיבים בניסויים מדעיים שמונעים את כל ה"רעשים" שציינתם, גם במעבדות דלות תקציב:
1. Blinding – ברגע שיש Blinding זה אומר שגם אם יש עוזרת מעבדה שמפחיתה את לחצם ומגדילה את כאבם של העכברים לעומת העוזר הגבר, היא לא יודעת מה קבוצות המחקר ולכן היא לא תעבוד דווקא בקבוצת מחקר A (ולא בקבוצת מחקר B). גם אם במקרה יוצא שכל קבוצה A עם עוזרת מעבדה וכל קבוצה B עם עוזר מעבדה, עדיין רוב הסיכויים שמשתנים אחרים, מקריים באותה מידה, יפעלו בכיוון הפוך (למשל, עוזרת המעבדה עובדת – במקרה – בערב, שעה שבה העכברים עייפים ופחות כואב להם).
2. רנדומיזציה מפורשת של סדר – השיוך לקבוצת מחקר A או B של נבדק\ת נקבע באקראי ברגע ביצוע הניסוי, כך שהשעה, זהות עוזר\ת המחקר וכו' הם אקראיים.
3. לא משויים בין קבוצות ממחקרים שונים (לא משווים בין קבוצת ביקורת של ניסוי בתל אביב לבין קבוצת מחקר של ניסוי בי-ם) כי בין מעבדות שונות יש סיכוי רב להבדלים עקביים, שלא הייתה אקראיות בהפעלה שלהם. אם עושים מטא אנליזה לוקחים את העניין הזה בחשבון.
4. מסתכלים רק על תוצאות בעלות מובהקות סטטיסטית וגודל אפקט מסויימים.
5. שחזור של תוצאות בניסויים של מעבדות אחרות.
צעדים 1 2 ו – 3 (הופ!) למעשה הופכים את ההשפעה של משתני הרעש שצויינו (מין החוקר\ת וכד') לאקראית. צעדים 4 ו-5 מורידים את הסיכוי שנתייחס ברצינות לתוצאה שהתקבלה רק בגלל משתני רעש. היופי הוא שצעדים אלו פועלים ללא קשר לסוג המשתנה ה"מרעיש", ולמעשה מנצלים את משתני הרעש אחד נגד השני.

למעשה, התייחסות יתרה למשתני רעש שהשפעתם אינה גדולה עלולה לפגוע במחקר! משתני הרעש מונעים מאיתנו לגלות אפקטים חלשים ביותר שלמעשה אינם מעניינים. בנוסף לכך, ניסיון לשלילה של יותר מדי משתני רעש רק יכול לגרום למשתני רעש אחרים "לככב". ועוד – מכיוון שהחוקר\ת בוחר\ת באופן מודע אילו משתני רעש לנסות לשלול, הבחירה שלו עלולה להיות מושפעת מהתוצאה שהוא\היא רוצה שתקרה. לכן במקום לנסות למנוע משתני רעש ספציפיים, הדבר הנכון לעשות הוא לבחור רמת קפדנות מסוימת ולדבוק בה.