למה כדאי להטיל ספק

"הספק הוא בית הספר של האמת"- פרנסיס בייקון

יש סיבות רבות להטיל ספק בממצאי מחקרים ברפואה ובעקר בממצאים חיוביים (שהתוצאה שלהם מובהקת).

נפרט חלק מסיבות אלה- החובה שלא להזיק, ההיסטוריה של טיפולים מזיקים ברפואה, ניגודי האינטרסים במחקר, ושכיחות שיטות לקויות במחקרים רפואיים.

ישנה גם סיבה מעניינת נוספת שנסביר יותר לעומק. זוהי סיבה מתמטית שהוצגה על ידי יואנידיס ב- 2005: כאשר מחקר קטן, וכאשר הוא בודק השערה שהסבירות שהיא נכונה נמוכה, תוצאה חיובית ומובהקת במחקר בדרך כלל תהיה מוטעית (!).

החישובים של יואנידיס מבוססים על הסתברות מותנית, וכוללים את הסבירות מראש שההשערה נכונה, את ערך הסף למובהקות ואת עצמת המחקר (power)- מושג שנסביר בפרק זה. המסקנה מחישובים אלו, היא שרוב המחקרים המתפרסמים ברפואה שבהם הממצאים מובהקים, למעשה מטעים אותנו. (למתעניינים- בסוף הטקסט יש פירוט החישוב)

למרות כל אלו, חשוב לראות גם את הצד השני של המטבע- צריך להיזהר מספקנות מוחלטת , מניהיליזם המטיל ספק מוחלט בכל המחקר הרפואי. גישה כזו עלולה להיות הרסנית ביותר לרפואה ולמטופלים.

כאשר המחקר גדול, כששאלת המחקר בדקה קשר שיש סבירות גבוהה שקיים, ואם המחקר בוצע בשיטות טובות- ממצאים מובהקים לרוב מעידים על האמת, מקדמים את הרפואה ועוזרים למטופלים לקבל טיפול נכון וטוב יותר.

"קיימים שני סוגי טיפשים: אלה שאינם מטילים ספק כלל, ואלה המטילים ספק בכל דבר"- שארל דה לין

---

 

המאמרים שהוזכרו בפרק

 

Ioannidis: Why Most Published Research Findings Are False

לחובבי מתמטיקה ברמה בסיסית (חילוק, חיסור)- החישובים במאמר בהחלט אפשריים להבנה, ויש דוגמה למטה. לנמנעי מתמטיקה- הגרפים מציגים את התופעה בצורה ברורה, ומראים מה הסבירות שתוצאת מחקר מובהקת אכן מייצגת את האמת לפי מאפיינים שונים המחקר. 

 

מטא-אנליזות בכירורגיה הן לרוב עם הטיות (שיטות לקויות- מאמר מ 2005, אך מאמר דומה מ 2020 לגבי במטא-אנליזות העוסקות בנוגדי קרישה חדשים מראה שהבעיה עדיין קיימת.

 

מאמר דעה יפה על כך שספקות לגבי ממצאים הם חלק בלתי נפרד מהמדע

 

---

למתעניינים בחישובים של יואנידיס:

נאמר שבתחום רפואי מסוים יש סבירות של 5% שיש קשר בין שני משתנים, למשל 5% מהמזונות מגבירים סיכוי למחלה מסוימת. נאמר גם שבוצע מחקר שבדק האם יש קשר בין מזון מסוים לאותה מחלה.  אם עצמת המחקר היא 0.2, ואם התוצאות היו מובהקות, עם ערך p  של 0.05 הסבירות שמדובר בטעות ושלמעשה אין קשר בין המזון למחקר היא  70%, גם אם אין הטיות בשיטות המחקר*. במלים אחרות, למרות שהמחקר הראה שהמזון מגביר סיכוי למחלה, ולמרות שערך ה p – היה 0.05,  סביר שאין קשר בין אותו מזון למחלה.

החישוב: במחקר בעצמה 0.2 , כאשר הסבירות מראש לקשר בין משתנים היא 5%,

מכפילים את הסבירות מראש לקשר בעצמה (power)

0.2X 5%=2%

מכפילים את הסבירות שאין קשר בערך ה- p

0.05X 95%=~5%

שני מצבים אלו יחד מייצגים את כלל האפשרויות לקבל תוצאה מובהקת במחקר,

ואז היחס בין תוצאות מובהקות מטעות לבין כלל התוצאות המובהקות הוא

 5/7=~30%

*חישוב זה נוטה להגזים לטובה... יואנידיס משתמש גם במקדמים נוספים לתקנון עבור רמות שונות של הטיה במחקר, ועבור ביצוע מחקרים מרובים על אותה שאלה קלינית. כאשר משתמשים במקדמים אלו, שיעור התוצאות המובהקות המוטעות עולה עוד יותר.

לעומת זאת, החישוב נסמך על מחקרים בהם ערך ה p  הוא 0.05, ואם ערך ה p קטן יותר, החישוב מגזים לרעה. באופן דומה, אם המחקר גדול (ולכן העצמה שלו גדולה יותר) החישוב מגזים לרעה, ואם הסבירות מראש לקשר בין שני משתנים גדולה יותר (למשל, תיאוריה בסיסית חזקה מאוד, מחקרים קודמים שהצביעו על קשר אפשרי, ועוד)- החישוב מגזים לרעה. זאת אומרת, במחקרים גדולים, עם שאלת מחקר שמאחוריה הגיון ומחקרים קודמים, עם ערך p קטן מאוד וכאשר ההטיות לא חמורות, אפשר בהחלט לסמוך על תוצאות חיוביות.