Thread by @MatanHolzer

סגרים עובדים?
אם לסבתא היו גלגלים

כשל post hoc, ergo propter hoc (לטינית: לאחר מכן, מכאן שבגלל),
ופסאודו מדע שמבוסס על הנחות שגויות והנחת המבוקש.

קייס סטאדי: ביקורת מאמר מרכזי >>

ב 8 ליוני 2020 התפרסם מאמר משפיע של האימפריאל קולג' הבריטי (בין המחברים מיודענו @neil_ferguson) שמתיימר להוכיח שהסגרים (lockdowns), ודווקא הם, עצרו את ההתפרצות במרץ-אפריל במדינות מערב-אירופה.
nature.com/articles/s4158…

המאמר מנתח את דינמיקת התפרצות מגפת ה covid19 במרץ-אפריל במספר מדינות מערב-אירופאיות:
אוסטריה, בלגיה, דנמרק, צרפת, גרמניה, איטליה, נורווגיה, ספרד, שוודיה (כן כן... האקדח הזה עוד יירה במערכה השלישית) שווייץ ובריטניה.

מעריכים את Nt, מס' הנדבקים היומי לפי השלכה-הפוכה אחורה ממס' המתים היומי (עם IFR כלשהו שאמור להיות מתוקנן לגילאים, lag מסוים מזמן ההדבקה, ואז חלון זמן שבו היא מתבטאת בתמותה).
על בסיס Nt, מחשבים את קצב ההכפלה היומי Rt.
שמים את ההתערבויות על ציר הזמן, ובוחנים את ההשפעה שלהן על Rt.

ההנחה שעליה מבוסס המודל היא כי קצב ההכפלה Rt הוא קבוע כל עוד לא היה שינוי בהנחיות.
מכאן שבין מגבלה למגבלה Rt קבוע, והשינוי מיוחס למגבלה האחרונה.

מתקבלים גרפים כאלו:

משמאל, מס' הנדבקים המשוער
באמצע, התמותה.
מימין, Rt קבוע למקוטעין, בין הסימבולים הצבעוניים על נקודות זמן של שינוי בהנחיות.

ניתן לראות שכל הנחיה הורידה את Rt מעט, אבל רק ה lockdown הוריד אותו אל מתחת ל 1.

בפרט, בתחילת המגפה, כל עוד לא היה שום שינוי בהנחיות, Rt שווה לקצב ההכפלה הראשוני R0.
מכאן הם הסיקו את המודל ה counterfactual (=מה היה אילו המציאות הייתה שונה), למקרה שלא היו עושים שום מגבלות:

~3.1 מיליון מתים באותן 11 מדינות.

העיתונות נחפזה לצטט את ההערכה הזו:
bbc.com/news/health-52…

(קשה שלא להזכר בקריקטורה הזו...)

אבל, לכאורה, למה לא?

יש כאן מודל מתמטי, מבוסס על הנחות סבירות,
מראה שחור על גבי לבן מה היה יכול לקרות,
ומה ההשפעה של כל מגבלה...

הבעיה היא שהנחות היסוד שגויות לחלוטין.

והן גוררות את המסקנות בהנחת המבוקש קלאסית.

כפי שידוע למי שקרא את פוסט הארנבים שלי
facebook.com/matanholzer/po…
מגפות הן תהליך התפשטות המכלה את משאביו (אנשים הופכים לחסינים / מתים), ו

"תהליך גדילה המכלה את משאביו,
לעולם אינו גדל אקספוננציאלית ביחס קבוע,
קצב הגדילה שלו דועך עד שמגיע לרוויה".

בד"כ ממדלים מגפות באמצעות מודל SIR,

שנותן תוצאות דומות לעקומת גדילה לוגיסטית.
קצב הגדילה דועך ככל שיותר נדבקים והופכים לחסינים

כך לדוגמה ממדלים את שפעת הונג-קונג ב 1968
(באדום - נדבקים חדשים.
בכחול - אוכלוסיית הפגיעים, אלו שעוד לא נדבקו והתחסנו.
הדבקה = פגיעים --> חסינים)

נתבונן על מס' הנדבקים החדשים בעקומת גדילה לוגיסטית היפותטית, וקצב ההכפלה המתאים:

עכשיו ניקח נקודות זמן שרירותיות,
ונחשב את ממוצע קצב ההכפלה בקטע שביניהן.

מכיוון שקצב ההכפלה דועך מונוטונית,
בהכרח שקצב ההכפלה בקטע שבין זוג נקודות יהיה תמיד נמוך יותר מקצב ההכפלה בקטע שבין זוג הנקודות הקודם!

ומה יקרה אם נחשב את קצב ההדבקה מנקודת הזמן האחרונה ועד סוף הגל?
ברור שיהיה קטן מ 1.
כי בכל הקטע שאחרי שיא הגל קצב ההדבקה קטן מ 1
(שיא הגל הוא שבו קצב ההכפלה עובר מ >1 ל <1).

כך שאם ניקח נקודת זמן לפני השיא ונחשב את הממוצע לאחריה, נקבל תמיד מעבר מ Rt>1 ל Rt<1.

לכל סט נקודות עוקבות בזמן נקבל את אותה התנהגות (ירידה ב Rt הממוצע בקטע שבין זוג נקודות לבין הקטע בזוג העוקב, Rt ממוצע <1 מהנקודה האחרונה והלאה, ואם האחרונה היא לפני השיא, מעבר מ Rt>1 ל Rt<1).

ואם כן, בחירת נקודות זמן שהתרחשו בהן אירועים מסוימים כדי להוכיח שהאירועים האלו גרמו לירידה,
היא הנחת המבוקש.

אני, למשל, בחרתי את הנקודות שלי לפי האירועים הבאים,
וראו זה פלא: הוכחתי שהאירועים האלו עצרו את המגפה!

ועכשיו ראו קסם נוסף.

נניח שאיזה כופר לא מאמין שעצרות תפילה בבני ברק עוצרות מגפות.

איך הוא יכול להפריך את המודל המושלם?

קל.
הוא צריך להוסיף למודל נקודה אחת לאחר העצרת (ולפני השיא).
ואז האפקט שלה יהיה רק הממוצע בקטע שעד הנקודה הבאה,
והדעיכה מתחת ל 1 תיוחס רק לנקודה הבאה.

ומה קורה בשנה בה מכבי ת"א לא לקחה אליפות?

והמודילסט מגביל את עצמו לבחון רק את נקודות הזמן האלו?

אז לא תשאר ברירה אלא לייחס את הדעיכה (מעבר בין Rt>1 לבין Rt<1) לעצרת התפילה בבני ברק.

זוכרים את האקדח שהופיע במערכה הראשונה?

מסתבר, שבעוד בכל מדינות מערב-אירופה צעדי ההתערבות הקלים יחסית לא הספיקו, רק הסגר המלא,
בשוודיה הם הספיקו לגמרי...

זה בתיאוריה.

אבל אולי, רק אולי, קצב ההכפלה היה באמת קבוע למקוטעין?

קצב הכפלה קבוע למקוטעין מתבטא בעקומת מקרים חדשים אקספוננציאלית למקוטעין, שנראית כך⬇️
עליות תלולות בקצב משתנה ולא רציף, וירידה חדה
הרבה אי רציפות

האם הגרפים נראים כך?

בנוסף, קבוצת חוקרים גרמנית בראשות הוציאה מאמר ביקורת חריף על המאמר של האימפריאל קולג' (בתמצית - מה שאמרתי כאן, ועוד ביקורות מתודולוגיות, לדוגמה - האם משמעות המונחים זהה בכל המדינות?),
@SHomburg I hope the automatic translation will do the job ;)
advance.sagepub.com/articles/Comme…

ושם הראו ש Rt בבריטניה אכן דעך מונוטונית,
ו*לא* היה קבוע למקוטעין

אז...
איך מאמר כזה מתקבל במערכת?
איך עבר את ביקורת העמיתים המפורסמת?
איך מתפרסם בז'ורנל מכובד? @nature

לא נותר לי אלא להפנות אתכם לביקורת שהופיעה באתר @DavidsonOnline של @WeizmannScience:
לפעמים חוקרים רוצים לקדם איזה רעיון, הם עצמם לאו דווקא מבינים בתחום, עושים מודל המבוסס על הנחות שגויות, ונותנים לביקורת עמיתים שהם בוחרים, שגם הם אינם מבינים בתחום...
davidson.weizmann.ac.il/online/reasona…

האירוניה היא שהביקורת של מכון דוידסון היא על מחקר שבא להוכיח שדווקא חיוב המסכות, ולא הסגר, הוא מה שהביא לדעיכת המגפה (באמצעות משחק מסוג דומה), והמאמר בדוידסון כותב שמאמרים כאלו עוד עלולים, חלילה, לבוא לזלזל באסטרטגיות חשובות, כמו הסגר...

נו, האופנה, סליחה, המדע, משתנה...

זה בגדול מה שקרה כאן.

מבקר אחד הוא David Earn. אני מניח שמדובר באיש הזה,
שלפי האתר שלו,
davidearn.mcmaster.ca
הוא מתמטיקאי שימושי שחוקר בין היתר אפידימיולוגיה (בדומה לפיזיקאי ניל פרגוסון)

והשני, אנונימי.

קובץ ה peer review נמצא כאן:
static-content.springer.com/esm/art%3A10.1…

נתחיל מהמתמטיקאי.

אותו מעניין בעיקר אספקטים מתמטיים של המודל, וריגורוזיות מתמטית.

למשל, הערה אחת שלו
- In your definitions of \pi_{s,m} and \pi_{1,m} you are missing the \tau in d\tau.
או
- "slowing of R_t" is an odd phrase. R_t is not a rate, it is a pure number. Better to say a reduction in
R_t. (Later, saying slowing in growth is fine.)

קריטי, ללא ספק.

האם ההנחות תקפות ביולוגית, לעומת זאת, פחות הטריד אותו.

כך למשל קבע כי
Assuming R_t is piecewise constant is perfectly reasonable (!)

והתעניין מדוע לא ניסו מודלים אחרים של signal processing
(אפרופו, למי שחושב שזה עניין לרופאים...).
ענו שלא הצליח להם.

שעשוע מבחינתם.

השני הוא כנראה ביולוג.

העיר בנימוס בריטי ש ה R0 לא ממש מבוסס, ועוד עלולים לצטט את המודל ככה (!), ויותר ההנחה שללא התערבות Rt=R0 היא "מאוד ספקולטיבית", וחייבים לסייג אותה.

ענו לו איזה בלהבלה.

והם אכן הסתייגו.

"זה המודל ה counterfactual, בהתבסס על הנחה X.
בלהבלהבלה...
במציאות, הנחה X לא מתקיימת, ולכן זו הערכת יתר"

אם לסבתא היו גלגלים...

חשוב!
המודל *כולו* מבוסס על ההנחה הזו, לא רק הcounterfactual.
י Rt קבוע כל עוד לא קרה משהו, ולכן ההתערבויות הן מה שעשה את השינוי.

אבל זה כמובן לא הפריע לתקשורת לצטט את המספר 3.1 מיליון, בדיוק כפי שהעריך ה reviewer השני.
bbc.com/news/health-52…

כמו בקריקטורה...

לסיכום הביקורת:

שיטת ההוכחה שלהם שההתערבויות עשו משהו, אינה תקפה.
מדובר בהנחת המבוקש.
בטח לא ההנחה שדווקא הסגר nailed it, שאינה אלא הבחירה שלו כנקודה אחרונה במודל.

האם בפועל ההתערבויות שינו משהו? יש לחקור באופנים אחרים.

לפחות לפי ההשוואה לשוודיה, נראה שהסגר אינו נחוץ.

שימו לב להזיה

מניחים Rt קבוע של 3-4
20,000 ב 16 למרץ
תוך 5 ימים כל שווייץ הייתה נדבקת!
20,000 * 3^5 = 4.5M
מזל שעשו סגר..

אלו סדרי הגודל של הזמנים כשמדובר על קצב הכפלה כזה.
עשו סגר בדיוק 5 ימים לפני שכל המדינה הייתה נדבקת.

איך זה שאף מדינה לא אחרה את הרכבת ב 5 ימים? :S

למעשה לא מדובר בנקודות אי רציפות, אלא אי גזירות.

מזל/חבל שלא David Earn עושה לי ביקורת עמיתים,
מן הסתם היה מעיר על זה