Estimating the vaccine effectiveness. Take 4.
A bit late to the party, after Clalit, Maccabi, and the MoH+Pfizer all show cased their results of the vaccine effectiveness. Yet, I am happy to present an updated version of my aggregate-level analysis.
The main difference is an improved formula to calculate expected daily incidence of cases. The problem is that cases are “eliminated” because of the vaccine, causing underestimation of expected daily cases. After hard work, with help from @geller_mic we can now correct for it.
Another difference is that now I show beta values (sensitivity parameter) where there is no effect in days 0-13 +- 10%. The full methodology is available in my github (also all code and data available there) github.com/dviraran/covid…
The results are still based on the last update by the MOH from Feb 9, no new data yet and will update when available. Note that there is data on 14+ days after 2nd dose, but especially regarding severe cases, it is not yet reliable.
Positive cases: 72% for 60+, 78% for 60-. This is lower than the other studies, probably because other studies have information on symptomatic vs. asymptomatic. I only have them combined.
Hospitalizations: 83% for 60+. For 60- we see 83% in week 4 and 74% in week 5, but numbers are small, so large confidence intervals. Yet, one can say that young people after vaccine become less careful.
Severe cases: 86% for 60+. For 60- similar to hospitalizations - we see 85% in week 4 and 74% in week 3, but numbers are small, so large confidence intervals.
Still very low to no effect in week 3. As mentioned, it might be due to the UK variant, importance of 2nd dose, or a problem that 2 first weeks are combined.
Week 6-7 – data looks really good – 95%+. For positive cases, it shouldn’t change much. Why such increase between week 5 and 6? I don’t know. Hospitalizations and severe cases are expected to increase, but we will have to wait for the next update from the MOH.
Summary figure of the Vaccine Effectiveness estimations according to my analyses (as of February 9th)
• • •
Missing some Tweet in this thread? You can try to
force a refresh
איך יוצאים מהבלאגן? כולנו כבר מכירים את ה-R החמקמק ויודעים שהמטרה היא להוריד אותו מתחת ל-1. בעקבות המחקרים של @erlichya ו-@RoyKishony שמספקים עדות שהחיסון מקטין את ההעברה של הנגיף רצינו לבדוק בתרחישים שונים כמה אחוז צריכים להיות מחוסנים כדי שR ירד מ1. פוסט משותף עם @geller_mic
בנינו מודל פשוט שמחשב את ה-R האפקטיבי כפונקציה של מספר המחוסנים. בהינתן R התחלתי של 1.86 (לפני הסגר היינו על 1.24 ועם הוריאנט הבריטי שמדבר ב-50% יותר מגיעים לערך הזה) וערכים שונים לסיכויי ההעברה של הנגיף (t) אפשר לראות מה יהיה ה-R החדש באחוזים שונים של מחוסנים.
לפני המודל הזה אנחנו כבר היום מתקרבים מאוד ל-R=1 במצב של משק חצי פתוח כמו שהיה לפני הסגר האחרון. נראה שמספיקים 40-60% מהאוכלוסיה מחוסנים בשביל זה. זה מעודד.
עדכון שלישי שלי של הערכת יעילות החיסון. לא אופטימי כמו הפוסטים הקודמים. הנתונים מבוססים על מידע עד ה-9 לפברואר. ממצאים:
1.אין הגנה עד יום 21. רואים הגנה רק מהיום ה-21 (או המנה השניה).
==>
2.הגנה מפני אימות אחרי המנה השניה (לא להתבלבל עם הדבקה או עברה): 60-74% לבני 60+, 75-78% לבני 60-.
3.הגנה מפני אשפוז אחרי המנה השניה: 71-82%. הגנה מפני מחלה קשה: 69-77%.
Third update of my estimations of vaccination effectiveness. Not as optimistic as my previous posts. Data is based on cases of vaccinated individuals up to February 9th. Findings: 1. No protection up to day 21. We only see protection from day 0 of the 2nd dose. ==>
2. Protection after 2nd dose from being positive (not to be confused by transmission): 60-74% for ages 60+, 75-78% for ages 60-. 3. Protection after 2nd dose from hospitalization: 71-82%. From severe case 69-77%.
For an explanation of the methodology please take a look at github.com/dviraran/covid…
(updated with data up to Feb 5th)
האנליזה הזו התחילה בציוץ על היעילות של החיסונים לפי הנתונים שמשרד הבריאות פרסם על החולים שהתחסנו. הציוץ הזה הגיע ליותר מ-250 אלף צפיות ודחף אותי לפרמל את האנליזה בצורה קצת יותר אקדמית.
בעזרת הנתונים היומיים על נדבקים וחולים ומספר המחוסנים חישבתי את מספר המקרים הצפויים ללא חיסונים. בעזרת המידע על חולים מחוסנים אפשר לחשב את היחס בין המצוי לצפוי.
Estimating real-world COVID-19 vaccine effectiveness in Israel! Now preprint version. TL;DR: Very effective. 66-85% for infection, 87-96% for severe disease.
This started when I tweeted the numbers provided by the ministry of health (MOH) regarding cases of vaccinated individuals. This tweet had more >250K views, so decided it might be better to formulate the analysis and provide full methodology.
Using the daily incidence of cases and daily vaccination counts and developed a formula to quantify the expected number of cases based on those numbers. I then combined it with observed counts provided by the MOH to calculate the effectiveness.
How effective are the COVID-19 vaccines? Israel was early to vaccinate its population (~1/3 of pop now with the @pfizer@biontech vaccine) and real-wold data is starting to accumulate. However, as we are learning, calculating efficacy from RWD is complicated. A thread =>
The vaccination campaign in Israel coincided with the beginning of a 3rd wave and a couple weeks later a full lockdown (Israel style). In addition, there are other confounding factors - socio-economic and demographics differences in both the infections and the vaccinations.
This made the real-world data analysis of the effectiveness of the vaccine much more complicated than in the RCT, where all this doesn’t matter because of the randomization. How to tease out all the contradicting factors?