My Authors
Read all threads
Hay un dicho entre los q trabajamos en prediccion en economia: “All models are wrong, but some are useful” (George Box).

Hoy me encontre con otro q parece relavante en estos tiempos de #COVID19: “All models are wrong, but some are completely wrong”.

1/n
Van unos tweets sobre el uso de modelos de series temporales y el #COVID19 en #Uruguay.

Nota: Llevo mas de 15 años viviendo en el exterior, todos mis devices estan configurados para escribir en ingles. Si ven algun tilde es porque lo puso el autocorrector.

2/n
Estos dias han circulado graficos q muestran la tendencia en el numero de *casos confirmados* de #COVID19 en #Uruguay. Hay muchas criticas q se pueden hacer a esto (cantidad y calidad de datos, testeo no aleatorio, eleccion de modelos, etc.).

3/n
Yo me voy a concentrar en el uso de modelos de series temporales para capturar la tendencia de la series ya q esa es mi especialidad.

4/n
E.g., en Uruguay, un funcionario bancario (devenido epidemiologo en Twitter) propuso ajustar un polinomio de grado 4 al numero de casos confirmados. Para los q carecen de formacion adecuada en estadistica, la atraccion es clara. Estos modelos ajustan muy bien (ver grafico)!

5/n
El R-cuadrado es 0.9974!!!

6/n
El paso siguiente es usar el modelo para extrapolar la tendencia en el numero de casos confirmados. Por ejemplo, si extrapolamos 10 dias hacia adelante la curva parece “aplanarse” (ver grafico).

7/n
En base a esto, el devenido epidemiologo dice en la radio q “en la proximas semanas habria q empezar a salir”.

8/n
En series temporales hay principios q consideramos importantes:
(1) Usar modelos sencillos e interpretables.
(2) Reportar siempre intervalos de confianza.
(3) No extrapolar modelos polinomicos.
(4) Dudar de quien presente un R-cuadrado de 0.99.

9/n
Vamos de a uno.

10/n
(1) Usar modelos sencillos e interpretables. Cual es la intepretacion de un modelo polinomico de grado 4? Imposible de saber. Un modelo lineal en este caso tambien ajusta los datos muy bien y es mucho mas facil de interpretar (ver grafico).

11/n
Ademas, el modelo lineal tiene un R-cuadrado de 0.9905! (este tweet es ironico!)

12/n
(2) Reportar *siempre* intervalos de confianza. En general, las predicciones son inutiles si no son reportadas junto a su intervalo de confianza. Por q? Porque no nos permiten apreciar la incertidumbre asociada.

13/n
Si bien estos intervalos no capturan toda la incertidumbre, son un buen comienzo (ver grafico con intervalo 95%). Como se puede apreciar, a pesar de que la curva parece aplanarse, vemos un alto nivel de incertidumbre.

14/n
(3) No extrapolar modelos polinomicos. Extrapolar estos modelos implica asumir q la tendencia no va a cambiar. Pero en este caso es claro q la tendencia puede cambiar por muchos factores: mas tests, frio, calor, quedarse en casa, vacuna, uso de mascaras, etc.

15/n
Y esto es especialmente relevante con modelos polinomicos de orden >2. Si repetimos el ejercicio de generar 10 predicciones a partir del decimo dia (ver grafico) vemos q difieren sustancialemente a pesar de que se hacen en dias seguidos y usando el mismo modelo.

16/n
(4) Dudar de quien presente un R-cuadrado de 0.99. El R-cuadrado con variables tendenciales es irrelevante. Este lo dejo para otro dia ya q merece mas de un tweet.

17/n
Conclusion: los modelos de series temporales funcionan cuando (1) tenemos datos precisos, (2) es esperable q el futuro sea similar al pasado, (3) no hay modelos estructurales disponibles. Ninguna de estas 3 condiciones se cumplen en el caso del #COVID19.

18/n
En el caso del #COVID19, no pierdan el tiempo con modelos de series temporales. Hay modelos epidemiologicos disponibles q estan diseñados para esto.

19/n
Missing some Tweet in this thread? You can try to force a refresh.

Enjoying this thread?

Keep Current with Sebastian Fossati

Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

Twitter may remove this content at anytime, convert it as a PDF, save and print for later use!

Try unrolling a thread yourself!

how to unroll video

1) Follow Thread Reader App on Twitter so you can easily mention us!

2) Go to a Twitter thread (series of Tweets by the same owner) and mention us with a keyword "unroll" @threadreaderapp unroll

You can practice here first or read more on our help page!

Follow Us on Twitter!

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just three indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3.00/month or $30.00/year) and get exclusive features!

Become Premium

Too expensive? Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal Become our Patreon

Thank you for your support!