Thread by @AnaBayes

Hoy vengo en plan Coco a intentar explicar la diferencia entre mucho y poco.

Bueno más concretamente vengo a hablaros del concepto de diferencia estadísticamente significativa.

¿Me dejáis que os cuente?

Basado en lo que @SantiGarciaCC y yo os contamos en este episodio de Raíz de 5 (@raizde5rne):
go.ivoox.com/rf/58268119

A lo largo de nuestras vidas es posible que nos preguntemos si algo ha variado tras una intervención.
Por ejemplo:
🟣Mejoró mi salario después de cambiar de empresa?
🟣Bajó mi colesterol después de reducir mi consumo de embutido

🟣Mejoró la cosecha tras el uso del nuevo fertilizante.
🟣Ha aumentado la mortalidad tras la epidemia

Si las cantidades fuesen fijas e inamovibles no tendría mucho sentido plantearnos esto porque si antes cobrabas 1000 cada mes y ahora cobras 1100… pues blanco y en botella!

O si antes tenias sistematicamente 265 de colesterol y ahora tienes 260 pues listo!

Pero lo habitual es que las cantidades que estamos midiendo sean variables y las representemos a partir de su media (aunque a veces sea más adecuada la mediana).
Mi sueldo medio era de 1000 pero unos meses cobraba 950 y otros 1250 y otros 800… así que, en media cobraba 1000

Esta representación a partir de la media puede llevarnos a la falsa sensación de que dichas cantidades sean fijas y a pensar que cualquier cambio es “significativo”

Pues bien, si queremos hablar de significatividad, lo primero que debemos tener en cuenta es que estamos ante una hipótesis que nos dice que nada a cambiado y queremos saber si los datos que observamos son compatibles con dicha hipótesis o no.

¿Cuánto tendría que variar tu cuenta del banco para que lo observado sea incompatible con esa hipótesis y tu puedas decir que han aumentado (o bajado) tus ingresos ?

Para ello debemos mirar tres aspectos de los datos.

1. La magnitud del cambio
2. La variabilidad de aquello que estemos midiendo
3. La distribución de la variable

Para entender la idea de la magnitud del cambio os presento dos campanas de Gauss que representan entre que valores se mueven los datos.

Estas dos distribuciones podrían estar más o menos alejadas entre sí… (todo lo demás, variabilidad y forma, permanece inalterable)

Sobre la variabilidad, podemos ver como cambian la anchura de las campanas indicando que hay más valores posibles.

Vemos que si la variabilidad es mayor, las curvas se solapan más incluso aunque estén fijas en una posición

Por último también nos fijamos en cómo se distribuyen los datos alrededor de la media, tengo el mismo número de observaciones por debajo que por encima de la media, más por encima, más por debajo… 
En la imagen podemos ver distintas posibilidades para una distribución.

Teniendo en cuenta estas tres características de los datos construimos un valor resumen que se llama p-valor. 


Se trata de un valor entre 0 y 1 calculado a partir de los datos (lo que viene a ser un estadístico) que nos expresa la compatibilidad de los datos con la hipótesis

Un p-valor grande indica que los datos observados son compatibles con la hipótesis y entonces no puedes afirmar que la cantidad haya variado
Un p-valor pequeño nos dice que los datos NO son compatibles con la hipótesis y ya podríamos decir que la variación ha sido significativa

Ahora, con el p-valor tenemos más o menos el mismo problema, cuánto es grande y cuando es pequeño.

Lo “bueno” es que entendiendo lo que es el p-valor se pueden establecer límites que nos permiten sacar conclusiones.

El p-valor es cosa de Fisher del que ya hemos hablado en esta casa y éste solía establecer el umbral en 0.05 o 0.01 aunque hay algo de controversia sobre el tema… pero eso ya lo contaremos otro día.

https://twitter.com/AnaBayes/status/1308087786105384961?s=20

Y si queréis más sobre la historia del p-valor, podéis consultar este hilo de @DadosdeLaplace

https://twitter.com/DadosdeLaplace/status/1310233021191249920?s=20

Gracias por haber leído hasta aquí.

Espero que os haya gustado, y recordad,

un cambio en el valor medio, no siempre supone un cambio “real”

fe de erratas* ha cambiado 😰