Thread by @FBpsy

¡Hola locos de la estadística!
¿Cómo decidir el tamaño muestral de tu estudio?
¿Cómo saber si un artículo que estás leyendo, en el que examinan 20 participantes, tiene una muestra suficiente?
¡Quédate en este hilo, que te lo cuento! ⬇️⬇️⬇️

Por si acaso, aquí tienes la información en el blog, como parte del curso de estadesteca MAL.
En este hilo me voy a limitar a resumir los puntos clave, así que visita el link para ampliar información.
fernandoblancopsy.com/2021/01/04/cur…

Antes de empezar hay que refrescar tres conceptos súper importantes en estadística: tamaño muestral, tamaño del efecto, y potencia estadística.
¿Te suenan? ¿Los tienes controlados?

El tamaño muestral es la cantidad de datos que tienes en tu estudio. Generalmente (salvo que midas varias veces a cada participante) coincide con el número de participantes, y lo conocemos como N.
O sea, en un estudio con N=30 y con una sola medición, el tamaño muestral es 30.

El tamaño del efecto es la magnitud de la asociación, o de la diferencia entre grupos... que estamos investigando.
Un efecto de 0 significa que no existe asociación entre variables, o que no hay diferencias entre dos grupos.

Lo explico aquí: fernandoblancopsy.com/2019/08/16/est…

¡Ojo! 👀
Conviene distinguir entre tamaño del efecto “observado” (el que mides en tu muestra) y tamaño del efecto “poblacional”, que es desconocido y sólo podemos estimar. A veces pueden ser muy diferentes.

Por último, la potencia estadística es la probabilidad de tener un resultado significativo, suponiendo que el efecto existe (es >0).

Si la potencia es 0.80, significa que el 80% de los estudios producen resultado significativo, y el 20% son “falsos negativos”.
El concepto de potencia lo explico aquí: fernandoblancopsy.com/2019/08/05/est…

Ahora bien, los tres conceptos están conectados.
Es decir, un estudio no es más o menos potente, sino que tiene una determinada potencia para captar un efecto de un tamaño determinado, con una muestra determinada.
En todos los casos asumo que alfa (tasa de error tipo 1) = 0.05.

Es como cuando quieres ver un objeto muy pequeño. Si realmente es muy pequeño, necesitas un instrumento con más capacidad de aumento (más potencia). Para ver una mota de polvo vale una lupa. Para ver un virus necesitas un microscopio. ¿Se entiende?

La explicación de cómo están unidos los tres conceptos también está en el blog:

fernandoblancopsy.com/2019/08/31/est…

Ahora que tenemos los conceptos claros, voy a exponer dos situaciones que nos son familiares a todos los investigadores e investigadoras. Atención, seguro que os suena.

SITUACIÓN A: Has planificado tu estudio. Los instrumentos, los materiales... Ahora bien, ¿cómo decidir cuántos participantes vas a necesitar? ¿Bastará con reunir 20 sujetos? Si hago un esfuerzo para reclutar 200 participantes, ¿merecerá la pena o es un derroche de recursos? ¡AY!

SITUACIÓN B: El estudio ya está hecho. Ahora un revisor del artículo te pide que justifiques cómo has decidido tu tamaño muestral mediante un análisis de potencia “a priori”. No tienes ni idea de lo que está pidiendo. HALLUDA!

Vamos a ver cómo podemos resolver estas dos situaciones, ofreciendo algunas opciones. Empezaremos con las más comunes:

Opción 1. Decides el tamaño muestral improvisando sobre la marcha (MAL).
Estoy convencido de que todos y todas hemos caído aquí alguna vez. Una estrategia tentadora es la de ir recogiendo la muestra y, de vez en cuando, echando un vistazo a los datos para ver “cómo van”.

Es como el que está cocinando la sopa y de vez en cuando le pega un tiento con la cuchara, para ver si tiene que corregir la sal...

Así, es habitual que si he recogido por ej. 30 sujetos y mi p es muy grande (no significativa), decida rendirme y no continuar con el estudio, porque “no tiene pinte de que vaya a salir”. 😟

O, imagínate, tienes 30 sujetos y la p está cerquita, cerquita del umbral, por ejemplo en p = 0.055. Decides que el estudio está a puntito de caramelo y le metes unos pocos sujetos más. 😬

¿El problema? Cuando las muestras son pequeñas hay fluctuaciones grandes en los estadísticos, incluyendo, por supuesto, la p. O sea, incluso si no hay ningún efecto, es posible que, por azar, tengas una p significativa (< 0.05) que es un “falso positivo”.

Si decides si vas a meter más muestra en función del p-valor, estás haciendo p-hacking, y es muy probable que acabes creyendo que el efecto existe incluso aunque no sea así (“falso positivo”).

Esta mecánica os la conté en un post anterior que incluía algunas simulaciones, lo tenéis aquí: fernandoblancopsy.com/2020/06/19/cur…

Entonces, la opción 1 queda descartada. Imagino que estamos de acuerdo, ¿no?

(tengo que cortar aquí porque me reclaman. Volveré para retomar el hilo) 😰

(...sigo)
Este hilo me temo que lo voy a hacer en varias tandas porque I can't with my life.

Vamos con la Opción 2: Decidir el tamaño muestral “a ojo”.
O sea. Todos hemos oído/usado reglas como “tiene que haber mínimo N=30”. O “tiene que haber 20 sujetos por celda”. ¿No os suena?
¿Sirven para algo estas reglas?

No mucho. Recordad: los tres conceptos (N, tamaño del efecto y potencia) están conectados. Cada uno depende de los otros.
Por eso, no tiene sentido decidir la cuál va a ser la N sin haber pensado en los otros dos elementos.

Y es que, efectivamente, puede ser que una muestra de N=30 sujetos sea suficiente para ver un efecto grande con mucha probabilidad, pero muy insuficiente para ver otro efecto más pequeño.

Conclusión: no hay un tamaño muestral “apropiado” que sirva para todas las situaciones ni momentos.
Dependerá, entre otras cosas, del tamaño del efecto que quieras buscar, y también de cuestiones prácticas.
Así que la opción 2 también hay que descartarla.

Opción 3. Lo que te pide el revisor, el análisis de potencia “a priori”.
Es la opción estrella, que muchos revisores exigen. ¿En qué consiste y por qué está mal casi siempre que se aplica?

El análisis de potencia a priori es un protocolo para decidir el tamaño muestral que, a diferencia de los anteriores, sí se basa en la información correcta.
Es decir, dependerá del efecto que estés buscando y de cuánto quieras arriesgarte a tener un estudio fallido.

El protocolo tiene los siguientes pasos:

Paso 1: Obtén una estimación del tamaño del efecto poblacional.

Pero vamos a ver, Fernando, ¿no hemos dicho que el tamaño del efecto poblacional es desconocido?
Sí, por eso lo tenemos que estimar.
Podemos ir a la literatura, hacer un meta-análisis, o simplemente promediar los efectos observados para hacernos una idea.

Imagina que usando este procedimiento (un meta-análisis o lo que sea), concluyo que el efecto probablemente tiene un tamaño de d=0.81.
Es un efecto grande según las convenciones en psicología.

Paso 2. Decidimos un nivel de potencia que sea aceptable para nosotros.
Generalmente, por convención, se suele fijar al 80% o 90%. Esto significa que si repetimos el estudio 100 veces, el efecto será significativo en 80 ó 90 de estos intentos (suponiendo que el efecto existe).

Aquí ya es una cuestión de cuánto te quieras arriesgar a no encontrar el efecto en tu estudio. Si no quieres arriesgarte, apuntas a una potencia elevada.

Paso 3. Conocidos los dos valores anteriores, estimamos la N requerida.
Hemos dicho que potencia, tamaño muestral (N) y tamaño del efecto están conectados. Dependen uno del otro. Necesitarás mayor N cuanta más potencia quieras conseguir y menor sea el efecto que quieras observar.

Por lo tanto, si asumimos que el efecto “real” (poblacional) coincide con nuestra estimación (d = 0.81), podemos calcular cuánta muestra (N) haría falta para obtener el resultado significativo con una probabilidad que hayamos fijado como aceptable (por ejemplo, del 80%).

El cálculo te lo pueden simplificar distintas herramientas de software (gratuitas).
Por ejemplo, yo recomiendo G*Power: gpower.hhu.de
O también el paquete pwr para R: cran.r-project.org/web/packages/p…

Con este último, basta teclear una línea para saber qué N necesitamos, asumiendo que el efecto es d=0.81, y que la potencia es 80%:

O sea, que según este cálculo que he hecho con pwr, necesitamos n = 25 en cada grupo (total N = 50) para ver una diferencia de d=0.81 con 80% de potencia.

¿Cuál es el problema de este análisis?
Sobre el papel, la lógica del análisis de potencia a priori es correcta. No está mal.
Lo que pasa es que *la aplicamos mal*, generalmente. Bueno, casi siempre. 😖
Voy a ello...

Para empezar, usamos la técnica cuando no debemos. Por ejemplo, en la situación B que he descrito arriba, o sea, con el estudio ya realizado, porque nos lo pide el revisor.
Esto le pasó a una amiga 🥺

Esto está mal. Se llama “análisis a priori” ¡porque se realiza ANTES de recoger los datos!
Después no sirve de nada. ¿Para qué quieres saber cuánta muestra necesitas si YA la has recogido? Absurdo. Pero algunos revisores siguen pidiéndolo.

Pero hay más problemas, incluso aunque lo hagas verdaderamente a priori.
Principalmente la pega está en el paso 1, la estimación del tamaño del efecto “real” o “poblacional”. Y es que esta estimación no es nada, nada fácil. Veamos.

Imagina que has examinado la literatura sobre el fenómeno que quieres estudiar, y el efecto promedio es d = 0.81, o sea, grande.
¿Hacemos bien en usar este valor como estimación del tamaño real?
¿Hacemos bien al suponer que la estimación no está sesgada?

Pues no. No podemos dar por sentado que el efecto observado y reportado en la literatura nos da una estimación fiable, no sesgada, del efecto “real” en la población. Entre otros motivos, está el conocido como “sesgo de publicación”. en.wikipedia.org/wiki/Publicati….

El sesgo consiste en que los efectos significativos (p<0.05) se publican más fácilmente que los no significativos.
En un post anterior te conté cómo esto distorsiona la literatura:
fernandoblancopsy.com/2020/03/30/cur…

Pero esto también significa que los efectos observados *más exagerados* (y falsos) se publican más fácilmente.
¡Y esos son los que has usado para tu estimación!
Los efectos pequeños no se publican tan a menudo.

Así, si vas a la literatura, no es raro acabar convencido de que tu efecto es “grande” (por ejemplo, d>0.80). En realidad, el efecto real es probablemente mucho menor.
(en la simulación de la figura, la d real es 0.3, pero el promedio de efectos significativos es 1.20)

Basta ver cómo las réplicas con muestras enormes (más fiables en su estimación) suelen encontrar efectos menores que los estudios originales original. Porque los originales están sometidos al sesgo de publicación. nature.com/articles/s4156…

Como mostré en otro post, este sesgo de publicación también afecta a los meta-análisis, distorsionando las conclusiones y haciéndonos creer que los efectos son más grandes de lo que son realmente: fernandoblancopsy.com/2020/06/09/cur…

Bueno, ya no doy más la turra con el sesgo de publicación. Queda claro que la literatura publicada no es una buena guía para decidir cuál es el tamaño del efecto en el paso 1.

¿Y qué tal si baso mi estimación en un estudio piloto? ¿Será mejor así?

Pues tampoco es una opción perfecta. Es verdad que te has librado de la distorsión introducida por el sesgo de publicación, pero por otro lado estás basando tu estimación en UN SOLO estudio.
¿Te fiarías de un estudio con N=1? ¿No mucho? Pues eso.

Además, los pilotos suelen realizarse con muestras pequeñas, por lo que es menos fiable. Definitivamente, no es una buena opción, como te cuentan en este paper: sciencedirect.com/science/articl…

Entonces, ¿no hay manera de usar bien el análisis a priori?
Claro que la hay. Una variante de lo que hemos contado implica que, en el paso 1, en vez de “estimar” el efecto poblacional, vamos simplemente a elegir un tamaño del efecto mínimo que sea interesante.

O sea: imagina que trabajas en el ámbito clínico, y tus motivaciones son prácticas. Un tratamiento que funcione, pero que suponga una mejora minúscula, inapreciable en la vida real, seguramente no merece la pena.

Así, podrías por ejemplo decidir que no te interesa ningún efecto menor de d=0.40. Fijarías ese valor en el Paso 1, y decidirías un tamaño muestral que te permita ver efectos de ese tamaño (o mayor) con la probabilidad que decidas. Simple.

Cuando digo simple, digo que basta con decidir ese valor mínimo que nos interese, fijar un nivel de potencia, y teclear algo como esto en R para saber qué N necesitamos (en este caso 198 sujetos).

La dificultad está en otro sitio. Principalmente, en *justificar* por qué eliges este tamaño del efecto.
¿Por qué no te interesan los efectos pequeños? Puede haber mil motivos válidos, pero tendrás que explicarte. Y usar argumentos convincentes.

Es como si en esta pandemia del coronavirus alguien hubiera estudiado una vacuna y decidiese que cualquier nivel de efectividad por debajo del 50% no nos interesa. Pues eso: ¿sería razonable renunciar a estudiar una vacuna con esa efectividad? No lo sé.

En resumen, el análisis de potencia a priori es una herramienta que puede funcionar y proporcionar información útil… si la usamos cuando procede, es decir, antes de recoger los datos. Y si nuestra elección del tamaño del efecto en el paso 1 es razonable. Si no, buff.

(sigo en otro rato)

¡Hala! ¿100 retuits un hilo de metodología? ¿Y encima cuando está a medio hacer? Estáis locuelos. 😂

En fin. Voy a retomar el hilo y a ver si lo termino de una vez.

Os resumo lo dicho hasta aquí:
Para decidir el tamaño muestral no vale ni improvisar sobre la marcha (opción 1), ni decidir una muestra “razonable” a ojo (opción 2).
Aunque sé que esto lo hemos hecho todos en algún momento. No creo que se libre casi nadie.

Los análisis de potencia a priori (opción 3) sí que sirven, pero es difícil hacerlos bien.
Si vas a intentarlo, mejor escoge un tamaño del efecto mínimo que te interese, en vez de confiar en estimaciones a partir de la literatura o en estudios pilotos con muestra pequeña.

Pues vaya panorama, Fernando. Es terrible. Tiene que haber alguna forma de decidir el tamaño muestral que no sea un rollazo, ¿no?
Pues claro, hombre, claro que la hay. Me la estaba reservando para el final. 😎

Por fin...
Opción 4 (la que deberías probar). Análisis de sensibilidad.
El análisis de sensibilidad se basa en la misma lógica que el análisis a priori, pero nos permite mayor flexibilidad, como vais a ver.

He insistido en que N, tamaño del efecto y potencia son tres conceptos conectados. Si conoces el valor de dos de ellos, puedes calcular el que queda.
Es como una ecuación con tres incógnitas. Si conoces dos, la otra queda resuelta.

Con el análisis a priori, fijábamos el tamaño del efecto y la potencia, y despejábamos la N requerida. Así:

Con el análisis de sensibilidad, hacemos la misma jugada, sólo que ahora fijamos la N y la potencia, y calculamos el tamaño del efecto. Así de sencillo.

Por ejemplo. Imagínate que decides que estás dispuesto/a a reclutar exactamente 50 sujetos/grupo, pero ni uno más, porque sería demasiado caro. También fijas la potencia, el “riesgo” que quieres correr de que no te salga el estudio significativo (80%). Pues ya estaría:

Este análisis te está diciendo que un estudio con 100 sujetos (50 en cada grupo) es capaz de detectar una diferencia de d = 0.57 o mayor, con una potencia del 80%.
O sea, que puedes ver efectos medianos o grandes, pero los pequeños se te van a escapar con mucha probabilidad. 😐

Si queréis verlo con la metáfora del otro día: es como si tú vienes con un microscopio y me preguntas cómo de bueno es. Lo lógico sería determinar cuál es el objeto más pequeño que puedes ver con ese instrumento. Cuanto más pequeño sea, mejor. Pues esto es lo mismo.

La gracia está en que la N la hemos fijado por cuestiones prácticas, económicas, etc. Tú decides qué cantidad de esfuerzo (en cuanto a muestra) quieres invertir y el nivel de riesgo, y el análisis de sensibilidad te dice cómo de bueno es tu estudio para detectar efectos.

¿Qué implicaciones tiene esto? Pues que ya no hace falta hacer el análisis a priori, antes de recoger los datos.
Podemos, por lo tanto, usar el análisis de sensibilidad para contestar al revisor 2 una vez que el estudio ya está realizado.

Pero todavía podemos exprimir más esta técnica, usando lo que se conoce como curvas de sensibilidad y curvas de potencia. Las podéis obtener a partir de G*Power o con el mismo paquete pwr que estoy usando yo.

Imagínate que haces un análisis de sensibilidad para N=100 y potencia=0.80, lo que te permite detectar efectos de d=0.57 o mayores.
Y ahora te preguntas ¿y si le metiera 150 participantes? ¿Merecería la pena el esfuerzo?

La curva de sensibilidad nos va a mostrar el efecto más pequeño que podemos detectar con una potencia determinada y un rango de diversos tamaños muestrales. Así nos puede ayudar a tomar este tipo de decisiones que conjugan lo práctico con lo económico.

Por ejemplo, esta curva de sensibilidad nos muestra el efecto más pequeño detectable con potencia del 80% y una serie de tamaños muestrales, desde 5 por grupo hasta 100 por grupo.

Mirando la curva, puedes ver que una muestra de n=120 (60 por grupo) es suficiente para detectar con 80% de potencia un efecto mediano (d=0.50). Pero un efecto pequeño (zona verde) sigue siendo indetectable incluso aunque casi dupliques esa muestra. Pues vaya.😟

Otra forma en la que se puede presentar la misma información es la curva de potencia.
Imaginemos que no sé muy bien qué tamaño tiene el efecto que busco (como es habitual).
Podría ser grande (d>=0.80), mediano (d=0.50), o pequeño (d<=0.20), según las convenciones habituales.

Así que voy a simular los tres escenarios, para ver con qué probabilidad podría detectar cada uno de estos tres efectos con un rango de tamaños muestrales que estén a mi alcance. Tal que así:

Mirando la curva de potencia, puedo decidir mi tamaño muestral bajo cada una de esas tres hipótesis: efecto grande, mediano y pequeño. ¿Se entiende bien? Creo que la visualización es clara.

Si mi muestra es pequeña (10 personas por grupo), entonces tengo un 40% de probabilidad de detectar efectos grandes (d=0.8), un 20% de probabilidad de detectar efectos medianos (d=0.50), y nada más que un 7% de probabilidad de detectar efectos pequeños (d=0.20).

También mirando la curva, vemos que si el efecto fuera grande, no tiene sentido usar muestras de más de 60 por grupo, porque ya tenemos una potencia cercana al 100% y sería derrochar recursos.

La idea es que la curva nos permite tomar decisiones basadas, también, en aspectos prácticos. Mucho mejor que las otras opciones que hemos comentado. ¿No os parece?

Para terminar el hilo, voy a mencionar algunas otras técnicas alternativas que no he contemplado aquí y que sirven para lo mismo. Os pondré las referencias para que quien quiera pueda profundizar en el asunto.

Una opción interesante es usar un plan de muestreo secuencial, que me permita ir mirando los datos y agregar muestra sin inflar la tasa de error, y tampoco derrochar recursos. Os lo cuentan aquí: psyarxiv.com/9yegd/

La misma estrategia (o similar) se puede realizar desde un punto de vista Bayesiano, que es más apropiado para la acumulación de evidencia. Link al paper: pubmed.ncbi.nlm.nih.gov/26651986/

Otros autores proponen que es mala idea obsesionarse con la potencia, que es mejor ocuparse de que los estudios tengan buena precisión en las estimaciones.
Lo explican en este paper: pubmed.ncbi.nlm.nih.gov/29912015/

Similar a la opción anterior: puedes contestar al revisor 2 calculando el tamaño del efecto observado en tu estudio y su intervalo de confianza. Si tu estudio es informativo (tiene muestra suficiente) el intervalo será pequeño, independientemente de que p sea < 0.05 o no.

En definitiva: en este hilo hemos visto cómo podemos resolver las dos situaciones presentadas de manera práctica. Yo os animo muy fuerte a hacer análisis de sensibilidad antes de recoger vuestros datos.

También creo que es bueno que echéis un ojo a las curvas para acostumbrarnos a lo que es una muestra “razonable”. Si alguien te dice que ha detectado un efecto pequeño con una N=40... es raro, ¿no? Lo verás cuando mires con calma la curva.

Y creo que eso es todo por hoy. Gracias por seguir el hilo a pesar de ser tan largo, y disculpas por las interrupciones (la vida real me reclama).