Thread by @FBpsy

Venga, os voy a contar un poco de este paper sobre la crisis de replicabilidad en psicología que hemos sacado @JCesarPL, @mavadillo y yo mismo @FBpsy: digibug.ugr.es/handle/10481/4…
¡Atiende, que lo tenéis para descargar en castellano y catalán!

A ver si me da tiempo a contaros un poco.
Bueno, para empezar, creo que no sorprendo a nadie si os digo que en psicología estamos pasando por una crisis de credibilidad importante.
¿Todos lo sabemos, no? Bueno, fuera de Twitter no tanto...

Primer mensaje para navegantes y despistados: ¡esta crisis no se restringe a la psicología! El resto de las ciencias, especialmente las que usan la estadística (biología, medicina...) tienen exactamente los mismos problemas, o peores. Pero nos vamos a centrar en nuestro campo.

¿Os suena aquello de “la mayor parte de los resultados publicados son falsos” que decía John Ioannidis? Hacemos estudios con muy poca muestra, o pobremente diseñados, incapaces de detectar los efectos que buscamos. journals.plos.org/plosmedicine/a…

Cuando lo ves así por escrito, con tanto dato, es para echarse a llorar. Y es algo tan generalizado que a algunos les lleva a afirmaciones tan aparentemente gruesas como la del título que he citado en el anterior tuit.

Más aún: muchos de los resultados publicados, que tomamos por ciertos... luego son irreplicables. Se repite el estudio, y no se obtiene el mismo resultado. science.sciencemag.org/content/349/62…

Insisto: que esto pasa en psicología... ¡Y también en medicina! Lo cual es más preocupante. Aquí algún link, pero hay más.
nature.com/news/cancer-re…

Y se ha documentado que cada vez es más común la retirada de artículos científicos (retraction) debido a que contenían errores, o estaban mal realizados...

Bueno, somos psicólogos, y como tales tendremos que analizar el asunto para saber qué está pasando, ¿no? Pues manos a la obra.

Entre las potenciales causas del desaguisado tenemos... ¡Tachán! Los famosos sesgos cognitivos. Que sí, que los científicos somos gente preparada y racional, pero seguimos siendo personas. Y como tales, nos dejamos llevar por el error.

Recordad lo que decía el grande: La primera regla es no engañarte a ti mismo. Y tú eres justo la persona más fácil de engañar.

Así que muchos de los errores que cometemos en nuestro quehacer no son fraude propiamente dicho. No son errores intencionados. Pero es que, como todo el mundo, tenemos tendencia a “darnos la razón”.

Cuando has pasado años elaborando una idea, leyendo, planificando tu investigación, para al final conseguir los datos que querías, es muy fácil que pases por alto ese pequeño detalle que en el fondo está poniendo el tela de juicio todo el entramado.

Esto es lo más humano que hay. Sobre todo en un ambiente hiper-competitivo y gobernado por la supuesta excelencia (publish or perish), ¿cómo no hacer la vista gorda, o minimizar los problemas de tu propio trabajo?

¡Ups, se me hace tarde! En otro momento retomo esto. Disculpas si os dejo ahí en el aire, en pleno cliffhanger... 😟

Seguimos tras la pausa dramática. Mis disculpas por marcarme un Bartual, pero es que los zombies frecuentistas me han tenido secuestrado en una clase de estadística sin fin (aquí una prueba de mi clase de ayer por la tarde).

¡Vuelvo al hilo! Habíamos hablado de los sesgos cognitivos que nos llevan a auto-engañarnos al examinar nuestros datos, pero es tal vez más grave el problema de los incentivos que nos inyecta el sistema científico en sí.

Por ejemplo. Imagina que haces una investigación lo mejor que puedes, usando todas tus herramientas y con la mejor voluntad de llegar a la verdad del asunto... Y el resultado no es el que querías. Qué faena.

No pasa nada, diréis. Es ciencia "bien hecha". Es conocimiento válido. Nos acerca a la verdad. Porque el objetivo de hacer ciencia es llegar a la verdad, ¿no?

...ya...

...claro...

Ay, ¡ilusos!

Bueno, el objetivo de la Ciencia con mayúscula, como empresa humana, puede ser ese. Pero el objetivo de esa hermana canija que tiene la Ciencia, es decir, la "ciencia-modo de vida de los científicos", tiene otros intereses.
-Sobrevivir.
-Dar pasta a las editoriales.

¡Y es que hay que publicar (en revistas "buenas") para conseguir un contrato! ¿Y se puede publicar cualquier cosa, mientras esté bien hecha?
Mmm, la respuesta corta es "no". Por desgracia.

Lo llaman "sesgo de publicación", aunque se puede referir a varias cosas un poco distintas, como voy a explicar. El caso es que tú tienes unos datos, y ahora quieres que una revista los publique.

Pero la revista la gestiona una multinacional que sólo quiere hacer dinero. Y tus datos no son "sexy". No sirven para vender nada 😣 en.wikipedia.org/wiki/Publicati…

Por ejemplo, la mayoría de las revistas no querrán publicar un “resultado nulo” (o “no significativo”, es decir, uno que no sea concluyente, o que no permita afirmar que un tratamiento funciona, etc.

...Hasta el punto de que la gran mayoría de los resultados nulos no llegan a escribirse jamás. ¡Ni siquiera a escribirse! 😢

Bueno, ¿y qué si esos datos que tanto te ha costado conseguir no llegan a publicarse? ¿Tanto se pierde? Tú sigue trabajando bien, y tarde o temprano tendrás resultados que sí se puedan publicar.

...ya. Ajá. No. 😕

Nota: cuando un científico no publica, es como si nunca hubiera trabajado. A nadie le importa cuánto te hayas esforzado, qué bien lo hayas hecho... No hay contratos para ti, no hay sexenios, no hay acreditación, ¡nada!

Es que ni en la NBA, ni en el más exclusivo deporte de élite, encontramos nada parecido: juegas todos los partidos, pero si no ganas la liga cada año, te vas a la calle. Es tan insostenible y loco que no sé cómo tragamos.

Y el panorama es más sibilino. El sesgo de publicación no se limita a dejar fuera todos los resultados nulos. También selecciona positivamente los resultados molones, sexys, sorprendentes... Es el culto al asombro.

Hay revistas que se jactan de publicar sólo aquellos resultados que sean súper-relevantes y con implicaciones serias para todo. Son las “glam-journals”, las más selectivas.

Pero vamos a ver. La ciencia es una empresa acumulativa, se supone. Tú vas aportando granitos de arena, y con el tiempo vamos construyendo el edificio. Poco a poco. deevybee.blogspot.com.es/2017/06/prospe…

Las aportaciones revolucionarias, del calado suficiente para romper paradigmas y teorías, ocurren sólo de vez en cuando. Son extraordinarias. El trabajo del día a día es mucho más aburrido, ¡pero es que eso es la ciencia!

Aun así, la exigencia de estas revistas implica que todo lo que publican es revolucionario. Es como si cada día se descubriera la ley de la gravedad. Y si tu descubrimiento no tiene ese potencial o alcance, entonces no se publica (al menos ahí).

Ahora viene la cara amarga de este cuento de “excelencia”. Si todos los resultados que publicas son revolucionarios y alucinantes... probablemente son mentira, o exageraciones. ¿Qué esperabas?

En serio, esto ha pasado un montón de veces.
Tomad una revista del top 5 de vuestra área y coged uno de esos resultados alucinantes: “Poner los brazos en jarras durante 5 minutos aumenta tus niveles de testosterona” WTF?
thecut.com/2016/09/power-…

Por lo general, cuanto más increíble es un resultado... eso, más increíble es.
O sea, que no te lo creas.
O al menos espera a que la evidencia sea apabullante antes de creértelo.
Escepticismo sano y todo eso.

Insisto en que no estoy hablando de fraude intencionado. No equivoquemos el foco. Estoy hablando de la presión que ejerce el sistema para que exageremos los resultados y los “vendamos” como excepcionales.
Todos los días. Todo lo que haces. Todo tiene que ser excepcional. Ya. 🤔

Y no son solo las revistas, no. Nosotros mismos. Nuestros compañeros. Estamos acostumbrados a leer artículos que son historias bonitas, redondas. Concluyentes. Perfectas.
O sea:
IRREALES.
DE CARTÓN PIEDRA.
DE CORCHOPÁN.

¿Un artículo con 8 experimentos, donde se replica el mismo efecto 8 veces (todas con p > 0.04)? Debería hacernos saltar las alarmas, ¡y sin embargo es lo normal! journals.plos.org/plosone/articl…

Como decía por ahí alguien, los científicos estamos acostumbrados a una literatura que es tan representativa de la ciencia real como la pornografía lo es del sexo real.
Todo lo que excita los sentidos está exagerado. osf.io/preprints/psya…

Ese artículo contiene una cita genial que no me canso de sacar en estos hilos:

En este contexto, que además es hipercompetitivo, los científicos somos como ratitas en cajas de Skinner. Trabajamos afanosamente en producir resultados vendibles, aunque sean irreales. Si no juegas a este juego, estás en desventaja.

¡Vaya panorama que os hemos dibujado! Bueno, pensemos en las soluciones. Que por cierto, al menos en psicología, ¡YA están en marcha! 😀

Lo primero va a ser incentivar otras políticas editoriales, más centradas en el rigor metodológico o la replicabilidad que en la novedad. Esto ya ha llegado a algunas revistas (ej: Psychological Science ha dado un vuelco enorme en la calidad).

La prueba para mí, aunque sea una anécdota personal, es que esta revista me sigue rechazando los artículos que mando, pero ahora por motivos totalmente distintos. Así que es un cambio a mejor.

Segundo: ¡mejoremos nuestro uso de la estadística! Cada vez que leo a un metodólogo en Twitter o en un blog aprendo una nueva cosa que yo hacía mal.
Es que nos han educado en un sistema basado en obtener resultados significativos, no en avanzar en el conocimiento.

Tercero: pongamos el prestigio científico donde debe estar. ¿Por qué premiar a los científicos capaces de producir una y otra vez resultados alucinantes, y no a los que producen resultados robustos o usan métodos rigurosos? Tiene lógica.

Otra manera de leer esto: está bien que admires a tu compañero que una vez publicó un Nature, pero es mejor que pienses en cómo podrías crear líneas de investigación coherentes, rigurosas y sólidas, se publiquen donde se publiquen.

Cuarto: aumentemos la transparencia. Lo que llaman “Open Science”. Compartamos los datos, los scripts... avancemos nuestras hipótesis y planes de análisis antes de hacer cada estudio (pre-registro). psychologicalscience.org/observer/resea…

Conclusión: tenemos problemas, pero YA estamos trabajando en ellos. Y de esta crisis vamos a salir más fuertes que nunca.

Y no lo digo sólo yo, porque soy un optimista y un iluso. No, ya se habla del “renacimiento de la psicología”: annualreviews.org/doi/abs/10.114…