"Hay estudios científicos que demuestran que..." Socorrida frase que sirve para justificar cualquier argumentación pero, ¿toda la evidencia científica tiene la misma relevancia? No. Algo que deberían explicar en los colegios. Allá voy con un #Megahilo 😓 de 60 tuits... 👇
El objetivo es mostrar que no toda la evidencia científica tiene el mismo peso o relevancia. Para ello, es importante conocer el proceso de publicación de un artículo científico y así valorar convenientemente el esfuerzo que supone.
Mis padres 👨🎓👩🎓decían que para "hacer Ciencia" y poder hablar con autoridad científica había que estudiar "hasta el final": primaria, secundaria, bachillerato, prueba de acceso a la universidad, licenciatura, cursos de doctorado, tesis doctoral... 👨🔬👩🔬
Harán falta ingentes dosis de espíritu crítico y no menos de altruismo para poder hacer, entender o criticar científicamente. Lo siento, no, no todo el mundo está preparado o capacitado.
El objetivo de todo el proceso de formación será conseguir dinero para investigar, pedir un proyecto de investigación 👨💻👩💻, preferiblemente en una convocatoria pública...
...en la que otr@s científic@s evaluarán el proyecto y tu CV cual manada de hienas dispuestas a abrir en canal cualquier error de diseño, defecto de forma u objetivo inadecuado. Hay mucha demanda y pocos fondos tras años de recortes en I+D.
Suponiendo que todo haya ido bien, tras no menos de 25-30 años de dedicación y formación, en general tras un largo periodo precario y mal pagado, un/a científic@ podrá pedir/obtener un proyecto o de publicar sus primeros resultados... 🤗🤗
... que no valdrán para nada hasta que no estén publicados en una revista científica (de verdad).
No, una revista científica no es Quo o Muy Interesante. Son revistas a las que, en general, sólo tienen acceso los científicos y, salvo algunas "generalistas", son muy específicas.
Interesará publicar los resultados em forma de artículo/paper en aquellas revistas más relevantes. Esa relevancia es el fruto de muchos factores pero, en general, el más importante será el determinado por el "factor de impacto".
El factor de impacto de una revista viene dado por el número de citas, en promedio, que recibe cada una de sus publicaciones. Los científicos construímos a partir de los resultados de otr@s investigador@s 👨🔬👩🔬 de ahí que citemos a quien nos inspira.
En Ciencia es fundamental reconocer el trabajo de otr@s y esto se hace "citando" sus trabajos: indicamos de donde hemos tomado la idea o el resultado, cada frase de un artículo debe ir bien fundamentada, y ese trabajo citado "se apunta" una cita.
Cuanto mayor sea el número de citas recibido, mayor será la relevancia de ese estudio, de su autor💆♂️💆♀️ y de la revista que lo publicó.
Es un modelo cuestionable, pero que más o menos funciona con sus fallos y condicionantes. Aquellas revistas más relevantes, con mayor factor de impacto en una determinada categoría o temática, serán las más atractivas para l@s investigador@s.
Así que el objetivo será publicar nuestro trabajo en esas revistas "Q1" donde, a su vez, será más difícil publicar, pues querrán publicar trabajos relevantes para no ver afectado negativamente su factor de impacto con posibles trabajos que no consigan citas en el futuro.
Esa ingenua frase tiene mucha miga sobre qué se publica y qué se investiga, pero no es el momento.
Q1 quiere decir "primer cuartil". Hay diferentes índices de referencia que clasifican revistas. El más importante y utilizado es el Journal Citation Reports (JCR) de Thomson Reuters, hoy de Clarivate Analytics. Sí, ya sé que hay otros... pero en Ciencia, JCR.
Las condiciones para que una revista entre en JCR son importantes, simplificaré mucho y dejo el posible debate para otro momento, pero lo básico es que sean de calidad, garanticen la objetividad y la calidad de los trabajos que publican.
JCR y el portal "Web of Science" indexan más de 8000 revistas clasificadas en áreas de conocimiento o categorías. Dentro de cada categoría, las revistas se ordenan por factor de impacto. Así, las primeras serán las más relevantes.
Si tenemos 100 revistas en una categoría, las 25 primeras estarán en el primer cuartil (Q1), las siguientes 25 estarán en el cuartil 2 (Q2)... si hay 258 revistas en una categoría, el primer cuartil estará constituido por las primeras 64 revistas.
Primer resumen: para investigar hace falta mucha DEDICACIÓN y, sobre todo, FORMACIÓN. Tras conseguir un proyecto y obtener resultados, el objetivo será publicar... ¿dónde? En un revista relevante con alto factor de impacto.
Imagina que ya hemos elegido una revista acorde con la calidad de nuestros resultados (asumimos que son excelentes, innovadores, relevantes). Escribimos nuestro artículo siguiendo unas bastante rigurosas normas ¡ah y generalmente en inglés! y lo enviamos 🤞🤞🤞
El artículo será recibido por un editor, que es científic@ reconocid@ 👨🔬👩🔬 en la materia, quien leerá el trabajo y tomará una primera decisión: si no percibe calidad, relevancia o que el tema no concuerda con la temática de la revista, lo rechazará 💩💩👨.
Se me ha olvidado decir que, aunque hay revistas que viven de las publicaciones y pertenecen a editoriales privadas, muchas son publicaciones de sociedades científicas sin ánimo de lucro. Sólo cobran en determinadas circunstancias.
También se me ha olvidado decir que adecuar el artículo o seguir el proceso de publicación del trabajo puede ser una tarea tediosa y compleja 👩💻👨💻. Si el editor encuentra errores formales en nuestro envío ¡no lo publicará!
Aquellas revistas más relevantes, las científicas más influyentes y todas las del JCR, siguen un proceso de "revisión por pares" o "peer review". Veamos en qué consiste y por qué es tan importante.
Si el editor considera que nuestro trabajo tiene potencial, lo enviará a 2 o 3 👤👤👤, a veces más, científic@s expert@s en el tema quienes, de forma anónima, revisarán el trabajo, ¡hasta la última coma!
Una vez revisado, l@s "referees" envían sus comentarios al editor quien, dependiendo de las revisiones, decidirá si el "paper" se acepta sin más (no es normal), requiere revisiones menores o mayores o, directamente, se rechaza 💩💩.
Este proceso puede llevar de 3 a 6 meses o más. Yo tengo 2 artículos "under review" desde julio... Cuando el editor reciba las revisiones, si no lo rechaza, nos enviará los comentarios que deberán recibir respuesta, a veces con nuevo trabajo experimental 💩💩💩.
Una vez revisado, contestando punto por punto a cada revisor 👨💻👩💻, el trabajo se vuelve a enviar al editor, quien puede rechazarlo aunque, generalmente, pedirá opinión a los revisores.
Suponiendo que todo está correcto, a veces piden una segunda revisión o más "referees", el trabajo será aceptado🕺💃🕺 y publicado💃🕺💃
En ese momento podremos hablar de nuestro Estudio Científico. Antes no, sin ser publicado tras ese proceso, no tendrá validez alguna, aunque La Vanguardia lo saque en contraportada... Al fin, tras años de esfuerzo y dedicación, tu trabajo y esfuerzo produce resultados ✊✊✊
Y es, en ese momento, donde comienza la verdadera valoración de nuestro trabajo. Si la idea fue realmente buena y los resultados son innovadores, inspirarán a otr@s científic@s y será citado 💆♂️💆♀️. Será, entonces, cuando cobre relevancia 💎💎💎
Entenderás ahora que la frase "Hay estudios científicos que demuestran que..." en Ciencia sin una cita, sin indicar año, autores o revista, no tenga ninguna importancia y si la gente (los periodistas son gente) supieran lo que hay detrás, serían cuidadosos al utilizarla.
Es, cuando un científico la usa sin cuidado y sin tener en cuenta lo comentado anteriormente, cuando su uso es extremadamente peligroso 🤬🤬. Que un científico, que por el hecho de serlo no significa que sea serio o riguroso, la use, dice mucho de su clase 🤪.
Estoy cansado de escuchar a ciertos movimientos antiantenas hablar de "estudios que demuestran que" sin saber hacer esa lectora crítica o análisis de la fuente, de su calidad.
O peor, y me cuesta comprenderlo, a "científicos" que usan esa frase sin proporcionar las citas, una lectura crítica o un análisis serio de su relevancia, para justificar sus creencias sin esa base científica seria y necesaria. ¡Se supone que son científicos!
Esa condición de científic@ se debería perder al aparecer en colaboraciones con DSalud, MindalaTV o EcoPortal...
Sigamos. ¿Entonces para saber si un trabajo es serio debemos mirar en qué revista se ha publicado? Bueno, es un primer paso.
Al menos hará falta una lectura atenta y crítica, para lo cual, hay que estar preparado (FUNDAMENTAL). Algunos trabajos de mi ámbito, no están a mi alcance tras más de 20 años de dedicación pero son comentados alegremente en blogs de pseudotitulados sin pudor mi vergüenza.
Que un trabajo llegue a conclusiones relevantes o asombrosas, que rompan con el paradigma establecido y haya sido publicado en una revista Q4 o, peor, no indexada, ya debería ser suficiente para analizarlo con sumo cuidado.
Si yo demuestro que los campos de radiofrecuencia de los móviles producen cáncer o son detectados por hipersensibles, procuraría que esos resultados se publicaran en una de las revistas más relevantes: New England Journal of Medicine, Lancet, JAMA, Nature o Science.
Lógicamente, esas revistas pondrán sumo cuidado en las revisiones, aplicando la famosa frase de Carl Sagan: "afirmaciones extraordinarias requieren de evidencias extraordinarias".
Una de esas revistas no publicará sospechas u opiniones. Publicará hechos difícilmente contestables... Publicará esas evidencias extraordinarias si están bien fundamentadas... ¿y cómo se obtienen esas evidencias extraordinarias?
Como indiqué al principio, no todos los estudios son iguales. No es lo mismo una experiencia personal, un caso clínico, un estudio de cohortes, uno de casos y controles, un ensayo clínico o un metanálisis. No, no son lo mismo.
Voy rápido, otro resumen. Los resultados que yo obtengo, sin publicar, sin ese proceso de revisión por pares, no tienen prácticamente ninguna validez. Que los haya contado en un congreso internacional, tampoco.
La Ciencia se fundamenta en "REPRODUCIBILIDAD" y "REFUTABILIDAD".
Reproducibilidad: si tienes un burro y dices que vuela, déjame el burro a ver si conmigo también vuela.
Refutabilidad: si cojo el burro y lo lanzo desde un avión (con paracaídas por si acaso no vuela) y no vuela, lo mismo (y más seguro) es que el burro no vuele.
Por tanto, tus resultados no son fiables por definición. Me da igual que me digas que tus voluntarios detectan la radiación electromagnética, mientras no lo publiques previa revisión anónima, tu metodología, tus análisis e interpretaciones, no valdrán nada.
¡Publícalos! ¡Si tus resultados son extraordinarios, las revistas más prestigiosas querrán publicarlos! Así podremos analizar tu metodología, tus análisis...
Un caso clínico o un resultado aislado, tampoco hará Ciencia. Los resultados de estudios transversales, casos y controles y de cohortes estarán condicionados por la metodología, el tamaño de la muestra, el análisis, generalmente estadístico, realizado...
¡Ay la Estadística! Pobres mis alumnos... que saben que hasta una buena significación (una p pequeñita) no será sinónimo de validez.
En lo alto del todo, los estudios más relevantes y fiables, serán las revisiones sistemáticas y los metaanálisis.
En estos "estudios de estudios" se revisan muchos artículos, se comparan resultados y metodologías, lo que permite llegar a conclusiones más fuertes pero ¡cuidado! que las revisiones "narrativas" cada vez son más frecuentes.
Una revisión "narrativa" no tiene un diseño adecuado, criterios de inclusión y exclusión, periodo de revisión, comparativa... Hacer una revisión no es leer o escoger, los científicos somos serios. Ejemplo: radiandando.es/2018/06/20/el-…
En alguna discusión con algún antiantenas sin formación alguna, me ha pasado: intentar justificar sus posiciones enlazando resultados, a bulto, de PubMed. Sin analizar, ya no el tipo de estudio o relevancia, ni la revista o el año. Yo ya lo llamo "falacia ad pubmedium".
Ante un estudio con resultados extraordinarios siempre: lectura atenta y crítica (hará falta un mínimo de formación, sí otra vez), metodología, tipo de estudio, sesgos, análisis, calidad de la revista y los autores... y esperar a su confirmación por parte de otros...
Es demasiado frecuente escuchar eso de "hay estudios que demuestran que"... Ahora deberás preguntarte muchas cosas antes de seguir leyendo tontás 😎😎😎...
