¿Estás preparando tu #sexenio? Este año se valora más la aportación frente al medio de difusión, es decir, se mide el artículo, y no tanto el cuartil de la revista. ¿Por dónde empezar? Por las citas, pero… ¿citas ahí a lo bestia? NO, citas con contexto y ¿cómo se hace esto?
En primer lugar, se podría aportar el total de citas, escogiendo una o varias fuentes, pero sin tratar de sumarlas entre sí. Por ejemplo, mi artículo tiene, X citas en WoS, o en Scopus, dependiendo del área, también en Dialnet Métricas y (porque serán más) X+n en Google Scholar.
Aquí un punto interesante, eliminando autocitas. What? Esa es una de las cosas que habría que hacer y, aunque en general es fácil, dependiendo de la fuente de información, puede ser tedioso.
Por ejemplo, en WoS, habría que hacerlo “a mano”, aunque con alguna ayuda. Localizado el artículo, se accede a la lista de citantes, y se eliminan de la misma aquellos trabajos en los que la persona solicitante aparece como autora:
El resultado sería este. Obviamente todo es mucho más fácil cuando se tiene el perfil normalizado. guiasbib.upo.es/normalizacion_…
En #Scopus todo es mucho más fácil. Solo hay que encontrar el artículo, y “hacer magia” con el botón “View all metrics” (volveremos a él más adelante).
En esas all metrics una de las opciones es “More metrics” y fijaos, permite hacer un análisis sin autocitas, directamente:
¿Es posible hacer esto en alguna fuente más? Sí, en Dialnet Métricas (cambiamos de ejemplo, obviamente)
Por desgracia en Google Scholar esto no puede hacerse, tampoco en #Dimensions, sin embargo, sí que se puede hacer por un procedimiento similar a WoS en #TheLens
Vale, ya tenemos el recuento de palotes, sin autocitas, ahora hay que darle valor y contexto, ¿cómo? En 1er lugar, conociendo si ese núm de palotes es normal, escaso o > a la media. Para ello se usan los indicadores de impacto normalizado (CNCI, FWCI, FCR) y los percentiles.
Vamos con los primeros, que lo que hacen es comparar el número de citas recibidos por la aportación con el de aportaciones similares (publicadas el mismo año en revistas de la misma categoría temática).
En el caso del Category Normalised Citation Impact solo está disponible en InCites, de Clartivate, que como WoS y Scopus es de pago pero que, a diferencia de estos, no suele estar entre las suscripciones de las bibliotecas, con lo cual el acceso se complica.
Si aún así tienes acceso, sería algo así como localizarte en una búsqueda por autor, desplegar tus trabajos y ver el indicador correspondiente (salen muchos más, muy interesantes)
Acceder a indicadores similares como el Field Weight Citation Impact o el Field Citation Ratio es mucho más sencillo. En el caso de #Scopus, la mayor parte de las bibliotecas tienen suscripción y en el de #Dimensions, la consulta de este (y otros indicadores) es gratis
IMPORTANTE: el valor medio es 1. >1 la aportación está por encima de la media, en el ejemplo un 82% en el FCR/Dimensions. Por debajo, pues eso, un 65% en el de Scopus ¿Por qué? Hay al menos 2 explicaciones: las diferencias de cobertura y las distintas clasificaciones que aplican
En Dialnet Métricas hay un esbozo de esta métrica, pero aún no está fina.
Continuando con el valor relativo llegamos a los percentiles, es decir, la posición que alcanza la aportación comparada con sus iguales (fecha, categoría, tipo documental). De nuevo tenemos varias fuentes.
Comenzaremos por WoS y algunos clásicos, los Highly Cited Papers y los Hot Papers. Bueno, en realidad esta información no solo está en WoS, sino también en Essential Science Indicators y la consulta sería algo como esto, buscando por ejemplo por autor:
Los Hot Papers son trabajos publicados en los dos últimos años pero que han recibido un número de citas en los dos últimos meses tal que los coloca en el 0.1% de los más citados en su categoría temática, En ambos casos, excelente noticia para los autores.
En el entorno WoS hay 2 indicadores más basados en citas que se pueden usar para dar contexto. Por un lado, Citation Rates, las tablas que informan de la media de citas recibidas por los trabajos publicados, por categorías temáticas y fecha de estos (llega hasta 2023):
Y los percentiles, que otorgan una posición a los trabajos en función de las citas recibidas y su comparación con el resto:
Este tb puede consultarse, incluso con mayor nivel de detalle, en los perfiles de autor de WoS (Publons/ResearcherID). En ellos, además de afinar mejor el percentil, también hay un mayor nivel de granularidad temático, lo cual lo convierte en una opción muy interesante.
Más sobre percentiles: #Scopus y #Dialnet lo ponen muy muy fácil. En ambos casos dentro de la propia ficha de los trabajos, como se muestra en las imágenes (en Dialnet hay que darle a “Más indicadores”):
Finalmente, se pueden emplear otras formas de poner en valor las citas tirando de lo cualitativo, por ejemplo, por de dónde proceden (personas, revistas); cuándo se hicieron (recién publicado el artículo, aún se sigue citando, pese a los años que han pasado),
incluso, con la propia WoS o con #Scite (si no lo conocéis os lo recomiendo) en qué secciones de otros trabajos se citan los vuestros:
Hasta aquí este primer hilo sobre cómo defender las aportaciones en sexenios. Iré colgando más en los próximos días. Incluso, como van a salir largos, prepararé versión imprimible/descargable.
Cosas importantes: ¿hay que usarlo todo? No, de ninguna manera, solo aquello que me beneficia y es suficiente, es decir, ¿40 fuentes de citas? no, una que de información relevante y suficiente
Otra cosa importante a la luz de algún comentario: se ofrecen distintas OPCIONES y de entre ellas, las más complicadas (y costosas) son las de WoS. En Scopus se obtiene casi toda la info a partir de la pantalla del artículo, igual en Dimensions o Dialnet Métricas.
Ya está disponible el segundo hilo de la serie, que trata sobre métricas de uso y lectura
Informa @acabezas, que estos días lo tenemos en #ResearchSupportUPO hablando de CVs narrativos, que el @ERC_Research ha hecho público un documento en el que explica los cambios que llevará a cabo en su modelo de evaluación de la investigación
La motivación es clara: sumarse al movimiento europeo (y global) que apuesta por un cambio profundo en cómo se está llevando a cabo la evaluación y que lidera @CoARAssessment y @DORAssessment
Incorporan dos cuestiones muy interesantes: de un lado la posibilidad de incluir en el cv outputs de investigación más allá de los papers, esto es, pueden ser incluidos y valorados items como datasets, software, código…
El baremo general de @ANECAinfo para #sexenios presenta un apartado dedicado al impacto social, que es una de las grandes novedades. Se busca medir la acogida por parte de agentes externos a la ciencia de los avances y desarrollos científicos. @bibupo @pablodeolavide
Antes de seguir leyendo respondemos a la pregunta que muchos se hacen: ¿es obligatorio demostrar que mi aportación tiene impacto social? NO, DE NINGUNA MANERA. Si lo tiene, bien, si no lo tiene, bien también.
En él, el primer epígrafe es el dedicado al uso y lectura de la aportación en plataformas no académicas. Este es un dato un poco complicado de obtener, en la medida en que no hay plataformas que se dediquen a recolectar esta métrica de manera sistemática.
Para acabar con el apartado “presenta impacto científico” de #sexenios, el baremo general de @ANECAinfo incluye un aparte para “Otros indicios: Proyectos financiados vinculados, tesis doctorales vinculadas, estándares de ética, premios, traducciones, reseñas, etc.”
En el caso de los proyectos financiados vinculados o las tesis doctorales, es la típica información que siempre hemos recomendado incluir en el campo resumen (la 1a cajita de 4.000 caracteres), o bien en el campo otros datos. Lo mismo podríamos decir en el caso de los premios.
Traducciones y reseñas sí van incluidas en la cajita de indicios de calidad. Si no controlas las reseñas recibidas por los libros en los que has participado, puedes usar la búsqueda en Dialnet, en la herramienta de búsqueda de tu biblioteca, o en motores como #GoogleScholar.
5º hilo relacionado con la defensa del bloque “presenta impacto científico” en las aportaciones presentadas a la convocatoria de #sexenios. En este caso dedicado al impacto científico del medio de difusión,
o lo que es lo mismo, lo que habitualmente se venía defendiendo casi en exclusiva en esta convocatoria. . Así que esto ya nos lo sabemos, pero lo vamos a repasar.
Como recordaréis, aquí lo que hay que hablar es de la posición del medio en listados ordenados según el impacto, medido en indicadores basados en citas. ¿Cuáles serían estos listados?
Vamos con el cuarto hilo sobre #sexenios, este dedicado a la internacionalización del medio de difusión.
¿Qué se va buscando aquí? Que las aportaciones hayan sido publicadas en medios de difusión presentes en repertorios internacionales, que publiquen frecuentemente en él autores de distintos países, que en el equipo editorial (en sentido amplio) haya diversidad geográfica…
Este criterio, y el hilo, de alguna manera es, por tanto, complementario al anterior. Hay que dejar claro desde el principio que no es de aplicación ni en todas las áreas ni en todos los casos, ya que aplica directamente el punto 4 de los criterios generales de la convocatoria
Vamos con el tercer ítem de la matriz de evaluación de #sexenios, en lo referido a impacto científico, y con el tercer hilo de la serie. Los anteriores están disponibles en y
En este caso vamos a ver cómo justificar, cuando sea preciso y hasta donde lo sea, la calidad editorial del medio de difusión (revista, editorial) o el reconocimiento, en el caso de aportaciones que no sean publicaciones
Esto es algo que ya se venía haciendo, sobre todo en los campos de Ciencias Sociales y Humanidades. En los campos que usaban intensivamente el JCR, pues se daba por hecho que la mera presencia en WoS ya avalaba la calidad del medio (y esto va a seguir pasando)