Thread by @jlmarti2025

La evaluación de la investigación (en cualquier disciplina, y en algunas más) es un tema extremadamente complejo y las soluciones no son obvias. Lo q sí es obvio es q el sistema ESP es desastroso y este caso la mejor prueba. Abro hilo
elpais.com/elpais/2019/07… via @materia_ciencia

@materia_ciencia Como digo, el tema es complejo y es mejor huir de apriorismos y simplismos. Pero quiero hacer tres consideraciones. Comienzo por el final, por el comentario de la noticia. Que la Audiencia Nacional se inhiba de evaluar la investigación del candidato es normal y hasta deseable.

Nada más faltaría q ahora los jueces tuvieran que ponerse a leer los papers de un físico para saber si la comisión académica que lo evaluó hizo bien su trabajo o no. Además, si algún día algún tribunal se atreviera a reabrir una evaluación de este tipo, los juzgados se llenarían

de demandas de investigadores rechazados que creen (sinceramente) que han sido objeto de una injusticia mayúscula. Si algo nos caracteriza a los académicos es que solemos tener un ego y una vanidad inconmensurables. Nos creemos los reyes del mambo.

Así que ni la AN es competente (en sentido material) para entrar al fondo de la evaluación, ni sería deseable que nuestro sistema terminara con los CV de los investigadores siendo evaluados por jueces del contencioso-administrativo

Segundo, dicho lo anterior, que un científico como Juan Antonio Aguilar, uno de los físicos más citados del mundo (110.000 citas, índice-h de 145, índice i-10 de 536), uno de los que ha participado en la investigación sobre el Bosón de Higgs, una persona que podría ser contratada

por Oxford o Harvard si él levantara la mano, no haya obtenido la acreditación a catedrático (cuando en España hay 5.400 catedráticos, y sólo hay menos de 25 que puedan presentar un impacto de su investigación más impresionante que el suyo) es un ESCÁNDALO MAYÚSCULO!

Noticias como ésta avergüenzan (aún más) al sistema de investigación español, y ponen de relieve lo que todos los investigadores sabemos: que nuestros sistemas de evaluación no funcionan, y lo que es peor, son increíblemente costosos (para todos). Esto me lleva al tercer punto.

El sistema de acreditaciones para ser catedrático de la Agencia estatal de evaluación, la ANECA, está pésimamente diseñado. No los conozco todos, pero diría que -hasta dónde yo sé- es el más burocratizado de Europa. Se calcula que se tarda entre uno y dos meses de trabajo

completamente inútil solo el rellenar los papeles para poder ser candidato a la evaluación. Pero es que además los requisitos objetivos para poder optar son surrealistas y claramente inidóneos para evaluar la calidad de un candidato.

Por poner el ejemplo que conozco mejor, el de derecho, la normativa exige, entre muchos otros requisitos puramente cuantitativos, la publicación de 8 monografías (8 monografías!!!). Dejando ahora a un lado que la mayoría de los catedráticos de derecho españoles no cumplen

este requisito, y lo que es peor, que prácticamente ninguno de los más grandes juristas de los siglos XIX, XX y XXI lo cumplirían tampoco, lo más importante es que este criterio puramente cuantitativo está obviamente desconectado del fin de este proceso de la ANECA,

que es evaluar la calidad investigadora. Este sistema solo da incentivos a los profesores titulares a publicar cualquier bazofia de 80 páginas en forma de monografía (8 bazofias para ser exacto), y como publicar un libro en España es facilísimo, automático de hecho, siempre

que el autor pague el coste de edición de su bolsillo, cosa que suele ser el caso (aunque en realidad en la mayoría de ocasiones usan fondos de investigación de los proyectos competitivos del propio Ministerio para sufragar esos costes de edición), es obvio que ese requisito

no mide la calidad, sino la cantidad y la perseverancia. Unamos a esto que los CV de los candidatos suelen ser evaluados por dos investigadores anónimos, que en muchas ocasiones (como estoy seguro pasó en el caso de Aguilar) son peores investigadores que el propio candidato,

y que las comisiones de evaluación que leen esas evaluaciones previas anónimas y toman la última decisión suelen estar integradas por personas de disciplinas distintas, y que con suerte uno de ellos (solo uno) será del mismo campo o de al menos un campo cercano al del candidato,

y ya vemos que la cosa no puede salir bien de ninguna de las maneras. Todo sistema de juicio o de evaluación debe estar diseñado para reducir el porcentaje de falsos negativos y a la vez el de falsos positivos. Como bien sabe @aguedaq2666, cuya tesis doctoral iba de esto,

suele darse un trade-off entre un tipo de error y otro. Si diseñamos el sistema sobre todo para que dé muy pocos falsos positivos (es decir, que muy pocos candidatos carentes de méritos alcancen la acreditación de catedrático), la forma de hacerlo es endurecer mucho los criterios

de calidad exigidos, y eso tendrá como efecto (de contra-finalidad) un aumento no-deseado de falsos negativos (es decir, de candidatos que realmente merecen ser acreditados pero que el sistema rechaza. Lo mismo ocurre a la inversa. Si uno quiere evitar los falsos negativos

a toda costa, acabará produciendo muchos más falsos positivos de los que uno querría. Por supuesto hay que intentar buscar un equilibrio, pero dependiendo de qué sistema estemos hablando, será preferible minimizar los falsos negativos o los falsos positivos.

No hay una respuesta universal a esa pregunta. Lo més increíble de todo es que el sistema de evaluación de calidad de la investigación española es extremadamente caro (en coste económico directo, en horas malgastadas por candidatos, evaluadores y funcionarios), pero a la vez

es un sistema completamente inútil. Está tan MAL DISEÑADO q tiene a la vez un altísimo número de falsos positivos y de falsos negativos. El caso de Juan Antonio Aguiar es solo un ejemplo más entre muchos otros; uno de proporciones espectaculares y vergüenza internacional, eso sí!

Fin del hilo (y perdón, como siempre, por la extensión)