Sobre la perversión del sistema académico por una métrica pobre de lo que es la ciencia

Hace dos semanas explicamos en un post cómo el uso y abuso de métricas simplistas de la producción y el impacto científicos sumados a la lógica capitalista de disminuir recursos para aumentar la competencia y, en teoría, mejorar la calidad, ha dado y está dando lugar a resultados indeseables. Algunos compañeros del mundo académico nos han hecho ver que hacían falta algunas explicaciones más y también que convenía sustanciar mejor algunas afirmaciones vertidas en ese artículo. En este post reafirmamos con más argumentos nuestra visión sobre las consecuencias negativas del abuso de métricas simplistas, y proporcionamos más evidencia para reforzar determinados puntos que generaron controversia –como el aumento de las malas prácticas científicas o del mal tutelaje por parte de los científicos de más prestigio. Los resultados de revisar la evidencia al respecto superaron nuestros peores escenarios.

Entre las principales aclaraciones destaca la de recalcar la importancia de evaluar el desempeño de los científicos. Tal como nos han hecho ver varios colegas, nuestro escrito podía hacer pensar en una lectura rápida o por alguien no familiarizado con el ámbito académico que no estamos a favor de cuantificar el desempeño académico. Nada más lejos de nuestra intención. No ha transcurrido tanto tiempo desde que no se utilizaban métricas de ningún tipo para evaluar a los académicos en países como el nuestro. En aquella época, los proyectos y las plazas de profesores o científicos se conseguían mediante oscuras negociaciones y redes clientelares en las que el desempeño científico era, en el mejor de los casos, tan sólo uno de los componentes. El uso generalizado de indicadores de rendimiento científico (aunque sean tan simples como el número de artículos que se publican en revistas internacionales con sistema de revisión por pares) supuso un salto espectacular y permitió desarrollar una hoja de ruta que redundó en un rápido avance tanto en la productividad como en la calidad de la ciencia española. Los proyectos y las plazas comenzaron a ir hacia científicos, grupos y centros que acreditaban méritos y acumulaban logros objetivos y cuantificables.

Nuestro post era una reflexión sobre algunos de los impactos negativos de las métricas y sobre cómo podemos revertir esta situación Al igual que tras la implantación de los antibióticos es necesario ahora moderar su uso para evitar la propagación de “superbacterias”, el sistema de evaluación de la ciencia requiere. tras varias décadas de progreso, una revisión de su uso indiscriminado. Esos defectos en la aplicación de los sistemas de evaluación son los que analizamos, con la intención de mejorarlos sin cuestionar la necesidad de evaluación.

En nuestra crítica anterior denunciamos cómo el abuso de determinadas métricas da lugar a situaciones injustas, a la proliferación de trampas, y al deterioro de un rasgo consustancial a la ciencia de calidad: la colaboración. El uso de estas métricas vino a sustituir la ausencia de prácticas evaluadoras y no la existencia de evaluaciones mejores. La falta de métrica en la evaluación lleva a la mediocridad y a su cristalización en el sistema, y en este sentido son muy pertinentes los 10 principios del manifiesto de Leiden sobre la evaluación del rendimiento científico. La perversión en el uso de métricas simples para evaluaciones complejas, como por ejemplo la calidad de la ciencia que realiza un investigador o su capacidad para formar nuevos científicos, está generando los nuevos problemas que constituyeron el foco principal de nuestro post anterior.

En nuestro artículo también decíamos que “... de hecho, a menudo las peores prácticas en supervisión de investigadores jóvenes se dan en los grupos de élite”. Tal como nos hicieron ver nuestros lectores, no apoyábamos esta afirmación con ningún enlace ni cita bibliográfica y por tanto parecía que era una apreciación personal. Hemos profundizado en este tema revisando bases de datos de fuentes solventes y artículos de síntesis en buenas revistas especializadas, una revisión que dará lugar en breve a un post extenso y detallado. Pero queremos apuntar desde ya que con esta frase en realidad sólo pasábamos de puntillas sobre un problema grave que ha merecido la atención de la comunidad científica en multitud de ocasiones.

Los resultados de un interesante estudio indicaban, hace ya casi dos décadas, la existencia de dos tipos contrastados de ambiente científico en los grupos de investigación con dos efectos también muy contrastados en la calidad de la formación de los nuevos científicos. Mientras en unos laboratorios predominaba un ambiente de dirección, formación y supervisión de los estudiantes y los miembros más jóvenes, en otros laboratorios imperaba el peso de los resultados y el trabajo se orientaba a producir el mayor número de artículos y del mayor impacto posible. Nótese que hablamos de calidad de la formación y no, necesariamente, de productividad tal como suele ser medida. En este trabajo se concluyó con claridad que este segundo tipo de laboratorios no solía contribuir a una formación completa de los nuevos científicos y generaba con mayor frecuencia conflictos de ética científica. Sin embargo, este segundo tipo de laboratorios quedaba siempre bien evaluado con el uso de métricas sencillas. Estas métricas no servían, por tanto, para determinar la capacidad formativa de un grupo y, de hecho, reflejaban una tendencia indeseable: cuanto mayor es la productividad de un grupo, mayor es también la probabilidad de una supervisión superficial de los estudiantes con el riesgo asociado de malas prácticas.

La oficina norteamericana para la integridad de la investigación científica (ORI) realiza periódicamente informes sobre la supervisión, formación y dirección de los estudiantes en los grupos de investigación. Esta oficina se centra en el campo de las ciencias biomédicas, pero sus conclusiones se podrían aplicar con toda probabilidad a muchos otros campos científicos. En uno de sus informes, la ORI concluye que las malas conductas de ética científica son significativamente mayores cuando los investigadores en formación trabajan bajo el estrés de maximizar la producción. Lógicamente se observan más estas conductas cuando el supervisor está muy ocupado y no puede prestar suficiente atención a los estudiantes. Nuestra intención es seguir profundizando en este complejo pero crucial tema en futuros posts de esta sección.

Lo que aquí queremos enfatizar es que estas cuestiones no quedan reflejadas en las métricas simplistas con las que se evalúa el rendimiento científico de los investigadores principales y de los grupos que dirigen. El síndrome del investigador de élite que está demasiado ocupado para atender los detalles del trabajo y la formación de los miembros más inexpertos del grupo es patente y existe evidencia estadística sobre su impacto negativo en el funcionamiento global del mundo académico al favorecer situaciones de estrés, una formación inadecuada de jóvenes científicos y una disminución de la colaboración entre grupos Estas situaciones se describen con gran detalle, y sobre una extensa base de casos reales y una sólida estadística, en el libro “Fostering Integrity in Research” (Fomentando la integridad en la investigación) que la Academia Norteamericana de Ciencias, Ingenierías y Medicina publicó el año pasado. Este libro, en inglés, está disponible de forma gratuita.

Al equipo de Ciencia Critica nos resulta sorprendente que muchas instituciones españolas eviten o teman discutir del elefante en la habitación: ¿qué está causando el incremento exponencial en las malas prácticas? No parece que sea tan sólo el efecto de que cada vez seamos mejores detectándolas.

Cuando algunos organismos públicos de nuestro país (y otras instituciones tanto nacionales como internacionales) están empezando a sentirse cómodos con el uso masivo de métricas sencillas para evaluar algo tan complejo como la actividad científica, toca pasar página. Hecha la ley, hecha la trampa. Tan triste como real.

Hace dos semanas explicamos en un post cómo el uso y abuso de métricas simplistas de la producción y el impacto científicos sumados a la lógica capitalista de disminuir recursos para aumentar la competencia y, en teoría, mejorar la calidad, ha dado y está dando lugar a resultados indeseables. Algunos compañeros del mundo académico nos han hecho ver que hacían falta algunas explicaciones más y también que convenía sustanciar mejor algunas afirmaciones vertidas en ese artículo. En este post reafirmamos con más argumentos nuestra visión sobre las consecuencias negativas del abuso de métricas simplistas, y proporcionamos más evidencia para reforzar determinados puntos que generaron controversia –como el aumento de las malas prácticas científicas o del mal tutelaje por parte de los científicos de más prestigio. Los resultados de revisar la evidencia al respecto superaron nuestros peores escenarios.

Entre las principales aclaraciones destaca la de recalcar la importancia de evaluar el desempeño de los científicos. Tal como nos han hecho ver varios colegas, nuestro escrito podía hacer pensar en una lectura rápida o por alguien no familiarizado con el ámbito académico que no estamos a favor de cuantificar el desempeño académico. Nada más lejos de nuestra intención. No ha transcurrido tanto tiempo desde que no se utilizaban métricas de ningún tipo para evaluar a los académicos en países como el nuestro. En aquella época, los proyectos y las plazas de profesores o científicos se conseguían mediante oscuras negociaciones y redes clientelares en las que el desempeño científico era, en el mejor de los casos, tan sólo uno de los componentes. El uso generalizado de indicadores de rendimiento científico (aunque sean tan simples como el número de artículos que se publican en revistas internacionales con sistema de revisión por pares) supuso un salto espectacular y permitió desarrollar una hoja de ruta que redundó en un rápido avance tanto en la productividad como en la calidad de la ciencia española. Los proyectos y las plazas comenzaron a ir hacia científicos, grupos y centros que acreditaban méritos y acumulaban logros objetivos y cuantificables.