Los investigadores podrán eludir la 'dictadura de los papers' y las revistas científicas

Es posible que nunca antes haya habido tanta expectación por algo con un nombre tan poco atractivo como Resolución de la Comisión Nacional Evaluadora de la Actividad Investigadora por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Pero en este documento, que publica cada año la Aneca (la agencia encargada de evaluar la carrera académica del profesorado) para reconocer sexenios de investigación (periodos de seis años, que otorgan al investigador un bono económico y le permiten prosperar en la academia), está buena parte de la clave para cambiar la ciencia, sumida en una espiral cuantitativa que provoca disfunciones y merma la calidad de la investigación.

La nueva directora de la Aneca había prometido hacerlo para sacar a investigadores y universidades de “la dictadura de los papers" que rige el sistema de producción de ciencia. Del temido (y odiado) factor de impacto de las revistas. Este lunes se ha publicado por fin el borrador de la resolución, que además por primera vez sale a consulta pública, (hasta el 19 de noviembre). Y que avanza hacia ese cambio admitiendo nuevos formatos y nuevos soportes como méritos de investigación reconocibles más allá del artículo. Como ya recogía una orden de 1994, hoy olvidada.

Dice el texto: “Se amplía (...) el abanico de aportaciones y posibles medios de difusión que pueden justificar una actividad investigadora durante el periodo evaluado”. Y enumera nuevos posibles soportes: “Publicaciones, patentes, informes, estudios, dictámenes, trabajos técnicos, trabajos artísticos, exposiciones, excavaciones arqueológicas, catalogaciones, etc.”. Añade la Aneca que ante “la situación general de la ciencia en España (...) pueden justificar actividad investigadora los conjuntos de datos, las metodologías y el código de las aplicaciones informáticas desarrolladas”.

Esto quiere decir que la Aneca dejará de valorar exclusivamente como mérito los artículos científicos, donde únicamente se tiene en cuenta la revista de publicación como indicador de la calidad del paper en cuestión. El sistema ya fue así, pero se fue restringiendo con el paso de los años para acabar centrado exclusivamente en las revistas (más cómodo para el evaluador, que solo tenía que ver dónde se publicaba un artículo para valorarlo). Con esta nueva orden, que pedía la comunidad científica, se armoniza la evaluación con la acreditación para ser profesor universitario, abierta ahora al software, la creación artística o los congresos, entre otros nuevos méritos.

“Se realiza un reajuste en la combinación de los métodos cualitativos y los indicadores cuantitativos utilizados para la valoración de las aportaciones presentadas”, sostiene el borrador de resolución.

Otro aspecto novedoso de la propuesta de la Aneca es que “los resultados de la investigación (...) estén disponibles en acceso abierto, cuyo acceso gratuito y libre debe fomentarse mediante el desarrollo de repositorios institucionales o temáticos de acceso abierto, propios o compartidos”. Actualmente, si las revistas donde se publica son de acceso abierto es porque el investigador ha pagado previamente; si no, se paga por leer. Pero alguien suele pagar, y en ocasiones se hace dos veces. En España, en la inmensa mayoría de los casos es siempre dinero público. También es habitual colgar los trabajos en repositorios de acceso restringido (como ResearchGate o Academia)

Entre las novedades de la propuesta de la Aneca de este año está también la creación de un nuevo campo de conocimiento (los sexenios se entregan por áreas) que será interdisciplinar para la actividad investigadora de carácter más transversal y difícil de cuadrar en un campo concreto.

Sin ruptura con lo anterior

Pero el texto tampoco supone una ruptura completa –los sexenios de investigación afectan a un periodo de seis años y no se pueden cambiar las normas de juego a mitad de la partida, según defiende Paneque–, por lo que la resolución mantiene también la estructura anterior: publicar en las revistas que el “ecosistema científico” ha decidido que son las más relevantes (las que más se citan en el sector) sigue siendo un mérito en sí mismo (es la revista la que hace la criba: una vez publicado, se da por bueno que el artículo es de calidad), aunque tampoco será exactamente igual porque habrá que justificar la publicación, como explica la bibliotecaria Amelia López en este hilo.

Uno de los principales problemas que provoca este método, llevan años advirtiendo los expertos, es la deriva que ha sufrido el sector en los últimos años: de pagar por leer, los investigadores han pasado a pagar por publicar, lo que ha generando un mercado de revistas que publican casi todo porque, para ellas, publicar es ganar dinero. También ha provocado que se haga investigación solo para publicar y acumular méritos, según han detectado algunos estudios, sin aportar nada realmente novedoso a la ciencia.

Tras los pasos de Dora y Coara

El movimiento de la Aneca sigue las últimas recomendaciones internacionales, que proponen realizar cambios en la manera en que se evalúa la producción científica. “Aconseja integrar ya en esta convocatoria las orientaciones del movimiento internacional de reforma de la evaluación de la investigación, al que se ha incorporado Aneca en este año 2023 a través de su adhesión a la San Francisco Declaration on Research Assessment (DORA) y a los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA). En los diversos campos y subcampos de evaluación esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación (métodos cualitativos), apoyados por un uso responsable de indicadores cuantitativos”, explica la agencia.

El texto propone que cada investigador justifique el impacto de su aportación cuando esta se produzca fuera del ecosistema de las revistas tradicionales. También en ellas, de hecho. Esta práctica se realizará por el momento a través de las “aportaciones extraordinarias” que, como su nombre indica, habitualmente han de ser escasas o especiales, pero que este año –o en el ínterin que dure la transición hacia el nuevo sistema– se aceptará con carácter general.

El proceso de evaluación de los méritos presentados, con “criterios y metodologías de evaluación cualitativas y cuantitativas”, tomará como referencia “la narrativa aportada por la persona solicitante en los 'indicios de relevancia e impacto' de cada aportación”, explica el texto. Y pone ejemplos: “Se defenderá el impacto científico de la aportación a través de citas recibidas contextualizadas excluyendo autocitas, de su proyección internacional, de los proyectos nacionales o internacionales que han financiado la investigación o que se han derivado de ella, de los premios recibidos, de las traducciones de la obra, entre otros; y/o la contribución de dicha aportación a la generación de impacto social evidenciado, por ejemplo, a través de aportaciones al diseño e implementación de políticas públicas, contribución al desarrollo de productos y servicios o cualquier otro aspecto que se considere relevante”. Y se recomienda hacer un “uso responsable de indicadores cuantitativos (indicadores bibliométricos normalizados, entre otros)”, en alusión al sistema de revistas.

Según el borrador, que incluye un apéndice con varios cuadros para explicar el nuevo sistema, se permitirán las clásicas métricas de citación, pero también de uso y lectura (volumen de descargas, visualizaciones o visitas), las métricas de influencia o adopción social (menciones a fuentes externas del ámbito académico) y métricas de visibilidad social (plataformas sociales en línea, “preferentemente académicas y especializadas”). También se informa de que se valorará la difusión de las aportaciones en abierto o compartir datos brutos, metodologías, etc. “de forma abierta y transparente”.