Con los reparos que implica hablar de toda una población, la investigadora, compuesta por cientos de miles de personas, el entusiasmo con la propuesta de la Aneca para cambiar la forma en que se evalúa la ciencia –y por tanto la carrera académica de los investigadores– quizá no sea unánime, pero sí es generalizado. “Es una noticia muy muy positiva”, valora Amelia López, bibliotecaria del Servei de Biblioteques y Documentació de la Universitat de València. “Con los criterios anteriores, que se han ido repitiendo año tras año con poca o ninguna variación, se estaba quedando mucha gente en el camino” porque su trabajo no estaba siendo reconocido, explica. Más inclusividad, un objetivo de la Aneca que valoran los destinatarios.
Isidro F. Aguillo, responsable del laboratorio de Cibermetría del Instituto de Políticas y Bienes Públicos del Consejo Superior de Investigaciones Científicas (CSIC), se expresa en términos parecidos. “Estoy contento porque se toman en cuenta muchos aspectos que se consideraban necesarios en la comunidad de evaluadores. La idea general de que haya una diversidad de resultados a considerar y de herramientas para la evaluación es un avance sustancial”, reflexiona, aunque introduce un pequeño contrapunto crítico: la política de sexenios como eje del sistema en general, y cómo vayan a reaccionar los evaluadores, siempre rígidos, a los cambios que propone la Aneca –la agencia que evalúa la ciencia que hacen los investigadores y por tanto también su carrera académica– preocupan a este experto.
Además de los aspectos técnicos, una de las cosas más valoradas tanto por López como por Aguillo y Alejandro de Miguel Álvaro, presidente de FPU Investiga, es que el proceso se haya abierto a consulta pública. Es la primera vez que sucede con esta resolución y los interesados creen que escuchar a la comunidad, objeto del texto, es un gran paso adelante.
“Se pretende hacer una convocatoria más inclusiva”, explica a elDiario.es la directora de la Aneca, Pilar Paneque, “precisamente porque admite más perfiles de investigación. No todos los investigadores producen artículos científicos. Estamos evaluando desde la ingeniería hasta las bellas artes, y cada disciplina tiene una expresión científica diferente. Tenemos que volver a esa esencia en la que se aceptaba una mayor variedad y que hemos ido restringiendo”, señala.
Un nuevo paradigma
La resolución que publicó este lunes la Aneca era esperada e incluso conocida en sus líneas generales, porque su directora, Pilar Paneque, lleva meses adelantando el cambio. “La exigencia de publicar constantemente lleva a un sistema científico de cantidad, no de calidad”, explicaba en una reciente entrevista con este periódico. La concreción en la resolución anual que aprueba la Aneca para conceder o no los sexenios de investigación (periodos de seis años en los que hay que demostrar una determinada producción científica que fija la propia agencia) ha estado, cuentan las fuentes consultadas, a la altura.
En versión resumida, la Aneca ha escuchado las reivindicaciones de la comunidad y se aleja del modelo que rige actualmente la ciencia, centrado en la publicación de artículos en revistas de alto impacto (las mejor consideradas, según el modelo que se ha dado el sector) como principal, único casi, mérito en la carrera académica.
La Aneca 'amplía el abanico de aportaciones y medios de difusión que pueden justificar una actividad investigadora', entre ellos: 'Publicaciones, patentes, estudios, dictámenes, trabajos artísticos, exposiciones, excavaciones arqueológicas, catalogaciones'
La resolución, si no sufre cambios de calado durante el trámite de audiencia pública, establece que a partir de ahora se permitirán nuevos formatos y soportes para publicar la investigación más allá del paper: “Se amplía (...) el abanico de aportaciones y posibles medios de difusión que pueden justificar una actividad investigadora durante el periodo evaluado”, dice el texto. Y enumera ejemplos: “Publicaciones, patentes, informes, estudios, dictámenes, trabajos técnicos, trabajos artísticos, exposiciones, excavaciones arqueológicas, catalogaciones, etc.”. Añade la Aneca que ante “la situación general de la ciencia en España (...) pueden justificar actividad investigadora los conjuntos de datos, las metodologías y el código de las aplicaciones informáticas desarrolladas”.
Otro de los aspectos novedosos es la creación de un campo 0 (se evalúa por campos de conocimiento) que será interdisciplinar, para aquellas investigaciones que no acaban de encajar en ningún área específica. Otro, que se obliga (aunque esta medida ya estaba, pero no se cumplía) a los solicitantes de sexenios a publicar sus investigaciones y los datos en repositorios institucionales, gratuitos.
También se intenta alejar la evaluación de la lógica del factor de impacto (IF), un parámetro que se le otorga a cada revista en base a su relevancia (a su impacto) y que sirve por sí mismo para valorar todo lo que en ella se publica. Con este método se valora el continente, no el contenido. La suma de este factor con que publicar en revistas de alto impacto era la única manera de progresar provocaba problemas en el sector: ciencia de mala calidad, publicada solo para sumar méritos de cara a obtener sexenios y así un complemento económico y la posibilidad de progresar en el escalafón. Por no entrar en los costes económicos de este sistema. Ahora habrá que contextualizar los datos aportados y realizar una “narrativa” defendiendo los méritos.
“Salirnos del IF y el Q1 es positivo”
La reforma –y ya es extraño con una medida institucional– ha caído bien en todos los sectores. “Ha sido un soplo de aire fresco, que se diversifique la forma de evaluar y salirnos del factor de impacto y el Q1 es muy positivo”, valora Alejandro de Miguel Álvaro, recién doctorado y presidente de FPU Investiga, una asociación que reúne a algunos de los mejores investigadores jóvenes del país.
La bibliotecaria Amelia López, de la UV, explica que abrir el abanico de la evaluación va a permitir que más gente caiga dentro. “Se estaba dejando atrás a muchos investigadores y buenas investigaciones que no tenían cabida en esas revistas que todos conocemos. No era un sistema justo, pero todo funcionaba como una moneda de coca colas. Meto cinco Q1 [en alusión al factor de impacto que se pedía para tener en cuenta las publicaciones] en la máquina y me sale un sexenio”, explica en alusión a que actualmente solo se valoraba la mera publicación en determinadas revistas, sin entrar a evaluar el contenido del artículo.
En esta línea de acoger a más personas, valora Aguillo, la creación de ese campo 0 ha sido acogida con alegría por el sector. “Era un problema que no existiera ese campo específico”.
Si tu artículo tiene 72 citas, ¿es mucho o poco? ¿Es bueno o malo? Si te digo que estoy entre el 1% o el 10% de los más citados para mi especialidad ese año te estoy dando contexto. Eso es un indicador cuantitativo puesto en contexto
López subraya que con la nueva propuesta no se pasa a un sistema subjetivo, como han criticado algunos investigadores. “No es que se pase ahora a un sistema cualitativo. La Aneca plantea seguir con los indicadores cuantitativos, pero con un contexto, que se tengan en cuenta las métricas a nivel de artículo. Pero tampoco es al peso, como dicen algunos, sino todo lo contrario. Lo que plantea este borrador es que si por ejemplo tu artículo tiene 72 citas (que es lo que se reflejaba hasta ahora), ¿es mucho o poco? ¿Es bueno o malo? Si te digo que estoy entre el 1% o el 10% de los más citados para mi especialidad ese año te estoy dando contexto. Eso es un indicador cuantitativo puesto en contexto”, ilustra.
Aun estando a favor de los cambios, Aguillo advierte de que introducir esta narración de méritos (justificarlos) “aumenta la burocracia” y provocará que los investigadores necesiten más tiempo para preparar la petición de sexenios. “Algunas de las fuentes [que se autorizan] no son fáciles de localizar o no son gratuitas”, comenta. “Esto puede provocar un aumento de la privatización que realizan las consultoras. Para ellas esto es el maná”, prevé.
La bibliotecaria Amelia López tercia: para todas estas cuestiones, reivindica y recuerda, están los bibliotecarios. “Un investigador no tiene por qué saber de todo o averiguar qué es un indicador normalizado, etc. Para eso estamos nosotros”.
Aunque los dos coinciden en que uno de los principales puntos a mejorar de la resolución es que no habiendo dado fin al antiguo sistema de méritos –no se puede cambiar las reglas de juego a mitad de la partida– ha introducido algunos elementos evaluadores que no son de fácil acceso o cuestan dinero, como la herramienta Incites.
Del 'paper' a la ciencia para el pueblo
El antiguo (todavía actual) sistema, explican los expertos, generaba distorsiones en la manera de trabajar de los científicos. Porque si pides papers para prosperar, papers tendrás. Solo papers, como objetivo en sí mismo. “Hay una grave crisis dentro de la investigación, porque este sistema de publicación solo de artículos y en revistas nos ha llevado a un sesgo muy grande en la investigación”, ilustra López. “Por un lado porque las revistas deciden qué temas son de interés, que líneas de investigación están de moda. Esto te lo publico, esto no porque no se está citando”, relata.
“Antes tu investigación tenía que orientarse a un paper y además Q1”, explica De Miguel. “Pero ahora me podré salir de ahí y mi objetivo principal ya no tiene por qué ser publicar, te puedes centrar en otras cosas. Por ejemplo, me va a servir si una investigación ha tenido una gran repercusión social (porque aparece en el examen internacional PISA, por ejemplo, o porque se implementa la metodología que he desarrollado en colegios o residencias de ancianos). Es muy positivo y se acerca la ciencia al pueblo, el trabajo del científico tiene que tener repercusión y muchas veces acababa en una revista que leían tres y no pasaba de ahí”.
Ahora los resultados negativos no venden, solo se publican positivos. Tienes investigaciones con resultados negativos que no se publican y puede haber gente que se ponga a hacer lo mismo más tarde porque no sabe que eso ya se ha investigado sin éxito
Por otro lado, el sistema provocaba que los resultados negativos prácticamente no existiesen, recuerda Amelia López. “No vende. Solo se publican resultados positivos. Tienes investigaciones con resultados negativos que no se publican y puede haber gente que se ponga a hacer lo mismo más tarde porque no se sabe que eso ya se ha investigado y ha salido negativo. Se eternizan investigaciones, se crean callejones sin salida”, pone como ejemplo. Esto, augura, dejará de pasar. “Al abrir la tipología de las aportaciones a valorar, puedes decir en un congreso que has investigado sobre tal cosa y el resultado ha sido negativo, y eso te contará de cara a un sexenio”.
Repositorios institucionales y el rol de las comisiones evaluadoras
Aguillo también destaca la obligación de depositar el resultado de las investigaciones (y los datos en bruto) en repositorios institucionales, otra de las novedades de la resolución en pos de la ciencia abierta que promulgan tanto la nueva ley de ciencia como la de universidades, además de los programas internacionales Dora y Coara, a los que España se ha sumado y motores de este cambio a nivel mundial.
“Se hace una recomendación o mandato, [ya existe] pero no ha llegado al 100%. Ahora ese proceso se va a incrementar, sin duda. También los depósitos de datos. Hay una serie de cuestiones que el investigador notará en el trabajo diario, tarde más o menos”, se felicita. “Ya hoy mismo [menos de un día después de que se hiciera público el borrador] tenemos una avalancha de consultas al respecto”, señala la bibliotecaria Amelia López, que adelanta una cuestión sobre este tema que debe resolverse: hay revistas que imponen embargos sobre los artículos que publican. Esto, invariablemente, provocará un choque entre la ley de propiedad intelectual, que defiende a las revistas, y las de ciencia o universidades, que le obligarán a colgar los resultados en abierto si quiere un sexenio.
Por último, Aguillo señala un aspecto que le preocupa, inquietud que comparte con De Miguel: la implementación del nuevo sistema, el papel de las comisiones evaluadoras, encargadas de validar o no esas narrativas que deben realizar los investigadores, de aceptar si los nuevos formatos o soportes son merecedores de un sexenio.
“Suelen ser científicos seniors y están acostumbrados al modelo antiguo. Algún miembro de comité, quizá incluso comités completos, pueden cerrarse a estos nuevos criterios, indicadores o indicios de calidad a los que se abre esta convocatoria y puede dar lugar a reclamaciones y litigios”, advierte. Un ejemplo práctico: “Presentas una excavación, pero te dicen que lo único que has hecho es picar y sacar huesos. Es un problema de interpretación, pero el problema no es tanto que se llegue a ese punto, como que ciertas personas que se han pasado la vida haciendo papers de 400 páginas vayan a aceptar esos criterios”, augura.
“Por eso creo que es necesario que la maniobra [de renovación] se complete con la entrada de gente con savia nueva y una nueva orientación”, remata De Miguel.
Paneque se muestra consciente de esto y sostiene que más que “preocuparse” se está ocupando. El propio funcionamiento de estos comités le va a facilitar la labor, explica. “Se renuevan parcialmente cada dos años. Y este año toca renovación importante. Estamos preparando una formación especial para los miembros de estos comités, porque entendemos que hay muchas novedades. También es importante que se comparta la filosofía del cambio. Esto no es un capricho, estamos dando pasos para formar parte de una reforma que se está impulsando en Europa y hay que compartir los principios”, explica.
Según ha tanteado Paneque, su propuesta está siendo bien recibida, también dentro de estos comités. “Con dudas, porque el proceso de evaluación es muy serio y la gente quiere hacerlo bien, pero la gente está muy a favor”.
Y defiende que el cambio de modelo de evaluación no es solo para los investigadores, también afectará positivamente a los evaluadores. “Se le da valor al rol del evaluador. La evaluación ahora se hace básicamente con una plantilla y eso es una forma bastante pobre de medir tu carrera investigadora”, sostiene.
Aguillo cierra con un último deseo para un futuro no muy lejano: el abandono definitivo de las métricas de las revistas, el factor de impacto y todo lo relacionado con la gestión privada de la evaluación. “Si hemos firmado Dora tendremos que llegar ahí”, cierra.