Pilar Paneque: “La exigencia de publicar constantemente lleva a un sistema científico de cantidad, no de calidad”

Dice Pilar Paneque que para la mayoría del profesorado universitario la palabra ANECA es un dolor. La mención de la Agencia Nacional de Evaluación de la Calidad y Acreditación del sistema universitario, el organismo que les permite optar a las diferentes categorías laborales o que les concede o no los sexenios de investigación (periodos demostrables de seis años de producción científica) que les permitirán avanzar por la carrera académica, es sinónimo de una burocracia imposible, de esperas, de incertidumbre. Incluso ella, su actual directora, no era una excepción.

Pero Paneque, catedrática de Geografía Humana de la Universidad Pablo de Olavide de Sevilla, también cuenta que vio una oportunidad cuando le ofrecieron el cargo. Una oportunidad real de cambio. Porque algo se mueve en el sector científico a nivel internacional. La comunidad está harta de un sistema que prima –exige– publicar artículos (papers) por encima de todo, y que lo hace además con financiación pública pero dejando beneficios privados.

Así que, explica en la primera entrevista que concede como responsable de la ANECA, decidió tirarse a la piscina. Su nombramiento primero y sus primeros pasos al frente de la agencia después han despertado unas expectativas que no son habituales en el sector público. Paneque promete cambios, que ya está plasmando vía BOE: primero con el nuevo Real Decreto de acreditación, aprobado el pasado mes de julio, y enseguida con la convocatoria anual de sexenios. La nueva filosofía de la ANECA, repetirá Paneque durante la entrevista, se articula en torno a lo que parece su leitmotiv, extraído de la nueva Ley Orgánica del Sistema Universitario: “El conocimiento es un bien común, que no puede ser mercantilizado”.

La catedrática, que cuenta que si le dejaran dormiría en el despacho de la cantidad de horas que está echando, explica que entre otras cosas esto significa avanzar hacia las revistas de acceso abierto, los repositorios institucionales y recuperar para lo público “el sistema de investigación de publicaciones, que por una serie de dinámicas en las últimas décadas hemos ido dejando en manos de grandes compañías”. No es solo una cuestión económica, advierte Paneque: el sistema de incentivos perverso que domina el sector está dañando la producción científica.

¿Qué pretendían conseguir con el nuevo Real Decreto de acreditaciones?

Un cambio profundo. El anterior Real Decreto era de 2007 y dejaba mucho que desear. Había convertido al sistema en tedioso, muy pesado tanto en su procedimiento, en la forma en que se presentaba toda la documentación, como en el tipo de incentivos que daba. Creo que los cambios que se han introducido van a mejorar el sistema de una forma radical. Respecto al procedimiento, vamos a un currículum simplificado, un currículum breve, y a un sistema de confianza, que es muy importante. Un proceso de acreditación puede tardar semanas, meses, para que el profesor se haga con toda la documentación y la suba a la plataforma. Porque nadie cree a nadie y el sistema estaba basado en que tenías que demostrar absolutamente todo. Tenemos que avanzar hacia sistemas como los que funcionan en otros países europeos, donde uno entrega un currículum breve y ya está. Para eso en ANECA hemos tenido que hacer cosas que probablemente se tenían que haber hecho hace mucho tiempo, como certificarnos en el uso del CVN (currículum vitae normalizado). Implantar un currículum breve y que sea el candidato el que elija sus mejores aportaciones. Unas aportaciones diversas que no serán solo, o no fundamentalmente, artículos científicos.

Un cambio que están pidiendo los científicos hace tiempo.

Sabemos que este es uno de los problemas del decreto anterior, que marcó en exceso el camino hacia el productivismo científico, hacia un sistema de cantidad y no de calidad. Lo anterior era una suma de méritos que podía llegar al infinito, con lo cual uno nunca tenía artículos suficientes, nunca había dirigido las tesis suficientes. Esto también ha dado lugar a algunas prácticas no deseadas, un cierto abandono de la actividad docente frente a la investigadora y sobre todo una aceleración de la actividad investigadora, que es bastante incompatible con lo que significa hacer ciencia. Tiene que ser un trabajo reflexivo, en muchas ocasiones lento en determinadas áreas. Pueden ser procesos de años para llegar a tener resultados, pero al mismo tiempo el sistema te estaba pidiendo tener resultados permanentemente, y hemos llegado a producir mucha ciencia en relación a la financiación que tenemos.

¿Hacia dónde quiere dirigir el sistema?

La discusión está en si esta es una ciencia útil o no, si es una producción científica innovadora, rompedora, la que necesita la sociedad, o es simplemente una acumulación de cosas que el sistema te está pidiendo para poder promocionar en tu trabajo, que al final es en lo que se ha convertido para la mayoría de los universitarios. El nuevo Real Decreto cambia absolutamente la perspectiva con la que se plantea cuál debe ser la carrera de un universitario, porque estamos hablando de investigación, de docencia, de intercambio de conocimiento, de transferencia, de liderazgo, de todos los méritos que se evalúan en la promoción del profesorado universitario. Equilibra por fin las actividades de docencia y de investigación y sobre todo plantea la evaluación de la investigación, que ha sido la más problemática.

La exigencia de publicar continuamente provoca que lo que estás publicando no es relevante porque no estás publicando los resultados finales de un proyecto

¿El sistema de producción de 'papers' basado en la cantidad estaba dañando la ciencia?

Era un clamor de todos los agentes del sistema universitario, el sistema genera un malestar por no poder hacer una carrera pausada, una ciencia pausada. La exigencia de publicar continuamente provoca que lo que se está publicando no sea relevante porque no se están publicando los resultados finales de un proyecto, que puede tardar años en tener unos resultados relevantes que merezca la pena publicar y compartir. Pero si los incentivos están pidiendo cantidad y rapidez, se intenta equilibrar como se puede: haciendo un trabajo –como no dudo que hacen la inmensa mayoría de los científicos– honesto y valioso, y al mismo tiempo haciendo una carrera. El problema es lo que se les ha estado pidiendo hasta ahora, a partir no solo de aquel Real Decreto de acreditación sino también de la otra convocatoria importante que lleva ANECA, los sexenios de investigación (los tramos de investigación que puede solicitar el profesorado universitario).

Esto es muy importante porque son uno de nuestros complementos retributivos –pequeño, 120 o 130 euros al mes– y porque cuantos más sexenios se tienen –el máximo son seis– se supone que más prestigio se tiene y más actividades se pueden hacer, como estar en determinados tribunales, acreditarte a determinadas figuras o dirigir tesis en algunas universidades. Lo que empezó siendo solo un complemento retributivo ha terminado siendo una llave para mejorar en tu carrera académica. ¿Qué se pide o qué se ha venido pidiendo para conseguirlos? Básicamente publicaciones. La filosofía de los sexenios y la de la acreditación han tenido sus cosas buenas, han convertido a España en un país dentro de la primera división del circuito científico. Pero al mismo tiempo han tenido muchas cosas malas. Y creo que no hay universitario, universitaria o personal de centros de investigación que no comparta ese hartazgo, esa ansiedad, ese estrés que el sistema le estaba generando.

¿Cómo pretenden cambiarlo?

Tenemos que empezar a trabajar con nuevos indicadores y con una nueva filosofía que respete lo que dice la ley, que el conocimiento es un bien común. Estamos trabajando en paralelo con los dos grandes programas que evalúan la investigación: la convocatoria de sexenios de este año 2023, que saldrá entre diciembre y enero y va a cambiar todo, y con los criterios del nuevo Real Decreto de acreditación, que tenemos que tener publicado el 1 de enero.

Esa sería la parte a la que nos obliga la ley, y luego hay otra parte, voluntaria, que fue una decisión personal y que fue la firma de Dora y de Coara (dos iniciativas internacionales para cambiar la producción científica). Acompaña muy bien esa idea básica de qué queremos hacer con el conocimiento que se genera con fondos públicos, una parte del debate también muy importante. Todo el movimiento internacional más avanzado en evaluación de la investigación va en esa dirección. Ya tenemos un capítulo nacional de Coara. Se han apuntado casi todas las universidades españolas y eso es una señal de que el diagnóstico está hecho: necesitamos cambiar esto. En la convocatoria [de sexenios] de este año ya habrá cambios sustanciales tanto de filosofía como de la parte, digamos, práctica, material, de cómo hay que presentar indicios de calidad.

El factor de impacto no sirve para nada. Hemos tendido a un patrón científico y de publicación que puede ser útil en determinadas ciencias experimentales, pero que no sirve para nada en las ciencias sociales o las humanidades

La calidad es complicada de medir. ¿Cómo quieren hacerlo?

Queremos una investigación que sea realmente útil para la sociedad, innovadora y que tenga impacto. Tenemos un grupo de expertos de primera división haciendo un trabajo inmenso de redacción de las nuevas convocatorias. Sabemos qué pasa y en qué dirección ir, pero el año pasado evaluamos 20.000 expedientes de acreditaciones de profesorado y casi 17.000 solicitudes de tramos de investigación de sexenios. Aquí tenemos que hacer una evaluación sistemática, lo que no quiere decir que utilicemos de manera perversa algunos indicadores que se han venido utilizando, como el famoso factor de impacto. El factor de impacto no sirve para nada, no indica necesariamente la mejor ciencia. Dice algo sobre el medio en el que se publica, pero no sobre la calidad de la investigación.

Vamos a ir dando pasos en la filosofía de las convocatorias, en los indicadores, en los criterios y en los umbrales con los que se mide eso para favorecer una mayor diversidad de carreras. Porque hemos tendido a a un patrón científico y de publicación que puede ser útil en determinadas ciencias experimentales, por ejemplo, pero que no sirve para nada en el campo de las ciencias sociales o las humanidades. Hemos dejado de publicar libros, hemos dejado cosas que tememos que no sirvan en la evaluación. Es muy triste, porque hay determinadas áreas de conocimiento que se expresan a través de otros medios que no necesariamente son las revistas científicas. El paper, el artículo, no puede ser lo único que haga un investigador. Será necesario incorporar código, software, bases de datos, cualquier otro medio que en la actualidad se está utilizando. La ciencia va muy rápido y en cambio llevamos décadas evaluando solo artículos científicos. Queremos abrir.

¿El nuevo decreto va a aliviar el atasco que hay en las acreditaciones? ¿Reducirá los plazos?

Absolutamente. Primero, porque ahora hay 21 comisiones evaluando y en el nuevo decreto se nos aceptó tener hasta 30 comisiones con un número mayor de evaluadores en cada comisión. Por otra parte, la simplificación de toda la parte de la entrega documental que implicaba el procedimiento anterior va a aliviar el ejercicio de evaluación. Ahora hay que mirar PDF que pueden llegar a tener 2.000 páginas. También nos estamos certificando en exportación de CVN y vamos a pedir un currículo breve. Se alivia el propio procedimiento, se alivia la cantidad de documentación que la Comisión tiene que evaluar y por tanto vamos a poder llegar a unos plazos razonables.

¿Se va a cobrar por evaluar?

Eso se establece en el decreto por parte del Ministerio de Universidades. Ha establecido una tasa. No es que cobremos por evaluar, sino que hay una tasa igual que la tasa de expedición de un título, por ejemplo.

Pero es nueva.

Sí. Esto es una cosa del Ministerio, no de la ANECA.

La inmensa mayoría de la gente desconoce que el Estado por un lado paga la investigación científica que hace alguien, paga para que ese alguien publique esa investigación y también paga para que un tercero la lea. ¿Qué le parece que universidades y el CSIC paguen 47 millones de euros al año de fondos públicos a cuatro editoriales científicas?

Si todo ese dinero se pusiera en una reforma real de nuestra manera de comunicar ciencia en repositorios institucionales estatales o en alguna experiencia parecida a la que está teniendo Ore en la Comisión Europea... Quizá España debería ir trasladando o financiando esas posibilidades al mismo tiempo que reduce esos beneficios para compañías privadas, que pueden ser muy necesarias en algunas ocasiones como recursos básicos de biblioteca pero que no pueden condicionar nuestro trabajo. Es un trabajo financiado desde lo público y una ganancia para lo privado. Por eso recuerdo siempre la mención en la LOSU al conocimiento como bien común que no se puede mercantilizar. Pero la ley va por un sitio y la práctica va por otro.

En la ANECA tenemos claro que lo que diga la agencia, para bien y para mal, es transformador. Si tú le estás diciendo a un investigador que para sacar su sexenio en determinada área de ciencia experimental tiene que tener cinco artículos Q1, ¿esa persona qué va a hacer? Pues se va a poner a publicar Q1, como mínimo uno al año. Pero hay determinadas áreas donde es casi imposible tener un Q1 al año, porque para publicar tienes que tener resultados, y hay ciencias que necesitan un desarrollo mayor. Tenemos que empezar a poner otras cosas en el BOE. Donde ahora dice cinco Q1 quizá tenga que decir “cinco Q1 u otro tipo de”. Estamos en eso. Por supuesto, no podemos hacer desaparecer un sistema que está en marcha, pero sí podemos empezar a complementarlo con aquello que de verdad creemos que tiene que servir para evaluar la ciencia de verdad, la calidad, la innovación y el impacto de lo que se hace.

¿Cómo se mide el impacto social de una investigación?

Es algo que nunca se ha pedido en este tipo de evaluaciones, pero tiene que ser ciencia útil para la sociedad. Los investigadores están deseando que esto cambie, somos nosotros quienes tenemos que cambiar las reglas del juego y hacerlo de una manera tranquila, serena, paulatina y con mucha pedagogía. Porque es cierto que esta evaluación cualitativa tenemos que aprender a hacerla, pero yo la tengo que hacer muy rápida. Tengo que evaluar en pocos meses miles de expedientes, con lo cual tenemos que encontrar ese punto de equilibrio entre facilitar otro tipo de evaluación, pero al mismo tiempo garantizar y dar seguridad jurídica en lo que se está evaluando. Sabemos que estamos arrastrando un sistema absolutamente ineficiente, entre otros muchos adjetivos que se le podrían poner, y hay que intentar hacer algo.

Ha hablado de la divulgación. La ley de la ciencia habla de “incentivar” y “reconocer” la divulgación. ¿Cómo se hace esto?

Se ha estado trabajando en incorporar actividades de divulgación científica dentro del sexenio de transferencia, del que solo hubo una prueba piloto en 2018 y además tuvo resultados muy desiguales entre hombres y mujeres. La divulgación cada vez está teniendo más espacio, pero era otra actividad que muchos investigadores no se atrevían a hacer porque estaban publicando papers a toda pastilla. La divulgación tiene que empezar por formar y hacer de los temas científicos un tema de interés social. Pero depende del Ministerio de Ciencia, no de la ANECA. Son ellos quienes tienen que sacar la convocatoria.

Si alguna universidad no cumple [lo que exige la ley], las instancias oportunas tendrán que tomar decisiones sobre su cierre

Pero ANECA evalúa. ¿Cómo se evalúa la divulgación? ¿Qué es divulgar bien? ¿Divulgar a mucha gente, divulgar buena ciencia, hablar con la prensa para que te citen en un artículo que no se sabe cuánta gente ha leído?

Los criterios de divulgación los ha elaborado la FECYT (Fundación Española para la Ciencia y la Tecnología), por lo que sé. Creo que en esto, igual que en investigación, uno de los elementos más importantes tiene que ser el impacto social. Que hagas un día una entrevista a un periódico, no. Pero la comunicación a través de los medios, por supuesto. Sobre todo, intentar hacer divulgación sobre temas socialmente relevantes y también lograr tener un impacto en una diversidad de públicos amplia. Porque hay público que ya tenemos ganado. La divulgación tiene que lograr involucrar a otros públicos, al conjunto de la ciudadanía, y sobre todo trabajar sobre aquellos temas que son especialmente necesarios y relevantes para la sociedad. La divulgación también es una bisagra entre la comunidad científica y la sociedad para testar cuáles son sus necesidades, que no necesariamente tienen que ser las que están ya en la agenda científica.

La ANECA también evalúa las universidades. Tenemos un decreto ya no tan nuevo que dice que se cerrarán aquellas que no cumplan los requisitos (endurecidos), y hay muchas universidades, públicas también, que no cumplían. ¿Van a cerrar universidades?

A nosotros nos compete evaluar y acreditar. Si alguna universidad no cumple, las instancias oportunas tendrán que tomar esas decisiones. Pero la evaluación va a ser siempre absolutamente objetiva respecto a lo que las universidades presenten, y los informes dirán lo que tengan que decir. Esperamos que que sean útiles y que tengan consecuencias, porque si no, la evaluación la vaciamos de sentido. Igual que los individuos presentan aquí su currículum y se exponen a una evaluación, pudiendo perder su posibilidad de seguir en la universidad en los casos más dramáticos, o no poder promocionar.

Se ha sido muy laxo permitiendo ciertas universidades...

Privadas...

Y online...

Ayer, en Andalucía...

Por ejemplo, con varios informes en contra. Creo que a la gente le costaría entender que se apruebe una universidad con un montón de informes técnicos en contra de la universidad. Sin embargo, se hace.

Habría que preguntar a los gobiernos, porque es cierto que hay muchos informes intermedios, pero finalmente son ellos los que aprueban la creación de universidades. Este es un debate que merecería una reflexión pausada. Los informes que se piden sobre la creación o la supervivencia de un centro universitario tendrían que atender a los criterios establecidos por el propio sistema y no a la posición política o ideológica de un determinado gobierno. El sistema universitario en su conjunto no está muy contento con cómo se están haciendo las cosas con estas universidades andaluzas, ve esto con cierta tristeza porque es un sistema hiperevaluado. Yo soy catedrática y a lo largo de mi carrera no sé cuántas veces he sido evaluada. Entendemos que tenemos que someternos a una evaluación permanente cada cinco años para los quinquenios, cada seis años para los sexenios... El nacimiento de una nueva universidad debe contar absolutamente con todas las garantías.

¿Qué piensa de estos casos de científicos que firmaban trabajos para universidades árabes cobrando de centros españoles?

Me da mucho miedo que se extienda la opinión de que el sistema científico es corrupto. Son casos súper puntuales. Nos preocupan, nos avergüenzan. También la falta de control, porque una universidad tiene en tiempo real la producción científica de sus trabajadores. A los que amamos la universidad nos entristece que estas cosas pasen. Por el miedo que me da el negacionismo científico hay que apoyar al sistema científico público. Es un momento para el optimismo. Llevo más de dos décadas y varias leyes y decretos en la universidad y nunca había habido un momento tan bueno como este para hacer cambios, por eso acepté esta locura de dirigir ANECA. Tenemos que aprovechar las herramientas que tenemos, la ilusión en la comunidad con los cambios en el procedimiento, en los criterios por fin. Por eso no podemos fallar, pero el momento es excelente. Descubrir esas cosas nos activa y nos pone alerta, pero lo que tenemos que hacer es trabajar y cambiar las convocatorias. Hasta entonces son todo promesas.