El índice y la Luna: las hipotecas de la evaluación científica

Una advertencia inicial: este texto supone una invitación explícita a la necedad. Y es que si, como reza el viejo proverbio chino, “Cuando el dedo del sabio señala la Luna, el necio mira al dedo”, me confieso un necio incapaz de apartar la mirada de unos dedos que cada vez más mueven los hilos de nuestra sociedad: los índicesíndices (ya sean de revalorización de las pensiones, de interés de las hipotecas, de déficit público, de calificación de la deuda soberana...).

De entre todos esos índices, mi trabajo en la universidad me ha empujado a fijarme en aquel que señala la subida a los cielos (o no) de las publicaciones académicas, las carreras investigadoras y la financiación de proyectos científicos: el índice de impacto. Se trata de una métrica anual de la relevancia de una revista científica basada en el número medio de citas que reciben sus artículos aparecidos en los dos años anteriores. Del cálculo y publicación de esta métrica en los JCR® (Journal Citation Reports, Informes de Citas de Revistas) se encarga desde 1975 el Institute for Scientific Information (ISI) de la empresa cotizada en Bolsa Thomson Reuters, que se autodefine como “la mayor agencia de noticias multimedia del mundo”. En última instancia, esta métrica es investida de carácter oficial al ser incorporada a los baremos con que agencias de evaluación e instituciones académicas calibran la relevancia de las publicaciones científicas y, en consecuencia, deciden qué proyectos e investigadores merecen crédito (financiación, contratación, promoción, estabilización...) y cuáles no.

En mi descargo alegaré que nunca habría perdido de vista la luna del impacto académico si no hubiera conocido en 2012 a Juan Moreno Yagüe y Francisco Jurado, dos juristas sevillanos tan necios como para quedarse mirando el Euribor® cuando todos los sabios de la prestidigitación bancaria señalaban al éter de los mercados financieros. Para comprender mejor este contagio de necedad conviene partir de la explicación del Euribor® incluida en la web de su campaña Operación Euribor:

"El Euribor® (acrónimo de European Interbank Offered Rate, es decir, tipo europeo de oferta interbancaria) es un índice de referencia publicado diariamente que indica el tipo de interés promedio al que las entidades financieras se prestan dinero en el mercado interbancario del Euro. Se calcula usando los datos de los 31 principales bancos que operan en Europa y algunos extracomunitarios, y su valor mensual es muy utilizado como referencia para los préstamos bancarios."

Del cálculo y publicación de esta métrica en el Telerate (una suerte de teletexto financiero) se encarga desde 1999 la empresa cotizada en Bolsa Thomson Reuters, que se autodefine como “la mayor agencia de noticias multimedia del mundo”. En última instancia, esta métrica es investida de carácter oficial al ser incorporada mensualmente al BOE por el Banco de España como un tipo de referencia con el que las entidades financieras fijan el interés de sus préstamos a tipo variable (amén de su influencia en contratos de la Administración Pública con empresas o en el célebre déficit tarifario).

La cuestión es que la necia mirada de Juan Moreno Yagüe y Francisco Jurado les llevó a una conclusión del todo chocante: “el Euribor® es una monumental estafa”. La hipótesis clave de su investigación la explican detalladamente en su web, pero puede sintetizarse así: al menos desde el colapso de las hipotecas subprime en 2008 los datos ofrecidos por el panel de bancos sobre los tipos de interés son meras declaraciones de intenciones sin el respaldo de operaciones de préstamo reales. La reciente multa récord que la Comisión Europea ha impuesto a seis bancos por manipular el Euribor® (además de otros índices) parece avalar la hipótesis de #OpEuribor, por más que la Comisión haya corrido una tupida cortina de humo sobre la naturaleza y la cuantía de dicha manipulación.

En este punto, es inevitable preguntarse: ¿dónde estaban el Banco de España, el BCE o la Autoridad Bancaria Europea cuando se más se los necesitaba? Cabe decir que estaban en la Luna, pues todos los organismos reguladores consultados por #OpEuribor hacen mutis por el foro sobre las operaciones interbancarias y terminan remitiendo a Thomson Reuters, que tampoco sabe ni contesta. Alguien podría aducir que si los reguladores europeos transfieren sus funciones de control financiero a una “agencia de noticias” cotizada en Bolsa, y esta se limita a recibir declaraciones de intenciones de los bancos sin contrastar las operaciones reales, el cálculo del Euribor® no sería más que una encuesta de opinión... y Thomson Reuters no tendría ninguna culpa si luego los Boletines Oficiales la recogen en sus páginas. Estaríamos así ante la misma línea de defensa de las agencias de rating Standard & Poor's, Moody's y Fitch cuando declararon ante el Congreso de EEUU en 2011 que sus calificaciones de riesgo (incluida la triple AAA de Lehman Brothers poco antes de su quiebra) son simplemente “opiniones” y, por tanto, están amparadas por la Primera Enmienda.

A estas alturas habrá lectores que se preguntarán impacientes: ¿Pero qué tiene que ver el Euribor® con el factor de impacto? ¿Acaso sugiere el autor que el JCR® de Thomson Reuters también carecería de base real? Incluso un necio como yo sabe que sería demasiado temerario proyectar las dudas que pueda despertar la división de Thomson Reuters que calcula el Euribor® sobre el resto de actividades de este gigante de la información mundial. Sin embargo, ello no es óbice para señalar la falta de transparencia de los datos originalesla falta de transparencia que maneja Thomson Reuters, la cual llevó a Mike Rossner, Heather Van Epps y Emma Hill a criticar sus estimaciones como “resultados irreproducibles” que, en cuanto tales, serían impublicables en cualquier revista del JCR®.

Con todo, la transparencia no es lo que más me inquieta de este asunto: nadie duda que el liderazgo mundial de Thomson Reuters tiene como precondición su monopolio de la información. Además, no por publicar “resultados irreproducibles” deja una agencia de prensa de estar amparada por la libertad de expresión. En realidad, mi mayor inquietud es otra: ¿están nuestras agencias de evaluación científica otorgando validez oficial a un índice adecuado a aquello que deben valorar? Si asumimos que el índice de impacto se concibió originalmente para medir la relevancia de las revistas (y ayudar así a los bibliotecarios en sus compras) pero hoy se emplea para medir el impacto de artículos y autores individuales, mucho me temo que la respuesta es negativa. ¿Estoy descubriendo algo nuevo? No, pues el propio Eugene Garfield (co-creador del índice de impacto y accionista de Thomson Scientific) reconoce que ese fue su origen, si bien sigue defendiéndolo como “una buena técnica para la evaluación científica” dado que “no hay nada mejor”.

¿No hay nada mejor?

Cada vez más investigadores, asociaciones y revistas científicas internacionales creen que si ese es el mejor argumento que hay para defender el índice de impacto, es que ha llegado la hora de transformar la evaluación científica desde sus cimientos. Fruto de esta creciente convicción, el 16 de diciembre de 2012 vio la luz la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) (disponible aquí en castellano), un documento promovido por la Asociación Estadounidense de Biología Celular que ya han suscrito 10419 investigadores y 447 sociedades científicas. Las agudas y lúcidas recomendaciones que contienen las tres páginas de la DORA merecen una lectura reposada, pero no me resisto a destacar aquí algunas de sus líneas maestras:

1) “La necesidad de eliminar el uso de métricas basadas en revistas, como el índice de impacto de revistas, en las consideraciones sobre financiación, nombramientos y promoción”. Si bien la DORA contempla mecanismos de transición, su diagnóstico es inapelable: no se trata de remendar los “abusos” o “distorsiones” del factor de impacto, sino de abandonarlo.

2) “La necesidad de evaluar la investigación a partir de sus propios méritos y no a partir de la revista donde se publica”. Tres aspectos me parecen especialmente reseñables de esta perogrullada/herejía (táchese lo que no proceda): primero, el acento en trasladar este cambio de enfoque a los investigadores en fase inicial (los más sensibles a estos índices); segundo, la ampliación de la definición de contribución científica para abarcar los programas informáticos y los conjuntos de datos (basta ver las charlas TED de Hans Rosling para entender por qué); y tercero, la promoción de indicadores de impacto cualitativos como la influencia en las políticas públicas y en la práctica social. Obviamente, evaluar esto es complejo (desde luego más complejo que transcribir un índice de impacto prefijado), pero merece la pena si con ello potenciamos el diálogo enriquecedor entre ciencia y sociedad.

3) Finalmente, la DORA propone a los editores de revistas “eliminar toda limitación a la reutilización del listado de referencias de los artículos y ponerlo a libre disposición bajo la licencia Creative Commons de Dominio Público”. ¿Qué pretenden con ello? Ni más ni menos que reeditar la apuesta por la web semántica y los datos abiertos en el campo de las métricas científicasla apuesta por la web semántica y los datos abiertos. Aquí también la opción por el acceso abierto frente a lo que el reciente Nobel de Medicina Randy Schekman denomina “la tiranía de las revistas de lujo” se evidencia como perentoria. Ahora bien, aun si las revistas no fueran de acceso abierto, bastaría la libre disposición y reutilización de sus metadatos bibliográficos para generar una base de datos de citas que abriría el código de los índices de impacto y, por ende, de las decisiones de evaluación... ¡Sería el fin de los “resultados irreproducibles” porque cualquier persona (científica o no) podría comprobarlos!

En suma, la DORA propone una alternativa a los índices científicos establecidos que halla resonancia en muchos otros ámbitos sociales. Al fin y al cabo, atender a los índices es atender a las creencias, esto es, a cómo una sociedad atribuye su crédito (financiero, político, periodístico y también científico). Y creer a ciegas no es solo la antítesis de la actitud que se nos presupone a los académicos, sino también una amenaza antidemocrática que ningún ciudadano comprometido puede permitirse ignorar. He aquí el sentido último de mi invitación a la necedad: si deseamos apuntar bien a la Luna, debemos impedir que, a fuerza de no mirarlos, nuestros índices se nos vayan de las manos hasta llegar a eclipsarla.