Guía para entender PISA, el examen de la educación que muchos citan y pocos comprenden

Prepárese. Este martes se publican los resultados del, probablemente, examen más famoso de cuántos se realizan en el mundo. PISA revela su informe trienal.

Si se cumplen los pronósticos, y en educación no suele haber milagros, las siguientes semanas leerá y escuchará varias veces que el sistema educativo español es mediocre, que se ha estancado desde la última edición, hace tres años, y que estamos a la altura de países como Francia, República Checa o Lituania y lejos de los referentes educativos, que se encuentran en el sureste asiático y en Finlandia.

Si el resultado sube, oirá al Gobierno explicar las bondades de la Lomce, pese a que cuando se hizo el examen apenas daba sus primeros pasos. Si la nota baja, oirá a la oposición hacer lo contrario y lamentar los recortes de los últimos años.

¿Pero qué es PISA realmente? ¿Qué mide y qué no? ¿A quién y cómo? ¿Para qué sirve?

La prueba

El examen PISA (programa internacional para la evaluación de alumnos, en sus siglas en inglés) lo realiza la OCDE cada tres años desde el 2000 bajo el argumento de que “tu educación hoy es tu economía mañana”, según su responsable, Andreas Schleicher.

Participan todos los países que voluntariamente lo demanden, 72 en esta edición. Algunas regiones, como en España, solicitan también ser evaluadas por sí mismas, como si fueran un país. Se examina a alumnos de 15 años, independientemente del curso en el que se hallen, de ciencias, matemáticas, lengua y –novedad este año– resolución de problemas en equipo y conocimientos financieros.

Con los resultados, la OCDE realiza una clasificación de países según su rendimiento educativo (aunque ni siquiera es puramente educativo, como se verá). La organización sostiene que en un mundo globalizado las naciones deben compararse entre sí para prosperar.

En cuanto a resultados, España suele estar en la segunda categoría de países. En la última edición sacó 490 puntos de media entre las tres categorías examinadas, diez puntos por debajo del estándar de la OCDE. Una diferencia nimia a nivel estadístico, pero que sirve para generar grandes titulares.

En las últimas diez ediciones los resultados españoles apenas han variado. A nivel mundial, en las últimas ediciones el examen ha pasado de tener como referencia el elitista modelo finlandés a los del sureste asiático (Singapur, Hong Kong y Corea del Sur).

Este año, más de medio millón de estudiantes de todo el mundo han realizado el test de dos horas de duración. Los alumnos complementan el examen con un formulario que incluye sus circunstancias personales (nivel socioeconómico y cultural, la escuela a la que acude, entorno, motivación, etc.). También el director del centro rellena una instancia detallando cómo es el colegio, sus alumnos, profesores y qué políticas desarrollan. 

El modelo de examen no es memorístico, que exija a los estudiantes reproducir contenidos. Se evalúa “la capacidad de los alumnos de extrapolar lo que saben y con creatividad aplicar sus conocimientos a situaciones nuevas”.

Qué mide y qué no

Esto quiere decir, y es un matiz importante que demasiadas veces se olvida, que PISA no evalúa los conocimientos que se adquieren en la escuela per se. Lo advierte la propia OCDE en el prólogo de todas las pruebas: “PISA no está diseñado para evaluar el aprendizaje de los contenidos específicos fijados en los programas de las escuelas (...). Tampoco está pensado para evaluar el desempeño de los docentes ni los programas vigentes. PISA se centra en el reconocimiento y valoración de las destrezas y conocimientos adquiridos por los alumnos al llegar a sus quince años. La adquisición de tales destrezas y conocimientos es fruto de numerosas circunstancias familiares, sociales, culturales y escolares. PISA trata de recoger información sobre esas circunstancias para que las políticas que pudieran desprenderse del análisis de los resultados de la prueba atiendan a los diferentes factores involucrados”.

PISA mide algo que la OCDE llama la literacia, un conjunto de conocimientos entre los que los académicos son sólo uno más junto a la educación familiar, el aprendizaje no formal, etc. Sin embargo, PISA es citado recurrentemente para justificar ciertas medidas educativas o las contrarias, en ocasiones incluso para cambiar la ley. Y eso pese a que con la misma ley en Castilla y León están muy por encima de la media de la OCDE y en Andalucía bastante por debajo. Se hace pese a que voltear todo el sistema educativo sólo afectaría a una parte de esta literacia –imposible saber en qué medida– y por tanto poco a los resultados.

Para qué sirve

PISA clasifica los países por rendimiento en cada una de las materias examinadas. Aquí empiezan los problemas con este examen. Según se publican los resultados, prensa y público en general se lanzan a mirar dónde estamos. “Decimoquintos, qué desastre”.

El catedrático José Saturnino García explica las confusiones con este sistema. “La histeria sobre la mediocridad se debe a que se malinterpretan los resultados de PISA como si fuera una liga deportiva”, escribía en este diario hace unos meses. “Cuando en todo caso habría que interpretarlos como una tabla salarial. En una clasificación deportiva ser primero es todo (...), en una salarial si el primero gana 10.000 euros y el segundo 9.999 nadie va a dramatizar mucho”. Y concluye: “En qué otro indicador de bienestar estamos tan cerca de Dinamarca?”.

Uno de los puntos de fuertes de PISA es que es capaz de generar cantidades ingentes de datos que ofrece libremente a los investigadores. Existe estadística específica sobre el desempeño de los alumnos por sexo, por área de conocimiento, según su origen social, si sus padres tienen estudios y libros en casa, si han repetido curso o si son inmigrantes, cuántos son en clase o cuántas horas semanales de deberes hacen (ahora saben de dónde salen las cifras que alimentan esta polémica) y cuánto condiciona los resultados cada uno de estos aspectos.

Dos ejemplos para ilustrar esto: sin los resultados andaluces, España estaría por encima de la media de la OCDE y seguramente los titulares postPISA no serían tan severos. Si no se evaluara a los repetidores, lo mismo. Pero Andalucía es España y los repetidores también existen (rondan el 30% a los 15 años; de hecho, existen y mucho), así que estamos donde estamos.

PISA, en definitiva, ofrece información de qué funciona y en qué país, aunque incompleta (vuelta a la literacia) y no acaba de explicar los porqués. Lo resume el catedrático de la universidad Pompeu Fabra José García Montalvo: “No establece muy bien las causas y diferencias” entre unos y otros. Una cosa sí es segura: se seguirá utilizando como excusa para criticar y proponer reformas.