Algunas puntualizaciones sobre la evaluación PISA 2018 y sobre los resultados de Euskadi

Todo lo que sea crecer, aunque sea en apariencia, es, sin duda positivo, pero si lanzamos las campanas al vuelo es que no hemos entendido qué ha pasado en la edición de 2018 del estudio PISA de la OCDE y solo hemos tenido en cuenta las puntaciones globales. En realidad, Euskadi está... donde estaba, lo cual no es necesariamente malo observando las bajadas generalizadas en esta edición de países europeos importantes. Ni la mejora en Competencia Científica, 4 puntos, ni la subida aún mayor en Competencia matemática, 7 puntos, es estadísticamente significativa respecto de los resultados de 2015 y, por lo tanto, desde el punto de vista estadístico no podemos decir que nuestra educación ha mejorado, pero tras la depresión de 2015 creo que nos viene bien un chute de autoestima, aunque en ningún caso de autocomplacencia.

¿Qué ha pasado en Competencia científica? Si observamos la evolución de la puntuación de Euskadi desde los 484 puntos de 2003 a los 487 de 2018, la puntuación media de Euskadi en las 6 ediciones, en las que ha participado en este estudio, es de 491,6. El único dato, digamos extraño, que se sale de esta norma es el correspondiente a 2012 con 506 puntos. Nos mantenemos en el filo entre el nivel 2 y 3 de competencia, acompañados de un amplio grupo de importantes países europeos (Austria, Irlanda, Dinamarca, Noruega, Portugal o Francia) y con nada menos que 12 Comunidades Autónomas, solo dos por encima (Galicia y Castilla-León), pero también solo 3 por debajo estadísticamente de nuestro resultado. Estamos en el pelotón y con un excesivo porcentaje de alumnado de bajo rendimiento, 19%, que no hemos conseguido reducir. Esto es un problema porque es uno de los indicadores europeos 2020, cuya meta es situarse por debajo del 15%. Sobre los niveles de excelencia no conseguimos dar ni un paso.

Hay un dato llamativo, y ,sobre todo, incomprensible, en esta competencia sobre el que nadie parece reparar: la bajada de 4 puntos en los resultados medios de la OCDE (de 493 en 2015 a 489 en 2018). Desde el punto de vista estadístico es muy extraña esta nueva bajada de la puntuación media internacional en una muestra de más de 600.000 alumnos y alumnas, que se añade al descenso salvaje que ya se produjo en 2015 de nada menos que 8 puntos. Y es incomprensible e inexplicable porque desde el 2000 al 2012 la media internacional solo se movió 1 punto. Y otro aún más llamativo: en 2018 se da una bajada intensa y generalizada que afecta a importantes países: Italia ha perdido 13 puntos; 10 puntos, Canadá, Suiza y España; 9 puntos, Finlandia, Japón y Dinamarca. Mientras que Turquía ha subido, atención, nada menos que 43 puntos. Lo dejamos ahí.

Y mientras tanto, ¿en Matemáticas qué ha ocurrido? Algo parecido. Tras el intenso descenso de 13 puntos en 2015, hemos vuelto a la norma en nuestra puntuación, con 499 puntos. De hecho, la puntuación media de las seis ediciones en las que hemos participado se sitúa en 501,5. En esta competencia siempre hemos ido bien y también en esta ocasión volvemos a situarnos en una posición preminente con otras siete comunidades autónomas y con países europeos de peso (Suecia, Reino Unido, Noruega, Alemania o Francia). El problema es que esta mejora no se ha trasladado a una reducción del porcentaje de alumnado de bajo rendimiento, que sigue estando en el 18 %, aunque sea un punto menos que en la pasada edición.

Como señalábamos en relación con la Competencia Científica, también en Matemáticas se observa una pérdida de puntuación en muchos países, algo menos generalizada que en Ciencias. En esta competencia, en la mayoría de los casos, las diferencias entre ediciones no son estadísticamente significativas.

De lo señalado hasta el momento se desprenden, al menos, dos conclusiones: la primera es la “desesperante” estabilidad de los resultados propios e internacionales después de 18 años de evaluación. Algo realmente sorprendente tras los importantes cambios sociales, políticos y económicos vividos durante este tiempo y después de los constantes esfuerzos de la mayoría de los sistemas educativos por buscar mejoras organizativas y pedagógicas. Hace un par de años, escuché en una conferencia de una analista de políticas educativas de la OCDE que en 7 años se habían llevado a cabo más de 450 reformas de todo tipo y amplitud en 33 países (entre ellos Francia, Japón, Noruega, Italia, Finlandia, Suecia, Reino Unido, España o Australia), muchas de ellas impulsadas o propuestas por la propia OCDE o como consecuencia de los resultados en PISA y su afirmación categórica y sorprendente es que prácticamente ninguna había sido exitosa.

Una segunda conclusión es que la profundidad de las diferencias entre sistemas no cambia ni evoluciona de manera significativa: por ejemplo, los datos por comunidades autónomas siguen mostrando de manera persistente la clásica distancia norte-sur. Diferencias que según la propia OCDE son atribuibles en un 85 % de la varianza a diferencias socioeconómicas y a las tasas de alfabetización de la población adulta y no a razones de modelo o práctica educativa.

Algunos datos más antes de entrar en una serie de consideraciones finales: seguimos siendo la comunidad en la que es mayor la diferencia entre inmigrantes y nativos (llega hasta los 77 puntos en matemáticas y a los 55 en ciencias); somos la segunda comunidad, tras Cataluña, con el menor porcentaje de repetidores en la muestra de 2018 – 20 %, cuatro puntos más bajo que en 2015- y esta aleatoriedad claramente ha ido en nuestro favor y, en parte, explica la mejora de resultados. Y, contrariamente a lo que ocurre en la mayoría de las comunidades autónomas, persiste la significatividad en la diferencia de resultados entre centros públicos y privados, a favor de estos últimos, incluso aunque se detraiga la influencia del ISEC del alumno y del centro. Nuevamente, nada que no supiéramos.

Para finalizar, tres consideraciones finales sobre la propia evaluación PISA:

En primer lugar, no hay duda de que PISA es la mejor evaluación comparativa de sistemas educativos que existe y ha existido nunca. Ningún país ni sistema educativo puede ni quiere desligarse en estos momentos de este estudio. Los 79 países que han participado en 2018 suponen el 86 % de la economía mundial y los resultados de PISA tienen cada vez mayor influencia en las decisiones económicas y empresariales a nivel mundial. Por lo tanto, aunque quizás no nos guste por el carácter capitalista y neoliberal de la organización que lo impulsa, no existe, por el momento, otra opción que seguir participando en este estudio, aunque sea de manera crítica.

Segundo, los resultados de PISA en ningún caso pueden ser la imagen principal de la calidad de un sistema educativo: por un lado, porque sería injusto, ya que este estudio no evalúa el rendimiento académico del alumnado de 15 años, sino una competencia global, llamada Literacy o literacia, que se adquiere tanto dentro como fuera del centro escolar. Por otro lado, sería demasiado pobre reducir las características de un sistema educativo a tres resultados. Creo que nadie puede dudar de que Finlandia sigue siendo un excelente sistema educativo a pesar de que es de los países que más puntuación ha perdido desde 2000. Dicho de otra manera: tendríamos que preguntarnos cuál es mejor sistema educativo, el de Castilla-León con excelentes resultados en PISA, pero con un 14 % de abandono y un 30% de repetidores o el sistema educativo vasco con peores resultados en PISA, pero con un 6,93 % de abandono y un tercio menos de repetidores.

Finalmente, hay que ser conscientes de que seguramente PISA no va a aportar demasiadas novedades en los resultados de las futuras ediciones, nadie será capaz de apear del pedestal a los países asiáticos y la distancia entre los países europeos y entre comunidades seguirá mostrando una gran estabilidad. Pero un problema mayor es que va a aportar aún menos en relación con la identificación de variables de carácter organizativo o pedagógico que expliquen las diferencias de resultados entre sistemas. En estos momentos muchas de las variables que en las primeras ediciones de este estudio correlacionaban con mayor o menor intensidad con la mejora, hoy ya no se pueden sostener: hay sistemas comprensivos con buenos y malos resultados, hay países que invierten mucho y poco y en ambos casos hay resultados positivos y negativos, hay sistemas con ratios altas y con ratios bajas que tienen buenos resultados y así en muchas otras variables.

En conclusión, sin quitarle el valor que indudablemente tiene, no sacralicemos PISA, eduquemos a la sociedad, a los medios de comunicación, a los docentes y también a los políticos para que sepan interpretar y contextualizar estas informaciones.

*Francisco Luna ha sido director del Instituto Vasco de Evaluación e Investigación Educativa

Todo lo que sea crecer, aunque sea en apariencia, es, sin duda positivo, pero si lanzamos las campanas al vuelo es que no hemos entendido qué ha pasado en la edición de 2018 del estudio PISA de la OCDE y solo hemos tenido en cuenta las puntaciones globales. En realidad, Euskadi está... donde estaba, lo cual no es necesariamente malo observando las bajadas generalizadas en esta edición de países europeos importantes. Ni la mejora en Competencia Científica, 4 puntos, ni la subida aún mayor en Competencia matemática, 7 puntos, es estadísticamente significativa respecto de los resultados de 2015 y, por lo tanto, desde el punto de vista estadístico no podemos decir que nuestra educación ha mejorado, pero tras la depresión de 2015 creo que nos viene bien un chute de autoestima, aunque en ningún caso de autocomplacencia.

¿Qué ha pasado en Competencia científica? Si observamos la evolución de la puntuación de Euskadi desde los 484 puntos de 2003 a los 487 de 2018, la puntuación media de Euskadi en las 6 ediciones, en las que ha participado en este estudio, es de 491,6. El único dato, digamos extraño, que se sale de esta norma es el correspondiente a 2012 con 506 puntos. Nos mantenemos en el filo entre el nivel 2 y 3 de competencia, acompañados de un amplio grupo de importantes países europeos (Austria, Irlanda, Dinamarca, Noruega, Portugal o Francia) y con nada menos que 12 Comunidades Autónomas, solo dos por encima (Galicia y Castilla-León), pero también solo 3 por debajo estadísticamente de nuestro resultado. Estamos en el pelotón y con un excesivo porcentaje de alumnado de bajo rendimiento, 19%, que no hemos conseguido reducir. Esto es un problema porque es uno de los indicadores europeos 2020, cuya meta es situarse por debajo del 15%. Sobre los niveles de excelencia no conseguimos dar ni un paso.