La inutilidad de PISA para las escuelas

Las evaluaciones generales del sistema escolar mediante pruebas objetivas comenzaron en España en los años ochenta, con el seguimiento de la Reforma de las Enseñanzas Medias realizado por el CIDE (Álvaro et al., 1988), y se continuaron en los noventa con una evaluación de la LOGSE (INCE, 1997). Con el tiempo, este tipo de evaluaciones se han extendido mucho, hasta llegar a las evaluaciones de diagnóstico que realizan ahora el Instituto Nacional de Evaluación Educativa (INEE) y muchas comunidades. Las que han alcanzado mayor notoriedad son las evaluaciones internacionales llevadas a cabo por la OCDE (Organización para la Cooperación y el Desarrollo Económico) bajo el nombre PISA (Programme for International Student Assessement) en los años 2000, 2003, 2006, 2009 y 2012.

Inicialmente, el objetivo de este libro era mostrar que PISA carece completamente de valor como guía para mejorar la enseñanza a nivel de escuelas y de países, y por tanto de utilidad para los docentes y para los políticos. En el curso de su escritura, decidí separar los dos aspectos y limitarme a la cuestión de los docentes y las escuelas, dejando para más adelante la parte de los sistemas y las políticas. La razón por la cual PISA carece de utilidad es la misma a ambos niveles, a saber, que sus pruebas miden capacidades muy generales. Pero hay una gran diferencia entre mostrar que estas capacidades dependen poco de las diferencias entre escuelas y mostrar que dependen poco de las diferencias entre sistemas educativos.

Desde su primera edición, PISA advierte de que lo que miden sus pruebas depende de la experiencia acumulada en toda la vida de los alumnos, desde su nacimiento. “Si un país puntúa más que otro no se puede inferir que sus escuelas son más efectivas, pues el aprendizaje comienza antes de la escuela y tiene lugar en una diversidad de contextos institucionales y extraescolares. Sin embargo, si un país puntúa mejor, puede concluirse que el impacto cumulativo de todas las experiencias de aprendizaje, desde la primera niñez hasta los catorce años, en la escuela y fuera de la escuela, ha producido resultados más deseables en ese país” (OCDE, 2001a: 26). Este texto se recoge idéntico en el apéndice sobre la muestra que hay en todos los informes PISA, y la misma advertencia se expresa repetidamente en otros lugares.

Por tanto, para comparar sistemas educativos hay que diferenciar lo aportado a las puntuaciones PISA en cada país por la escuela de lo aportado por los demás factores, tanto naturales como sociales. Solo una vez aisladas estas aportaciones cabe compararlas entre sí y relacionar las diferencias entre las contribuciones con las instituciones y las políticas. Esto es muy difícil de hacer por dos razones. La primera es que no hay un método para aislar la influencia de la escuela; la segunda es que el número de países es siempre pequeño para los análisis estadísticos.

Para comparar escuelas hay que separar, igualmente, lo que aportan sus diferencias (no el conjunto de escuelas) de todo lo demás, y comparar unas escuelas con otras intentando asociar las diferencias en aportación con sus características. Pero a este nivel el trabajo es mucho más fácil, en primer lugar, porque hay un método estadístico para separar la variación que producen las diferencias entre escuelas y, en segundo lugar, porque las muestras de escuelas son grandes y las inferencias estadísticas seguras.

Pese a advertir de que lo que sus pruebas miden dependen de toda la experiencia del individuo, PISA pretende que es capaz de comparar la eficacia de las escuelas y de encontrar rasgos que marcan la diferencia entre ellas. Para mostrar que esta pretensión es exagerada, este libro procede del modo siguiente.

En el primer capítulo introduce al lector en lo que es PISA y en sus características más importantes, con especial énfasis en las positivas.

En los dos capítulos siguientes recuerda algunos precedentes de PISA, en particular el llamado Informe Coleman, la primera evaluación general de un sistema educativo, la cual no pudo encontrar efectos de las escuelas por la generalidad de las pruebas, al menos según la conjetura de uno de sus mejores conocedores, Cristopher Jencks.

En los cuatro capítulos siguientes se analiza el concepto central de PISA, la “literacia”, se muestran las pruebas que la miden y se ofrecen indicios de que se trata de una misma capacidad muy general. Sus resultados se resumen en un apartado de conclusiones.

En los cinco capítulos últimos se muestra que las diferencias en “literacia” entre las escuelas son pocas e inexplicables, como sería de esperar de su carácter general, excepto cuando dependen de la literacia misma.

Tras pasar tres meses encerrado escribiendo estas páginas, tengo la impresión de haber gastado demasiado tiempo en mostrar trabajosamente lo que es evidente a poco que se lean con atención los informes PISA. Supongo que se trata de la misma ilusión que he sufrido otras veces tras estar un tiempo sumergido en un tema. Pero me alegraría que mucha gente considerara la obra superflua y a mí un necio que ha necesitado más tiempo y trabajo que la mayoría para darse cuenta de que PISA carece completamente de utilidad para las escuelas y para los profesores.