Matemáticas en PISA 2012: luces, sombras y esperanzas (I)

Informe PISA 2012

El pasado día 3 se presentaron en Madrid, pasadas las 11 de la mañana, los resultados del informe español PISA 2012, tal como había anunciado el INEE en su web. Ya hemos hablado de PISA en ocasiones anteriores en este blog. Por ejemplo, en relación con los alumnos de alto rendimiento, con la visión gráfica del rendimiento de los alumnos españoles en las ediciones de 2003, 2006 y 2009 o sobre la igualdad y la equidad a propósito del informe de 2009. Y es que este informe de sobra conocido, auspiciado por la OCDE, se ha convertido en un referente para todos los países participantes que quieren ver los resultados de sus sistemas en relación a los de otros países.

Desde luego no es una cuestión menor, ya que nuestras escuelas, nuestros escolares, tienen que insertarse en un mundo globalizado y en una estructura laboral extraordinariamente cambiante, desde luego distinta a la del modelo industrial todavía imperante. Esta es una preocupación bien razonable y general en muchos países. Como ejemplo podéis ver este artículo que leí esta misma mañana en Education Next sobre la preocupación por la escasez de alumnos de alto rendimiento en el sistema educativo norteamericano.

Hay muchos aspectos que se pueden comentar del informe. Me centraré en esta entrada solo en las Matemáticas y destacaré algunos de los principales aspectos, al hilo de los datos presentados por el Ministerio de Educación.

El esquema que voy a seguir es el siguiente: en esta entrada me detendré en los resultados globales de Matemáticas y en la descripción de las principales características del informe. En un segundo post analizaremos las escalas de rendimiento, en el tercero nos detendremos en los alumnos con altos rendimientos y, finalmente, recopilaré los vídeos de la presentación.


Es importante saber que PISA no es un estudio curricular, no examina a los alumnos directamente del currículo que estudian en sus escuelas, aunque está presente de modo mediato. Y no puede serlo porque los curricula de los países participantes no son iguales. Por ello, lo que se mide son destrezas y competencias que los alumnos han desarrollado en sus años de escolarización, así como su capacidad para aplicarlos a situaciones nuevas para ellos, lo que se supone que será de gran ayuda en su vida laboral y profesional. Cada año es una sola la materia focal y las otras dos son auxiliares y se miden con menos extensión.

Por otra parte es esencial entender que PISA, por la metodología que utiliza (que no es del caso ahora), solo permite hacer estimaciones de valores poblacionales (países o regiones con muestras ampliadas, como nuestras CC.AA. que así lo han hecho), pero en modo alguno permite hacer imputaciones a centros educativos y mucho menos a alumnos. Por tanto, los datos de PISA nos dan una imagen de lo que ocurre en un conjunto relativamente grande, que puede coincidir o no con una realidad particular de un centro educativo concreto o unos alumnos determinados. Esto no es una limitación es, simplemente, que PISA no se ha diseñado para ser una evaluación de diagnóstico de centros o alumnos. Ya hay en marcha un proyecto PISA para las escuelas sobre el que escribí en este blog y cuya lectura te recomiendo.

Este año se cerraba el ciclo de las Matemáticas que fueron materia focal en 2003, lo que permite comparar los resultados entre los dos años, en virtud de una compleja metodología que permite poner las puntuaciones obtenidas en ambos años (2003, 20012) en una misma escala.

Recordemos que la escala en la que se expresan los resultados tiene una media de 500 y una desviación típica de 100 y que se divide en tramos que están perfectamente caracterizados en función de los ítems que configuran cada uno y que, por tanto, permiten asociar una referencia cualitativa a los valores cuantitativos. En este informe la escala se divide con arreglo a los puntos de corte que se señalan en el cuadro siguiente.



Por otra parte, es importante señalar que los resultados medios son modestamente explicativos, aunque tienen su importancia. Quiero decir que la media es un estadístico sencillo pero que solo señala el centro de gravedad de la masa de datos, pero no cómo éstos se distribuyen (varianza), por lo que hay que ir más allá de la media para tener una comprensión cabal de lo que ocurre. Por otro lado es imprescindible entender bien las escalas de rendimiento y ver cómo los alumnos se distribuyen respecto a las mismas, esto lo trataremos en el siguiente post. Ya expliqué este particular en varias entradas anteriores, como esta y esta, al hilo de otros informes de rendimiento internacionales: TIMSS y PIRLS.

Resultados de matemáticas. Visión de conjunto. Valores medios


España con una media de 484 puntos ocupa el puesto 25 entre los 34 países de la OCDE (494), diferencia que es estadísticamente significativa. El rendimiento en el año 2003 fue de 485 puntos, lo que señala que no ha habido mejoría, a pesar de que el estatus socioeconómico ha mejorado en ese periodo sensiblemente.

Pero, como señalaba más arriba, la media nos dice poco respecto a los datos, sobre todo nos dice poco respecto a la distribución de los mismos. Así, si el dato anterior es una sombra, el gráfico de los valores por CC.AA. podría ser una luz (al menos de momento), pero solo para algunos. En efecto, en la figura siguiente podemos ver que las diferencias entre las distintas comunidades autónomas son extraordinariamente marcadas.

En cuanto a la luz, podemos decir que no hay diferencias significativas en el rendimiento del alumnado en Matemáticas entre los Países Bajos, Finlandia, Bélgica, Alemania, C. Foral de Navarra o Castilla y León. Además País Vasco, Madrid y La Rioja están significativamente por encima del conjunto de los países de la OCDE (494).


En la figura siguiente se pueden ver las medias y los intervalos de confianza para las mismas en los países participantes. Aunque las comparaciones ya están hechas en el informe general español, pueden realizarse visualmente a partir de este gráfico. Cuando los intervalos de confianza no se solapan significa que las diferencias son significativas, no siéndolo en caso contrario.


Así pues vemos que hay comunidades que tienen rendimientos claramente altos y comparables a países como Finlandia, Alemania o Países Bajos (caso de Navarra), lo que es, desde luego, una luz.

La sombra indica que tenemos una brecha importantísima entre CC.AA. que habrá que solventar, pues supone un gran fracaso social y una fuente de tensión indeseable para una nación que no puede ver cómo sus escolares rinden con diferencias que superan con creces el año de escolaridad. No puede ser que los rendimientos de un país tan pequeño como España presenten estas diferencias. Los responsables tendrán que afanarse en estudiar las razones de las diferencias y ponerles remedio. El respeto a los escolares y a la sociedad en general lo exigen.

También es una sombra la relación entre el gasto por alumno y los resultados educativos. Así Navarra y el País Vasco están a la cabeza, superando los 7000€ por alumno. Madrid obtiene excelentes resultados gastando menos de 4700€. Esto también debería ser tenido en cuenta. Es cierto que el gasto, a partir de determinados niveles, no incrementa los rendimientos, pero no lo es menos que algunas comunidades son notablemente más eficientes que otras en la relación gasto/resultado. Esto es una sombra, pues la eficiencia es un elemento esencial para no detraer recursos de otras necesidades o no utilizarlos con poca eficacia.

La esperanza en que parece que los responsables quieren poner remedio a la situación: ya se oye hablar de atención individualizada, de potenciar el talento, de conseguir el óptimo desarrollo de cada escolar. Vamos, de cumplir la ley. ¿Será posible?

Para los que deseéis profundizar más, hay una enorme cantidad de información, tablas de datos, notas breves y los informes completos, tanto español como internacional, en la página del INEE a la que se puede acceder desde este enlace.

No quiero terminar esta entrada sin felicitar al excelente equipo del INEE, dirigido por Ismael Sanz, por la cantidad y calidad de la información que ponen a disposición del sistema educativo, los investigadores y la sociedad en general.

2 comentarios:

  1. Estimado Javier,
    Gracias por tu preciso y claro post sobre los datos del informe PISA que me han ayudado a conocer y entender a fondo esta relevante prueba. Y gracias por poner un poco de "luz" con tus claras explicaciones a los titulares derrotistas que aparecen en los medios. Desde luego hay mucho que trabajar pero con los datos desagregados se pueden tomar mejores medidas de acción.
    Aunque gracias a tus enlaces he podido navegar por los documentos completos del ministerio, quedo expectante a tus siguientes entradas del blog sobre este tema.

    ResponderEliminar