El informe PIRLS-TIMSS: una lectura obligada


Esta mañana se han hecho públicos los resultados del informe español correspondiente al estudio internacional de evaluación PIRLS-TIMSS (Progress in International Reading Literacy Study-Trends in International Mathematics and Science Study), que lleva a cabo la International Association for the Evaluation of Educational Achievement (IEA), quien publica hoy 11 de diciembre el estudio sobre las competencias de los alumnos de 4º de Primaria de 45 países en Lectura y 50 en Matemáticas y Ciencias. La prueba de lectura se denomina PIRLS y la de Matemáticas y Ciencias, TIMSS. Es una prueba similar a la de PISA, sólo que en PISA se evalúa a los alumnos de 15 años y la realiza la OCDE . En el esquema siguiente se resumen los datos más relevantes de estas evaluaciones y se comparan con el estudio PISA.

Imagen tomada del boletín elaborado por el Instituto Nacional de Evaluación Educativa

En España han sido evaluados 8.580 alumnos de 312 centros en PIRLS mientras que la muestra internacional ha alcanzado a casi 255.000 estudiantes. En TIMSS han participado 4.183 alumnos españoles de 151 centros y un total de más de 261.000 estudiantes en todo el mundo. La muestra de PIRLS en España es más extensa porque Andalucía y Canarias han ampliado muestra en Lectura. Las pruebas se desarrollaron en marzo y abril de 2011.

Imagen tomada del boletín elaborado por el Instituto Nacional de Evaluación Educativa
El esfuerzo por llevar a cabo estos estudios es enorme y en España es el Instituto Nacional de Evaluación Educativa quien se encarga del desarrollo, supervisión y elaboración del informe nacional. Junto con el mismo, por segunda vez se ha invitado a diversos grupos de investigadores para que analicen algún aspecto concreto sobre los datos obtenidos. Estos estudios, entre los que se encuentra uno que he realizado con colegas de otras universidades, se encuentran en el volumen II.

Para los que tengáis más tiempo e interés os indico los enlaces a todos los materiales e informes disponibles con respecto a esta evaluación.

PIRLS - TIMSS 2011


Cualquier persona que se encuentre relacionada con el sistema educativo debería leer con atención estos informes y sacar conclusiones sobre su propia situación. En particular debe ser lectura obligada para cualquier director, profesor u orientador y desde luego profesores y formadores de estudiantes de magisterio y pedagogía. Si los resultados estas evaluaciones no llegan al sistema educativo de manera eficaz, serán inútiles.

Naturalmente el rico contenido de los informes da para muchos posts, pero para ir avanzando algo me voy a basar en algunos datos del propio boletín elaborado por el INEE.

Resultados en Lectura (PIRLS 2011)

  • España obtiene 513 puntos por debajo de la media de la OCDE (538).
  • Las puntuaciones más altas son las de Hong Kong-China (571), Federación Rusa (568) y Finlandia (568).
  • Los resultados de PIRLS-Lectura señalan que el porcentaje de alumnos excelentes de España (4%) es inferior al de la OCDE (10%) y que la proporción de alumnos rezagados (6%) es superior a la de la OCDE (3%).

Resultados en Matemáticas (TIMSS 2011)

  • España ha conseguido 482 puntos, por debajo de la media de la OCDE (522).
  • Los resultados más elevados los han logrado Singapur (606), Corea (605) y Hong Kong-China (602).
  • La proporción de alumnos rezagados en España en Matemáticas es del 13% frente al 7% de la OCDE.
  • La proporción de alumnos excelentes en nuestro país es del 1% frente al 5% de la OCDE.

Resultados en Ciencias (TIMSS 2011)

  • España consigue 505 puntos, por debajo de la media de la OCDE (523).
  • Los países con mayor rendimiento en ciencias son Corea (587), Singapur (583) y Finlandia (570).
  • También los países anglosajones obtienen puntuaciones por encima de la media OCDE como, por ejemplo, Estados Unidos (544) o Inglaterra (529).
  • España también tiene en esta competencia menos alumnos excelentes que  la OCDE y más rezagados, pero las diferencias son menores a las que se producen en Lectura y Matemáticas.
Hay algunos datos referidos a las escalas de rendimiento que me parecen del máximo interés, pero que reservo para un siguiente post.
Para terminar ahora quiero señalar algunos aspectos sobre los que ya he venido escribiendo en este blog y que resumo brevemente para no alargarme:
  • El primero es que tenemos un sistema orientado en exceso al "alumno medio" lo que, como se ve bien claro, perjudica a los alumnos menos capaces y, desde luego, a los más capaces. La escuela está para conseguir que el potencial de los escolares se desarrolle de manera óptima, de todos los escolares. Pero no para hacerlos a todos iguales, porque eso, además de imposible sería injusto. Porque los alumnos no son iguales. Es preciso reinstaurar la pedagogía diferencial que lleve a un tratamiento educativo más individualizado que potencie al máximo las capacidades que cada uno tenga. No olvidemos que una escuela igualitarista a quien más perjudica es al que menos recursos tiene.
  • Segundo, "la depresión del sistema" por arriba es muy grande como ya han mostrado todos los estudios anteriores. Nuestra escuela tiene muchas dificultades para "bombear" alumnos a los niveles superiores de rendimiento. Entre otras cosas porque los alumnos de superior capacidad no están identificados en su inmensa mayoría y, por tanto, su potencial está lejos de desarrollarse como bien se ve. Es preciso avanzar en la flexibilidad curricular y permitir que los alumnos se muevan por el currículo en función de su capacidad y competencia demostrada.
  • En tercer lugar es que necesitamos especificar con precisión qué es lo que los alumnos tienen que "saber y saber hacer" en cada materia y curso escolar. Esto es, especificar los estándares de rendimiento que nos permitan saber, ante cada evaluación, no solo dónde estamos, sino también qué distancia nos separa de unos objetivos terminales bien definidos. Lo que suele llamarse el potencial de optimización. Fijados los estándares, cada profesor podrá hacer lo que quiera, sabiendo que habrá un mecanismo de evaluación público y técnicamente correcto que nos señalará dónde están las fortalezas y deficiencias del sistema, poniéndonos en la pista de lo que podremos mejorar. 
Pero hay que ser optimistas. La mejora es posible pero tienen que darse algunas circunstancias sin las que no será posible elevar nuestros resultados. Entre ellas las señaladas.

7 comentarios:

  1. A la vista de lo que mide TIMSS, de cómo lo mide, y de las conclusiones que sacan los autores del informe sorprende leer las tres conclusiones del autor del blog. Obviamente son de su cosecha y evidentemente las tenía antes de ¿leer? el informe. ¿Qué tal hablar de la escasa formación del profesorado? ¿Qué tal hablar de los lamentablemente diseñados libros de texto? ¿Qué tal hablar de la utilización de materiales manipulativos en la enseñanza de las matemáticas en los primeros cursos educativos? ¿Qué tal del enfoque memorístico empleado en las matemáticas? ¿Qué tal del machaque precoz en educación infantil?
    Inercia, ignorancia e ideología, las tres ies que lastran el pensamiento educativo.

    ResponderEliminar
  2. Estimado Javier, ves el vaso medio lleno, eso no esta mal, pero tampoco es bueno. La realidad educativa en España es pesima, y el futuro la verdad no lo veo promisorio. Tanto recorte y reformas que no sirven no ayudan para nada.
    Como van a ocuparse de los mas capaces si directamente no se ocupan de ninguno¿.
    Un saludo

    ResponderEliminar
  3. La verdad Alicia es que tengo que esforzarme para verlo así, pero ya sabes lo que se dice:" la esperanza es lo último que se pierde". Además sería injusto con los centros educativos y los miles y miles de profesores y directores y demás personal del sistema educativo que lo hace tan bien y pone todo su empeño cada día por recibir con una sonrisa a sus alumnos y les ayuda a crecer como personas.
    Dicho esto tienes razón en que las cosas no están bien y en que no parece fácil que quienes se tienen que poner de acuerdo lo hagan. Pero si perdemos la esperanza ¿qué nos queda? La mejora es posible si nos empeñamos. Estoy convencido firmemente. Lo que podemos tú y yo no es más que hacer nuestro trabajo mejor cada día. No me parece poco. Gracias por tu comentario.

    ResponderEliminar
  4. La verdad es que he dudado si responder a un comentario Anónimo. No debería hacerlo, pero lo haré. Si usted dijese quien es, o a qué se dedica, quizá podría orientar mejor mi respuesta, porque supongo que su comentario pretende ser constructivo y de ayuda para el sistema educativo, como lo pretende ser mi respuesta. Vaya como mi blog en su conjunto.
    Lo que no estoy seguro es de si usted lo consigue...
    Tiene razón en lo que dice sobre que los comentarios son de mi cosecha, ¿de quién si no? soy el autor del blog y, por tanto, responsable de lo que en el escribo.
    Si usted lo ha leído alguna vez más, ya habrá podido comprobar que los comentarios y opiniones que en el se vierten están fundamentados en la investigación, el estudio y la reflexión sobre los problemas educativos que se tratan. No son en ningún caso improvisados.
    Claro que no me saco de la manga las conclusiones de esta entrada, pero usted puede estar o no de acuerdo. Es uno de los privilegios de la libertad. Pero convendrá conmigo en que las opiniones valen no por ser opiniones si no por su fundamento. El mío está a la vista.
    Dicho esto: las tres cosas que se dicen son pertinentes y no se derivan solo de los resultados de este informe que parece que usted duda de si he leido.
    ¿Quiere que le diga algo gracioso? No solo lo he leído antes de lo que el publico en general haya podido hacerlo, si no que soy autor (con otros colegas) de un capítulo del volumen II. Cosas de la vida...
    Sí, desde luego que los puntos finales son pertinentes. Lo que ocurre es que para verlos hay que haber reflexionado mucho sobre lo que se dice y haber investigado mucho también. Y no tener sesgos ideológicos (no digo que usted los tenga).
    Lo que me parece ideológico es su comentario final. Si está usted enfadado no la tome conmigo que yo no le he hecho nada. Excepto poner a su alcance una información valiosa y unas consideraciones, las que a mí me ha parecido, con las que puede estar de acuerdo o no, pero que ningún lector atento calificaría con la frivolidad con la que usted lo hace. ¿Y sabe por qué puede hacerlo? Pues porque yo le he dejado abierta esa posibilidad a mis lectores en mi blog. Si no estuviera seguro de lo que digo, o no lo diría o suprimiría la posibilidad de toda interacción con los lectores. Pero procuro cada día liberarme de todo prejuicio, desde luego ideológico. A lo mejor no lo consigo... Vaya usted a saber.
    Gracias de todos modos por su amable comentario.

    ResponderEliminar
  5. Un inciso,
    tendemos a pensar de forma secuencial-lineal, esto nos lleva a dar por sentado que los alumnos con altas capacidades no identificados, se encuentran dentro del grupo de alumnos medios.
    Tengo la sospecha que muchos se encuentran incluidos en el grupo de bajo rendimiento.
    El desconocimiento de la neurodiversidad por parte del profesorado está haciendo estragos en alumnos neurodivergentes.

    El sistema educativo está dirigido no solo al estudiante promedio abstracto,en cuanto a rendimiento, sino también a la abstracta normalidad neurocognitiva.

    Los procesos de identificación no solo son necesarios para la detección de las altas habilidades, también para las capacidades y estas difícilmente pueden ser conocidas sin el previo reconocimiento de las particularidades neurocognitivas del alumno.

    Una misma habilidad puede emerger de diferentes capacidades, siempre que estas puedan fluir en el contexto y con las herramientas aptas para las mismas.

    También sería interesante un estudio de la relación entre la tipología morfológica de la lengua y las caracterísiticas neurocognitivas de los alumnos.

    China,Singapur,Korea,Finlandia...tienen lenguas oficiales más analíticas que las lenguas indoeuropeas.
    Esto también es clave en las matemáticas y el cálculo, donde la aplicación de la sinestesia y métodos holísticos tienen probada efectividad, como ejemplo el ábaco.

    ResponderEliminar
  6. Buenos días: Me pregunto para qué sirven realmente estos estudios. Se supone que deben detectar las debilidades de un sistema educativo con la finalidad de mejorarlo pero en esa mejora hay toda una pirámide jeráquica. A mí me gustaría que alguien me explicara dónde falla el sistema y qué puntos concretos deben mejorar nuestros alumnos, a un nivel de concreción exhaustivo. No me sirve que me digan ue somos los terceros por la cola en esto o lo otro.
    Está claro ue los contextos socioeconómicos y los estilos sociales de liderazgo de los estados influyen pero sobre eso en el día a día poco podemos hacer. Pero sí me gustaría que , ya que son estudios muy costoso económicamente para todos los españoles, al menos esas mismas empresas fueran capaces de trazar unos planes o quipos de trabajo que llevaran a los centros los métodos, los tiempo, o la formación necesaria para incidir en la resolución de aquello que los maestros como yo no estamos haciendo bien, y sobre aquello en lo que podamos incidir. Yo quiero aprender quiero cambiar las cosas pero está claro que desde la cumbre hasta la cueva se pierde el verdadero sentido de mejora y a menudo se diseñan "experimentos y formaciones" que ni profundizan ni mejoran nuestra competencia como docentes. Lo que sale adelante a menudo es a base de la buena voluntad de muchos docentes vocacionales así que veo muy difícil que mejoremos en ESpaña cuando los docentes estamos cansados de ser los que verdaderamente intentamos sacar a nuestros alumnos adelante. A veces el sentido común funciona pero creo que para que funcione hay demasiadas cosas que deberían ser más flexibles.
    Un saludo.

    ResponderEliminar
  7. Planteas un asunto que me parece my relevante y te lo agradezco.
    La verdad es que estos estudios, como PISA, están a una cierta distancia del sistema y no sirven para tomar decisiones directas sobre realidades particulares. Son una especie de análisis general del sistema, pero no de un colegio, alumno o aula particular.
    De todos modos sería deseable que a partir de ellos se establecieran cauces de mejora y reflexión sobre cada realidad particular. esto lo deben hacer realmente las evaluaciones de diagnóstico.
    Tienes toda la razón en decir que deberían ser más útiles. ese es el sentido de la evaluación: mejorar el objeto evluado.
    Gracias por el comentario.

    ResponderEliminar