Los resultados del estudio TIMMS 2015. ¿Y los más capaces?

Acaban de publicarse hace unos días los resultados del estudio TIMSS (Trends in International Mathematics and Science Study) en el que España participa. Como se sabe es una evaluación internacional que realiza cada cuatro años la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), que examina el rendimiento en Matemáticas y Ciencias de los alumnos de cuarto curso de primaria (en el caso de España), valorando tanto los dominios de contenido como los dominios cognitivos en estas dos áreas.

Una vez más hay que felicitar al Instituto Nacional de Evaluación Educativa (INEE) por su excelente trabajo de divulgación, tanto en su web como en las redes sociales, y por elaboración de los informes y las notas que los acompañan. Una información completa puede verse aquí.

Para sacar partido a los resultados de este tipo de estudios es preciso conocer bien las escalas de rendimiento: qué son y qué expresan, porque aquí está la clave de la comprensión de las puntuaciones, más allá de la media que no nos dice demasiado. A quienes no estéis familiarizados con estas escalas os recomiendo leer las entradas en las que hablaba de este asunto: esta y esta otra. Dado el número de estudios internacionales en los que España y sus Comunidades participan es obligado que los profesores y los padres comprendan y sean capaces de analizar los resultados y su alcance.

«Como la mayoría de evaluaciones internacionales, TIMSS utiliza la metodología conocida como Teoría de Respuesta al ítem (TRI) para analizar las respuestas de los alumnos. La TRI no puntúa el rendimiento de un alumno según su porcentaje de aciertos sobre el total posible, sino en función del nivel de dificultad de las preguntas que ha sido capaz de responder. Por otra parte, la TRI permite situar el nivel de competencia de cada alumno en una escala común, con independencia de las preguntas que le hayan correspondido en su cuadernillo de la prueba». (Tomado del propio informe)

Los datos relativos a la muestra de alumnos españoles en su conjunto y a las muestras ampliadas de las comunidades autónomas se recogen a continuación. Como ya dije en su momento, estos estudios buscan obtener estimaciones de los parámetros poblacionales, pero no sirven para estimar el rendimiento de alumnos particulares o centros educativos concretos (no están diseñados para eso). Son evaluaciones de conjunto en las que las estimaciones se refieren a países o, en este caso, a regiones o Comunidades que deciden ampliar sus muestras para que puedan hacerse estimaciones razonablemente precisas de las mismas, como si se tratase de países. Es el caso de las Comunidades Autónomas que se señalan en la tabla.

¿Por qué no están todas las Comunidades autónomas? Habrá razones diversas supongo, pero es una lástima.

La escala en la que se expresan las puntuaciones tiene una media de 500 puntos y una desviación típica de 100 (por construcción, son valores inicialmente arbitrarios, podrían haberse escogido otros). Los intervalos en los que se divide se pueden ver en la tabla adjunta. Desde rendimientos muy bajos (inferiores a 400 puntos), hasta avanzados (superiores a 625 puntos).

Los interesante de estas escalas, que son acumulativas (los alumnos que se situan en un nivel dominal razonablemente lo de ese nivel y lo que está por debajo, pero no dominan lo que está por encima), es que tienen asociada una referencia cualitativa. Es decir, no solo señalamos la puntuación, sino que decimos lo que significa. Esta propiedad es similar a la de cualquier escala de rendimiento, como las de PISA, y naturalmente tiene un significado educativo directo, cosa que no tienen las puntuaciones convencionales basadas en la Teoría Clásica de la medida.

En esta tabla podemos ver cuáles son los conocimientos y destrezas que se ha definido para cada tramo de la escala de acuerdo con los items utilizados. Permiten comprobar las destrezas que son de cada nivel en cada una de las materias, lo que puede resultar de gran interés desde el punto de vista curricular.

No obstante mi comentario, pues incluyo el informe conpleto más abajo para que cada uno profundice en razón de sus intereses, tiene que ver con un hecho que se repite estudio tras estudio y que no parece mejorar: la distribución del número de alumnos en cada tramo de la escala. Un simple vistazo a los resultados de Matemáticas permiten ver que el nivel verde (el de rendimiento avanzado) en Singapur alcanza al 50% de sus escolares, en Corea del Sur al 41%, en Irlanda del Norte al 27%, pero en España al 3%. Mejora alguna Comunidad Autónoma pero llegando solo al 7%. Lógicamente en los países de cabeza hay muy pocos alumnos de rendimientos bajos o muy bajos, al contrario de lo que ocurre en nuestro país o en las Comunidades, con las diferencias que pueden observarse.

La pregunta es clara: ¿dónde están los alumnos de alto rendimiento? ¿es este nuestro límite? ¿no podemos incrementar el rendimiento de los que tiene más capacidad? Claro que a tenor de la caprichosa distribución de la inteligencia en España… Pero, ¿cuantos alumnos de alta capacidad hay en España? Aquí lo he respondido.

La situación en Ciencias Naturales es un pco mejor, como se ve en la tabla siguiente, pero sigue estando lejos de los valores que uno desearía ver.

La pregunta es: ¿empezamos a perder el talento en la enseñanza Primaria? Os dejo la respuesta y, más abajo, el informe completo que tiene datos de mucho interés y que si fuese director de una escuela de Primaria sugeriría leer a todos mis profesores.