Una vez más hay que felicitar al Instituto Nacional de Evaluación Educativa (INEE) por su excelente trabajo de divulgación, tanto en su web como en las redes sociales, y por elaboración de los informes y las notas que los acompañan. Una información completa puede verse aquí.

Para sacar partido a los resultados de este tipo de estudios es preciso conocer bien las escalas de rendimiento: qué son y qué expresan, porque aquí está la clave de la comprensión de las puntuaciones, más allá de la media que no nos dice demasiado. A quienes no estéis familiarizados con estas escalas os recomiendo leer las entradas en las que hablaba de este asunto: esta y esta otra. Dado el número de estudios internacionales en los que España y sus Comunidades participan es obligado que los profesores y los padres comprendan y sean capaces de analizar los resultados y su alcance.

«Como la mayoría de evaluaciones internacionales, TIMSS utiliza la metodología conocida como Teoría de Respuesta al ítem (TRI) para analizar las respuestas de los alumnos. La TRI no puntúa el rendimiento de un alumno según su porcentaje de aciertos sobre el total posible, sino en función del nivel de dificultad de las preguntas que ha sido capaz de responder. Por otra parte, la TRI permite situar el nivel de competencia de cada alumno en una escala común, con independencia de las preguntas que le hayan correspondido en su cuadernillo de la prueba». (Tomado del propio informe)

Los datos relativos a la muestra de alumnos españoles en su conjunto y a las muestras ampliadas de las comunidades autónomas se recogen a continuación. Como ya dije en su momento, estos estudios buscan obtener estimaciones de los parámetros poblacionales, pero no sirven para estimar el rendimiento de alumnos particulares o centros educativos concretos (no están diseñados para eso). Son evaluaciones de conjunto en las que las estimaciones se refieren a países o, en este caso, a regiones o Comunidades que deciden ampliar sus muestras para que puedan hacerse estimaciones razonablemente precisas de las mismas, como si se tratase de países. Es el caso de las Comunidades Autónomas que se señalan en la tabla.

¿Por qué no están todas las Comunidades autónomas? Habrá razones diversas supongo, pero es una lástima.

La escala en la que se expresan las puntuaciones tiene una media de 500 puntos y una desviación típica de 100 (por construcción, son valores inicialmente arbitrarios, podrían haberse escogido otros). Los intervalos en los que se divide se pueden ver en la tabla adjunta. Desde rendimientos muy bajos (inferiores a 400 puntos), hasta avanzados (superiores a 625 puntos).

Los interesante de estas escalas, que son acumulativas (los alumnos que se situan en un nivel dominal razonablemente lo de ese nivel y lo que está por debajo, pero no dominan lo que está por encima), es que tienen asociada una referencia cualitativa. Es decir, no solo señalamos la puntuación, sino que decimos lo que significa. Esta propiedad es similar a la de cualquier escala de rendimiento, como las de PISA, y naturalmente tiene un significado educativo directo, cosa que no tienen las puntuaciones convencionales basadas en la Teoría Clásica de la medida.

En esta tabla podemos ver cuáles son los conocimientos y destrezas que se ha definido para cada tramo de la escala de acuerdo con los items utilizados. Permiten comprobar las destrezas que son de cada nivel en cada una de las materias, lo que puede resultar de gran interés desde el punto de vista curricular.

Informe http://www.mecd.gob.es/inee/estudios/timss-2015.html

• Director: ¿sabes cual es la capacidad para el aprendizaje de los alumnos de tu centro?, ¿sabes si su rendimiento se equipara a su potencial?, ¿no?, ¿a qué esperas?

• Profesor: ¿sabes cuál es la capacidad de los alumnos de tu aula para progresar en las materias que les enseñas?, ¿está cada uno estimulado con arreglo a ese potencial?, ¿rinde cada uno como debiera?, ¿tienes planes diferenciados para los que lo necesitan?, ¿no?, ¿a qué esperas?

• Padres, ¿sabéis cuál es la capacidad de vuestros hijos?, ¿pedís a vuestro centro educativo que la evalue y la estimule como corresponde?, ¿no?, ¿a qué esperáis?

Quiero terminar este primer año del blog (que se cumplirá realmente el 19 de Enero de 2013) con una última entrada sobre un aspecto concreto de los resultados del informe TIMSS-PIRLS, sobre el que ya he realizado otras tres en las semanas precedentes. Una de carácter general sobre los resultados del informe y otras dos sobre los resultados de Matemáticas en la que se explican las escalas de rendimiento y su uso desde una perspectiva educativa y otra más sobre las ciencias y la comprensión lectora.

Pretendo ahora hacer una referencia explícita a los alumnos de alto rendimiento, es decir, a los que ocupan el nivel superior de la escala y son, por tanto, los que dominan más aspectos de los medidos. No quiere esto decir que los alumnos de este grupo sean de alta capacidad necesariamente, no podemos saberlo. Lo que sí podemos decir es que no son de baja capacidad. Son alumnos de alto rendimiento, y por tanto de un nivel de competencia alto; naturalmente puede haber otros alumnos de alta capacidad que no estén en este grupo. Lamentable, pero cierto. Los datos del informe no permiten hacer esta discriminación.

Siento tener que decir, una vez más, que llueve sobre mojado. Nos encontramos con unos resultados preocupantes en relación al número de los alumnos más sobresalientes en nuestro sistema educativo, resultado similar al que ya nos encontramos al analizar los datos de PISA. En los gráficos siguientes, tomados del propio informe español preparado excelentemente por el Instituto Nacional de Evaluación Educativa, os ofrezco los datos de España comparados con los de otros países que también han participado en la evaluación. Es cierto que los indicadores económicos y de desarrollo de los países son diversos, los sistemas educativos también pero, como ya indiqué en otro momento, a pesar de estas diferencias, hay sistemas que son mucho más eficientes que otros. Lo trataba de explicar gráficamente en la entrada sobre PISA.

Que esto pase en cuarto de primaria y siga ocurriendo en los alumnos de 15 años, hace pensar que se trata de un mal general del sistema. Esto, unido a las cífras pírricas de alumnos más capaces identificados frente a los que deberían haber sido identificados (ver la entrada ¿Cuántos alumnos de alta capacidad hay en España?), plantean un dibujo del sistema educativo ciertamente preocupante, al menos para todos estos miles de alumnos que pudiendo tener rendimientos excelentes los tienen mediocres o, para ser menos negativo, los tienen inferiores a sus posibilidades.

En los gráficos siguientes, que ya nos deben ser familiares, la zona que nos interesa considerar es la franja verde que representa a los alumnos con niveles superiores en la escala de rendimiento en la materia de que se trate en cada uno de los países evaluados. Para interpretar lo que significa la escala de rendimiento, así como su definición cualitativa, os recomiendo leer (o releer) las entradas en las que lo explico (podéis utilizar los enlaces de más arriba).

Resultados correspondientes a Comprensión Lectora (PIRLS)

 

Los que no estéis familiarizados con las escalas de rendimiento o no hayáis leído el post anterior, os recomiendo que lo hagáis para poder interpretar correctamente la información de los gráficos que siguen.

Si tenéis dificultad para leer los textos os recomiento que vayáis a la entrada del Informe PIRLS-TIMSS y os descarguéis desde los enlaces que se ofrecen,  los informes originales, bastará que anotéis en las figuras correspondientes lo porcentajes que aquí señalo.

La Teoría de Respuesta al Item  (o TRI) ofrece modelos que permiten relacionar la probabilidad de responder correctamente a un ítem con la capacidad de los sujetos, de modo que los sujetos más capaces tenderán a responder items más complejos y los menos capaces lo contrario. O de otro modo, cuanto más difíciles sean los items que un sujeto responda correctamente, mayor será su capacidad. La dificultad de los items y la capacidad (o rasgo latente) están en la misma escala de manera que se pueden comparar.

No es este el lugar para explicar la metodología de su elaboración que, en estos estudios, además se complica por otras razones como el muestreo que utilizan, la metodología de los valores plausibles, etc. Todos ellos son de extraordinaria complejidad matemática, pero nos permiten llegar a unos resultados fáciles de entender y de claras implicaciones educativas, que es de lo que aquí quiero tratar.

Baste para nuestro propósito saber que son escalas que, convencionalmente, tienen una media de 500 puntos y una desviación típica de 100 puntos y que se dividen en tramos o intervalos que vienen definidos por determinados ítems que se ordenan a lo largo de la escala en razón de su dificultad, de manera que, por lo dicho antes, la capacidad de los sujetos se determina en razón de la dificultad de los items que se responden correctamente con mayor probabilidad, no de su número como ocurre en la Teoría Clásica.

Aunque puede parecer un tanto contraintuitivo, la TRI nos permite estimar la competencia de los alumnos independientemente de la muestra de ítems empleada para ello y de las condiciones de los demás alumnos sometidos a evaluación, siempre que se cumplan los supuestos de los modelos utilizados. De modo que la estimación de la competencia de un alumno dado es independiente de la competencia de los demás (cosa que no ocurre cuando expresamos los resultados en porcentajes).

Una vez que conocemos las dificultades de los ítems y las probabilidades de responderlos correctamente, estamos en condiciones de establecer intervalos en la escala que, en virtud de lo que los especialistas determinan que miden los items que los componen, nos permiten asociar una referencia cualitativa a esos intervalos de puntuación. De esta manera no solo decimos que un país tiene una determinada media, sino que estamos en condiciones de decir qué significa esa media, o cualquier otro valor de la escala, en la disciplina que estemos tratando.

Cuando el muestreo y otras condiciones, como la distribución de los ítems en los cuadernillos, lo permiten, esto mismo que ahora solo se puede decir de la población de un país, sería aplicable a un alumno o centro educativo también. Es importante saber, sin embargo que en PIRLS-TIMSS o PISA las estimaciones de los parámetros solo son poblacionales, nunca imputables a un centro y menos a un alumno.

En el siguiente cuadro se muestran los intervalos de rendimiento calculados para TIMSS en su escala de rendimiento.

En la figura siguiente se representa la escala de rendimiento de Matemáticas y en rojo los números que se refieren al porcentaje de alumnos que nuestro país tiene en cada tramo de la misma. La escala se establece en orden de dificultad creciente, de manera que el porcentaje de un determinado intervalo señala cuántos alumnos dominan las destrezas de ese intervalo, pero no dominan las que están por encima (en los intervalos superiores).

Escala de rendimiento en Matemáticas elaborada a partir de los datos que ofrece el informe español publicado por el INEE

Así, el 31% de nuestros estudiantes dominan (es su modo de decir que poseen razonablemente esas destrezas y otras similares o asociadas) lo que se señala para el intervalo bajo, pero ninguna de las destrezas por encima de él. Lo mismo se puede decir de los intervalos siguientes: el 39% dominan o poseen las destrezas descritas para el intervalo medio, y también las del intervalo anterior, ya que como se explicó, la escala es acumulativa y quien está en un peldaño determinado también ha superado los de dificultad inferior. De la misma forma entonces diremos que el 16% tienen las destrezas descritas para el nivel alto (y también las anteriores) y así sucesivamente. Podemos pensar en el salto de altura como un símil, y cada intervalo de la escala como una altura. Es obvio que el que salta 1.50 m también salta alturas inferiores, pero si esa es su mejor marca, no saltará alturas superiores. Pues cada intervalo de la escala representa una «altura» y los porcentajes nos indican cuántos de nuestros «atletas» la saltan.

Por otro lado, en la parte izquierda de la figura señalamos los porcentajes de alumnos que no dominan las destrezas señaladas (que no «saltan» determinada altura por seguir con el símil). Así, el 13% no dominan ninguna de las destrezas de la escala, el 44% (que es la suma de 13+31) no dominan ninguna de las capacidades que se indican, y así sucesivamente.

Analizando los conocimientos y destrezas señalados en la escala vamos -como se comprende- mucho más allá de la media, pues estamos asociando una referencia cualitativa al valor cuantitativo, indicando lo que significa respecto a la materia que se mide.

Si dispusiéramos de una clara descripción de lo que se debería saber y de las destrezas que deberían tener los alumnos, es decir, si tuviésemos los estándares de rendimiento establecidos para nuestro sistema educativo, sería directa la comparación entre lo logrado y lo deseado. Y de manera inmediata sabríamos cuáles deben ser las estrategias a poner en marcha para mejorar las situaciones no deseables. Conoceríamos cual es nuestro potencial de optimización.

En la próxima entrada ofreceré los gráficos correspondientes a las Ciencias, que es la otra materia que se evalúa en TIMSS y a la Comprensión Lectora  que se evalúa en PIRLS, pero os ahorraré todas estas explicaciones que he considerado necesarias para que se entienda bien el resultado, más allá de la media.

Imagen tomada del boletín elaborado por el Instituto Nacional de Evaluación Educativa

Imagen tomada del boletín elaborado por el Instituto Nacional de Evaluación Educativa

El esfuerzo por llevar a cabo estos estudios es enorme y en España es el Instituto Nacional de Evaluación Educativa quien se encarga del desarrollo, supervisión y elaboración del informe nacional. Junto con el mismo, por segunda vez se ha invitado a diversos grupos de investigadores para que analicen algún aspecto concreto sobre los datos obtenidos. Estos estudios, entre los que se encuentra uno que he realizado con colegas de otras universidades, se encuentran en el volumen II.

Para los que tengáis más tiempo e interés os indico los enlaces a todos los materiales e informes disponibles con respecto a esta evaluación.

PIRLS – TIMSS 2011

• PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.Volumen I: Informe español
• PIRLS – TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.Volumen II: Informe español. Análisis secundario
• Boletín de educación Nº 5: PIRLS-TIMSS 2011 
• Presentación PIRLS-TIMSS 2011
• Enlaces a los Informes internacionales:
  • TIMSS 2011 International Results in Mathematics 
  • TIMSS 2011 International Results in Science 
  • PIRLS 2011 International Results in Reading 

Cualquier persona que se encuentre relacionada con el sistema educativo debería leer con atención estos informes y sacar conclusiones sobre su propia situación. En particular debe ser lectura obligada para cualquier director, profesor u orientador y desde luego profesores y formadores de estudiantes de magisterio y pedagogía. Si los resultados estas evaluaciones no llegan al sistema educativo de manera eficaz, serán inútiles.

Naturalmente el rico contenido de los informes da para muchos posts, pero para ir avanzando algo me voy a basar en algunos datos del propio boletín elaborado por el INEE.

Resultados en Lectura (PIRLS 2011)

• España obtiene 513 puntos por debajo de la media de la OCDE (538).
• Las puntuaciones más altas son las de Hong Kong-China (571), Federación Rusa (568) y Finlandia (568).
• Los resultados de PIRLS-Lectura señalan que el porcentaje de alumnos excelentes de España (4%) es inferior al de la OCDE (10%) y que la proporción de alumnos rezagados (6%) es superior a la de la OCDE (3%).

Resultados en Matemáticas (TIMSS 2011)

• España ha conseguido 482 puntos, por debajo de la media de la OCDE (522).
• Los resultados más elevados los han logrado Singapur (606), Corea (605) y Hong Kong-China (602).
• La proporción de alumnos rezagados en España en Matemáticas es del 13% frente al 7% de la OCDE.
• La proporción de alumnos excelentes en nuestro país es del 1% frente al 5% de la OCDE.

Resultados en Ciencias (TIMSS 2011)

• España consigue 505 puntos, por debajo de la media de la OCDE (523).
• Los países con mayor rendimiento en ciencias son Corea (587), Singapur (583) y Finlandia (570).
• También los países anglosajones obtienen puntuaciones por encima de la media OCDE como, por ejemplo, Estados Unidos (544) o Inglaterra (529).
• España también tiene en esta competencia menos alumnos excelentes que  la OCDE y más rezagados, pero las diferencias son menores a las que se producen en Lectura y Matemáticas.

• El primero es que tenemos un sistema orientado en exceso al «alumno medio» lo que, como se ve bien claro, perjudica a los alumnos menos capaces y, desde luego, a los más capaces. La escuela está para conseguir que el potencial de los escolares se desarrolle de manera óptima, de todos los escolares. Pero no para hacerlos a todos iguales, porque eso, además de imposible sería injusto. Porque los alumnos no son iguales. Es preciso reinstaurar la pedagogía diferencial que lleve a un tratamiento educativo más individualizado que potencie al máximo las capacidades que cada uno tenga. No olvidemos que una escuela igualitarista a quien más perjudica es al que menos recursos tiene.
• Segundo, «la depresión del sistema» por arriba es muy grande como ya han mostrado todos los estudios anteriores. Nuestra escuela tiene muchas dificultades para «bombear» alumnos a los niveles superiores de rendimiento. Entre otras cosas porque los alumnos de superior capacidad no están identificados en su inmensa mayoría y, por tanto, su potencial está lejos de desarrollarse como bien se ve. Es preciso avanzar en la flexibilidad curricular y permitir que los alumnos se muevan por el currículo en función de su capacidad y competencia demostrada.
• En tercer lugar es que necesitamos especificar con precisión qué es lo que los alumnos tienen que «saber y saber hacer» en cada materia y curso escolar. Esto es, especificar los estándares de rendimiento que nos permitan saber, ante cada evaluación, no solo dónde estamos, sino también qué distancia nos separa de unos objetivos terminales bien definidos. Lo que suele llamarse el potencial de optimización. Fijados los estándares, cada profesor podrá hacer lo que quiera, sabiendo que habrá un mecanismo de evaluación público y técnicamente correcto que nos señalará dónde están las fortalezas y deficiencias del sistema, poniéndonos en la pista de lo que podremos mejorar.

Pero hay que ser optimistas. La mejora es posible pero tienen que darse algunas circunstancias sin las que no será posible elevar nuestros resultados. Entre ellas las señaladas.