¿Qué dicen 100 años de investigación sobre el agrupamiento por capacidad y la aceleración de los más capaces?


Empecé hace un tiempo una serie de entradas bajo el título: "Todo está escrito", pero no tuvieron mucho éxito, quizá porque se referían a textos o estudios que superaban los intereses de los lectores, pero aunque no se leyesen los estudios o manuales a los que se aludía en ellas, nada impedía visitarlas. En cualquier caso todas las entradas del blog, por su carácter académico, pretenden estar apoyadas en evidencias. ¿Por qué digo esto? Pues porque esta entrada se refiere a un estudio de extraordinario interés ("Todo está escrito") sobre el agrupamiento y la aceleración; dos temas sobre los que he escrito en este blog extensamente, pues hay no menos de seis entradas sobre el agrupamiento y unas trece sobre aceleración. Todas basadas en la investigación más seria y rigurosa disponible.

Es importante estar al tanto de los estudios que se publican, naturalmente para los que nos dedicamos a ello, pero también para los que se deben servir de la investigación: padres, profesores, administradores y legisladores. También algunos que se dicen expertos pero que no lo son tanto, a tenor de las ideas que esgrimen y que pocos, o ninguno, en el mundo académico sostiene. Pero en fín, este es otro tema.

La cuestión no es que pensamos tú o yo sobre esto o aquello, sino responder a la pregunta: ¿sobre esto la investigación qué dice? ¿cuáles son las evidencias disponibles? ¿cuál es la eficacia de tales o cuáles prácticas?

Pues bien, este estudio que incluyo más abajo, pero que resumo aquí, trata de dar respuesta a las siguientes cuestiones:

  1. ¿Cuáles son los efectos del agrupamiento por capacidad y la aceleración sobre el rendimiento académico de los estudiantes K-12 (kinder a segundo de bachillerato) a partir de la integración de meta-análisis?
  2. ¿Tienen el agrupamiento por capacidad impacto diferencial en los alumnos de diferente nivel de capacidad (baja, media, alta)?
  3. ¿Cuáles son las discrepancias y las comunalidades en los métodos y en los hallazgos de los diversos meta-análisis?
  4. ¿Muestran los meta-análisis de diferente calidad efectos diferenciales?
  5. ¿Cuáles son los efectos del agrupamiento por capacidad cuando se consideran solo las evidencias de la máxima calidad?


En una entrada anterior del blog se habla de las modalidades y tipos de agrupamiento, ventajas inconvenientes, etc. Para poner este estudio en contexto quizá te interese echarle un vistazo. Puedes hacerlo desde este enlace. Si quieres echar una ojeada a la aceleración y cómo se entiende en la investigación científica, más allá del mero avanzar curso, te recomiendo esta otra entrada.

Pues bien, para no alargarme, te copio en su literalidad, el abstract que dice así:
Two second-order meta-analyses synthesized approximately 100 years of research on the effects of ability grouping and acceleration on K–12 students’ academic achievement. Outcomes of 13 ability grouping meta-analyses showed that students benefited from within-class grouping (0.19 ≤ g ≤ 0.30), cross-grade subject grouping (g = 0.26), and special grouping for the gifted (g = 0.37), but did not benefit from between-class grouping (0.04 ≤ g ≤0.06); the effects did not vary for high-, medium-, and low-ability students. Three acceleration meta-analyses showed that accelerated students significantly outperformed their non-accelerated same-age peers (g = 0.70) but did not differ significantly from non-accelerated older peers (g = 0.09). Three other meta-analyses that aggregated outcomes across specific forms of acceleration found that acceleration appeared to have a positive, moderate, and statistically significant impact on students’ academic achievement (g = 0.42).

El estudio es largo y tiene sus complejidades, pero merece la pena dedicarle un tiempo a su lectura. Desde luego a su bibliografía, en particular aquellos que tengan interés por el tema o necesidad de investigar sobre el asunto. Entre tanto reproduzco aquí, traducida, la conclusión final (el hiperenlace y los énfasis del texto los he añadido yo):

"Stanley (2000, p.221) dijo que la educación debe "evitar tratar de enseñar a los estudiantes lo que ya saben". Basándonos en el valor de casi cien años de investigación presentada aquí, creemos que los datos sugieren claramente que el Agrupamiento y la Aceleración son dos estrategias para lograr este objetivo [el señalado por Stanley]. Los hallazgos actuales no resolverán todas las controversias sobre la filosofía de la educación. Sin embargo, creemos que ayudan a aclarar los efectos académicos del Agrupamiento por capacidad y la Aceleración. Independientemente, la conversación necesita evolucionar más allá de si tales intervenciones pueden funcionar siempre. No hay ausencia de evidencia, ni hay evidencia de ausencia de beneficio. La preponderancia de las pruebas existentes, acumuladas durante el siglo pasado sugieren que la aceleración académica y la mayoría de las formas de agrupamiento por capacidad, como el agrupamiento por materias entre cursos y otros agrupamientos específicos para los alumnos más capaces puede mejorar en gran medida los resultados académicos".

Pues aquí os dejo el estudio completo que, por cierto, está publicado en una de las revistas de investigación más prestigiosas del mundo, el Review of Educational Research, con un factor de impacto de 5,24 (la segunda de 231 en su categoría) y promovida por la American Educational Research Association. ¡Happy reading!



PISA 2015: la otra cara de los resultados



Acaban de presentarse, el pasado día 6 en Londres, los resultados del estudio PISA 2015 elaborado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE). En el acto intervinieron Ángel Gurría, Secretario General de la OCDE y Andreas Schleicher, Director de Educación de la misma organización. La presentación, que pudo seguirse en streaming, se puede volver a ver desde este enlace.

El propio Schleicher en una entrevista a un diario nacional señalaba que los resultados cosechados por España en el último informe —con un aumento de dos puntos en matemáticas hasta 486 puntos, una bajada de tres hasta 493 puntos en ciencias y una mejora de ocho puntos en lectura (hasta 496), que la sitúan en la media de los países industrializados, reflejan el estancamiento que ha tenido el país en el examen, con notas casi inalterables durante las seis ediciones celebradas desde 2000.

“No tengo una respuesta fácil para España, excepto que su concentración excesiva en la legislación y las normas ha desviado la atención lejos de lo único que logrará mejores resultados de aprendizaje: la calidad de la enseñanza”, señalaba Schleicher. Y concluía: “La calidad de la educación nunca será mejor que la calidad de los profesores”, (...) "la clave está en empoderar a los profesores para que lideren esta transformación; pero eso solo puede ocurrir si saben lo que se espera de ellos y reciben el apoyo necesario para enseñar con eficacia”.

PISA, como casi todo el mundo conoce, no es una evaluación curricular (no puede serlo porque los curricula de los países no son iguales), pero mide el impacto del sistema educativo en las habilidades y destrezas de los alumnos que se desarrollan, en buena parte, por el efecto de este. Hay algunos mitos sobre PISA que el INEE resume bien aquí.

Las reacciones a los resultados han sido tan diversas como pasajeras. Decimos en Galicia: "pasou o día, pasou a romería". A los que les ha ido mejor han echado las campanas al vuelo calificando los resultados de "soñados", y a los que les ha ido peor dicen cosas como que los centros elegidos han sido de tal o cual tipo y no representativos. Conociendo el manual de muestreo de PISA es difícil sostener algunas de estas afirmaciones. A mi juicio, ni tan bien, ni tan mal. Ahora intentaré explicarme

La reacción ante la evaluación debería ser de otro tipo, a mi juicio. Si los resultados son buenos, tratemos de saber por qué para mantener las causas que los han originado. Si son malos, analicemos por qué para remover las causas que impiden rendir mejor. Ni echar las campanas al vuelo, ni dar patadas al aguijón son reacciones esperables por parte de responsables educativos. La evaluación tiene un gran poder optimizador del objeto evaluado si se utiliza cabalmente. La investigación, que suele seguirla, aporta todavía más explicaciones útiles sobre qué hacer, incluso sobre cómo hacerlo.

El informe preliminar español completo que inserto más abajo me permite decir que los resultados siguen siendo preocupantes. Ofrezco unas reflexiones a continuación que me encantaría que leyesen los responsables educativos de las Comunidades Autónomas y del Ministerio de Educación, como si esto fuera una carta abierta para ellos (estuve tentado a darle esa orientación).
  1. Hablar de los países del entorno, de la media de la OCDE o mencionar a algún país como referencia es casi siempre un argumento defensivo. Los resultados deben analizarse en sí mismos primero y ponerlos en contexto, si se quiere, después.
  2. La media solo representa bien a los que están en la media. Por eso es preciso hacer un análisis un poco más detenido de los resultados. Yo lo hice en una entrada anterior sobre PISA 2012, por ejemplo esta.
  3. Lo importante en PISA no es la media sino las escalas de rendimiento. "La definición de los niveles de rendimiento de las áreas evaluadas en el estudio PISA desempeña un papel clave para interpretar y valorar los resultados de los alumnos, puesto que en ella se establecen los conocimientos que deben tener los estudiantes para alcanzar cada uno de los niveles descritos, así como las destrezas necesarias y las tareas que deben realizar para resolver los problemas planteados. La descripción de los niveles de rendimiento se corresponde con la dificultad de las preguntas o ítems adaptados a cada uno de los niveles" (PISA 2015, informe español, p. 72)
  4. Sería pues de la máxima importancia que se analizasen las referencias cualitativas de las escalas, por parte de los expertos en curriculo y el profesorado especialista de las áreas implicadas para que valoraran si las destrezas, conocimientos y habilidades que aparecen en los diversos niveles de las mismas son las deseables para la formación de nuestros escolares. Es decir, para valorar si aparecen como difíciles (niveles altos) competencias que deberían ser medias o fáciles, por ejemplo.
  5. Una información crítica es conocer el porcentaje de alumnos que se encuentran en cada uno de los tramos o niveles de la escala, como se muestra a continuación:En esta figura se encuentra, a mi juicio, el principal motivo para decir que los resultados no son buenos: un exceso de alumnos con bajo rendimiento con distinto nivel de gravedad (zona marrón, nivel 1b e inferior) y un escaso porcentaje de alumnos en los niveles 5 y 6 (verde oscuro y claro). Sí, es cierto que Castilla y León o Navarra y Madrid tienen un porcentaje similar al de la OCDE (incluso superior en 1 punto en Castilla y León). Pero la media de la OCDE, ¿debe ser nuestra referencia? ¿a quién representa? No olvidemos que la OCDE es, por así decirlo, una abstracción. Los países y sus ciudadanos, escolares en nuestro caso, una realidad. Por eso, observemos la figura siguiente.Los países de cabeza tienen entre el 25% y el 14% de sus alumnos en los niveles de rendimiento más alto o excelente. Es decir, entre 2 y 3 veces más que en nuestras mejores comunidades y, desde luego, que España en su conjunto, que tiene un 5% de alumnos en nivel 5 y ninguno en nivel 6.
  6. ¿Dónde están los alumnos excelentes? ¿Los de más capacidad? ¿Los de más talento? ¿Los de alto rendimiento?
  7. Hace unas fechas escribí, en este blog, sobre "La caprichosa distribución de la inteligencia en España". ¿Es posible que estos datos, que son  del Ministerio de Educación, no preocupen a casi nadie? Pero, ¿cuántos alumnos de más capacidad hay en España? Si comparamos ambas tablas (a pesar de que difieren temporalmente) nos percataremos de que nuestro sistema educativo pierde talento a manos llenas y no hace nada, o muy poco, para remediarlo.
  8. No me importa repetirme: las escuelas, ¿son una máquina de destruir talento? Me parece que sí, al menos en términos generales, "porque el talento que no se cultiva, se pierde." Y sin identificación no hay intervención, y sin esta no hay desarrollo. Pero en este punto, entre la legislación que se ignora y la que señala criterios insostenibles, se nos dibuja un panorama desolador para los más capaces. Precisamente los que más habrían de aportar al desarrollo social, científico, técnico, artístico, etc.
  9. Es imprescindible que se aborde con seriedad y realismo este problema que impide que podamos hablar de equidad y de igualdad para un gran número de estudiantes. Esto tiene consecuencias funestas para el desarrollo personal y también social, como acabo de señalar. Y es que sí, la excelencia es una meta del sistema educativo.
¡Cultivarla, además de ser una acción de justicia, ayudaría a subir la media, que parece que es lo único que aparentemente preocupa!

En la excelente figura interactiva adjunta (tomada de la web de la OCDE), se puede acceder a los resultados de cualquier país, o Comunidad Autónoma en el caso de España, y ver sus resultados (ampliar con la rueda del ratón para ver detalles de países concretos, seleccionar la materia en la parte inferior. El mapa se desplaza sobre la ventana como cualquier mapa de Google).

Al final incluyo, para más comodidad, el informe español que aporta muchos otros datos de interés que aquí no son del caso ahora, pero que recomiendo vivamente revisar: como la variabilidad entre intracentros, el impacto de ESEC en el rendimiento o el efecto de la inversión en educación y su relación con los resultados y, desde luego (aunque ya queda apuntada) la brecha enorme entre comunidades autónomas que llegan a valores difícilmente sostenibles (casi un curso académico).




Aquí puede consultarse el informe elaborado para España por el Instituto Nacional de Evaluación Educativa (INEE).

Los resultados del estudio TIMMS 2015. ¿Y los más capaces?



Acaban de publicarse hace unos días los resultados del estudio TIMSS (Trends in International Mathematics and Science Study) en el que España participa. Como se sabe es una evaluación internacional que realiza cada cuatro años la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), que examina el rendimiento en Matemáticas y Ciencias de los alumnos de cuarto curso de primaria (en el caso de España), valorando tanto los dominios de contenido como los dominios cognitivos en estas dos áreas.

Una vez más hay que felicitar al Instituto Nacional de Evaluación Educativa (INEE) por su excelente trabajo de divulgación, tanto en su web como en las redes sociales, y por elaboración de los informes y las notas que los acompañan. Una información compelta puede verse aquí.

Para sacar partido a los resultados de este tipo de estudios es preciso conocer bien las escalas de rendimiento: qué son y qué expresan, porque aquí está la clave de la comprensión de las puntuaciones, más allá de la media que no nos dice demasiado. A quienes no estéis familiarizados con estas escalas os recomiendo leer las entradas en las que hablaba de este asunto: esta y esta otra. Dado el número de estudios internacionales en los que España y sus Comunidades participan es obligado que los profesores y los padres comprendan y sean capaces de analizar los resultados y su alcance.

"Como la mayoría de evaluaciones internacionales, TIMSS utiliza la metodología conocida como Teoría de Respuesta al ítem (TRI) para analizar las respuestas de los alumnos. La TRI no puntúa el rendimiento de un alumno según su porcentaje de aciertos sobre el total posible, sino en función del nivel de dificultad de las preguntas que ha sido capaz de responder. Por otra parte, la TRI permite situar el nivel de competencia de cada alumno en una escala común, con independencia de las preguntas que le hayan correspondido en su cuadernillo de la prueba". (Tomado del propio informe)

Los datos relativos a la muestra de alumnos españoles en su conjunto y a las muestras ampliadas de las comunidades autónomas se recogen a continuación. Como ya dije en su momento, estos estudios buscan obtener estimaciones de los parámetros poblacionales, pero no sirven para estimar el rendimiento de alumnos particulares o centros educativos concretos (no están diseñados para eso). Son evaluaciones de conjunto en las que las estimaciones se refieren a países o, en este caso, a regiones o Comunidades que deciden ampliar sus muestras para que puedan hacerse estimaciones razonablemente precisas de las mismas, como si se tratase de países. Es el caso de las Comunidades Autónomas que se señalan en la tabla.

¿Por qué no están todas las Comunidades autónomas? Habrá razones diversas supongo, pero es una lástima.










La escala en la que se expresan las puntuaciones tiene una media de 500 puntos y una desviación típica de 100 (por construcción, son valores inicialmente arbitrarios, podrían haberse escogido otros). Los intervalos en los que se divide se pueden ver en la tabla adjunta. Desde rendimientos muy bajos (inferiores a 400 puntos), hasta avanzados (superiores a 625 puntos).

Los interesante de estas escalas, que son acumulativas (los alumnos que se situan en un nivel dominal razonablemente lo de ese nivel y lo que está por debajo, pero no dominan lo que está por encima), es que tienen asociada una referencia cualitativa. Es decir, no solo señalamos la puntuación, sino que decimos lo que significa. Esta propiedad es similar a la de cualquier escala de rendimiento, como las de PISA, y naturalmente tiene un significado educativo directo, cosa que no tienen las puntuaciones convencionales basadas en la Teoría Clásica de la medida.

En esta tabla podemos ver cuáles son los conocimientos y destrezas que se ha definido para cada tramo de la escala de acuerdo con los items utilizados. Permiten comprobar las destrezas que son de cada nivel en cada una de las materias, lo que puede resultar de gran interés desde el punto de vista curricular.



No obstante mi comentario, pues incluyo el informe conpleto más abajo para que cada uno profundice en razón de sus intereses, tiene que ver con un hecho que se repite estudio tras estudio y que no parece mejorar: la distribución del número de alumnos en cada tramo de la escala. Un simple vistazo a los resultados de Matemáticas permiten ver que el nivel verde (el de rendimiento avanzado) en Singapur alcanza al 50% de sus escolares, en Corea del Sur al 41%, en Irlanda del Norte al 27%, pero en España al 3%. Mejora alguna Comunidad Autónoma pero llegando solo al 7%. Lógicamente en los países de cabeza hay muy pocos alumnos de rendimientos bajos o muy bajos, al contrario de lo que ocurre en nuestro país o en las Comunidades, con las diferencias que pueden observarse.

La pregunta es clara: ¿dónde están los alumnos de alto rendimiento? ¿es este nuestro límite? ¿no podemos incrementar el rendimiento de los que tiene más capacidad? Claro que a tenor de la caprichosa distribución de la inteligencia en España... Pero, ¿cuantos alumnos de alta capacidad hay en España? Aquí lo he respondido.


La situación en Ciencias Naturales es un pco mejor, como se ve en la tabla siguiente, pero sigue estando lejos de los valores que uno desearía ver.

La pregunta es: ¿empezamos a perder el talento en la enseñanza Primaria? Os dejo la respuesta y, más abajo, el informe completo que tiene datos de mucho interés y que si fuese director de una escuela de Primaria sugeriría leer a todos mis profesores.







Informe http://www.mecd.gob.es/inee/estudios/timss-2015.html