Antes de poner los resultados en contexto es, a mi juicio, necesario saber lo que realmente se mide. Para ello, nada mejor que observar esta presentación de Pablo Zoido, especialista de la OCDE, quien explica con gran claridad la estructura y operaciones cognitivas que implican los problemas planteados a los alumnos.

En la siguiente entrada resumo los resultados que nos interesan para los alumnos de más capacidad y alto rendimiento y realizado algunas valoraciones.

Ya me temía yo que esta referencia a PISA no iba a ser tan breve como anuncié. No me arrepiento.

No está bien la situación de nuestros jóvenes respecto a su competencia en la resolución de problemas, tal como la mide PISA y que puede verse en los vídeos que incluyo en esta entrada. Pero, ¿es que alguien pensaba que la resolución de problemas iba a depararnos resultados mejores que los del informe PISA presentado en Diciembre pasado que puedes ver aquí? ¿Cómo esperamos ver en los resultados de cualquier acción educativa algo que no nos hemos propuesto? ¿Por qué los alumnos deben exhibir resultados de aprendizaje que, quizás, sus profesores no les propusieron como metas de aprendizaje? ¿No es posible que los profesores estuviesen ayudándoles a lograr resultados distintos de los que busca la resolución de problemas en PISA? Cosa distinta es si los resultados no logrados son deseables, asunto sobre el que no me voy a pronunciar por el momento. Y si lo son, ¿qué se hizo para orientar el sistema hacia ellos? No será preciso descubrir, a estas alturas, que la evaluación es la que orienta toda la acción educativa hacia el logro de los resultados que ésta quiere hacer visibles, supongo.

He dicho hasta el hartazgo en este blog, que lo importante es lo que se aprende; también, que no se concibe un sistema educativo que no tiene  fijados los objetivos esperables para el mismo, es decir, los estándares de rendimiento, como definición operativa de lo que los alumnos deben saber y saber hacer en cada materia y edad. Si no hay objetivos terminales definidos, no es razonable acusar a los profesores de no haberlos logrado, puesto que cualquier resultado será bueno, bastará con que sea el que tú hayas previsto. Pero es preciso señalar que sin tales metas el sistema estará a la deriva, al albur de lo que a los profesores se les ocurra. Y hacer depender el rendimiento (el aprendizaje) de los alumnos de los profesores que les caigan en suerte no es justo tampoco. Estoy persuadido de que muchos, la mayoría, lo harán muy bien, otros no tanto, pero no por aviesas intenciones, sino por falta de preparación, medios, capacidad creativa y otras muchas posibles razones.

Así pues, tenemos una tarea previa y anterior a cualquier crítica a los profesores, generalmente la clave olvidada del sistema educativo, o a los alumnos, sus familias, etc. Establezcamos, que lo hagan los expertos, los resultados esperables y deseados para el sistema educativo. Que los especialistas en las diversas materias se reúnan, como se hace en otros países (ver nctm.org, por ejemplo) y, después de un diálogo constructivo con el Ministerio y con quien corresponda, se haga una propuesta abierta y revisable de lo que se desea fomentar en nuestros escolares, de modo que hagamos que el sistema educativo sea además de eficaz y eficiente, funcional, como señala el modelo de De la Orden. A partir de ahí será preciso formar adecuadamente a los profesores y después evaluar seriamente qué ocurre en cada centro educativo, haciendo correcto uso de la evaluación: OPTIMIZAR EL OBJETO EVALUADO.

Las críticas estériles y las quejas ad omnia, el buscar culpables en todo lo que se mueve es inútil y contraproducente ya que cortocircuita a priori cualquier posibilidad de diálogo. Además, el extrapunitivismo es una actitud un tanto adolescente que debe ser superada. ¿Qué tal si nos ponemos manos a la obra y dejamos de quejarnos los unos de los otros? Yo lo haría.

Pues bien, después del exordio anterior que me ha servido de desahogo personal y, antes de entrar en disquisiciones sobre lo ocurrido, me parece que es preciso entrar a fondo en el asunto. Para ello lo primero que sugiero es ver estos tres primeros vídeos que recogen la presentación o rueda de prensa de la Secretaria de Estado y del subdirector de Educación de la OCDE, Andreas Schleiter. El miércoles y el viernes terminaré de ofrecer mis consideraciones sobre un asunto de tanto calado.

En este segundo vídeo, la Secretaria de Estado hace referencia a los resultados del Sistema Educativo español.

Este tercer vídeo recoge las preguntas de la rueda de prensa.

Si habéis tenido paciencia para llegar hasta aquí, los invito a las dos próximas entradas en las que analizaré los resultados, particularmente desde la óptica de los alumnos de mejor rendimiento, la segunda lente con la que mirar a los más capaces según el modelo tripartito de Steven Pfeiffer que ya habrás leído.

La primera es el informe completo de los resultados del último estudio presentado mundialmente el pasado 3 de Diciembre. Podéis  acceder cómodamente desde esta entrada o bien dirigíos a la página de la OCDE si lo preferís para consultar los otros volúmenes.

Esta segunda herramienta me parece sensacional, pues permite un vistazo rápido a los resultados y, mejor todavía, comparar los resultados de un país concreto o bien comparar entre países. La he estado manejando durante un rato y es muy útil y rápida permitiendo obtener los datos de manera casi instantánea. Os animo a usarla, en particular a los profesores.

Dada la fecha, no quiero cerrar esta entrada sin desearos, más allá de lucecitas y panderetas, una feliz Navidad a todos los que seguís este blog y a vuestras familias y todo lo mejor en vuestros proyectos educativos para el año que comienza. Que al menos algunos se cumplan… ¡mucha parte depende de nosotros mismos!

Este llama all-rounders a aquéllos alumnos que en las tres materias (dominios) que se evalúan (Comprensión Lectora, Matemáticas y Ciencias) se sitúan en los niveles 5 y 6 de las escalas de rendimiento.

En el conjunto de los países de la OCDE estos alumnos representan un 4%, dato que refleja que obtener rendimientos altos en todos los dominios no es tarea menor, pero también es un dato que por ser global enmascara mucho la realidad. Más adelante lo desmenuzaré al hilo del informe.

 

¿Qué países son los que tienen un mayor número de alumnos en estos niveles? Australia, Finlandia, Hong Kong-China, Japón, Nueva Zelanda, Shanghai-China y Singapore. ¿Nos resulta familiar?

En él se representa el porcentaje de alumnos con rendimiento excelente en las tres materias en cada uno de los países. Hay que entender que la media global de un país no indica necesariamente el porcentaje de alumnos en el nivel superior. En efecto, pueden tener diversos porcentajes de alumnos con rendimiento excelente en las tres materias. Entendido esto, el gráfico nos está indicando la capacidad de cada sistema educativo para «producir» un determinado número de alumnos con rendimiento excelente (5 ó 6, como va dicho).

Porcentaje de alumnos con alto rendimiento en las tres materias evaluadas por PISA en los distintos países

Es preocupante ver la posición de España en esta tabla y la distancia que nos separa incluso de la media de la OCDE, no digamos de los países de cabeza. Pero no me llama la atención ya que si no identificamos a los alumnos más capaces y tenemos un sistema obsesivamente ocupado del alumno medio, ¿qué podemos esperar? ¿Habrá que repetir que el talento que no se cultiva se pierde? Ya he ofrecido datos al respecto de este asunto meses atrás, en los que se veía la distancia entre nuestro país y otros respecto al número de alumnos en los niveles superiores (ver el enlace que ofrezco más abajo).

«Mientras que alumnos de alto rendimiento en todas las materias se pueden encontrar en muchos países y economías, la proporción de estos estudiantes varía considerablemente entre los sistemas escolares. Entre el 8% y el 10% de los estudiantes de 15 años en Australia, Finlandia, Hong Kong-China, Japón y Nueva  Zelanda son all-rounders, y las proporciones son aún mayores en Shanghai-China (14,6%) y Singapur (12,3%). Por el contrario, menos del 1% de los estudiantes en Chile, México, Turquía y otros 21 países de diversas economías tienen alumnos de este tipo».
 

«El resultado final: Para satisfacer la creciente demanda de competencias de alto nivel en
economías basadas en el conocimiento del siglo 21, los sistemas escolares tienen que aumentar  la proporción de los estudiantes que son los mejores. Como muestran los resultados de PISA, los países que tienen un rendimiento promedio similar no son igualmente capaces de promover alumnos de alto rendimiento en todas las materias». Este es un aspecto muy importante, como acabo de señalar más arriba. ¿Podríamos tener una media modesta y ser capaces de promover a los más capaces? Desde luego, pero no es el caso.

He señalado con reiteración en este medio y en otros que el sistema educativo tiene que tomarse en serio el desarrollo del talento, identificando las capacidades de los alumnos (que no olvidemos que son potenciales) y desarrollándolas de manera óptima. Sabemos como hacerlo, sobran medios para ello. Lo que quizá sobran también son prejuicios -infundados casi siempre- para decidirse a centrar la escuela en lo que le es propio: favorecer el crecimiento de TODAS las personas.

A los interesados en esta temática les recomiendo las entradas sobre PISA de este blog, en particular aquélla que titulé: Rendimiento de los alumnos españoles en PISA, ¿cuestión de talento?, o la entrada sobre el informe Transforma Talento,  o los estupendos informes que nos ofrece el INEE en su sección sobre PISA, sin olvidar los números de PISA in FOCUS.

La evaluación, como mucha gente sabe, implica realizar un juicio de valor sobre la realidad evaluada, juicio que dimana de la comparación entre la realidad objeto de interés y una determinada instancia de referencia, comparación que requiere tener en cuenta determinados criterios.

La cuestión de las referencias es esencial en cualquier proceso de evaluación, ya que el juicio que se derive de la comparación dependerá de la referencia elegida. Cuando se trata, por ejemplo, de la evaluación del rendimiento de los alumnos, estas referencias pueden ser diversas (no es el caso discutir la pertinencia de cada una ahora): normativa, criterial, dominio, ipsativa.

Pero a nadie se le escapa que siendo importante una referencia interna y próxima, como puede ser para un padre (o un alumno) buscar respuesta a la pregunta: ¿qué tal va mi hijo (o qué tal voy) con arreglo a lo que usted demanda?, no es poco importante responder a esta otra: ¿y respecto a sus (mis) compañeros? Esto implica juicios que se derivan de comparar el rendimiento del alumno con un criterio establecido por el profesor o con el nivel de logros de sus colegas.

Ahora bien, supongamos que soy el profesor o el director del centro educativo, o el responsable de un conjunto de centros, comunidad, etc., responder a la pregunta: ¿cómo es el nivel de aprendizaje de nuestros alumnos en relación con el logrado en otros centros educativos (incluso países) que nos sean comparables?

Ya puede el lector apreciar que según sea la referencia, así serán las preguntas que se pueden responder. A mi juicio, cualquiera de las preguntas planteadas tiene su importancia, su lugar en el proceso de enseñanza-aprendizaje y su implicación social también. En un mundo cada vez más globalizado (perdón por el lugar común, pero es así), conocer mi posición respecto a diversas instancias de comparación es esencial, por ello me parece que este proyecto del que ahora hablaré es del máximo interés educativo y de gran calado en lo que a la mejora de la calidad del aprendizaje de nuestros alumnos se refiere. Podremos discutir de qué se debe evaluar, hasta de cómo hacerlo, lo que no es discutible es la pertinencia de la evaluación para la mejora del sistema educativo.

¿Qué puede entonces hacer una escuela con los resultados de PISA que conocemos? La verdad es que, aparte de estudiarlos para ver cómo va su país respecto a otros, poco más.

Esto se solucionará, dentro del esquema de lo que PISA evalúa, con el proyecto para las escuelas. Lo que se pretende es evaluar, en las escuelas de los países que opten por ello, qué saben y qué saben hacer sus alumnos respecto a la Comprensión Lectora, las Matemáticas o las Ciencias.

Aunque supongo que esto puede ser objeto de variaciones y mejoras, el informe comienza con un sumario de resultados para la escuela, que recojo en los gráficos que siguen.

En primer lugar (figura A) se ofrece la información respecto a la posición media en cada una de las materias. Como se sabe, PISA utiliza una escala que tiene de media 500 y de desviación típica 100. Estos valores medios van acompañados de su error típico, lo que permite calcular los intervalos de confianza pertinentes (no vamos a entrar en esto ahora).

Es muy importante entender que la media puede ser un indicador engañoso, lo es de hecho si no tenemos más datos. Nos interesa saber cómo se distribuyen los alumnos con arreglo a los distintos niveles de rendimiento que vienen expresados por la escala (los que no estéis familiarizados con estas escalas podéis pinchar aquí para una explicación sencilla).

En segundo lugar, se indica el porcentaje de alumnos en cada nivel de la escala (figura B), lo que nos da una visión mucho más precisa de cómo está nuestra escuela en las tres materias, cuántos alumnos tienen rendimientos altos, medios o bajos. Es del máximo interés, como se comprende, «ir más allá de la media».

Pero como decía más arriba, además de saber cuáles son los resultados de la escuela en cuestión, parece importante tener una idea de cómo esta escuela se sitúa respecto, por ejemplo, al país al que pertence la escuela. En los gráficos siguientes se puede ver cuáles son los porcentajes de «mi escuela» en cada nivel de la escala -que recordemos está unida a un referencia cualitativa que expresa lo que los alumnos saben y saben hacer en la materia de que se trate- y cuál es el porcentaje en el país, lo que me permite ver comparativamente mi situación. Quizá alguien piense que las escuelas no son comparables porque sus alumnos no son iguales ni parten del mismo punto. Es cierto, el informe también ofrece comparaciones entre escuelas que sí son comparables; es decir, que tendré ocasión de ver cómo estoy respecto a otros centros similares al mío. ¿Similares en qué? Pues en aquellos factores que impactan en mayor grado en el rendimiento y que suelen venir sintetizados en el índice de estatus socioeconómico y cultural. Este apartado, en el que aquí no entro para no alargarme, lo podéis encontrar en el informe.

¿Pero cómo está mi escuela respecto a las escuelas de otros países? Porque claro, mis alumnos tendrán que insertarse en un mercado laboral del tipo que sea, en el que tendrán que competir (o mejor, estar a la altura) de lo que las empresas demanden. No parece necesario justificar esto, cualquiera comprende que no vivimos en una isla auto-suficiente, por lo que preparar a nuestros ciudadanos adecuadamente no es cuestión baladí en lo que al desarrollo social se refiere.

En esta última figura que quiero presentar se ve la posición de la escuela del ejemplo respecto a tres países tomados como referencia: el propio de la escuela, uno de alto rendimiento y otro de bajo. Al mismo tiempo se indica el porcentaje de escuelas en cada país y materia por encima y debajo de diversos niveles de rendimiento.

Hay muchas otros datos y comparaciones que se pueden estudiar en el informe y que aquí no recojo. Quiero señalar que en el propio informe hay muchos enlaces a páginas web y documentos de la OCDE en los que se explican  multitud de aspectos relacionados con PISA.

Me parece que estamos ante una iniciativa de la máxima importancia que podrá dar, a cada escuela, una información de extraordinaria utilidad para que analice sus prácticas educativas a la luz de los resultados y vea cómo lo está haciendo respecto a otras escuelas comparables.

Los padres conocerán el nivel de calidad de la educación de sus hijos, al menos en los aspectos a los que esta evaluación se refiere que no son los únicos ni los más importantes, pero sí de gran trascendencia en su formación.

Para los responsables de las administraciones educativas será de gran valor conocer cuál es el nivel de rendimiento de cada una de sus instituciones financiadas con el dinero de todos, del nuestro.

Los ciudadanos, en suma, podrán conocer con mayor grado de detalle la calidad de las instituciones que financian y en las que los «futuros» ciudadanos de este país se están formando.

Naturalmente, este tipo de evaluación no colisiona ni invalida otras ya en funcionamiento, sino que las complementa, entre otras cosas porque PISA no es una evaluación curricular en sentido propio. Lo digo una vez más: podemos discutir si los objetivos son unos u otros, si son más o menos, pero no podemos poner en tela de juicio la evaluación. La evaluación es el timón de la nave, suprimirla o trivializarla, con pretextos espurios, sería poner el sistema educativo al garete. Hace falta ahora saber a qué puerto dirigir la nave, por eso he hablado tanto de la importancia de establecer estándares de rendimiento.

Dejemos ya de exigir un tipo u otro de escuela de manera tan excluyente y contaria a la libertad personal y empecemos a exigir, en serio, una escuela de calidad con unos objetivos claros que respete las opciones educativas de las familias  A las que no alcancen el nivel adecuado, ayudémoslas a mejorar con los medios oportunos; los logros de las escuelas mejores pueden ser su mayor estímulo.

Finlandia se ha puesto de moda para el gran público, no por la excelente calidad de sus astilleros de barcos de vela, sus éxitos en el mundo de la telefonía o su apuesta por la sociedad de la información, ni por la calidad de la orquesta de Lahti, con sede en el auditorio de madera más grande del mundo.

Se ha hecho celebre por sus resultados educativos, particularmente en los informes PISA, que se llevan a cabo auspiciados por la OCDE cada tres años con alumnos de 15 años. El primero de estos estudios se llevó a cabo en el año 2000 y el último de este ciclo será en 2015.

Es importante entender que estos estudios no tienen por objeto medir aprendizajes curriculares, sino apreciar el grado en el que determinadas competencias -derivadas en parte de esos aprendizajes- han sido logradas por los alumnos y les permitirán afrontar con éxito la vida adulta y laboral. «En este sentido es más parecido a un estudio de alfabetización funcional (…), incorporando contenidos matemáticos y científicos además de los tradicionales elementos lingüísticos, por ser considerados todos ellos necesarios para una adecuada inserción en la vida adulta» (Informe PISA, 2000).

Tampoco están diseñados para medir el rendimiento de los alumnos, sino de los sistemas educativos, es decir, que «las puntuaciones no son puntuaciones individuales y no sirven para el diagnóstico de los sujetos, sino solamente para la estimación de parámetros poblacionales consistentes» (Martínez Arias, Revista de Educación, 2006, p.118).

Desde el año 2000 hasta los últimos resultados publicados, correspondientes al año 2009, los resultados de Finlandia son excelentes. Así, en Matemáticas son los cuartos en 2000, los primeros en 2003 y 2006 y los sextos en 2009; en Ciencias Naturales son los terceros en 2000 y los primeros en 2003 y 2006 y segundos en 2009; en Comprensión lectora son los primeros en todos los años, bajando al tercer lugar en 2009. Otros países de regiones muy distantes y culturas muy diversas también destacan de manera consistente a lo largo de los años, como es el caso de Corea, Singapur, Hong Kong y este último año la provincia china de Shanghai

¿Hay algo en común en todos estos sistemas educativos que van a la cabeza en los resultados que ofrece PISA? Y en particular, ¿cuál es el secreto finlandés? La verdad es que ningún fenómeno complejo se puede explicar por causas únicas. Habrá muchas razones pero, al menos, tres son claves.

Ningún sistema educativo puede ser mejor que sus profesores o, dicho de otro modo, «un sistema educativo tiene como techo la calidad de sus docentes» (Informe McKinsey, 2007). Siendo esto así, la selección de éstos es crítica.

Primer secreto. Resulta que Finlandia selecciona a los profesores entre el 10% de los graduados universitarios más brillantes, y a partir de ahí los forman para que logren ser excelentes docentes, ya que la única forma de mejorar los resultados es mejorando la instrucción. Hay muchos más aspirantes que plazas (1/10), por lo que el proceso para convertirse en profesor es muy exigente y selectivo. Los salarios son razonablemente buenos, y el prestigio social, muy grande, lo que atrae a más y mejores candidatos a la profesión docente. Todo un círculo virtuoso.

Segundo secreto. El sistema finlandés tiene mecanismos de apoyo específicos para lograr que todos los niños sean capaces de obtener el máximo beneficio de una instrucción excelente. Esto es crítico. Debe ser así, pues groso modo, una cuarta parte de sus alumnos están sistemáticamente en los niveles superiores en las escalas de rendimiento de los estudios PISA, y tan solo un 5-6% en los niveles inferiores. Para poner estas cifras en contexto, baste decir que, en España, los porcentajes para estos dos extremos son los contrarios. Muchos alumnos con niveles muy bajos (25%) y pocos en los niveles altos (4%).

Tercer secreto. Poca burocracia, liderazgo estable y pocos cambios bruscos (la política deja en paz al sistema educativo). Los profesores utilizan metodologías tradicionales que conocen bien, sin hacer muchas concesiones a ‘técnicas innovadoras’, meramente por serlo. Eso sí, los alumnos están acostumbrados a comportarse responsablemente desde pequeños; atienden en clase y trabajan con seriedad. Con ello el tiempo efectivo dedicado a la tarea es muy alto.

Todo esto unido a una gran valoración por el conocimiento y el saber, por un currículo que está perfectamente definido y se enseña, donde los estándares determinan con claridad lo que tiene que saber un alumno que recibe una determinada nota, hacen que el sistema finlandés sea, como dice Inger Enkvsit: «bueno, bonito y barato».

Artículo de Opinión publicado en diferentes medios de comunicación el pasado 10 de febrero de 2012