PISA for the Schools o como aumentar el impacto de la evaluación


Cualquiera sabe que la evaluación es el procedimiento o conjunto de procedimientos que nos permiten obtener información relevante (fiable y válida) para tomar decisiones que, eventualmente, optimicen el objeto evaluado, ya sea éste un programa, una escuela o cualquier otro aspecto relevante de la realidad educativa.

DESCARGAR INFORME
La evaluación, como mucha gente sabe, implica realizar un juicio de valor sobre la realidad evaluada, juicio que dimana de la comparación entre la realidad objeto de interés y una determinada instancia de referencia, comparación que requiere tener en cuenta determinados criterios.

La cuestión de las referencias es esencial en cualquier proceso de evaluación, ya que el juicio que se derive de la comparación dependerá de la referencia elegida. Cuando se trata, por ejemplo, de la evaluación del rendimiento de los alumnos, estas referencias pueden ser diversas (no es el caso discutir la pertinencia de cada una ahora): normativa, criterial, dominio, ipsativa.

Pero a nadie se le escapa que siendo importante una referencia interna y próxima, como puede ser para un padre (o un alumno) buscar respuesta a la pregunta: ¿qué tal va mi hijo (o qué tal voy) con arreglo a lo que usted demanda?, no es poco importante responder a esta otra: ¿y respecto a sus (mis) compañeros? Esto implica juicios que se derivan de comparar el rendimiento del alumno con un criterio establecido por el profesor o con el nivel de logros de sus colegas.

Ahora bien, supongamos que soy el profesor o el director del centro educativo, o el responsable de un conjunto de centros, comunidad, etc., responder a la pregunta: ¿cómo es el nivel de aprendizaje de nuestros alumnos en relación con el logrado en otros centros educativos (incluso países) que nos sean comparables?

Ya puede el lector apreciar que según sea la referencia, así serán las preguntas que se pueden responder. A mi juicio, cualquiera de las preguntas planteadas tiene su importancia, su lugar en el proceso de enseñanza-aprendizaje y su implicación social también. En un mundo cada vez más globalizado (perdón por el lugar común, pero es así), conocer mi posición respecto a diversas instancias de comparación es esencial, por ello me parece que este proyecto del que ahora hablaré es del máximo interés educativo y de gran calado en lo que a la mejora de la calidad del aprendizaje de nuestros alumnos se refiere. Podremos discutir de qué se debe evaluar, hasta de cómo hacerlo, lo que no es discutible es la pertinencia de la evaluación para la mejora del sistema educativo.

No debe quedar casi nadie en este país que no sepa lo que es PISA, que se ha convertido en un referente de la evaluación internacional constituyendo, junto con TIMSS y PIRLS, una herramienta importante para la planificación y el análisis de la situación de los sistemas educativos.

Hemos hablado de PISA y de TIMSS y PIRLS en este blog en diversas ocasiones, así como de la necesidad de establecer estándares que fijen lo que los alumnos deben saber y saber hacer en las materias del currículo, así que no voy a volver sobre ello.

Tampoco parece necesario incidir más en la importancia de la evaluación como elemento esencial de la calidad (puede verse el número monográfico de la Revista ESE que he coordinado en 2009 sobre este tema, en particular el trabajo del profesor de la Orden que puede descargarse aquí). Es claro para todos, debería serlo, que la evaluación es la herramienta esencial para la mejora de la educación.

Los informes PISA a los que estamos acostumbrados, por razones técnicas complejas que no son de fácil comprensión para los no técnicos y que desde luego no son propias de este post, pero que en parte se pueden ver en este monográfico de la Revista de Educación, tienen un inconveniente operativo importante referido a las escuelas o a los alumnos.

Este inconveniente es que no permiten estimar puntuaciones con un nivel de desagregación menor que el de un país o Comunidad Autónoma, entre otras razones por el tipo de muestreo (tanto de sujetos como de ítems) que se lleva a cabo. Por eso, cualquier imputación que se haga de las puntuaciones a un centro educativo y, menos aún, a un alumno es gratuita y errónea. Lo señala claramente la profesora Martínez Árias cuando advierte, en su excelente artículo del número referido más arriba, que: Las puntuaciones no son puntuaciones individuales y no sirven para el diagnóstico de los sujetos, sino solamente para la estimación de parámetros poblacionales consistentes.

¿Qué puede entonces hacer una escuela con los resultados de PISA que conocemos? La verdad es que, aparte de estudiarlos para ver cómo va su país respecto a otros, poco más.

Esto se solucionará, dentro del esquema de lo que PISA evalúa, con el proyecto para las escuelas. Lo que se pretende es evaluar, en las escuelas de los países que opten por ello, qué saben y qué saben hacer sus alumnos respecto a la Comprensión Lectora, las Matemáticas o las Ciencias.

Aunque supongo que esto puede ser objeto de variaciones y mejoras, el informe comienza con un sumario de resultados para la escuela, que recojo en los gráficos que siguen.

En primer lugar (figura A) se ofrece la información respecto a la posición media en cada una de las materias. Como se sabe, PISA utiliza una escala que tiene de media 500 y de desviación típica 100. Estos valores medios van acompañados de su error típico, lo que permite calcular los intervalos de confianza pertinentes (no vamos a entrar en esto ahora).

Es muy importante entender que la media puede ser un indicador engañoso, lo es de hecho si no tenemos más datos. Nos interesa saber cómo se distribuyen los alumnos con arreglo a los distintos niveles de rendimiento que vienen expresados por la escala (los que no estéis familiarizados con estas escalas podéis pinchar aquí para una explicación sencilla).

En segundo lugar, se indica el porcentaje de alumnos en cada nivel de la escala (figura B), lo que nos da una visión mucho más precisa de cómo está nuestra escuela en las tres materias, cuántos alumnos tienen rendimientos altos, medios o bajos. Es del máximo interés, como se comprende, "ir más allá de la media".


Pero como decía más arriba, además de saber cuáles son los resultados de la escuela en cuestión, parece importante tener una idea de cómo esta escuela se sitúa respecto, por ejemplo, al país al que pertence la escuela. En los gráficos siguientes se puede ver cuáles son los porcentajes de "mi escuela" en cada nivel de la escala -que recordemos está unida a un referencia cualitativa que expresa lo que los alumnos saben y saben hacer en la materia de que se trate- y cuál es el porcentaje en el país, lo que me permite ver comparativamente mi situación. Quizá alguien piense que las escuelas no son comparables porque sus alumnos no son iguales ni parten del mismo punto. Es cierto, el informe también ofrece comparaciones entre escuelas que sí son comparables; es decir, que tendré ocasión de ver cómo estoy respecto a otros centros similares al mío. ¿Similares en qué? Pues en aquellos factores que impactan en mayor grado en el rendimiento y que suelen venir sintetizados en el índice de estatus socioeconómico y cultural. Este apartado, en el que aquí no entro para no alargarme, lo podéis encontrar en el informe.




¿Pero cómo está mi escuela respecto a las escuelas de otros países? Porque claro, mis alumnos tendrán que insertarse en un mercado laboral del tipo que sea, en el que tendrán que competir (o mejor, estar a la altura) de lo que las empresas demanden. No parece necesario justificar esto, cualquiera comprende que no vivimos en una isla auto-suficiente, por lo que preparar a nuestros ciudadanos adecuadamente no es cuestión baladí en lo que al desarrollo social se refiere.

En esta última figura que quiero presentar se ve la posición de la escuela del ejemplo respecto a tres países tomados como referencia: el propio de la escuela, uno de alto rendimiento y otro de bajo. Al mismo tiempo se indica el porcentaje de escuelas en cada país y materia por encima y debajo de diversos niveles de rendimiento.

Hay muchas otros datos y comparaciones que se pueden estudiar en el informe y que aquí no recojo. Quiero señalar que en el propio informe hay muchos enlaces a páginas web y documentos de la OCDE en los que se explican  multitud de aspectos relacionados con PISA.

Copio, así mismo, para mayor comodidad, los enlaces que figuran en la página del Instituto Nacional de Evaluación Educativa sobre este tema, que son de mucho interés.

PISA para Centros Educativos (PISA for Schools)

Información básica sobre PISA para Centros Educativos

Nota de prensa de la OCDE

Acceso a la página de la OCDE: PISA for Schools

Acceso a la página de la OCDE: Nota de prensa sobre PISA for Schools

Me parece que estamos ante una iniciativa de la máxima importancia que podrá dar, a cada escuela, una información de extraordinaria utilidad para que analice sus prácticas educativas a la luz de los resultados y vea cómo lo está haciendo respecto a otras escuelas comparables.

Los padres conocerán el nivel de calidad de la educación de sus hijos, al menos en los aspectos a los que esta evaluación se refiere que no son los únicos ni los más importantes, pero sí de gran trascendencia en su formación.

Para los responsables de las administraciones educativas será de gran valor conocer cuál es el nivel de rendimiento de cada una de sus instituciones financiadas con el dinero de todos, del nuestro.

Los ciudadanos, en suma, podrán conocer con mayor grado de detalle la calidad de las instituciones que financian y en las que los "futuros" ciudadanos de este país se están formando.

Naturalmente, este tipo de evaluación no colisiona ni invalida otras ya en funcionamiento, sino que las complementa, entre otras cosas porque PISA no es una evaluación curricular en sentido propio. Lo digo una vez más: podemos discutir si los objetivos son unos u otros, si son más o menos, pero no podemos poner en tela de juicio la evaluación. La evaluación es el timón de la nave, suprimirla o trivializarla, con pretextos espurios, sería poner el sistema educativo al garete. Hace falta ahora saber a qué puerto dirigir la nave, por eso he hablado tanto de la importancia de establecer estándares de rendimiento.

Dejemos ya de exigir un tipo u otro de escuela de manera tan excluyente y contaria a la libertad personal y empecemos a exigir, en serio, una escuela de calidad con unos objetivos claros que respete las opciones educativas de las familias  A las que no alcancen el nivel adecuado, ayudémoslas a mejorar con los medios oportunos; los logros de las escuelas mejores pueden ser su mayor estímulo.

No hay comentarios:

Publicar un comentario en la entrada