Con motivo de la inminente implementación de las pruebas PISA en nuestro país el próximo mes de septiembre, queremos desde el Observatorio de Políticas Educativas alzar una voz sobre las evaluaciones externas y las pruebas Pisa en particular. Este año 467 escuelas argentinas realizarán la prueba por primera vez de manera digital. Para reflexionar sobre ello, la Mag. Marisa Mazza dialogó con Susana Celman, Licenciada y Profesora en Ciencias de la Educación por la UNL y la UNER, una referente en la temática de Evaluación.
Celman fue también Profesora titular de la cátedra de Evaluación de las carreras de Ciencias de la Educación y del Profesorado en Comunicación Social de la UNER. Dirigió las carreras de Especialización y Maestría en Docencia Universitaria de la UNER y es docente a cargo de seminarios de posgrado en universidades de Argentina y Uruguay. Ha realizado, junto a otros colegas, numerosas investigaciones y trabajos de extensión. Ha publicado libros en co-autoría en Argentina y Brasil, y participado en congresos, jornadas y simposios con trabajos sobre la Evaluación Educativa.
OPE: ¿Cómo repercute la información que arrojan las pruebas Pisa en la elaboración de políticas educativas?
Susana Celman: Es una instancia evaluativa diseñada y aplicada por organismos técnicos internacionales que se propone producir información comparativa sobre el rendimiento escolar. Es un instrumento estructurado y estandarizado que toma datos, los sistematiza y los pone a disposición. En cuanto a su sentido y finalidad, podemos verlas desde, al menos, dos perspectivas. Primero desde el punto de vista de las finalidades de estos operativos (en los documentos fundantes aparece una explicitación de esto) y luego desde el lugar de otros sujetos, otras instituciones que pueden hacer uso de esa información.
Las pruebas pretenden/intentan evaluar la eficiencia y eficacia de los sistemas educativos. Se cree que cuantos cuanto mejores resultados obtengan los estudiantes, es mejor el sistema educativo, porque implementa medidas para que los estudiantes puedan resolver las pruebas. Hay un supuesto que consiste en pensar que los resultados en estos exámenes, indicarían el nivel de desarrollo, éxito o calidad de los sistemas educativos en cada país. Con estos datos, se establece un ranking que indica el lugar relativo de cada país. Si los estudiantes obtienen un rendimiento alto, se supone que el sistema educativo funciona bien. Si no lo logra, se supone que ese sistema educativo presenta problemas, dificultades, fallas en su organización y diseño para el logro de sus objetivos. Desde mi punto de vista, estas afirmaciones son un tanto simplistas, pues los rendimientos de los estudiantes en unas pruebas son la resultante de una enorme y compleja red de factores (alimentación, salud, accesibilidad, procesos socio-culturales y familiares, por citar solo algunos de los más estudiados). Imaginemos qué complejo es pensar las relaciones de un sistema educativo para la enorme diversidad de estudiantes que debe incluir.
Por otra parte, cabe aclarar que en ningún país, todos los estudiantes logran resolver exitosamente la prueba en su totalidad. Algunas veces, pueden tener buen puntaje en un área y menos en otra. En estos estudios que refieren a objetos tan complejos como comparar y rankear sistemas educativos hay que tener cuidado con las conclusiones que se elaboran por simple asociación de unas pocas variables. Las PISA califican y sistematizan las respuestas, ante una prueba, de una muestra de estudiantes ante esos particulares ejercicios y problemas que un equipo técnico seleccionó derivados de los contenidos curriculares en algunas áreas. De allí que nos parezca arriesgado afirmar que esos resultados reflejan el nivel de desarrollo y calidad de los respectivos sistemas educativos.
Otro punto importante es quiénes diseñan, seleccionan los ítems y construyen las pruebas. Llama la atención que este instrumento no surge de equipos de investigación educativa. Estas pruebas fueron elaboradas bajo la órbita de la OCDE (Organización para la Cooperación del Desarrollo Económico). ¿Por qué a una organización como ésta, le interesa medir la calidad del sistema educativo? Quizá se supone que aquellos países cuyos rendimientos son más altos en estas pruebas, producen más y mejores trabajadores y profesionales capacitados y están en mejores condiciones que otros para promover un desarrollo industrial, técnico, económico en general. Pero, nuevamente, cabe una advertencia: es necesario proceder con atención para no atribuirles a las pruebas unas intencionalidades o efectos que en realidad, en sus documentos fundantes, no aparecen. A modo de síntesis: La prueba no evalúa rendimiento docente, capacidad de los profesores, formas de enseñar. Tampoco evalúa organización escolar, financiamiento, diseños curriculares, etc. No los evalúa ni incide en su calidad. Y todos estos -junto a otros- son componentes centrales de los sistemas educativos.
Las críticas a PISA
Celman admite: “no todos adhieren a su aplicación, por el modo en que se obtienen los datos, por la forma de los instrumentos y sobre todo por tres razones: porque en su elaboración no han participado los docentes sino solo equipos técnicos; porque se juzga a partir deuna solo prueba y más que nada, por afirmar que los resultados traducen la calidad del sistema educativo. Hay investigaciones y especialistas que la critican a fondo. A título de ejemplo, voy a tomar una de ellas, que tiene que ver con la forma en que están construidas las preguntas, los ítems, ejercicios. Estas investigaciones afirman que los resultados que obtienen los estudiantes, sus éxitos o fracasos, dependen más de la inteligencia de los alumnos y sus habilidades para manejarse con estas pruebas, que de lo que aprendieron en la escuela. Por lo tanto, se cae la hipótesis de que el rendimiento en las pruebas mostraría la calidad del sistema educativo. Los críticos afirman, con estudios consistentes y serios, que la buena resolución de los ejercicios depende más de los chicos que de los aprendizajes escolares. Esto tiene que ver con la construcción de pruebas de esta naturaleza: tienen un formato, un modo de presentar el ítem, que no todos los adolescentes están habituados a resolver y a darse cuenta qué les está preguntando, qué tienen que marcar, de qué modo resolverlo.
Permíteme señalar brevemente una última cuestión: Los resultados de las PISA no constituyen información concreta y útil para el trabajo de docentes y directivos escolares. Son informaciones que, en última instancia, constituyen un insumo para los procesos de análisis y planeamiento, como un insumo más para dicho trabajo.
OPE: Pienso en la dificultad que se agrega este año en cuanto las pruebas van a ser hechas en formato digital. Va a mediar un dispositivo al que no todos están habituados.
Susana Celman: Totalmente, hay un componente nuevo. En algunas escuelas de ciertos países se han adoptado estas formas de enseñanza, aprendizaje y evaluación que incluyen el uso de tecnologías de la información y la comunicación desde antes de la pandemia. En otras, no ha ocurrido lo mismo. Es posible que en Argentina los efectos de la suspensión de la presencialidad sean diversos y no todos los estudiantes se encuentren en idéntica situación ante la exigencia de responder PISA usando un dispositivo informático. hacer evaluaciones habitualmente, en la vida escolar común. O hay adolescentes que, por realizar otras actividades no sólo en la institución escolar, están acostumbrados a enfrentarse a pruebas con diferentes alternativas. Pero hay otros lugares y culturas escolares y familiares donde esto no es habitual. Ahí aparece una dificultad: a lo mejor el pibe sabe la respuesta, pero no sabe de qué manera y en el tiempo disponible, expresarla en el formato de ese ejercicio y esa prueba. Ese es uno de los pilares de estas investigaciones: los resultados de pruebas como Pisa miden solamente respuestas de chicos más o menos inteligentes, o que saben más o menos que otros. Poder elegir la respuesta correcta depende de muchos factores, entre ellos, las habilidades y destrezas desarrolladas y ejercitadas para hacer frente a una prueba armada de este modo. En este caso, pandemia mediante y administración de las pruebas en línea, es probable que estos factores tengan un poder de incidencia mayor.
OPE: ¿Cuáles son las consecuencias posibles que le trae al país y a las instituciones educativas participar de estas pruebas?
Susana Celman: Las consecuencias dependen de quienes toman esos resultados para hacer algo con eso, o no hacer nada. La finalidad implícita y explícita en los organizadores de las pruebas ha sido brindar información a distintos colectivos, pero en especial a quienes formulan políticas públicas, en este caso políticas públicas de educación, para la toma de decisiones. De allí ha derivado la práctica de ubicar al país en un ranking internacional. Esto provoca distintos efectos en distintos colectivos. Por ejemplo, si nuestro país obtiene promedios de puntajes bajos, los medios de difusión pueden decir que el sistema educativo argentino es pésimo. Ese es un efecto de los resultados. Pero, desde allí, pueden derivar otras líneas de reflexión y acción: ver cómo están las escuelas, qué hacen los directores, la crítica a los maestros porque para algunos piden muchas licencias, proponer la extensión de la jornada escolar, rever el tema de comedores escolares, asignaciones por escolaridad. etc. toda una historia que ya no depende de la prueba sino del uso que le da un sector como es en este caso el periodismo o el público en general.
Otros efectos podrían ser los de empresas relacionadas con la educación decidiendo dónde invierten, qué, cómo y para quiénes difunden esa información, etc. O ciertas organizaciones de padres, ese 0,5% de la población que puede pensar “no vale la pena, no voy a poner mis esfuerzos en mandar a mis chicos a educar en la Argentina, voy a mandarlos a otro país”. Lo pueden usar políticos al señalar otros países como Finlandia, que se puso tan de moda: “ahí sí los educadores y los especialistas en educación trabajan bien, ese país sí sabe invertir en educación por eso los resultados en las pruebas son tan altos”.
También podrían tomar los datos para reflexionar sobre el planeamiento de políticas educativas para un país que sufre graves desniveles de segmentación y desigualdad social. Armar otras políticas con la intención de influir positivamente en los procesos cuyos resultados parecen expresar lo que estas pruebas miden: que los alumnos desarrollen esas habilidades solicitadas y así poder obtener mejores resultados, no solo para mostrar sino como condición para una sociedad más justa e igualitaria.
No simplificar lo complejo
Celman nos dice: “Me gustaría dejar en claro que los rendimientos en educación y salud no depende de un solo factor. En el caso de la salud, por ejemplo, no depende sólo de la actividad profesional de médicos y enfermeros, sino también de las condiciones de higiene, herencia, vacunas, alimentación, por ejemplo. Y en educación podríamos señalar la actividad de los docentes, y también, por ejemplo, la disponibilidad de medios para estudiar, para desarrollar esas habilidades, o el acceso a las tecnologías. No hay que caer en una simplificación, eso no es trabajar el tema con rigurosidad y seriedad. Claro que influyen la calidad de los edificios, la disponibilidad y habitualidad del uso de ciertas formas de trabajo, la formación de los docentes, las posibilidades y expectativas del núcleo familiar y del entorno social de referencia… Sin embargo, estos y otros elementos no inciden siempre, ni en todos los casos.
Los estudios complejos en educación dicen que estos rendimientos son la confluencia de una multiplicidad enorme de factores, algunos muy estudiados y conocidos. Por ejemplo, la alimentación. Se estudió que niños bien alimentados en la primera infancia tienen capacidades diferentes a aquellos niños que han sido alimentados precariamente. Están aumentando los índices de pobreza, es una alerta para pensar. No lo podemos medir, no tenemos un instrumento que mida y determine que, a menos cantidad de proteínas, menos capacidad para aprender. Lo que sí podemos afirmar es que el aprendizaje es resultante de una gran variedad de factores: alimenticios, edilicios, de salud general, factores que tienen que ver con expectativas y proyectos, las culturas.
Me parece espantoso que se llegue a medidas de simplificación mecánica que no producen ningún resultado, porque con solo aumentar los libros de química en una escuela, no va a mejorar los resultados de aprendizaje en esta área. Los rendimientos en ciencias, por ejemplo, son resultados de procesos muy complejos. Necesitamos laboratorios, formación de los profesores, interés y autoconfianza de parte de los alumnos, relaciones con la comunidad para trabajar con problemas reales propios de esa ciencia, etc. Por eso hay que tratar de diseñar proyectos educativos a largo plazo. En esta línea, es posible pensar que lo que da PISA podría ser una información que, junto al estudio de otras variables, permita diseñan políticas públicas. Un gobierno puede querer castigar a los docentes porque los resultados son bajos y ellos han hecho mal su trabajo. Eso podría ocurrir y sería una lamentable simplificación. Insisto: los resultados deberían servir para reflexionar, profundizar los estudios y diseñar estrategias de intervención sin descuidar la complejidad del tema objeto de estudio”.
Evaluaciones desde afuera
Celman hace una caracterización de tipo conceptual: “Son evaluaciones externas, desarrolladas por organismos y equipos externos a las escuelas, a los sujetos que las habitan, externas incluso a los países en los que se aplica. Entonces, esto trae otra complejidad: ¿cómo se adapta esta prueba? porque no sólo es traducir el lenguaje, también la estructura lingüística y del ítem para que sea comprensible y aplicable en países tan diferentes. Los equipos que trabajan en estas pruebas lo evalúan, pero otros encuentran dificultades que, pese a ello, persisten e inciden en los resultados. Por eso, hay que tener cuidado, porque aún dentro del mismo idioma, los regionalismos del lenguaje inciden en su uso y comprensión. Por ejemplo, no es el mismo lenguaje en Argentina que en Colombia aunque en ambos países predomina el español. El lenguaje es un componente central en la comprensión y elaboración de respuestas de los ítems de una prueba. Debemos considerar que en los resultados finales de estos operativos, no hay certeza. Su externalidad incluye, además, una relación lejana con las preocupaciones, la vida cotidiana escolar, y el diseño de sus propias tareas como miembros de una sociedad y cultura.
Si nos preguntamos ¿Le sirven a la señorita Rosita que está en la Escuela del Paracao los resultados nacionales de las pruebas Pisa? La respuesta posible sería: Y, le sirve como información general. Pero el trabajo, el día a día y su posibilidad de influir en futuros resultados es lejanísima. Los problemas de Rosita son otros. Entonces, ¿ella, conociendo los resultados, va a poder modificar el diseño de sus estrategias didácticas? No, para eso necesita otra información, otros trabajos de evaluación e investigación y espacios – tiempos colectivos para reflexionar y planificar otros modos de trabajar con sus estudiantes. Necesita aprender a investigar su propia práctica, en ese contexto y con esos alumnos y colegas.
Existen evaluaciones mucho más cercanas a la vida cotidiana escolar, de los docentes, de los alumnos y de los padres, nacidas desde el interior de las escuelas. Están diseñadas con la participación de sujetos involucrados en estas tareas y cercanas a los problemas que tienen, que afrontan cotidianamente y les sirven mucho más para su tarea de diseño de las estrategias de enseñanza y organización escolar, o de asistencia y capacitación docente, etc. Hay que distinguir esferas, posibilidades de impacto.
Nuestras (auto)evaluaciones
Celman habla así de las diferencias entre las pruebas externas y las que se desarrollan en el interior de las escuelas: “Las pruebas PISA miden, supuestamente, el rendimiento de la escolarización. Miden resultados del aprendizaje escolar. Pretenden hacer ranking desde los mejores a los peores y ver las variaciones de esos promedios cada tres años. Por otro lado, la evaluación formativa está pensada al interior del trabajo docente, del trabajo de enseñanza y los procesos de aprendizaje. Está diseñada no para medir sino para poder conocer y comprender, a través de una reflexión de lo que va pasando, heterogeneidades, diferencias, procesos particulares y distintos que ocurren para poder ayudar, colaborar, mejorar, facilitar la reflexión, la toma de conciencia. Permite diseñar, si es interés de los docentes y alumnos, prácticas para intentar aprender mejor, identificar estrategias de enseñanza para que los estudiantes puedan desplegar al máximo sus capacidades, sus formas de trabajo, o encarar otras, subsanar problemas, trabajan con los errores para deconstruirlos y poder aprender. Una de las finalidades centrales de este enfoque es aprender a través de la evaluación. Tiene finalidades mucho más cualitativas y los sujetos que intervienen son los que cotidianamente interactúan en los procesos de enseñanza y aprendizaje”.
OPE: Entonces, para los que estamos cotidianamente en las escuelas, ¿la evaluación formativa puede llegar a provocar cambios más generales?
Susana Celman: Sí, a la larga esa acción formativa podría incidir en resultados generales y globales. Pero cómo se hace, para qué, dónde están los impactos inmediatos y mediatos de una y otra, son diferentes. Una trabaja en niveles macro con políticas que pueden, a largo plazo, incidir en los cambios de resultados. Otra a nivel micro con otros procedimientos de toma de la información, no aplican una prueba. Reflexionan, anotan, conversan, dialogan. Las formas de trabajo son totalmente distintas. El efecto más genuino de una evaluación formativa es que los sujetos tomen conciencia de esas problemáticas y puedan intentar cambiar cosas para mejorar en su práctica individual o de pequeños grupos. Por eso es formativa, porque educa a los propios sujetos, los forma. En cambio, las evaluaciones externas comunican los resultados, pero de ahí a que los sujetos cambien su actividad y conducta, hay un mundo.
Desde mi trayectoria y formación, fui muy crítica con las pruebas PISA. Cuando surgieron, nos parecía que estaban hechas con la intencionalidad de armar un ranking para mostrar lo que ya se sabía: que los resultados obtenidos en ciertos países iban a ser más altos que en otros, y que estaban hechas para convalidar y confirmar esas jerarquías. Sosteníamos que iban a convalidar las diferencias sociales, políticas, económicas de un sistema mundial que está plagado de desigualdades, y del cual la educación es un componente y una resultante más. Y sigo pensando que esas desigualdades operan a raíz de intereses de sistemas de poder cada vez más concentrados y más poderosos. Esto lo digo hoy y no desde aquellas épocas. Entonces, lo que molesta y preocupa es la parcialidad de los juicios que se hacen a partir de la aplicación de instrumentos como estos.
En Argentina nos preocupan las diferencias de resultados tanto como los procesos de desigualdad social, la justicia educativa, las diferenciaciones en cuanto a la posibilidad en ciertas regiones, la capacidad de acompañar y asistir a los estudiantes; problemas constitutivos que debemos trabajar y afrontar. Nos preocupa que se deriven fondos a estos operativos que sabemos cómo van a dar o, al menos, tenemos una aproximación estimativa. Si hay que incluirse en las PISA para poder tener esta información global, cuantitativa y de brocha gorda, bueno, la haremos.
Pero mi mayor preocupación es que sigamos ocupándonos por las problemáticas que existen en nuestro país, y no necesitamos de las pruebas PISA para conocerlas y comprobarlas. La justicia educativa, propiciar ambientes y lugares en donde sea posible el aprendizaje trabajando con los factores que inciden en él, y trabajando en otras esferas que seguramente van a incidir, donde la expectativa de trabajo, de vida, de información sea más alta. Que se propicien cambios para las familias y los chicos y que la educación tenga un sentido desde sus vidas, desde sus trayectorias, sus proyecciones, en donde sepan que vale la pena hacer este esfuerzo, y que es posible.
Palabras finales
Celman nos deja importantes reflexiones y una punta de lanza para tomar en la construcción de políticas educativas: “Se trata de construir entre todos un futuro mejor, no sólo económico, sino también política y éticamente mejor. Con procesos de continuidad democrática, de formación, que intente sostener a los docentes en su trabajo cotidiano con algunas medidas, sostener a las familias con condiciones de vida digna. Ahí la educación cobra otro sentido, tiene otro lugar, otra posibilidad de gestarse. Hoy no haría de la batalla contra las pruebas PISA el eje de nuestro compromiso. Creo que debemos poner los esfuerzos en esto otro que es urgente y muy complejo de abordar”.