En continuidad con la ronda de entrevistas con referentes de áreas específicas de Educación, abierta por el Observatorio de Políticas Educativas de la FCEDU, se presenta el diálogo con la licenciada Gloria Galarraga, docente de nuestra casa.
Este año 467 escuelas argentinas realizarán la prueba PISA, por primera vez de manera digital. Para reflexionar sobre ello, la magíster Marisa Mazza, integrante del Observatorio de Políticas Educativas de la FCEDU, dialogó con la licenciada en Ciencias de la Educación Gloria Galarraga.
Galarraga es docente de la Facultad de Ciencias de la Educación – UNER. Se desempeña en las cátedras Evaluación Educativa y Diseño y Evaluación de Proyectos Socioeducativos del Profesorado y Licenciatura de Ciencias de la Educación; en la cátedra Teoría Sociológica de la carrera de Comunicación Social y en Didáctica, problemática de la enseñanza y de la evaluación del Profesorado de Comunicación Social. Además es docente de la carrera Educación Especial de la FHAyCS-UADER y de módulos en licenciaturas en UADER Y UNL. Ha participado de proyectos de extensión universitaria y es coautora de libros y artículos.
OPE: ¿Cuáles son los supuestos epistemológicos y teóricos de las pruebas PISA y qué posición tenés respecto a las evaluaciones externas y a PISA?
Gloria Galarraga: Pregunta interesante, clave diría yo, para analizar PISA desde una perspectiva teórica e internarnos en la lógica específica para analizarla. Pero si me permitís, es clave presentar este dispositivo en el contexto histórico en que surge. Así entonces este mecanismo que en inglés corresponde a Programa para la Evaluación Internacional de Alumnos, se generó a través de la Organización para la Cooperación y el Desarrollo Económico, OCDE, que reúne a los treinta países más ricos del mundo. Este programa es concebido como un recurso para brindar información abundante y detallada para la toma de decisiones de los países miembros, con el propósito de mejorar los niveles educativos. La primera prueba se aplica en el año 2000, pero previamente hubo un laboratorio, en 1997,1998, con técnicos y especialistas de los países centrales en que se ajustaron ítems, alternativas, implementándose algunas pruebas muestrales en determinados países. Y no es casual que durante y fines de los 90, principios del 2000, ya surjan y se consoliden dimensiones que aún hoy siguen estando presentes en las agendas políticas evaluativas como son medición, resultados, rendimiento, tres palabras claves para identificar a estas políticas y a las pruebas PISA.
Si bien en los documentos se establece expresamente que no tiene que ver con controlar o medir aprendizajes escolares, resulta que las cohortes de estudiantes de quince años seleccionados están en situación de escolaridad y es en las concretas escuelas, en los horarios escolares y con toda la infraestructura del sistema escolar donde se las aplica. Esta aplicación tiene una frecuencia de tres años, es decir en un período trienal se aplican en países que las demandan, el nuestro es uno. Y resulta interesante la coincidencia que tenemos puesto que mientras se da esta entrevista, se está llevando adelante la aplicación 2022 del octavo operativo trienal de las PISA en nuestro país, que tiene la particularidad esta vez de la virtualidad. En 2021 se realizó una prueba piloto con esta modalidad. Argentina, excepto en el 2003 que no participó, sí lo ha hecho en 2000, 2006 y de ahí hasta ahora. La muestra, entre cuatro mil y diez mil estudiantes que participan de cada país, se organiza en función de una selección de saberes de la que no participan los gobiernos, obedecen fundamentalmente a medir rendimientos planteados en una estandarización, que tienen que ver con las competencias de las habilidades y destrezas que los estudiantes tendrían que tener para la resolución de problemas. En relación con las muestras, también debo decir que algunos países solicitan sobremuestras. Puntualmente las áreas disciplinares que se seleccionan son lectura, matemática y ciencias.
Estas pruebas se organizan de manera uniforme, sin contextos. Estas consideraciones entiendo no son menores para introducir lo que subyace respecto a la visión del conocimiento, una concepción positivista que está aislada de un sujeto y de un contexto en donde adquiere sentido y significado. El conocimiento aquí lo constituyen básicamente los hechos, los datos empíricos como algo externo y ajeno al sujeto, como algo dado. Objetiva las relaciones sociales con el fin de limitar al máximo el factor humano por vía del tratamiento neutro. A los procesos mentales los reemplazan las leyes de la conducta. Conocer refiere a mencionar datos, el sujeto que conoce es un receptor pasivo que acepta y acumula información.
He tenido la posibilidad de obtener información acerca de algunos ítems de los que se les va a solicitar a les estudiantes en la implementación de este año y también en la que se planteó para agosto del 2021 a modo, como decía, de pre-prueba. Las PISA organizan una ‘complejidad’ que tiene que ver con las competencias, puntuadas en actividades a las que tiene que llegar el estudiante y de las que debe dar cuenta. Quisiera detenerme un momento en la categoría competencia: creo que ha vuelto y para quedarse, remozada y con muchísimos bríos a partir de los 90. Parecería ser que todos sabemos de qué hablamos cuando mencionamos este concepto y me parece que se torna necesario desnudar algunos sentidos como también delimitar sus contextos de surgimiento.
En la cátedra Evaluación Educativa trabajamos detenidamente la importancia que tiene el contexto de elaboración como la necesidad de evaluar la introducción de conceptos nuevos y así desocultar las ideologías que subyacen, sus consecuencias como sus funciones. Decimos que la introducción de conceptos merece un análisis cuidadoso porque ellos explicarían los motivos por los que se proponen en un momento dado, las necesidades y los problemas que tratan de solventar. De olvidar estas referencias, utilizamos las palabras sin contextos y las hacemos coincidir tanto con prácticas reproductoras como pretendidamente emancipatorias. Entiendo que hay que ser cautos en esa introducción para no quedar atrapados en el uso de conceptos que se disfrazan de innovadores pero que en las prácticas educativas continúan reproduciendo situaciones y usos conservadores.
En este horizonte me preocupa mucho la vuelta, con mucha fuerza, de conceptos tales como mérito, control y competencia, y cómo operan en políticas educativas y de evaluación. Valiosas referentes del campo educativo han trabajado copiosamente el concepto de competencia; y con nuestro equipo de cátedra la abordamos desde sus orígenes. Ya Platón la usa y, desde el griego, el significado que tiene es la capacidad de llegar, quién es capaz de llegar, cómo se llega. Ya este filósofo planteó ese lugar de competencia identificado con el tema de la capacidad.
Haciendo un salto, en el siglo XX se la retoma con distintas aproximaciones. En las dos primeras décadas de ese siglo, remite al desempeño exitoso en el cumplimiento de las tareas específicas. Lo podemos incorporar en clave curricular con el pensamiento de Bobbit, como de la Teoría de la Administración con Taylor. Y aquí subyace el currículum organizado sobre la base de resultados de aprendizajes desde una concepción behaviorista, conductual. Ese currículum está organizado para que el rendimiento sea exitoso, es decir, para que se llegue a lo pautado previamente. Por eso, la importancia de los objetivos y de la modificación observable de conducta para que el sujeto adquiera esas competencias, a partir de haber tenido un buen rendimiento, en contraposición con el fracaso. En los imaginarios sigue estando esta cuestión de identificar la evaluación con el éxito y el fracaso.
Una tercera aproximación a esta categoría es el intento de integrar atributos y contextos. Se dice que son necesarios para el desempeño en situaciones específicos; se mira la capacidad de actuar de manera eficaz en un tipo definido de situación y no tanto las habilidades disciplinarias y su aplicación.
Para que quede claro, desde mi punto de vista, en las competencias subyace la noción de individuo y de adquirir determinada capacidad.
Me gustaría introducir a modo de una experiencia que en los 80, con la vuelta a la democracia y con la realización de los concursos docentes en nuestra facultad, la didáctica y la evaluación desde la perspectiva crítica nos presentaron diferentes miradas a la tecnocracia, esa perspectiva meramente técnica de la didáctica y la evaluación. Susana Celman, maestra entrañable, inicia un derrotero inclaudicable, produciendo con otras colegas de la región de las universidades públicas los debates, paradojas y desafíos de lo que se inicia en la disputa del campo disciplinar como evaluación formativa.
Retomando entonces el discurso presente en sus documentos, las PISA tienen que ver no con mirar a las habilidades disciplinarias y sus aplicaciones sino a la capacidad de actuar, la capacidad de demostrar. Es un recurso con el cual resolver los problemas que se le presentan en esas tres áreas fundamentales del currículum. Esta perspectiva tecnocrática de las PISA, que tendría que ver con levantar, barrer información, uno puede relacionarla con los marcos teóricos y epistemológicos. Yo sumo una cuestión de contexto: el conocimiento desde la perspectiva democrática reflexiva, la perspectiva de conocimiento en un contexto socio-histórico particular, donde los sujetos van conociendo en función de las modificaciones del objeto de conocimiento que se le presenta, con toda su historia. Para la perspectiva crítica del conocimiento, no hay conocimiento sin sujeto y sin contexto.
Esa cuestión queda muy diferenciada, incluso después de una pandemia. Por un lado, lo que sabemos en clave de conocimiento a partir de las investigaciones educativas, de los datos estadísticos, lo que fue y lo que produjo la pandemia: mayor desigualdad, no solamente en las computadoras y la conectividad, sino desigualdades simbólicas, económicas. Estos sujetos de 15 años, después de lo que vienen de vivir, van hacia la experiencia terrible de incorporarse a una prueba, a un instrumento en el que se encontrarán con técnicos y otra gente.
Esas instancias podrían ser regionales, construidas desde los institutos, con los docentes en prácticas, en servicio, con los directivos, con los supervisores, con las familias, con la universidad por qué no. Hay otras propuestas que, entiendo, enriquecen muchísimo más.
OPE: ¿Las PISA propician la comparación entre países que son incomparables?
Gloria Galarraga: Exactamente. Son incomparables por múltiples y diversas razones, aunque las de tipo sociales, culturales, simbólicas, tienen una preeminencia que no las podemos soslayar. Pero la comparación más grosera, podríamos decir, es que valiéndose de la utilización de tabulaciones se procesan y validan los resultados de cada país y de allí salen los rankings. Traduciendo entonces, los países que mejores puntuaciones tienen son los que ostentan la mejor educación del mundo. Realmente muy preocupante, por lo lineal, simplificador y arbitrario. Incorporo a esta situación que no es un detalle menor venir de dos años de encierro. No tendríamos que hacerlo normal a este contexto histórico particular.
Argentina participa desde el año 2000. Han pasado 22 años y siguen manteniendo la uniformidad en las pruebas y la homogeneidad en los sujetos, sobre territorios donde hay diversidad y heterogeneidad de saberes. Las pruebas no retoman ni recuperan contenidos ni saberes de nuestras regiones, idiosincráticos, fundamental para enmarcar esos saberes y terminan siendo los que son definidos desde los planificadores de la OCDE. Otra intención de las PISA es brindar a los países esa información tabulada, que seguramente es necesario tener para saber por dónde andamos con nuestros estudiantes. Ahora, ni las pruebas PISA, ni los operativos APRENDER, cada uno en su especificidad, pueden brindar una información que pueda ayudar a tomar decisiones para una mejora, que sería el ABC de la evaluación educativa. La evaluación educativa es la búsqueda de información rigurosa para generar un juicio de valor, y el horizonte es la mejora. No hay evaluación si no hay juicio de valor.
En la prueba, se intenta ordenar, en función de las respuestas, las complejidades muy atadas a la información y a las preguntas. El punto sigue siendo que las preguntas se pueden responder tildando alguna de las alternativas, puntúa la correcta. Estas pruebas objetivas son de difícil construcción, pero de facilísima corrección y, más aún, hoy disponiendo de los dispositivos tecnológicos.
Estos instrumentos, además, no son objetivos, bandera que la tecnocracia se encarga de justificar, dado que alguien las construye, las estructura, pone el énfasis, la coma en determinado lugar, hay alguien que decide las alternativas. No es una cuestión ingenua ni neutral. En todas las prácticas sociales siempre hay una subjetividad porque está el sujeto, una respuesta a un para qué. Estas pruebas intentan medir cosas que no son las que nos importan, que son las instancias que producen conocimiento, que colaboran en la formación desde la evaluación. Desde el aprendizaje nos importa ver los errores, el ida y vuelta, cómo se van produciendo aprendizajes que la evaluación posibilita.
OPE: Es interesante esta puntuación de «nosotros hablamos de sujetos, ellos hablan de individuos», que marca la perspectiva desde la que estamos situados…
Gloria Galarraga: Tal cual, en el campo disciplinar de la evaluación estas perspectivas o enfoques, de los que hablaba en el principio de esta entrevista, reponen todo el tiempo los supuestos que subyacen en ellos, esto es la idea de conocimiento, de sujeto, de evaluación, de aprender, de enseñar. Creo que, en muchas oportunidades, el tema es cómo se didactiza a partir de ese instrumento y qué es lo que está planteando, buscando, y también lo que no se negocia. Acerca de las evaluaciones en general, y PISA en particular, no nos han podido brindar información sobre aprendizajes en términos de apropiarse de éstos. Pueden ponderar datos, algunas operatorias cognitivas sencillas. Qué ricos serían los procesos teniendo en cuenta los tropiezos, que no están dados por los informes de PISA ni de APRENDER, sino por las problemáticas que nosotros relevamos en la pandemia, las problemáticas que ya teníamos, las situaciones de mejora, de detenerse porque no sabemos cómo seguir. Hacer una cuestión circular, más dialéctica, más dinámica que mirar una linealidad o una instancia de cierre.
OPE: En la evaluación se ve claramente mucho más que en cualquier otro momento la existencia o inexistencia de la distribución de poder.
Gloria Galarraga: Creo que siempre se juega un tema de poder y su distribución. A mí me sirve muchísimo la noción de campo social de Bourdieu, como espacio social de lucha donde se disputa un capital en el cual el centro del campo es el poder. Quienes lo tienen no quieren compartirlo, allí se concentra. Todos los que estamos disputando en un campo, en este caso el de la evaluación, disputamos el poder en muchísimas cuestiones y con estrategias de conservación como de subversión.
En este sentido, volviendo a las PISA, creo que ha habido instancias y las sigue habiendo, donde hemos militado públicamente la crítica, con orgullo desde nuestra cátedra universitaria, con otros actores educativos principalísimos como nuestro sindicato docente, AGMER, base de CTERA, en términos de producir contrapropuestas que tengan que ver con instancias regionales por sobre las regiones y subregiones que tenemos. Cuando un sujeto no puede comprender una palabra, uno lo está inhibiendo desde el poder, desde la posibilidad de jugar ese juego. PISA tiene cuestiones que tienen que ver con qué significan ciertas palabras que están incorporadas en un vocabulario que no es asequible para todos los sujetos. Puede ser hermoso en la comprensión para determinados pibes y pibas de 15 años de determinadas regiones, que no tienen inconveniente en esa primera lectura. Pero otros y otras no van a estar en la misma situación. Entonces es necesario, es imperioso mirar el tema de las desigualdades. Para mí es central. Por eso aprovecho a hacer mención a la obligatoriedad de la educación secundaria, que nos llega en el 2006. Falta mucho aún pero no puedo desconocer el esfuerzo que se realiza para que los chicos y las chicas puedan cerrar su escolaridad secundaria. La articulación con la educación superior, que es un derecho humano, presenta dificultades que no podemos desconocer. Una de las temáticas puntuales y urgentes a tramitar es producir conocimiento acerca del inventario de que nos dejó la pandemia y cómo estamos caminando en esta post-pandemia.
OPE: ¿Cómo se entrecruzan este tipo de dispositivos como PISA, con los tipos de evaluaciones que se proponen en las escuelas desde la evaluación formativa, la evaluación en proceso?
Gloria Galarraga: Sinceramente creo que este dispositivo tiene muy poco que ver con las evaluaciones en las escuelas. Primero, porque en las instituciones el sentido de las PISA no sé si se internalizó. Luego, por las respuestas que uno recibe cuando pregunta, más cuando conoce en qué instituciones se va a aplicar, porque tampoco eso es autonomía de la escuela sino que hay una imposición de muy mal gusto. Y, por otro lado, ¿para qué PISA? Si es para saber y decirnos que Argentina está en los últimos lugares y que se ha mantenido estable en esas estandarizaciones que se hacen y demás, esa información no es información. Es dato. Sería bueno conocer las maneras en que cada jurisdicción y el Ministerio de Educación de la Nación define estas cuestiones.
Es y resulta muy distante este dispositivo con lo que pasa en las escuelas reales. En el interior de las escuelas se dan procesos más ricos y productivos, más educativos. Los errores son muy productivos en términos de decir a qué obedecen, de dónde vienen, cómo está pensado, de qué manera se producen las relaciones, cómo se significa el nuevo contenido, cómo se lo relaciona con el anterior. Estas cuestiones y seguramente muchísimas otras marcan un proceso; el del sujeto que está aprendiendo.
Los procesos evaluativos tienen que finalizar en nuestra educación formal con una calificación, que no da cuenta muchas veces de los procesos evaluativos que se han llevado a cabo. Y en esta instancia de evaluar cómo va ese proceso, mi mirada es que las instituciones están muy solas.
Me gustaría aquí compartir lo que entiendo como una valiosa experiencia en clave formativa. A principios de 2021 el Consejo Federal de Educación produjo un documento, producto del acuerdo entre todas las provincias, que se denominó «La Evaluación Formativa como cambio epocal». Lo que se escribió en ese documento son unas líneas para mirar el proceso de trabajo, tanto de los estudiantes como de los docentes. Se podía ir concretando y comunicando a través de los informes. Cada formato constituyó cuestiones muy problemáticas, problematizadoras para los colegas y para las familias. Pero fue un intento que abrió compuertas para poder sentarnos a pensar cómo comunicábamos, dado que la comunicación es una llave del acto educativo. Pienso que a ese documento habrá que recuperarlo, mejorarlo, seguir complejizándolo, pero dio en el clavo, organizó una mirada que no es menor para las producciones, informes y reflexiones en la tarea docente. Estos aspectos no son los excluyentes pero son estratégicos.
Uno lee ese documento y lee el dispositivo PISA y se da una paradoja en ese análisis, es hasta contradictorio. Entonces hay herramientas para pensar situaciones colaborativas al interior de las instituciones mirando la evaluación, el proceso, el inicio, el durante y esas trayectorias reales, categoría que nos enseña Flavia Terigi. Cómo se va operando toda esa trayectoria, poder tomar esto, sabiendo que no tomo el todo. Sabiendo que es muy relativo incluso lo que tomo. Por eso es tan necesaria la explicitación de los criterios, porque estoy tomando algunas cuestiones y muchas veces las huellas que deja la evaluación en los sujetos son terribles. Los marca con un número que los representa como estudiantes.
Qué necesarias son estas instancias de poder sentarnos a intercambiar reflexiones que uno trae y que incitan a intervenir en la práctica. Es una de las cuestiones que Freire nos ha dejado. Uno toma las problemáticas de la práctica, las lleva a la teoría, para comprender con determinadas mediaciones conceptuales y para volver e intervenir en la práctica. En ese sentido creo que los dispositivos tienen valor y sentidos.
Los sistemas educativos tienen que mostrar, dar cuenta de situaciones que los dineros públicos organizan para que se puedan comprender los procesos de trabajo, y conocer las situaciones de aprendizaje, las dificultades y demás. Es una práctica que hay que hacerla. Ahora, que los propios sujetos que intervienen en esas prácticas no tengan participación, no puedan colaborar, no puedan plantear o plasmar determinadas cuestiones, es la trampa. No es ético. Tanto PISA como los operativos APRENDER están mirando algo del sistema que los estados acordaron. Y Argentina está rankeada para PISA en el puesto 65. Ese dato está disponible inmediatamente pero ¿en qué contexto?, ¿reconocemos a nuestros chicos de 15 años después de pandemia? No lo sabemos, como tampoco a los de 15 de China, ni de Corea. Es todo muy arbitrario.
OPE: Haciendo memoria, un relato del comienzo de las pruebas PISA en Argentina. ¿Cuáles fueron las reacciones?
Gloria Galarraga: En el ’97, ’98, cuando se empieza a generar este laboratorio, la OCDE fue absolutamente discrecional en las decisiones. Esas decisiones las tomaron 30 países y en lo que resulta aislar esa muestra, incorporarle preguntas, determinado contenido: en lengua se decía la dimensión comprensiva, en matemáticas la operatoria, en ciencias los procedimientos. Pero esas comprensiones, esas operatorias, esos procedimientos son sin contextos porque éstos no resultan relevantes. Y aquí junto al avance del neoliberalismo, las competencias y las capacidades vuelven a protagonizar el escenario desde el individualismo y el rendir cuentas.
Ahí marca una perspectiva, una producción que empezó en el 2000. El período cada tres años se justifica por el trabajo que llevan los análisis de las muestras, devoluciones y la reorganización de las nuevas. Más allá de las decisiones estatales de dar continuidad a estos operativos se debieran incorporar otros modos de mirar en tiempo real cómo nuestros y nuestras estudiantes están aprendiendo y qué dificultades tienen.
Últimas reflexiones
La evaluación educativa me posibilita una perspectiva donde estoy identificada o donde conceptualizo mis prácticas. Si decimos que el conocimiento no puede pensarse sin sujetos, decimos que la evaluación situada es en contextos. Ahí ya empezamos a tener una severa diferencia de perspectivas, porque sigue siendo un escenario con algunos individuos sin contextos. Se inhibe de pensar en la comprensión y procesos como trayectorias reales, en qué aprendieron y cómo, que es un dato fundamental en clave de comunicación. Este no es el sentido de la prueba.
Es imperioso reconocer a estos sujetos de 15 años hoy. Primero y segundo año pasaron en encierro, en burbujas. Hoy están en tercero y de nuevo en las escuelas pero lo que vienen de vivir no es menor, entonces, ¿a qué exponerlos?, ¿no tendría que haber alguna pedagogía del cuidado?, ¿no tendría que haber alguna situación de mayor resguardo? En clave de las instituciones, de mirar a estos sujetos, de lo que van a poder ponderar o no. Eso me preocupa muchísimo porque ahora la psicología está produciendo, investigando y estamos conociendo y tomando contacto con experiencias que se han producido producto del sufrimiento, dolor, muerte. Y la psicología educativa también nos ayuda en esa comprensión. Estamos hace pocos meses en la escuela. En términos de tiempos históricos es nada. Y sin embargo, cuánto es para estos sujetos que tuvieron esta particularidad, que empezaron su secundaria en pandemia, que empezaron encerrados y siguieron encerrados y después con alguna burbuja y hoy con una presencialidad plena. Ahí hay que cuidar mejor. Dónde está ese otro que necesito que esté para que me organice alguna porción de cultura. Es un punto que necesitamos pensar, en estas pruebas en particular y demás.
Quisiera cerrar con una perspectiva más de desafío, de pensar que hay propuestas, que no es sólo crítica. Nos corresponde como universitarios ir a estas cuestiones que subyacen, argumentar, mostrar perspectiva, y conocer y recuperar las perspectivas que hay. El enfoque que se suscita en el campo disciplinar de la evaluación, también un campo que nació de una manera absolutamente atada a la teoría de las facultades y que solamente a través de los test se tenía la objetividad y se evaluaba objetivamente. Esa historia que trae consigo la evaluación y que formateó maneras y espacios del conocimiento y de la escuela, es necesario desprendérsela, tramitar hasta con la propia contradicción. Es un desafío en el que estamos intentando trabajar todo el tiempo. Porque nosotros también somos producto de una historia y también vinimos con nuestras mochilas cargadas de control, rendición, rendimiento y éxito.
Fuente: Observatorio de Políticas Educativas
Notas relacionadas: Un análisis de las pruebas PISA desde la mirada de referentes de la FCEDU