Este 5 de diciembre, 2023, se dieron a conocer los resultados de la aplicación de la prueba estandarizada y muestral del Programa Internacional de Evaluación de Estudiantes (PISA por sus siglas en inglés), que es un ejercicio que realiza cada tres años la Organización para la Cooperación y el Desarrollo Económicos (OCDE), popularmente conocido como el club de los países ricos.
Los instrumentos de este programa permiten evaluar el uso de los aprendizajes (conocimientos y habilidades cognitivas estratégicas en formato de “competencias”), de los estudiantes de 15 años de diferentes países, mismos que han sido diseñados por la dirección de Educación de la Organización para la Cooperación y el Desarrollo Económicos (OCDE).
Según los documentos oficiales de esta evaluación internacional, “PISA ayuda a identificar las características de los sistemas educativos de mayor rendimiento, lo que puede permitir a gobiernos y educadores reconocer políticas efectivas que pueden adaptar a sus contextos locales”. (Informe 2015, versión digital).
La prueba PISA se aplica a estudiantes que se encuentran al término de la educación secundaria o en la fase inicial del bachillerato. Se parte de la premisa de que, al evaluar a estos estudiantes, se tendrían elementos para retroalimentar a los sistemas escolares, específicamente, de la educación básica de las naciones miembros de la OCDE y de otros países participantes de la prueba.
PISA indica que “La evaluación no determina únicamente si los estudiantes pueden reproducir lo que han aprendido, sino que también examina cómo pueden extrapolar lo que han aprendido (aprendizaje significativo por transferencia) y aplicar ese conocimiento en circunstancias desconocidas, tanto dentro como fuera de la escuela. Este enfoque refleja el hecho de que las economías modernas recompensan a los individuos no por lo que saben, sino por lo que pueden hacer con lo que saben”. (p. 3 del Informe 2015, versión digital).
Para el caso de México, si esta evaluación PISA fue aplicada en 2022, a estudiantes de 15 años, entonces éstos debieron haber iniciado preescolar a los 4-5 años, en 2011-2012, y la primaria en 2013. Por lo tanto, ellas y ellos transitaron la educación básica durante los dos recientes sexenios. Ese antecedente es importante considerarlo en la interpretación de los datos.
Análisis que aparece en el documento PISA (2022) sobre los datos publicados para el caso de México (intercalo algunas preguntas):
1) “Los resultados promedio de 2022 fueron inferiores en comparación con 2018 en matemáticas y ciencias, y aproximadamente los mismos que en 2018 en lectura.” ¿Significa que en habilidades de comprensión de lectura la variable “confinamiento por pandemia” no influyó de manera crítica o determinante en estos resultados?
2) “En matemáticas, la reciente caída (2018-2022) revirtió la mayoría de los avances observados durante el período 2003-2009, y las puntuaciones promedio se acercaron a las observadas en 2003 o 2006. En lectura y ciencias, solo pequeñas, y en su mayoría no significativas. A largo plazo se observaron fluctuaciones en torno al promedio histórico. Los resultados más recientes de PISA no difieren significativamente de los observados diez años antes, en 2012.”
3) “Durante el período más reciente (2018 a 2022), la brecha entre los estudiantes con puntuaciones más altas (10% con las puntuaciones más altas) y los estudiantes más débiles (10% con las puntuaciones más bajas) se redujo en matemáticas, mientras que no cambió significativamente en lectura y ciencia. En matemáticas, casi todos los estudiantes se debilitaron, pero los de alto rendimiento disminuyeron más que los de bajo rendimiento.” ¿Se consideran las historias de vida escolar (tipo de sostenimiento y organización de la primaria cursada, por ejemplo) de las y los estudiantes que participan en la prueba, independientemente de la condición socioeconómica?
4) “En comparación con 2012, la proporción de estudiantes con calificaciones inferiores a un nivel básico de competencia (Nivel 2) aumentó en 11 puntos porcentuales en matemáticas; aumentó cinco puntos porcentuales en lectura; y no cambió significativamente en la ciencia.” ¿Cuál es la causa estructural de este resultado, específicamente en la resolución de problemas de ciencias naturales y tecnologías?
5) “Resiliencia educativa”: “Alrededor del 12% de los estudiantes desfavorecidos en México lograron obtener puntajes en el cuarto superior del desempeño en matemáticas. Estos estudiantes pueden considerarse académicamente resilientes porque, a pesar de su desventaja socioeconómica, han alcanzado la excelencia educativa en comparación con los estudiantes de su propio país. En promedio en la OCDE, el 10% de los estudiantes desfavorecidos obtuvieron calificaciones en el cuarto superior del rendimiento en matemáticas en sus propios países
6) Importancia de la educación preescolar, según el documento PISA (2022): “En México, el 98% informó que había asistido a educación preescolar durante un año o más (promedio de la OCDE: 94%). En promedio en los países de la OCDE, los estudiantes que habían asistido a educación preescolar durante un año o más obtuvieron puntuaciones más altas en matemáticas a la edad de 15 años que los estudiantes que nunca asistieron o que habían asistido durante menos de un año, incluso después de tener en cuenta los factores del nivel socioeconómico.” Ello no debe hacernos olvidar que en México aún no se ha logrado la meta de atención universal en preescolar, es decir, para niñas y niños entre los 3 y los 6 años.
Una vez mostrado lo anterior, ratifico algunas reflexiones y observaciones críticas que he externado en este mismo espacio y en diferentes tiempos, tanto en 2019 como en 2021 (ver referencias al final de este texto) sobre el valor de la prueba PISA para la toma de decisiones en el ámbito de las políticas públicas educativas:
En prime lugar, hay que decir que esta evaluación hay que tomarla con extrema cautela. Aparte de la variable “confinamiento por pandemia”, las evaluaciones estandarizadas y diseñadas mediante métodos muestrales rigurosos no dejan de ser relativas y limitadas. Como lo dijera alguna vez un profesor de estadística: Las evaluaciones estandarizadas y por muestra nos dan una fotografía o una imagen verdadera, pero superficial. Es como tratar de conocer profundamente una ciudad a través de fotografías captadas desde un puente peatonal.
En comentarios sobre ediciones anteriores de PISA me pronuncié, por ejemplo, en torno al valor relativo de los datos presentados por la OCDE (PISA, 2015 y 2018), en el sentido de que los “rankeos” (ordenamientos por puntuaciones entre países) resultan ser verdaderas simplificaciones de la complejidad educativa que viven las naciones y sus sistemas-centros educativos locales. Por lo tanto, hay que mantener en duda la razón de fondo y las intencionalidades de los llamados “rankeos”.
Sobre las limitaciones y falta de profundidad acerca de lo educativo en la prueba PISA, me he preguntado: ¿Acaso no hay otros procesos de aprendizajes escolares que, hasta el momento, no han sido evaluados por esos proyectos internacionales y nacionales de evaluación tales como los aprendizajes generados a través de la educación artística, la educación física, la formación cívica y ética o la formación en ciencias sociales y humanas?
Más que pensar en las evaluaciones educativas de las y los jóvenes para el mundo del trabajo y para insertarlos a los círculos de la mercancía (con visión instrumental) ¿no sería conveniente evaluar los procesos educativos, formativos y aprendizajes que están implicados a lo largo de la vida?
Por otra parte, la visión “economicista” de la Prueba PISA es quizá uno de sus inconvenientes principales, que han sido, por cierto, señalados por especialistas críticos de diferentes partes del mundo, porque dicha prueba o instrumento no evalúa otro tipo de conocimientos o habilidades cognitivas distintas de aquellas que son identificadas como del tipo “llave” (key skills), en el enfoque de las llamadas “competencias educativas” (que pueden ser evaluadas por su desempeño o logro en términos de resolución de problemas).
Tanto la versión 2018 como la de 2022 de PISA se han dado a conocer en contextos complejos de cambios sociales importantes, a nivel global, que tienden a agudizarse no sólo en los planos de la cultura, la evolución vertiginosa de las tecnologías (sobre todo de la información y la comunicación); el cambio climático y las dificultades económicas en todas la latitudes, sino que, además, los informes se presentan en medio de otros conflictos sociales no registrados en los reportes anteriores como la migración de sectores sociales vulnerables y desplazados por conflictos étnicos, religiosos, políticos o socioeconómicos; por las guerras o conflictos armados regionales, y por los problemas generados por la discriminación y la violencia locales, entre otros.
PISA reconoce al respecto que “En promedio, en los países de la OCDE en 2018, el 13% de los estudiantes tenían estatus de inmigrantes, en comparación con el 10% en 2009. Los estudiantes inmigrantes obtuvieron un promedio menos bueno en lectura, alrededor de un año de escolaridad.”
La prueba PISA es relativamente valiosa porque evalúa, sobre todo, aspectos del desarrollo cognitivo (“competencias lectoras y desempeños mediante resolución de problemas matemáticos y de otras ciencias”), pero deja de lado otros aspectos clave de la educación escolarizada como son el desarrollo físico, las interacciones sociales, el trabajo en equipo y los “climas” de relaciones sociales entre los diferentes actores que conviven en la escuela.
Textos recuperados y recomendados:
“PISA 2018: Cinco reflexiones”, SDP Noticias, 4 de diciembre, 2019. https://www.sdpnoticias.com/columnas/pisa-2018-cinco-reflexiones.html
“Una crítica metodológica de las evaluaciones PISA”, SDP Noticias, 7 de mayo, 2021.
@jcma23
