Coinciden esta semana los resultados de PISA 2018 con la publicación de nuestro artículo en Journal of Education Policy sobre los problemas de validez intertemporal de los resultados PISA en América Latina 
Aprovecho para trazar un hilo de incoherencias y problemas de PISA (hilo cada vez más largo). Luego vendrá hilo de para qué sirve PISA todavía (hilo cada vez más corto). Y otro sobre los resultados 2018
En las pruebas 2015 y 2018 los cambios metodológicos se acentuaron. Esto hace más difícil la comparación con años anteriores. En LATAM nuestro paper demuestra que un cambio clave modificó la comparabilidad de los resultados.
Se trata del tratamiento de las pruebas cuyas preguntas finales no se contestan (Non-Reached Items). Esas pruebas dejaron de considerarse válidas en 2015. Esto sólo afectaba a países de LATAM
PISA comunicó todo en un Anexo en 2015. En el cuerpo del informe decía que Colombia y Uruguay habían mejorado. En el anexo, los datos correctos (re-escalados usando la misma metodología) se demostraba que eso era falso.
Colombia había mejorado 40 puntos en Lectura. Eso es muchísimo. El país festejó el logro. Era falso: todo se explicaba con el cambio de metodología. La realidad es que no había ninguna mejora. Este gráfico muestra la diferencia (el resultado comparable real es el naranja)
PISA siguió publicando informes sobre el éxito de Colombia, pese a saber que esa información era falsa: oecd.org/pisa/PISA-2015…
Finalmente enmendó el problema en un informe sobre Iberoamérica donde aceptó la situación y la presentó corregida: segib.org/wp-content/upl…
Hoy se publican los resultados PISA 2018. Sorprendentemente PISA vuelve a negar lo que había aceptado. Retoma la comparación errónea y publica nuevamente que Colombia es un gran caso de éxito.
Ya ni siquiera hay un Anexo que explique el problema. Es más, en la edición 2018 PISA hace muchas nuevas modificaciones en las pruebas que alteran la comparabilidad en el tiempo. Remarca todos esos cambios pero no muestra el impacto (sólo el margen de error).
El mensaje es “tenemos muchos problemas de comparabilidad intertemporal, cada vez mayores, pero ahora sólo lo decimos, ya no lo medimos ni publicamos, cada cual deberá adivinar si hay o no problemas”.
La comparabilidad entre pruebas es cada vez más problemática. Ciudad de Buenos Aires, que había tenido una mejora de 38 a 51 puntos entre 2012 y 2015 y ahora en 2018 una caída de 21 puntos. Todo indica que fueron errores metodológicos.
Así hay muchísimos casos extraños. Basta mencionar a Turquía que mejoró 43 puntos entre 2015 y 2018, una cifra inverosimil pero que igual PISA publica y legitima
O casos como los de Portugal, donde se acepta que el país manipuló o alteró la aplicación (alumnos con sobreedad respondieron masivamente en blanco la prueba) pero deja igual sus resultados publicados con asterisco.
O marcos muestrales que no cumplen con el mínimo requerido (ni en primera ronda ni en segunda) como los casos de Estados Unidos o Inglaterra, pero también se publican.
(Recordemos que Argentina fue excluida de PISA en 2015 por problemas en el marco muestral). Para analizar el caso Argentina en PISA 2015 recomiendo nuestro estudio previo con un largo anexo sobre el tema: cippec.org/wp-content/upl…
En los cambios de metodología han quedado atados a una misma comparación países que hacen la prueba en papel (apenas 9, entre ellos Argentina) y la inmensa mayoría que ahora lo hace por computadora.
Son tantas las diferencias entre ambos tipos de pruebas que hay muchas dudas sobre la comparabilidad estricta de los resultados, pese a los controles que se realizan.
La mayor muestra del cambio metodológico se observa en la asombrosa cifra que PISA muestra de aumento de pruebas que no se responden por completo. Esto aumentó entre 2015 y 2018 en casi todos los países. Era muy bajo siempre, salvo en los países LATAM.
¿Qué pasó? PISA no da ninguna explicación. Apenas hipótesis en dos renglones “pudo ser más larga la prueba” “Puede ser que los alumnos estén haciendo menos esfuerzo para contestar la prueba”
Este es el agujero negro de las pruebas estandarizadas. Lo que se conoce en la literatura como Test-Taking-Motivation (TTM). La motivación o esfuerzo al hacer una prueba, que PISA analiza por primera vez en 18 años de prueba
El caso explotó ahora en España, donde muchos estudiantes contestaron evidentemente sin esfuerzo concentrados en algunas escuelas. Tal fue la magnitud de esta alteración (o boicot) que España quedó descalificada de la prueba de lengua 2018.
Muchos dicen que también son inverosímiles los resultados de matemática y ciencias, pero PISA los publicó igual: elmundo.es/espana/2019/11…
El problema de TTM es gigantesco. En un hilo paralelo voy a citar la literatura central. Hay mucha evidencia de que los alumnos no hacen su mayor esfuerzo especialmente en pruebas que no tienen ningún efecto sobre ellos (como PISA, que ni les devuelve sus resultados)
La motivación para las pruebas puede variar mucho de un país a otro (ver hilo paralelo). Pero es más grave: la motivación puede ser modificada por las autoridades de gobierno de un país.
¿Cómo? Los países conocen la muestra de escuelas que participarán en PISA seis meses antes de la prueba. Lo que pasa en esos seis meses puede alterar de manera contundente la motivación para la prueba.
No se puede alterar el aprendizaje relevante porque PISA mide competencias de largo plazo, no memorización de corto alcance.
Pero sí se puede entrenar a los alumnos en los ejercicios para familiarizarse y, sobre todo, aumentar su responsabilidad y compromiso (son famosos los pines “hoy defiendo a mi país” en varios países de LATAM el día de PISA).
Véase este video del Presidente de Colombia, Juan Manuel Santos, el día de la prueba PISA 2015, haciendo explícito el trabajo de preparación para la prueba:
Recordemos que la prueba PISA tiene una demanda cognitiva muy alta durante dos horas. Un mismo alumno concentrado y realmente involucrado va a lograr resultados TOTALMENTE distintos que ese mismo alumno sin interés o compromiso con entender y contestar cada ejercicio
¿Cuál es la motivación para la prueba PISA en cada país en cada edición? Nadie lo sabe. No se puede medir. La prueba PISA intenta hacerlo con un proxi en cuestionarios a alumnos, pero acepta que las medidas no sirven (dan muy similar en todos los países)
Si un país tiene capacidad política de trabajar con las escuelas de la muestra durante seis meses (y sus alumnos responden con máximo esfuerzo) y otro no lo hace (y sus alumnos contestan sin interés), ¿son comparables sus resultados?
Esto es un problema porque PISA se ha convertido en una prueba de ALTO impacto en los países. Hay mucha motivación para lograr mejorar y hemos recolectado evidencia de muchos países que hay preparado para la prueba (incluyendo Argentina, aunque es difícil medir cómo y cuánto)
Conclusión: las pruebas PISA tienen enormes problemas metodológicos que se han acentuado en el tiempo con cambios en la aplicación y con una oscura comunicación que ya ni siquiera cuenta el re-escalamiento de resultados en sus anexos
La motivación para la prueba es el gran agujero negro no controlado por PISA y nos deja abierta la pregunta de fondo: ¿son realmente esos los aprendizajes de los alumnos o son sólo una aproximación que no controla su esfuerzo al hacer la prueba en cada país en cada edición?
La única forma de contestar esta pregunta es alejándose de las miradas superficiales de PISA. No miren las comparaciones de una edición a la siguiente: puede haber muchos errores. Sí miren más las tendencias de largo plazo de varias ediciones (eso es mucho más difícil de alterar)
Argentina no está bien en los resultados desde hace muchos años. ¿Está por debajo de Colombia, Brasil y México? ¿Está igual que Perú, con contexto social mucho más pobre?
Quizás sí, quizás hay diferencias de motivación para la prueba, quizás la prueba de papel en Argentina no es estrictamente comparable con la prueba en computadora del resto de la región
Lamentablemente este es el LABERINTO de PISA. La búsqueda de la verdad requiere meternos allí dentro con mirada científica y nunca caer en tentaciones de lecturas apresuradas o convenientes. Fin.
(Corregí el hilo porque estaba desordenado, perdón por los cambios)
