Thread by @AliciaFrancoXVE

La discriminación también se cuela en el diseño de los tests. Por qué la mayoría de estudios sobre diferencias entre hombres y mujeres (si usan tests) son incompletos 👇🏼

#DiaContralaViolenciadeGenero #25Nov

Os presento a Alejo Francis, es un profe de Física del cole, muy majete y dicharachero. Se empeña mucho en que sus niñes aprendan Física y les guste.

Alejo tiene que preparar un examen (test) y quiere darle un toque divertido y cercano para motivar a sus niñes, así que diseña preguntas (ítems) como esta:

Alejo está contentísimo porque ha pasado el examen y ha gustado muchísimo, pero se da cuenta de algo curioso…

Ha notado que ha gustado más a los niños que a las niñas de clase…

Alejo se queda pensando (se ha quitado la chaqueta y todo), ¿y si es porque a los niños se les da mejor la Física que a las niñas? Es coherente con los prejuicios machistas… Pero él no quiere tenerlos, él quiere ver qué dicen los datos: 🌟LA CIENCIA🌟

Efectivamente. Alejo calcula las medias y sí: los niños han sacado mejores notas que las niñas.

¿Conclusión? Los niños son mejores en Física que las niñas.

No sabéis cuántos estudios sacan este tipo de conclusiones con una simple diferencia de medias en un test.

Aquí es donde entra la Psicometría y la Validez. Una evidencia imprescindible para la validez de un test es demostrar que su uso es JUSTO, que no funciona diferente para dos personas por el simple hecho de que pertenezcan a grupos distintos (niños y niñas, por ejemplo).

Si un ítem funciona distinto para cada grupo, decimos que tiene DIF (Differential Item Functioning). No queremos que nuestros ítems tengan DIF, queremos que sean justos.

Alejo también lo quiere. Sigue ahí el tío, ahora se está preguntando si las preguntas de su examen tenían DIF o no.

(Es un profe muy entregado, ¿vale?)

Vuelve a mirar los ítems… “Con lo que les gusta Rayo McQueen… Qué buena peli Cars… espera un momento… ¿Y si la pregunta era más fácil para los niños porque les motivaba más Rayo McQueen que a las niñas?”

Alejo decide probar algo: va a ponerles el mismísimo examen a les niñes de su otra clase, pero esta vez cambiando un matiz…

Alejo corrige los exámenes de la segunda clase y, ¡EFECTIVAMENTE! Ahora las niñas son las que sacan mejor nota de media.

Alejo acaba de descubrir que el diseño de los ítems puede ser muy sensible a las diferencias entre grupos.
Si los niños han interactuado más con el concepto de Rayo McQueen que las niñas, entenderán antes y mejor el enunciado del problema.

Alejo es el mayor crack y utiliza la TRI (Teoría de Respuesta al Ítem) para analizar la probabilidad de acertar la pregunta de Rayo McQueen, para cada grupo, en función de su nivel de conocimiento sobre Física:

Vamos a fijarnos en una persona con nivel de habilidad igual a 0 (en la media). Si esa persona es niña (sigue la curva azul), ¿qué probabilidad de acertar tiene?

Ahora la otra pregunta: ¿Qué probabilidad de acertar hubiera tenido si esa persona, de nivel de habilidad 0, hubiera sido niño en vez de niña?

Respuestas correctas:
Teniendo el mismo nivel de conocimientos (EL MISMO), una niña tiene 15% probabilidad de acertar y un niño 85%.

No es que el niño sepa más, tienen el mismo nivel de conocimientos, deberían tener la misma nota. Pero los niños lo tienen más fácil.

Alejo decide estimar esas diferencias y corregir las notas de todes sus niñes en ambas clases, para que todo el mundo tenga la nota que merece, independientemente de su género.

Alejo ama su trabajo.

Obviamente, este ejemplo está estereotipado y simplificado, pero aunque en el mundo aplicado sea más sutil, es bastante común encontrarse con el problema del DIF.

A partir de ahora, siempre que veáis un estudio donde comparan a dos grupos con las puntuaciones de un test, id rápido a buscar si han descartado el DIF. También vale si han estudiado la “invarianza factorial” 🤓

⚠️No olvidemos: Cuando estudiamos la validez de un test, también incluimos las consecuencias que tenga el uso de ese test en la sociedad. Si es injusto y tiene un impacto negativo o discrimina a un grupo, pierde validez.

Si diseño un test, quiero que se entiendan bien los enunciados. Si lo escribo perteneciendo a un grupo y sin consultar a otros, nadie me asegura que otros grupos entiendan el test *de la misma manera*. Esa diferencia puede ser trascendental.

Si soy un señor en un grupo de señores diseñando un test sensible a diferencias de género, es imprescindible que me asegure de que las señoras interpretarían igual los enunciados. No que responderían igual que los hombres, solo que ambos grupos *interpretarían* lo mismo.

(Se aplica a cualquier grupo pero) Una vez más: Nadie puede hablar por nosotras.

Tampoco en ciencia y menos en ciencias sociales donde se extraen conclusiones sobre nuestras diferencias. No es solo hacer una ciencia más justa, es hacerla más rigurosa.

Disclaimer: Perdonadme el binarismo de género a lo largo de todo el hilo. Por motivos de potencia estadística siempre se estudian diferencias solo entre hombres y mujeres. Veremos si esto va cambiando y cómo en los próximos años :)

Disclaimer2: Obviamente con este hilo no sugiero que haya contenidos específicos de niños y de niñas, de forma esencial o biológica. Si el DIF aparece de esa manera es porque los grupos socializan distinto y hay que evitar que eso afecte a la medición.

A continuación, adjunto aportaciones buenas que ha ido haciendo la gente al hilo:

Buenas preguntas👇🏼

https://twitter.com/airf78/status/1464126006520918042

Otro ejemplo muy bueno y frecuente:

https://twitter.com/ariadnasanz/status/1464123764011118597

El DIF pero para todo el test: