Thread by @htejero_

El pasado viernes, @MasPais_Es registramos una enmienda a los Presupuestos Generales del Estado para pedir una Agencia Estatal de Auditoría de Algoritmos. Voy a intentar explicar en este hilo (laargo) el sentido de la propuesta: 👇🧵

Los algoritmos y la inteligencia artificial están y van a estar cada vez más y más presentes en casi todos los ámbitos de nuestras vidas. Voy a poner tres tareas concretas donde una Agencia u órgano similar puede ser útil, pero antes haré una breve introducción técnica.

Resumiendo mucho, un algoritmo es un procedimiento computacional que toma una decisión para un conjunto de datos en función de unas reglas preestablecidas. Sirva como ejemplo este de @nolesdescasito para saber si merece la pena responder tuits que dicen barbaridades:

Esas reglas pueden ser fijadas manualmente por un experto o bien pueden ser obtenidas computacionalmente mediante un proceso de entrenamiento a partir de un conjunto de datos previos: esto último es lo que se conoce como “machine learning”.

Ejemplos de este tipos de algoritmos hay muchísimos: desde las recomendaciones de Netflix o Amazon hasta la conducción automática. Este me llamó mucho la atención en su día, un clasificador de melanomas que igual a dermatólogos expertos.

Los algoritmos tienen sesgos “técnicos”. De hecho buena parte de su entrenamiento se basa en evitarlos. El ejemplo clásico es el overfitting: el algoritmo no “aprende” sino que “memoriza”: funciona muy bien en los datos con los que ha sido entrenado y mal en los que no “conoce”

Pero hay un caso peor: un algoritmo entrenado por machine learning que puede ser técnicamente perfecto y aún así tener muchos sesgos por motivos de raza, género, edad, renta, etc. sin que, y esto es importante, los que lo diseñan, producen o usan sean conscientes de ello.

Este ejemplo de @ujue es un claro ejemplo de sesgo de género que llevan a un algoritmo a funcionar mal:

https://twitter.com/ujue/status/1278705596020244480?s=20

Si queréis más detalle y ejemplos, este artículo de @GutierrezMiren está muy bien y es muy completo:
eldiario.es/tecnologia/ses…

Para evitar estos sesgos hay que auditar los algoritmos. Lo ideal es hacerlo durante su desarrollo pero también se puede hacer ex post. La auditoría permite corregir el algoritmo o descartar su uso . Lo explica aquí @gemmagaldon, una experta en el tema

Su empresa @EticasConsult se dedica a estas tareas de consultoría y auditoría, pero en @MasPais_es y @equo pensamos que también es necesario un organismo público independiente como la CNMC o la AIREF.

Explicado esto voy con tres casos concretos en los que sería útil una Agencia de Auditoría de Algoritmos:

-Cuando se usan en las administraciones públicas

-Por sus consecuencias en las redes sociales

-Cuando se usan en el marco de una relación laboral o comercial

Primer caso: ¿Qué pasa con los algoritmos que se usan y se van a usar cada vez más para tomar decisiones en la administración pública? A continuación van ejemplos de algoritmos que ya se están usando en administraciones públicas en España

El primero: uno controvertido: “Veripol”. Un software que lleva funcionando desde 2018 en las comisarías para predecir denuncias falsas. Obviamente, es un caso muy controvertido:
elpais.com/tecnologia/202…

No os vais a imaginar la propuesta de una de las expertas consultadas en el artículo:

Otro ejemplo: Euphemia, el algoritmo que casa las ofertas y demandas que determinan el precio mayorista de la luz. Diseñado por una empresa privada y tan complejo que ni siquiera lo entienden los expertos. ¿Qué puede salir mal?
elperiodicodelaenergia.com/euphemia-el-co…

Ojo, la digitalización y automatización de las decisiones de la administración no tiene por qué ser mala per sé. Hasta que consigamos la RBU podría ser muy útil por ejemplo para minimizar las trampas burocráticas en rentas mínimas, bono social eléctrico, etc

De malas consecuencias de esta automatización cuando se mezcla con las discriminaciones existentes en la sociedad está lleno “La automatización de la desigualdad” de Virginia Eubanks, editado por @Capitan Swing. Aprovecho y recomiendo otro clásico del tema:

Un buen ejemplo es la “Herramienta de lucha contra el fraude” laboral del @empleogob . Gracias a su uso envió cartas a 59.129 empresas por 122.528 trabajadores que podían estar en fraude. Resultado: en 20 días, 60.893 contratos regularizados.
elpais.com/economia/2021-…

A mi me gusta esto que dice aquí @Andres_Boix. Los algoritmos son un reglamento y, por tanto, hay que aplicarles todas las garantías para proteger los derechos ciudadanos: uv.es/collaborative-…

Pero eso no tiene por qué ser ni trivial y sencillo. Hay que poner los recursos para que se pueda hacer. Por eso, una Agencia independiente puede asesorar a las administraciones, desarrollar protocolos de compra pública, hacer tareas de auditoría ex ante y ex post, etc.

Segundo caso: las redes sociales. Hace poco han salido varias noticias muy comentadas sobre sus consecuencias: 1) Un estudio interno (filtrado) de Facebook que mostraba que Instagram es dañina para la salud mental de los usuarios:
infolibre.es/noticias/mundo…

2) Un informe de Twitter que reconocen que, para sorpresa de nadie, esta nuestra red social amplifica los discursos de extrema derecha sin que ellos mismos sepan muy bien por qué:
eldiario.es/tecnologia/twi…

Es evidente que auditar las consecuencias de los algoritmos de las redes sociales para sus usuarias no puede quedar en manos de las empresas dueñas de las mismas. Una Agencia de Auditoría de Algoritmos podría emitir informes periódicos sobre este tipo de empresas y consecuencias.

Este hilo es tan largo y tan turras que no me deja poner más así que sigo por este otro:

https://twitter.com/htejero_/status/1457632849163587584?s=20