Thread by @manuelabat

Queridos amigos, hoy es sábado, sabadete, así que toca hilo de #privacidad y #eticadelosdatos. Esta vez voy a hablar de los problemas de privacidad y discriminación que surgen con los perfiles por afinidad en plataformas como Facebook, Google, Pinterest o LinkedIn. ¡Empezamos!

Pueden surgir, o surgen, problemas de #discriminacion cuando el sistema de inteligencia artificial aprende de una muestra sesgada.

El sistema de IA reproducirá ese sesgo. Si los datos de entrenamiento están sesgados es porque representan decisiones humanas discriminatorias. Es decir, son el reflejo de los sesgos discriminatorios de las personas que hay detrás.

El proceso de recopilación de datos también puede estar sesgado. Si la policía detiene a más personas de raza negra en ciertos barrios, los registros policiales sobrerrepresentarán a esos grupos y vecindarios. Estos datos representarían los sesgos discriminatorios de la policía.

¿Qué consecuencias tiene esto? Pues que, si un sistema de IA está entrenado con una muestra tan sesgada, aprenderá que las personas de un origen étnico determinado tienen más probabilidades de cometer delitos.

Es decir, que los modelos predictivos reproducirán los mismos sesgos que las personas que recopilaron los datos movidos por sus propios sesgos discriminatorios.

Otro problema son las categorías de datos que una organización selecciona para su sistema de IA.
Por ejemplo, una organización reclutadora de personal. En vez de evaluar a cada uno de los solicitantes a través de su sistema de IA, esta organización señala ciertos requisitos.

Si se introduce que sólo se seleccionarán a hombres de cierto rango de edad y que hayan estudiado en ciertas universidades del país de alto rango, se estaría cometiendo discriminación contra las mujeres y contra todos los hombres que no hubieran estudiado en ciertas universidades

De nuevo, el sistema predictivo de IA comete las mismas discriminaciones que las personas que hay detrás.

Otro problema se refiere a los proxies. De esto he hablado mucho en mis anteriores hilos, estoy hablando de los códigos postales, por ejemplo. O lo que es lo mismo, cómo las organizaciones usan la localización para cometer discriminaciones.

Supongan que un banco usa (que los usa) un sistema de IA que predice qué solicitantes de préstamos tendrán problemas para pagarlos. ¿Qué puede ocurrir?

Los datos no contienen información sobre características protegidas como el origen étnico, pero sí puede predecir que las personas del código postal XXYY probablemente incumplirán con sus préstamos y utiliza esa correlación para predecir el incumplimiento.

Por lo tanto, el sistema utiliza lo que a primera vista es un criterio neutral (código postal) para predecir el incumplimiento de los préstamos. Pero supongamos que el código postal se correlaciona con el origen racial (que lo suele hacer).

En ese caso, si el banco actuó sobre la base de esta predicción y denegó préstamos a las personas en ese código postal, esa práctica sería discriminatoria hacia personas de cierto origen étnico.

Otra cosa que hacen grandes organizaciones, como bancos o aseguradoras, es recopilar la información de usuarios en sus redes sociales para determinar su orientación sexual. ¿Qué puede ocurrir?

Pues que un conjunto de datos que no contiene datos explícitos sobre la orientación sexual de las personas puede proporcionar información, como las amistades de Facebook que exponen su orientación sexual. Otro “proxy” usado para discriminar.

Ven por dónde voy, ¿no? Estos son sólo ejemplos simples de cómo las discriminaciones que la IA puede cometer (reflejo de las personas que hay detrás), nos están afectando día a día sin que nos demos cuenta.

Ahora, quiero centrarme en un solo campo de discriminación, y he optado por hablar de la discriminación y el uso de perfiles por afinidad en publicidad online.

¿Qué son los perfiles por afinidad? Son aquellos que agrupan a las personas según sus intereses “asumidos”, en lugar de sus rasgos personales. Este tipo de perfilado se ha convertido en una práctica común en la publicidad online.

¿Para qué se puede usar este tipo de perfiles? Para inferir información muy sensible (por ejemplo, etnia, género, orientación sexual, creencias religiosas, políticas) sobre individuos, y excluir a ciertos segmentos de personas productos y servicios, u ofrecer precios diferentes.

Los perfiles por afinidad plantean tres cuestiones legales distintas:
1. Pueden, potencialmente, violar la privacidad de los usuarios
2. Pueden discriminar ilegalmente a los usuarios que
3. reciben protección legal inadecuada como grupos.

Y, ¿qué ocurre con la ley de protección de datos? Pues me temo que no tiene los recursos suficientes para proteger a los usuarios contra estos tres posibles daños que tendrán implicaciones en sus vidas.

A continuación, analicemos los tres puntos problemáticos en privacidad, porque tienen truco:

1. PRIVACIDAD. El concepto de "perfil por afinidad", se supone que no infiere directamente datos de categoría especial (como orientación sexual, etnia, etc) sino que mide una "afinidad" CON DICHOS DATOS.

Esto podría hacer inaplicable la protección de privacidad más altas del RGPD contra el procesamiento de datos de categoría especial en el artículo 9.
Estamos hablando de la segmentación por afinidad a la hora de elegir los públicos en Facebook, Pinterest, Google, LinkedIn...

2. DISCRIMINACIÓN. Ligado con el anterior punto, si no se considera que el perfil de afinidad utiliza directamente rasgos sensibles (etnia, orientación sexual, género, creencias religiosas) se deduce que no se aplicarán las garantías que acompañan a la "discriminación directa".

¿Por qué? Porque para que se reconozca la discriminación, ésta tiene que estar basada de manera directa y explícita en atributos como la etnia, el género, la orientación sexual, creencias religiosas, políticas, etc.

Pero si esta “supuesta discriminación” se hace BASADA EN AFINIDADES entre los usuarios ofreciéndoles o excluyéndoles de diferentes productos, servicios o precios, las partes desfavorecidas NO TIENEN RECURSOS contra los resultados discriminatorios.

Es decir, que si una empresa realiza anuncios en Facebook (o LinkedIn, Twitter, Pinterest o Google…) de trabajo con salarios diferentes a dos targets distintos y ha segmentado POR AFINIDAD a: 1. Hombres negros homosexuales y 2. Hombres blancos heterosexuales...

y los primeros tienen un sueldo un 30% inferior a los segundos, no se les reconoce discriminación por etnia u orientación sexual porque estos factores protegidos por el RGPD no fueron los usados para segmentar, sino que fueron las afinidades que ambos grupos tenían en común.

¿Cómo podrían defenderse y exigir protección?
Primero, tienen que saber que esa discriminación existe.
Segundo, identificarse como parte del grupo discriminado.

Pero claro, puede ser peor el remedio que la enfermedad porque podría suponer una estigmatización pública en casos de la orientación sexual, o en casos como la religión, o ideales políticos. No es nada fácil.

Es más, en estos perfiles por afinidad siempre se cuela alguien que no pertenece a ese grupo, por ejemplo, un hombre en el grupo de mujeres. En este caso, no podría presentar una reclamación porque en realidad no es parte del grupo y sufriría discriminación.

Pero, ¿cómo funcionan realmente estos perfiles por afinidad, y cómo se hace esta segmentación?

Ya he hablado en otros hilos (en los comentarios a políticas de privacidad) cómo las organizaciones rastrean cómo navegamos en internet, el uso de aplicaciones y móviles a lo largo del tiempo y, así, recopilar información sobre nuestro comportamiento e intereses de navegación.

¿Qué ocurre con esta información? Pues que se utiliza para crear perfiles que pueden ser muy invasivos para la privacidad, porque revelan los intereses, rasgos de personalidad y comportamientos explícitos y SUBCONSCIENTES del usuario.

La publicidad personalizada se basa en estos perfiles y, para adaptar su publicidad usan las cookies que registran información sobre nosotros y nos recuerdan si regresamos a webs específicas.

A su vez, hay webs que, a veces, también agregan información adicional, como código postal, edad y sexo, a la hora de rellenar un formulario, por ejemplo. ¿Qué ocurre? Pues que cada información que damos ayuda a esta red publicitaria a publicar anuncios “apropiados” para nosotros

¿Qué consecuencias puede traer esto? Pues limitar nuestra autonomía como consumidores en la elección de productos y limitar nuestro poder en un mercado libre.

Hay muchos ejemplos de discriminación. Google apareció en los titulares cuando un artículo de noticias indicó que el motor de búsqueda favorece a los hombres sobre las mujeres cuando muestra anuncios de trabajos mejor pagados. theguardian.com/technology/201…

Facebook permite crear audiencias personalizadas emparejando visitantes de páginas con usuarios de Facebook, a través de su Píxel, para segmentar en función del género, la ubicación, la edad, el idioma, "audiencias similares" y ciertas localizaciones. facebook.com/business/help/…

El problema es que, usando los datos proxy, sustituyendo características sensibles super protegidas en el RGPD en el artículo 9 privacy-regulation.eu/es/9.htm, se pueden cometer discriminaciones.

Pero, ¿el artículo 9 RGPD nos protege de estas discriminaciones? Para empezar, la lista del artículo no cubre todos los tipos de datos conocidos que pueden causar discriminación, como son el género, el estado financiero, menores, geolocalización y perfiles.

Los "datos de categoría especial" no se limitarían a los datos que revelan directamente una "opinión política", sino que también incluyen datos a partir de los cuales se puede deducir esa información, como es una foto en Facebook con un líder político determinado.

Sandra Wachter en su paper papers.ssrn.com/sol3/papers.cf…
nombra una sentencia del Tribunal General que ha afirmado que la VERACIDAD de la información es una condición previa necesaria para transformar los datos personales en datos confidenciales.

En Kathleen Egan y Margaret Hackett contra Parlamento Europeo, los reclamantes solicitaron los Registros de los asistentes de antiguos miembros del Parlamento Europeo eur-lex.europa.eu/legal-content/…

Los asistentes personales no querían que se divulgara esta información argumentando que su relación de trabajo podría usarse para inferir sus posturas políticas.

El Tribunal dictaminó que una relación laboral no es lo suficientemente confiable como para hacer inferencias sobre creencias políticas, ya que es factible que las personas trabajen para los miembros del partido sin estar en línea con sus puntos de vista.

Pero, tal y como dice Wachter, la intencionalidad y la confiabilidad son umbrales problemáticos cuando se aplican a la publicidad hiper-segmentada y, especialmente, a los perfiles por afinidad.

Los atributos sensibles no necesitan ser INFERIDOS INTENCIONALMENTE. De hecho, esta fue la defensa de Facebook cuando se le acusó de que, a través de la publicidad segmentada en su plataforma a través de afinidades se deducían rasgos sensibles de sus usuarios.

Facebook se defendió diciendo que no tenía intención de hacer explícito sus rasgos sensibles, sino sólo asumir una afinidad.

¿Cuál es el mayor peligro de esta situación? Pues que las organizaciones pueden obtener información confidencial sobre nosotros sin estar sujetos a las mayores garantías del RGPD.

Por lo tanto, si se sigue el criterio de la intencionalidad y la confiabilidad, el artículo 9 RGPD, por el cual el uso de datos de categorías especiales solo está permitido en casos muy limitados, como el consentimiento explícito, no tendría aplicación alguna.

Esto, supone un enorme menoscabo para la protección contra discriminaciones de las personas que hay detrás de esos perfiles por afinidad.

Pero amigos, la discriminación sale muy rentable a las organizaciones.
Como siempre, muchas gracias por leerme.