Thread by @manuelabat

Hola amigos, hoy es sábado, sabadete y toca hilo de #privacidad y #eticadelosdatos. Hoy, Derechos Fundamentales comprometidos en la banca y en recursos humanos. Evaluación de Impacto de Derechos Fundamentales y cómo una organización con valores tiene la ética digital por bandera.

El propósito de aplicar la ética digital, además de para preservar la privacidad, sirve también para hacer el bien a las personas y evitar hacerles mal. Hay veces en las que una organización sabe cómo hacer el bien. Hay otras que necesitan ayuda para poder saber cómo hacerlo.

Uno de los mayores males en nuestra sociedad están siendo producidos por decisiones automatizadas y perfiles personales realizadas por organizaciones a las que no les importa hacer el mal si a través de él consigue sus objetivos comerciales y económicos.

La discriminación algorítmica es transversal a todos los sectores y está aumentando las desigualdades en la población. Y, seamos realistas, vivimos en un sistema en el que prácticamente no tenemos derecho a impugnar una decisión automatizada o un perfilado.

¿Por qué? Uno de los factores que influyen de manera decisiva es que las organizaciones no comunican cuándo un individuo, o grupo de individuos, ha sido objeto de una decisión automatizada y/o perfilado.

¿Qué implicaciones negativas tiene esto? Que no se detecta la discriminación. Tanto la ley como la jurisprudencia, consideran la discriminación contextual. Los algoritmos interrumpen los mecanismos tradicionales contra la prevención e investigación de casos de discriminación.

Por otro lado, la ley de no discriminación se basa en la idea de comparación. Un grupo o persona desfavorecida recibe un trato menos favorable debido a una característica protegida en comparación con un grupo o persona que recibe un trato preferencial.

Por lo tanto, las reclamaciones sólo se pueden plantear si una víctima realmente se siente en desventaja.

La persona debe proporcionar evidencia de la desventaja. Esto depende de que la víctima sepa que ha sido objeto de una decisión automatizada, del contexto en el que se haya dado, y del conocimiento que tenga sobre los criterios en los que se haya basado el perfilado.

A su vez, las ventajas competitivas que las decisiones automatizadas aportan a las organizaciones es evidente. Mayor eficiencia, ventajas competitivas y un enorme beneficio económico, pero pueden causar un enorme impacto en nuestros derechos fundamentales.

Recuerden el hilo sobre cómo el Código Postal es usado para discriminar precios transparentinternet.com/es/tecnologia-…

Que una organización haga una evaluación de impacto de derechos fundamentales y ética desde el diseño depende de que sus integrantes, empezando por su CEO, tengan sus valores muy asumidos, teniendo como uno de sus objetivos el respeto de los derechos fundamentales de las personas

VALORES, ese aspecto fundamental de las organizaciones para su funcionamiento ético, y tan (mal) usados, en muchas ocasiones, para limpiar su imagen mientras producen daño a la sociedad.

¿Por qué es fundamental que las organizaciones que usan decisiones automatizadas personales incluyan valores desde el diseño de su tecnología? porque es esencial que estén diseñados para adoptar y respetar las normas y valores de la comunidad y de las personas que viven en ella.

No sólo me refiero al RGPD. También es necesario implicar las leyes que se apliquen en el contexto en el que las decisiones automatizadas y perfilado se desplieguen (contexto financiero, trabajo, vivienda, social…). Así como, las normas relativas a la discriminación, igualdad.

Siguiendo con los valores y explicado de una manera muy escueta cómo aplicarlos en la etapa de diseño. En esta etapa se determinará qué tipos de datos se usarán para la alimentación del algoritmo, y cuáles se dejan fuera.

La decisión de elegir estos datos puede ser (y, de hecho, lo es) el resultado de los sesgos de las personas que los seleccionan. Por lo tanto, desde el diseño esta decisión automatizada o perfil ya está predestinado a provocar discriminaciones y sesgos.

Aquí se ve claramente cómo la colaboración de un equipo multidisciplinar más que importante, es crucial. Científicos sociales, humanistas, éticos, filósofos, juristas, científicos de datos, ingenieros…

En segundo lugar, los valores intervienen en la determinación de las ponderaciones del modelo estadístico para lograr el resultado deseado. Los posibles fallos deben ser resueltos. Por ejemplo, probando el sistema en entornos experimentales pero seguros, lejos del público.

En tercer lugar, la decisión automatizada o el perfilado, puede ser contraria a los derechos fundamentales de las personas. Aquí entra la comunicación a las personas dando a conocer los parámetros y darles la oportunidad de impugnar la decisión automatizada.

Este estricto enfoque del uso de decisiones automatizadas y perfiles sustenta la necesidad de una evaluación de los efectos de tal decisión en los derechos fundamentales en una etapa temprana. Deben abordarse en la etapa de diseño y desarrollo.

En la etapa posterior al despliegue queda poco margen para hacer los ajustes apropiados, y la confianza de las personas puede resultar gravemente dañada.

Por otro lado, una evaluación del impacto sobre los derechos fundamentales y ética encaja perfectamente en la EIPD.

Paso 1: Establecer la línea de base

El primer paso es responder a la pregunta: Qué derechos fundamentales se ven afectados.
En una primera aproximación, podemos tener en cuenta los siguientes para nuestro análisis:

I. Derechos de privacidad y protección de datos - que comprenden (y no se limitan a) el derecho a la vida privada, la autonomía personal, la inviolabilidad del hogar, la privacidad física, la correspondencia secreta, el desarrollo de la propia identidad...

II. Derechos de igualdad – ante la ley, entre hombres y mujeres, prohibición de la discriminación por religión, cultura, ideas políticas, integración de personas discapacitadas.
III. Libertad de expresión y de información, libertad de reunión y de asociación.

Paso 2: Identificar los impactos de la IA y solventarlos.

El segundo paso consiste en identificar cómo la introducción de la IA cambia los impactos sobre los derechos fundamentales del campo en el que se introduce la tecnología.

¿Dónde se producen estos impactos sobre los Derechos Fundamentales? Provienen de 3 fuentes:
(i) De la cantidad de datos recopilados, de la transparencia u opacidad a la hora de hacerlo, (ii) De la calidad de los datos de capacitación, y (iii) del diseño del sistema.

Vamos a ver ahora, de manera escueta, las consecuencias para los derechos fundamentales de la introducción de la toma de decisiones sobre la IA en dos campos:

(i) Finanzas (puntuaciones de crédito)
(ii) Recursos humanos (contratación y reclutamiento)

1. Finanzas (puntuaciones de crédito)
¿Qué Derechos Fundamentales se pueden ver afectados?
1. Derecho a la no discriminación
2. Derecho a la igualdad ante la ley
La IA puede discriminar al inferir la solvencia de los grupos marginados sin posibilidad de defenderse.

3. Derecho a la privacidad y protección de datos. Los sistemas de puntuación crediticia basados en la IA se basan en la recopilación, almacenamiento y análisis de grandes cantidades de datos personales, lo que plantea importantes problemas de privacidad.

4. Libertad de expresión e información
5. Derecho a la libertad de reunión y asociación pacífica
Todos los datos sirven para las calificaciones crediticias. Es posible que las personas se autocesuren o eviten asociarse por temor a que afecte a su capacidad de solvencia.

El volumen de datos que los sistemas de puntaje crediticio es apabullante. Hay bancos que tienen en cuenta más de 3.000 variables para decidir si ofrecen, o no, un crédito. P. ejemplo, cómo el solicitante tiende a teclear (apps). Este dato se correlaciona con el riesgo de impago

También examinan toda nuestra la huella digital, incluyendo el uso de las redes sociales, la geolocalización, los hábitos de navegación en su web, el historial de uso del teléfono (incluyendo mensajes y los registros de llamadas), el comportamiento de compra.

Uno de los riesgos se deriva de la calidad y precisión de los datos utilizados para entrenar estos sistemas, así como de la imparcialidad y precisión de los datos que estos sistemas utilizan para decidir sobre la solicitud de crédito de un individuo en particular.

Otro problema surge de las decisiones subjetivas que los ingenieros toman sobre cómo categorizar los datos que alimentan en sus algoritmos. Hay bancos que traducen ciertas variables (puntuando del 1-10), como el tiempo que se tarda en leer los términos y condiciones de su web.

Otra de las variables está relacionada con su entorno, de manera que pueden ser discriminados o recompensados en función de las características de su red personal.

Si hay 2 individuos en una posición financiera idéntica, pero los amigos del primer individuo viven en barrios "ricos" mientras que los amigos del segundo viven en barrios "pobres", un algoritmo puede determinar que el primero tiene un mejor riesgo crediticio que el segundo.

Hay bancos que han reducido el límite de crédito a clientes que habían incurrido en gastos en consejeros matrimoniales, talleres de reparación y recauchutado de neumáticos, bares y clubes nocturnos, salas de billar, casas de empeño o salones de masaje.

En una época en que "todos los datos son datos de crédito", las personas pueden sentirse paralizadas al expresar ciertos puntos de vista o asociarse con otros, por temor a que un algoritmo utilice su comportamiento en su contra en el contexto financiero.

Recursos Humanos.
¿Qué Derechos Fundamentales se pueden ver afectados?
1. Derecho a la no discriminación
Los sistemas de contratación basados en IA pueden discriminar en el empleo debido a los sesgos en los datos de capacitación, aunque podrían programarse para evitarlo.

2. Derecho a la privacidad y a la protección de datos.
Especialmente si comparten sus datos con los empleadores. Los sistemas de contratación basados en IA sondean una amplia variedad de fuentes de datos que afectan a la privacidad de los solicitantes de empleo y de sus empleados

3. Derecho a la libertad de opinión, expresión e información
4. Derecho a la reunión y asociación.
Todos los datos pueden ser datos de contratación. La gente podría sentir miedo a la hora de expresarse libremente o asociarse con otras por miedo al impacto en su empleabilidad.

La responsabilidad de las empresas de respetar los derechos fundamentales se aplica no sólo a los servicios que prestan y los productos que venden, sino también a sus operaciones internas.

Los procesos de contratación defectuosos pueden tener importantes repercusiones en el derecho a la no discriminación, el derecho a igual salario por igual trabajo y los derechos a la libertad de expresión y asociación.
Sobre esto escribí un hilo y post: transparentinternet.com/es/tecnologia-…

Los procesos de contratación defectuosos pueden tener importantes repercusiones en el derecho a la no discriminación, el derecho a igual salario por igual trabajo y los derechos a la libertad de expresión y asociación.

Esto ha sido todo por hoy. Muchas gracias por leerme.