Thread by @caiocvm

Já pensou ser preso porque um computador errou?

Pois é.

Na semana passada o NY Times relatou o caso de um homem que foi identificado erroneamente pelo reconhecimento facial da polícia. Passou a noite na delegacia à toa.

Não é o único caso e nem de longe o mais grave. Fio

Os problemas de decisões automatizadas vêm recebendo pouca atenção no Brasil.

Nos EUA já tivemos algoritmos até sendo usados no sentenciamento criminal.

Mas a máquina é imparcial, né?

Não. É racista. Negros recebiam sentenças mais duras que brancos.

Os exemplos são muitos. Desde a concessão de vistos para entrar no Reino Unido, até o uso de inteligência artificial para estimar a sua receita anual.

Precisamos pensar em como sistemas automatizados moldam como usamos nossos direitos.

A tecnologia executa rotinas e decisões humanas. São ferramentas que cumprem serviços de humanos para humanos.

Não há nada de objetivo é infalível nisso. Daí a discussão sobre entender quais são as decisões que se escondem nos algoritmos.

A famosa transparência

Não pensem que decisões automatizadas só impactam as nossas vidas quando nos trancam na cadeia. Os algoritmos estão por toda parte, desde o Spotify até a sua Tomografia.

Dependendo de como vc perguntar ao Google sobre as origens dos dinossauros, vc pode receber uma resposta criacionista ou evolucionista.

Literalmente determinam na informação que vc recebe. Em última análise, interferem na sua compreensão de mundo.

Os algoritmos são mantidos opacos sobretudo com base em um argumento comercial. É a vantagem competitiva de cada serviço, seu tempero mágico.

Mas e se esse tempero está promovendo ilegalidades de diversas ordens? Discriminação racial, violações concorrenciais, consumeristas

O que impede o algoritmo de discriminar contra negros?
Ou contra moradores de um bairro que tem mais negros?

Nem precisamos ir tão longe.
É justo o Feed da sua rede social mostrar um meme de gato ao invés de informação sobre saúde, só pq o primeiro tem mais likes? Quem controla?

Não deveríamos ter direito a saber quem viu conteúdo da Cambridge Analytica, como a desinformação se alastrou, de quais mecanismos ela se aproveitou?

O algoritmo não é “neutro”, nem é dado pela natureza. O que “viraliza” o faz com base em um conjunto de decisões humanas.

Essa é a nossa realidade. O que temos certeza é que a estrutura da internet gera concentrações gigantescas. Seja de poder econômico no marketplace, seja likes ou seja até mesmo matches em relacionamento (é sério).

Daí o movimento vanguardista do TikTok.

Quando as grandes plataformas americanas são colocadas contra a parede por violações concorrenciais, o TikTok vai na contramão e anuncia a transparência.

Como um país justifica banir um serviço que se abre para o escrutínio público e ao mesmo tempo favorecer os gigantes internos que vêm sendo investigados por conta de sua opacidade?

Esse é o contexto hoje da transparência algorítmica. O enquadramento jurídico é de segredo de negócio, mas a discussão real é sobre exercício dos direitos mais básicos em um ambiente digital.