Thread by @import_robs

Vamos falar sobre o algoritmo do Twitter? VAMOS!

Como ele corta a sua imagem? O algoritmo é enviesado? O que tá acontecendo?

Vou fazer a thread com informação direto do blog do Twitter.

Pegue o café, e vem na #AIThreadBR de hoje.

Para cortar a imagem eles usam uma técnica chamada saliência.

O que é saliência então?

Saliência é como o próprio nome diz, ele se baseia em regiões "salientes" aos olhos. Qual é a coisa mais provável de você notar na foto? Vamos focar então o corte da imagem nisso.

Basicamente, eles utilizam duas redes neurais como eles explicam no próprio blog. A rede aprende com imagens a encontrar regiões com mais saliência.

Mais saliência = mais provável que você olhe para aquela região.
Menos saliência = menos provável que você olhe.

Como eles treinam o dataset? Isso não fica muito claro no blog, porém procurando discussões sobre o post e me baseando em outros sistemas, encontrei o seguinte:

Eles treinam essa rede como o Youtube treina para escolher thumbnail.

Eu fiz um post completinho sobre o algoritmo do Youtube aqui:

https://twitter.com/AIThreadBR/status/1307060062716911617

Mas se você tiver com preguiça de ler, vamos lá:

O Youtube leva em consideração a quantidade de cliques dos usuários.

Qual imagem é mais provável que você clique ao ver um thumbnail? A IA pega essa informação com base em cliques seus e de outros usuários.

Por isso não é raro vermos thumbnails chamativas - claro, quando não é o próprio canal que escolhe a thumbnail.

Na thread, discuto até que a posição dos vídeos sugeridos é um fator que a IA escolhe. Não sou eu que tô dizendo, é o próprio paper deles que diz.

Voltando pro caso do Twitter: o Twitter então treina com cliques. Ou seja, qual corte de imagem é mais provável que o usuário clique? Essa pergunta reflete então: qual região é possível que chame atenção da pessoa = tem mais saliência?

Alguém sorrindo? Imagem colorida?

Até recomendo você ver os testes que o @twyuritter fez no Twitter dele.

https://twitter.com/twyuritter/status/1307764513165447170

Aí entra toda a questão: os dados estão enviesados então? Provavelmente sim. Mas um dos fatores é claramente os usuários.

Se a IA aprende com os usuários qual região ele clica, então óbvio que ela vai incorporar o que é de bom e o de ruim dos usuários. Certo?

Fica ainda evidente em cortes de mulheres nas regiões dos seios,não preciso nem dizer como a IA incorporou isso. Por que será que a IA entendeu que a região dos seios tem mais saliência? O mesmo vale pra discussão levantada ontem sobre a IA cortar sempre pra pessoas brancas, pq?

É claro que esse debate é importantíssimo. Há formas de evitar esse viés no algoritmo.

E vemos nomes gigantes de IA exigindo mudanças como a Anima da Nvidia, Mark da Georgia Tech, Hardmaru do GoogleAI, etc.

Você pode ler diretamente no blog do Twitter eles discutindo sobre o algoritmo de corte de imagens: blog.twitter.com/engineering/en…

E matérias também sobre: theverge.com/2018/1/25/1693…

Roubei as imagens do Carl Sagan x Neil Tyson da @stephanevw (sorry, amiga).

É isto. Prometi não postar mais AIThreadBRs aqui e sim só na @AIThreadBR (sigam lá), maaas não podia deixar de lado esse tema.

\o/

E ah, o paper de saliência que eles citam é esse aqui: link.springer.com/chapter/10.100…

Migas, ajudem no rt? É só porque peguei essa informação diretamente do blog do Twitter, então vi muita confusão de ontem pra hoje sobre o tema. E acho importante ter uma informação confiável. @stephanevw @luizacaires3 @canalpeixebabel @1iversoDiscreto