Vamos falar sobre o algoritmo do Twitter? VAMOS!
Como ele corta a sua imagem? O algoritmo é enviesado? O que tá acontecendo?
Vou fazer a thread com informação direto do blog do Twitter.
Pegue o café, e vem na #AIThreadBR de hoje.
Para cortar a imagem eles usam uma técnica chamada saliência.
O que é saliência então?
Saliência é como o próprio nome diz, ele se baseia em regiões "salientes" aos olhos. Qual é a coisa mais provável de você notar na foto? Vamos focar então o corte da imagem nisso.
Basicamente, eles utilizam duas redes neurais como eles explicam no próprio blog. A rede aprende com imagens a encontrar regiões com mais saliência.
Mais saliência = mais provável que você olhe para aquela região.
Menos saliência = menos provável que você olhe.
Como eles treinam o dataset? Isso não fica muito claro no blog, porém procurando discussões sobre o post e me baseando em outros sistemas, encontrei o seguinte:
Eles treinam essa rede como o Youtube treina para escolher thumbnail.
Eu fiz um post completinho sobre o algoritmo do Youtube aqui:
Mas se você tiver com preguiça de ler, vamos lá:
O Youtube leva em consideração a quantidade de cliques dos usuários.
Qual imagem é mais provável que você clique ao ver um thumbnail? A IA pega essa informação com base em cliques seus e de outros usuários.
Por isso não é raro vermos thumbnails chamativas - claro, quando não é o próprio canal que escolhe a thumbnail.
Na thread, discuto até que a posição dos vídeos sugeridos é um fator que a IA escolhe. Não sou eu que tô dizendo, é o próprio paper deles que diz.
Voltando pro caso do Twitter: o Twitter então treina com cliques. Ou seja, qual corte de imagem é mais provável que o usuário clique? Essa pergunta reflete então: qual região é possível que chame atenção da pessoa = tem mais saliência?
Alguém sorrindo? Imagem colorida?
Até recomendo você ver os testes que o @twyuritter fez no Twitter dele.
Aí entra toda a questão: os dados estão enviesados então? Provavelmente sim. Mas um dos fatores é claramente os usuários.
Se a IA aprende com os usuários qual região ele clica, então óbvio que ela vai incorporar o que é de bom e o de ruim dos usuários. Certo?
Fica ainda evidente em cortes de mulheres nas regiões dos seios,não preciso nem dizer como a IA incorporou isso. Por que será que a IA entendeu que a região dos seios tem mais saliência? O mesmo vale pra discussão levantada ontem sobre a IA cortar sempre pra pessoas brancas, pq?
É claro que esse debate é importantíssimo. Há formas de evitar esse viés no algoritmo.
E vemos nomes gigantes de IA exigindo mudanças como a Anima da Nvidia, Mark da Georgia Tech, Hardmaru do GoogleAI, etc.
Você pode ler diretamente no blog do Twitter eles discutindo sobre o algoritmo de corte de imagens: blog.twitter.com/engineering/en…
E matérias também sobre: theverge.com/2018/1/25/1693…
Roubei as imagens do Carl Sagan x Neil Tyson da @stephanevw (sorry, amiga).
É isto. Prometi não postar mais AIThreadBRs aqui e sim só na @AIThreadBR (sigam lá), maaas não podia deixar de lado esse tema.
\o/
E ah, o paper de saliência que eles citam é esse aqui: link.springer.com/chapter/10.100…
Migas, ajudem no rt? É só porque peguei essa informação diretamente do blog do Twitter, então vi muita confusão de ontem pra hoje sobre o tema. E acho importante ter uma informação confiável. @stephanevw @luizacaires3 @canalpeixebabel @1iversoDiscreto
Share this Scrolly Tale with your friends.
A Scrolly Tale is a new way to read Twitter threads with a more visually immersive experience.
Discover more beautiful Scrolly Tales like this.