Para cortar a imagem eles usam uma técnica chamada saliência.
O que é saliência então?
Saliência é como o próprio nome diz, ele se baseia em regiões "salientes" aos olhos. Qual é a coisa mais provável de você notar na foto? Vamos focar então o corte da imagem nisso.
Basicamente, eles utilizam duas redes neurais como eles explicam no próprio blog. A rede aprende com imagens a encontrar regiões com mais saliência.
Mais saliência = mais provável que você olhe para aquela região.
Menos saliência = menos provável que você olhe.
Como eles treinam o dataset? Isso não fica muito claro no blog, porém procurando discussões sobre o post e me baseando em outros sistemas, encontrei o seguinte:
Eles treinam essa rede como o Youtube treina para escolher thumbnail.
Eu fiz um post completinho sobre o algoritmo do Youtube aqui:
O Youtube leva em consideração a quantidade de cliques dos usuários.
Qual imagem é mais provável que você clique ao ver um thumbnail? A IA pega essa informação com base em cliques seus e de outros usuários.
Por isso não é raro vermos thumbnails chamativas - claro, quando não é o próprio canal que escolhe a thumbnail.
Na thread, discuto até que a posição dos vídeos sugeridos é um fator que a IA escolhe. Não sou eu que tô dizendo, é o próprio paper deles que diz.
Voltando pro caso do Twitter: o Twitter então treina com cliques. Ou seja, qual corte de imagem é mais provável que o usuário clique? Essa pergunta reflete então: qual região é possível que chame atenção da pessoa = tem mais saliência?
Alguém sorrindo? Imagem colorida?
Até recomendo você ver os testes que o @twyuritter fez no Twitter dele.
Aí entra toda a questão: os dados estão enviesados então? Provavelmente sim. Mas um dos fatores é claramente os usuários.
Se a IA aprende com os usuários qual região ele clica, então óbvio que ela vai incorporar o que é de bom e o de ruim dos usuários. Certo?
Fica ainda evidente em cortes de mulheres nas regiões dos seios,não preciso nem dizer como a IA incorporou isso. Por que será que a IA entendeu que a região dos seios tem mais saliência? O mesmo vale pra discussão levantada ontem sobre a IA cortar sempre pra pessoas brancas, pq?
É claro que esse debate é importantíssimo. Há formas de evitar esse viés no algoritmo.
E vemos nomes gigantes de IA exigindo mudanças como a Anima da Nvidia, Mark da Georgia Tech, Hardmaru do GoogleAI, etc.
Você pode ler diretamente no blog do Twitter eles discutindo sobre o algoritmo de corte de imagens: blog.twitter.com/engineering/en…
Migas, ajudem no rt? É só porque peguei essa informação diretamente do blog do Twitter, então vi muita confusão de ontem pra hoje sobre o tema. E acho importante ter uma informação confiável. @stephanevw@luizacaires3@canalpeixebabel@1iversoDiscreto
• • •
Missing some Tweet in this thread? You can try to
force a refresh
Saiu um artigo ontem na The Astrophysical Journal sugerindo que a energia escura não é necessária para explicar a expansão do Universo.
Mas será que isso seria possível mesmo?
Thread de notícia de Astronomia da semana
Primeiro, o que é energia escura?
Resposta simples: não sabemos.
Resposta complicada: é uma componente do Universo que causa a expansão acelerada do espaço-tempo. Ela é descrita nas equações de Einstein pela constante cosmológica e está relacionada com a taxa de expansão.
Ela foi necessária para conseguir descrever as observações do telescópio Hubble no final do século XX que o Universo expandia ACELERADAMENTE.
"ai roberta mas foi o edwin hubble que descobriu"
O astronomo Hubble descobriu que o Universo se expandia.
O que são as tempestades solares que estão causando essas auroras?
Estamos próximos de um pico de atividade solar então isso ficará cada vez mais frequente.
Quais os problemas e as consequências disso?
Thread solar 🌄
Primeira coisa é entender que o Sol possui campos magnéticos que são extremamentes complicados. Muito mais do que o da Terra.
É um verdadeiro caos de linhas de campo magnético entrando e saindo.
E além disso, o Sol tem rotação diferencial que significa que cada parte dele +
gira em uma velocidade diferente. Isso acaba torcendo as linhas de campos magnéticos.
Já experimentou colocar dois lados iguais dos ímãs juntos? Eles se repelem. No Sol, a mesma coisa acontece quando dois lados iguais das linhas se encontram.
Você provavelmente já parou pra pensar nisso em algum momento.
O que existe do lado de fora do Universo?
Vou de thread 👇
Sempre ouvimos falar sobre taxa de expansão do Universo.
Que como nome já diz: é a taxa de quanto o Universo está se expandindo a cada segundo.
Geralmente, usamos a constante de Hubble pra nos referir a essa taxa com cerca de 70 km/s/Mpc.
Existe toda uma treta dentro da comunidade cientifica sobre a constante de Hubble e isso é chamada de crise cosmológica.
Vou deixar pra falar da crise em um outro momento, por enquanto, vamos considerar esse valor de 70 km/s/Mpc porque são as unidades que nos interessam aqui.
Eles são objetos criados pela gravidade ou regiões no Universo? Você pode imaginar das duas formas.
Thread da anatomia de um buraco negro (e como eles podem ter anatomia diferentes). 👇
Buracos negros são descritos pela Relatividade Geral.
A Relatividade Geral descreve como a massa ou energia distorce o espaço-tempo criando o fenômeno que nós conhecemos como campo gravitacional.
Quanto maior a massa em uma região, mais intenso é o campo gravitacional.
Mas para uma dada massa dentro de um dado raio, a distorção do espaço-tempo (ou você pode apelidar de campo gravitacional) seria tão intensa que nem mesmo a luz conseguiria escapar.