Para cortar a imagem eles usam uma técnica chamada saliência.
O que é saliência então?
Saliência é como o próprio nome diz, ele se baseia em regiões "salientes" aos olhos. Qual é a coisa mais provável de você notar na foto? Vamos focar então o corte da imagem nisso.
Basicamente, eles utilizam duas redes neurais como eles explicam no próprio blog. A rede aprende com imagens a encontrar regiões com mais saliência.
Mais saliência = mais provável que você olhe para aquela região.
Menos saliência = menos provável que você olhe.
Como eles treinam o dataset? Isso não fica muito claro no blog, porém procurando discussões sobre o post e me baseando em outros sistemas, encontrei o seguinte:
Eles treinam essa rede como o Youtube treina para escolher thumbnail.
Eu fiz um post completinho sobre o algoritmo do Youtube aqui:
O Youtube leva em consideração a quantidade de cliques dos usuários.
Qual imagem é mais provável que você clique ao ver um thumbnail? A IA pega essa informação com base em cliques seus e de outros usuários.
Por isso não é raro vermos thumbnails chamativas - claro, quando não é o próprio canal que escolhe a thumbnail.
Na thread, discuto até que a posição dos vídeos sugeridos é um fator que a IA escolhe. Não sou eu que tô dizendo, é o próprio paper deles que diz.
Voltando pro caso do Twitter: o Twitter então treina com cliques. Ou seja, qual corte de imagem é mais provável que o usuário clique? Essa pergunta reflete então: qual região é possível que chame atenção da pessoa = tem mais saliência?
Alguém sorrindo? Imagem colorida?
Até recomendo você ver os testes que o @twyuritter fez no Twitter dele.
Aí entra toda a questão: os dados estão enviesados então? Provavelmente sim. Mas um dos fatores é claramente os usuários.
Se a IA aprende com os usuários qual região ele clica, então óbvio que ela vai incorporar o que é de bom e o de ruim dos usuários. Certo?
Fica ainda evidente em cortes de mulheres nas regiões dos seios,não preciso nem dizer como a IA incorporou isso. Por que será que a IA entendeu que a região dos seios tem mais saliência? O mesmo vale pra discussão levantada ontem sobre a IA cortar sempre pra pessoas brancas, pq?
É claro que esse debate é importantíssimo. Há formas de evitar esse viés no algoritmo.
E vemos nomes gigantes de IA exigindo mudanças como a Anima da Nvidia, Mark da Georgia Tech, Hardmaru do GoogleAI, etc.
Você pode ler diretamente no blog do Twitter eles discutindo sobre o algoritmo de corte de imagens: blog.twitter.com/engineering/en…
Migas, ajudem no rt? É só porque peguei essa informação diretamente do blog do Twitter, então vi muita confusão de ontem pra hoje sobre o tema. E acho importante ter uma informação confiável. @stephanevw@luizacaires3@canalpeixebabel@1iversoDiscreto
• • •
Missing some Tweet in this thread? You can try to
force a refresh
Você provavelmente já parou pra pensar nisso em algum momento.
O que existe do lado de fora do Universo?
Vou de thread 👇
Sempre ouvimos falar sobre taxa de expansão do Universo.
Que como nome já diz: é a taxa de quanto o Universo está se expandindo a cada segundo.
Geralmente, usamos a constante de Hubble pra nos referir a essa taxa com cerca de 70 km/s/Mpc.
Existe toda uma treta dentro da comunidade cientifica sobre a constante de Hubble e isso é chamada de crise cosmológica.
Vou deixar pra falar da crise em um outro momento, por enquanto, vamos considerar esse valor de 70 km/s/Mpc porque são as unidades que nos interessam aqui.
Eles são objetos criados pela gravidade ou regiões no Universo? Você pode imaginar das duas formas.
Thread da anatomia de um buraco negro (e como eles podem ter anatomia diferentes). 👇
Buracos negros são descritos pela Relatividade Geral.
A Relatividade Geral descreve como a massa ou energia distorce o espaço-tempo criando o fenômeno que nós conhecemos como campo gravitacional.
Quanto maior a massa em uma região, mais intenso é o campo gravitacional.
Mas para uma dada massa dentro de um dado raio, a distorção do espaço-tempo (ou você pode apelidar de campo gravitacional) seria tão intensa que nem mesmo a luz conseguiria escapar.
A luz é a coisa mais rápida do Universo e a velocidade é constante não importa o referencial ✨
Sempre que afirmamos isso, surge alguém falando: "mas isso só é verdade no vácuo".
Será? Será que a velocidade >da luz< desacelera no meio?
Vamos de thread 👇
Desde a escola, você deve ter esbarrado com a famosa lei de Snell.
A lei de Snell diz que considerando os índices de refração, ângulos de incidência ou comprimentos de onda em cada meio: você pode encontrar a velocidade da luz diferente.
É uma fórmula bem útil.
E para todos os efeitos, ela é verdadeira sim. A luz parece ter desacelerado de um meio para o outro (dependendo).
Tipo a velocidade parece ser maior no ar do que na água sendo a velocidade máxima no vácuo.
Se você assistiu (ou leu) O Problema de 3 Corpos, já deve saber do que se trata esse problema.
Mas por que ele é um problema tão importante na Física? Por que ele é tão difícil?
E o que tem a ver com caos?
Uma thread de Páscoa porque estou entediada. 👇
Começando do começo: você já deve conhecer a Lei da Gravitação Universal de Isaac Newton.
Ele introduziu uma forma de calcular a dinâmica de 2 corpos que são atraídos pela gravidade dando as posições/velocidades iniciais e as massas de cada objeto.
A expressão é bem famosa:
Dada essa expressão e sabem as condições iniciais, você consegue com ferramentas matemáticas calcular a trajetória que os dois corpos terão.
Com r sendo a distância entre os dois.
Usando ferramentas do cálculo, você consegue encontrar expressão para a velocidade e aceleração.