Thread by @LucasGSTeles

9 de outubro de 2021. O dia em que eu e o @kauai_guarilha "inventamos" o #AppleVisionPro .

Em 2021 nosso trabalho da cadeira de Sistemas Colaborativos da pós em Engenharia de Software pela UFRJ, propomos uma "rede social imersiva" com uso de VR, na ocasião pensamos em uma primeira aplicação em ambientes controlados, como em shows ou parques temáticos.

Para defender o uso de utilizar um dispositivo no mínimo incomum, olhamos para as festas que já são realizadas com headphones. O princípio seria o mesmo, com a diferença que nesse caso, além da audição, a visão também seria impactada.

Uma das ideias para aplicação em shows seria o show remoto na mesma linha de um holograma, com a diferença de que ao invés de utilizar vidros e espelhos, "projetaríamos" o show no palco por meio da realidade aumentada, com o uso dos óculos. Na prática: se você tirasse os óculos

veria um palco vazio. A banda poderia estar num estúdio do outro lado do mundo e fazer um show na sua cidade, sem ter que se ônus dos custos de uma viagem. Além disso, poderia explorar a computação gráfica para agregar efeitos especiais, que no show físico, não seria possível.

Mas as pessoas se deslocariam até um evento pra ver ao vivo um show remoto? Bom, elas já fazem isso.

"Mas o dispositivo? Daria trabalho criar algo assim."
Não tínhamos a intenção de lançar um mega dispositivo novo. Nossa ideia estava mais focada no software e menos em hardware. Daria pra colocar a ideia em prática com aparelhos que já existiam no mercado. Smartphones e suportes.

Aliais, uma possibilidade seria a parceria com alguma fabricante de smartphone como, por exemplo, a própria Apple. Faria-se um evento exclusivo para usuários da marca, pra entrar seria necessário possuir o smartphone estipulado. No evento o usuário receberia o suporte.

Com os "óculos" vestidos. O usuário passaria então enxergar o mundo a sua volta através da lente da câmera do próprio smartphone. Nada de novo nisso. Porém, não seria interessante ver o rosto das pessoas a sua volta tapado, deveria haver uma forma de ocultar esses óculos.

Solução: projetar o rosto da pessoa sobre os óculos. Mas como fazer? Bom, na época a IA não estava tão quente como agora, não havia Midjourney, mas já havia alguma coisa. Havia, por exemplo, o software da câmera 360º que oculta a própria câmera na foto tirada por ela.

Havia também as deepfakes, como as que o @brunnosarttori faz com maestria.
A ideia seria um mix das duas tecnologias: a de ocultação da câmera para ocultar os óculos, e a abordagem do deepfake para "recolocar" a parte do rosto faltante.

Um ponto em comum entre a abordagem da Apple e a nossa é: escanear o rosto. Uma vez fotografado (ou filmado) por diversos ângulos, poderia ser formado um modelo 3D do rosto através da tecnologia de fotogrametria. Dessa forma existiria a sobreposição para ser usada no deepfake.

O resultado esperado seria esse: duas pessoas utilizando os óculos viriam o rosto uma da outra sem problemas.

Para controle da interface do dispositivo, nos inspiramos no Black Mirror e propomos um controle remoto (ou ainda o próprio smartwatch, por exemplo). Nesse ponto a Apple foi mais longe e fez o controle do dispositivo apenas com gestos manuais, sem nenhum aparelho adicional.

Além do show, efeitos especiais e tudo mais, a proposta era ser uma rede social. De forma que dentro do evento você pudesse, por exemplo, receber um convite de uma pessoa e ser guiado até ela pela interface, numa abordagem semelhante a um gps de jogos de corrida.

A ideia também contemplava um esforço em infraestrutura de rede do evento, não daria pra delegar ao usuário esse ponto. E se o pacote de dados não fosse suficiente?
A solução não era um app, nem um hardware, era o todo. A experiência em si, a rede social imersiva.

Tivemos a ideia mais viajada possível na ocasião.
Algumas semanas depois da apresentação, a Meta anunciou o metaverso.
Um ano e meio depois, a Apple lança o Apple Vision Pro. A ideia não era tão viajada assim.