Thread by @equisele

¿Te gustaría animar una imagen generada por #stablediffusion – incluso con #Dreambooth – con un video grabado de ti mismo? Aquí tienes otro ejemplo 👉

https://twitter.com/equisele/status/1591417546355650560

Pues sigue los pasos que te dejo a continuación que no son pocos :) Let's go! 🧵👇

1/ Carpeta para el proyecto.
2/ Grábate un clip de video con webcam + OBS o tu app favorito. Lo + importante:
- Mínimo HD.
- Cámara que se mueva despacio.
- Que no aparezcan elementos nuevos en el plano: objetos o partes de cuerpo.
- Bien iluminado
- 10 seg. de largo aprox…
👇

3/ Escala a 512px de alto y luego recorta tu video a 512x512px con tu app favorita. También puedes hacerlo online con ezgif.com
3.1/ Guarda el video resultante en tu carpeta de proyecto.

3/ Exporta el video a una secuencia de PNG. Puedes hacerlo con tus app preferidas para Windows o para Mac – como Mpeg Streamclip – o también online en esta url si no son demasiado largos 👉 mconverter.eu/convert/mp4/pn… El resultado lo guardas en una carpeta llamada /fotogramas/

4/ Eliminar el fondo del video y aislar tu silueta (opcional). Utiliza runwayml.com que te permite eliminar el fondo en 2 clics + buscarte la vida. En realidad necesitamos el Alpha Matte y para eso es mejor tirar de After Effects, Premiere Pro o Davinci Resolve.
👇

5/ Elige tu herramienta de StableDiffusion + DreamBooth fav. – Google Colab, Dreamstudio, Midjourney y elige prompt. Dale como input el 1º fotograma de tu secuencia. Luego descarga, guarda en carpeta /keyframes/ y renómbralo como el el primer fotograma de tu secuencia.
👇

6/ La magia: descarga Ebsynth ebsynth.com una app beta para Win/Mac y mejor mira qué hace Así entenderás entender la importancia de los fotogramas clave y el por qué de algunas reglas que mencioné en el primer tuit. 👇

Abres la app y la configuras tal que en esta imagen adjunta. Si no utilizaste Alpha mattes – mejoran mucho el resultado – la opción "Mask" déjala en off. Por último, le das a "Run All" y ahora toca esperar aproximadamente 10 a 15 min máximo a que se generen todas las imágenes.
👇

Como es una secuencia de imágenes, tendrás que recomponerla en Premiere Pro o app similar para poder ensamblar el video.
Fin de la frikada del día que puedes ver, darle ❤️ y 🔁 aquí 👉

https://twitter.com/equisele/status/1591506247232233473

Si te atreves a embarrarte, por favor, mencióname :)