Thread by @antor

¿Cómo es posible que #StableDiffusion haya sido desarrollado por un grupo medio desconocido que comparado con los gigantes de la IA (openai, google, meta, etc.) es minúsculo?

La sensación de "no es posible" recuerda a la irrupción del open-source (especialmente linux).

Hilo 👇🏻

Una de las máximas hasta ahora es que los modelos gigantescos solo pueden ser entrenados con muchísimos recursos que solo tienen los gigantes tecnológicos.

Esos gigantes controlaran esa tecnología clave y de ahi emanan intuiciones sobre regulación, centralización, etc.

Publicaron estudios para estudiar el camino más óptimos a la rentabilidad y mejores prestaciones de los modelos grandes. Tanto Meta publicó arxiv.org/pdf/2208.08489… y OpenAI arxiv.org/pdf/2001.08361…

Una de las conclusiones del artículo de Meta es que se mejora tanto con más datos como con más cómputo (no necesariamente con más parámetros); el artículo de OpenAI sigue esa línea (escalar en cómputo mejora prestaciones) y deja abiertas algunas preguntas al final.

Pero eso fue hace más de 2 años, hace unos meses Deepmind publica el artículo donde introducen Chinchilla. Chinchilla es lo de menos, lo relevante es que indican que los modelos de lenguaje actuales no están suficientemente entrenados: les sobra cómputo y les faltan datos (!!!).

Corrección: en los primeros tuit digo que el artículo de Meta es de 2020, el artículo e Meta es de 2022 y en la conclusión son taxativos: para sistemas de recomendación se acabó la fiesta de escalar solo con parámetros; o más datos o a esperar a nuevas arquitecturas.

¿Qué nuevas arquitecturas (o mejoras arquitecturales)?

A estas alturas todos los modelos de lenguaje se basan en Transformers arxiv.org/abs/1706.03762…. El Transformer usa internamente un tipo de atención llamado "Self-attention" con muchísimas ventajas pero tiene una desventaja:

Su complejidad (en memoria y cómputo) crece cuadráticamente con el tamaño de la entrada:

Frase de 4 palabras -> Complejidad 16.
Frase de 10 palabras -> Complejidad 100.
Frase de 100 palabras -> Complejidad 10000.

Por eso GPT3, etc. "pierden el hilo" con textos grandes.

Eliminar o mitigar estos problemas es foco activo de estudio: Performer, Reformer, Linformer, etc. son variantes del Transformer que prometen aproximar la atención con costes no cuadráticos; más recientemente arxiv.org/abs/2202.10447

y arxiv.org/abs/2112.05682

Ningun mecanismo de estos se usa aún en producción; espero verlas pronto y creo que ocasionará NUEVAS prestaciones para los modelos entrenados con muchísimos recursos por un lado y por otro que podremos entrenar modelos de lenguaje con menos recursos.

Pero ¿Y #StableDiffusion?

Lo irónico (y contraintuitivo) para OpenAI es que la parte más costosa de entrenar modelos de generación de imágenes no es la parte de generación de imágenes (!) sino la parte del modelo de lenguaje, y...

¿pero qué modelo de lenguaje usa #StableDiffusion?

#stableDifusion usa CLIP ViT-L/14 liberado por openai....

github.com/openai/CLIP/is…

Inevitable irnos a 1999 cuando a Microsoft no le interesaba en absoluto que las "aplicaciones web" fueran igual de buenas que las "aplicaciones nativas" (de Windows) sin embargo inevitablemente la propia innovación en su división (Outlook online) hizo que Internet Explorer 👇🏻

diera soporte a una función llamada XMLHttpRequest, que rápidamente incorporaron los navegadores competidores (Mozilla, etc.) y dió lugar a un paradigma que se terminó llamando AJAX web.archive.org/web/2015091007… y dió lugar a que Google pudiera sacar Google Maps, Google Suggest, etc.

El paralelismo es que en estas empresas donde hay innovación, competencia interna, personal muy cualificado etc. es prácticamente imposible "guardarse" los avances incluso aunque estratégicamente como empresa te interese.

Pasó con el Software 1.0 y pasará con el Software 2.0