Sé que va a haber un momento en 2023 que da igual lo que esté haciendo o donde esté, recibiré una notificación y se me helará la sangre. Será un momento de pararlo todo y empezar a currar en esto y algo que recordaré por tiempo...
👉 Habrá salido GPT-4
Os cuento cositas [1/n]
Desde que aprendimos el patrón GPT-2 -> GPT-3 -> ...
la versión 4 de la familia GPT ha sido el modelo más anticipado de la historia del Deep Learning, y ahora mismo el hype está bastante alto.
Si algo ha despertado mi curiosidad por GPT-4 es leer este párrafo del blog de Gary Marcus, quien por normal general (y en este artículo no es la excepción) se sitúa en las antípodas de estos Enormes Modelos del Lenguaje. ¿Hay gente probándolo ya? 👀
Si algo impresionó de GPT-3 fue cómo OpenAI logró escalar el tamaño de su modelo frente a sus predecesores. Respecto a GPT-2, la nueva versión aumentó su número de parámetros en >100 veces, hasta los 175 mil millones de parámetros. 🤯
¿Cuánto podría escalar GPT-4? ¿Qué pensáis?
Rumores hablan de esto: un modelo 500 VECES más grande que GPT-3.
...pues no lo creo
Si así fuera tendría miedo de tremenda bestia 😅 Pero creo que lo que vamos a ver es algo más "modesto" quizás un modelo 5 VECES mayor que llegue al BILLÓN de parámetros
Y es que este año DeepMind con Chinchilla demostró que no hacía falta escalar tanto a estos Enormes Modelos del Lenguaje. Que GPT-3 todavía tenía margen de mejora para ser entrenado más y con más datos sin necesidad de hacerlos MÁS GRANDES. Así que el tamaño no es tan importante.
Sea como sea, tiene pinta de que GPT-4 va a consolidarse como la primera GRAN herramienta de IA que masivamente usaremos para un gran rango de tareas. ChatGPT nos ha mostrado sus posibilidades.
Y si los rumores que llegan desde Silicon Valley son ciertos, lo que viene es grande.
A estas tecnologías se le llaman Enormes Modelos del Lenguaje (LLMs) y si queréis saber por qué es tan interesante hacer a estas IAs cada vez más grandes, en este vídeo se explica muy bien :)
• • •
Missing some Tweet in this thread? You can try to
force a refresh
En un nuevo blog post publicado por OpenAI responden a la demanda interpuesta por Musk la semana pasada. Más allá del salseo, esta "batalla" nos está dando acceso a muchos documentos interesantes que narran la historia de OpenAI.
Veamos 👀🔥👇
La primera cosa interesante la encontramos al final del artículo, donde podemos ver que lo firman los pesos pesados de OpenAI, con el desaparecido Ilya Sutskever también!
Que desde la crisis de Noviembre con el despido de Sam no se le veía...
En un primer correo vemos que en 2015, cuando se planificó la creación de OpenAI -recordemos, para competir contra DeepMind- Elon insistió en inflar la financiación para dar más status al laboratorio frente a gigantes como Google o Facebook.
¿Te gustó Oppenheimer?
¡No dejes de leer OpenAI-mer!
Enserio. Si algún día se quisiera escribir una novela sobre OpenAI, la demanda interpuesta por Elon Musk es un documento espectacular en el que basarse
Acabo de leerla y realmente contiene un montón de datos interesantes! :)
El documento es este y contiene información sobre el origen de OpenAI, las donaciones de Elon, el miedo a DeepMind y a Google, GPT-4, Q* y la AGI.
¡Lo tiene todo! Además ordenado cronológicamente. Sólo recordad que se escribe desde la perspectiva de Elon. courthousenews.com/wp-content/upl…
¿Mi opinión tras leerlo? El problema que tiene el documento es que depende de considerar a GPT-4 una AGI -cosa que no es y cosa que nadie ha definido como tal- pero incluso solicita que se determine judicialmente que así es.
De hecho en partes anteriores del documento hace trampa hablando de que GPT4 estaría dentro del umbral de la AGI -lo cuál no es un concepto rigurosamente definido-, y para basarse en ello hace referencia a papers como el de "Spark of AGI".
Pero claro... si algo muestra "chispas" de AGI, es que no es una AGI. Igual que un niño puede mostrar potencial para convertirse en un excelente matemático, y sin embargo eso no le convierte en matemático.
Si habéis creado un GPT propio y queréis que la gente pueda encontrarlo a través de la Store tenéis que configurarlo para que su estado de publicación esté en "Everyone".
A partir de eso momento cualquier persona podrá encontrarlo 👌
Aquí 24 ideas de lo que creo que podría pasar en el mundo de la Inteligencia Artificial durante este año.
Ya sabéis que en IA es difícil acertar, pero hemos venido a jugar. En 12 meses verificamos :)
PD: A ver vuestras predicciones! 👀
#1 🔮 TRADUCCIÓN MULTI-IDIOMA DE CALIDAD EN TIEMPO REAL
En 2024 contaremos con algún dispositivo capaz de proporcionar una traducción multi-idioma de calidad (al nivel de la traducción de los LLMs actuales) por voz en tiempo real.
#2 🔮 GENERACIÓN 3D REALISTA E INSTANTANEA
En 2024 seremos capaces de integrar en entornos reales -vídeo, escenas 3D o AR- objetos tridimensionales generados en segundos. La calidad del modelo, la integración con la iluminación, las oclusiones, etc. dejarán al objeto perfectamente camuflado.
Este es un análisis muy simple y reduccionista que aunque puede tener un aplauso fácil, creo no describe bien la realidad del asunto. 😗
¡PERO! Me sirve para hablaros un poquito del tema y de la paradoja que existe respecto a la IA y su eficiencia energética. 🧵
Sí, la IA -como ocurre con muchas otras industrias- consume grandes cantidades de energía 1) para la fase de entrenamiento, donde hay un coste fijo muy significativo y 2) para la fase de inferencia (la de uso) donde el coste por usuario es órdenes de magnitud más bajo.
Visto así parecería que bueno, una primera inversión energética se podría justificar puesto que en el largo plazo el uso por parte de los usuario no tiene un impacto energético tan grande ¿no?
La mejor forma de entender el rápido progreso de esta tecnología es mirar atrás para ver dónde estábamos y comparar con el lugar de ahora.
Así que os traigo un macro-hilo que iré completando poco a poco estos días y que espero os guste :)
🖼️ Generación de imágenes (2022)
A finales de 2022 el modelo más avanzado de generación de imágenes con el que contábamos era Midjourney v4. Un modelo impresionante que alzó a la empresa a ser una opción competitiva y no sólo un juguete experimental.
Esto podíamos hacer 👇
(2023) Salto al presente y ahora tenemos un Midjourney v6, que junto a la v5 (de Marzo) durante este año nos ha ofrecido un salto de calidad abrumador donde podemos crear cualquier imagen con un grado de realismo y variedad insoñable hace sólo 3 años*