Sé que va a haber un momento en 2023 que da igual lo que esté haciendo o donde esté, recibiré una notificación y se me helará la sangre. Será un momento de pararlo todo y empezar a currar en esto y algo que recordaré por tiempo...
👉 Habrá salido GPT-4
Os cuento cositas [1/n]
Desde que aprendimos el patrón GPT-2 -> GPT-3 -> ...
la versión 4 de la familia GPT ha sido el modelo más anticipado de la historia del Deep Learning, y ahora mismo el hype está bastante alto.
Si algo ha despertado mi curiosidad por GPT-4 es leer este párrafo del blog de Gary Marcus, quien por normal general (y en este artículo no es la excepción) se sitúa en las antípodas de estos Enormes Modelos del Lenguaje. ¿Hay gente probándolo ya? 👀
Si algo impresionó de GPT-3 fue cómo OpenAI logró escalar el tamaño de su modelo frente a sus predecesores. Respecto a GPT-2, la nueva versión aumentó su número de parámetros en >100 veces, hasta los 175 mil millones de parámetros. 🤯
¿Cuánto podría escalar GPT-4? ¿Qué pensáis?
Rumores hablan de esto: un modelo 500 VECES más grande que GPT-3.
...pues no lo creo
Si así fuera tendría miedo de tremenda bestia 😅 Pero creo que lo que vamos a ver es algo más "modesto" quizás un modelo 5 VECES mayor que llegue al BILLÓN de parámetros
Y es que este año DeepMind con Chinchilla demostró que no hacía falta escalar tanto a estos Enormes Modelos del Lenguaje. Que GPT-3 todavía tenía margen de mejora para ser entrenado más y con más datos sin necesidad de hacerlos MÁS GRANDES. Así que el tamaño no es tan importante.
Sea como sea, tiene pinta de que GPT-4 va a consolidarse como la primera GRAN herramienta de IA que masivamente usaremos para un gran rango de tareas. ChatGPT nos ha mostrado sus posibilidades.
Y si los rumores que llegan desde Silicon Valley son ciertos, lo que viene es grande.
A estas tecnologías se le llaman Enormes Modelos del Lenguaje (LLMs) y si queréis saber por qué es tan interesante hacer a estas IAs cada vez más grandes, en este vídeo se explica muy bien :)
• • •
Missing some Tweet in this thread? You can try to
force a refresh
Un artículo de Reuters filtra información de una investigación interna llamado Strawberry, anteriormente conocido como Q* -chann channn!-
📰 El artículo la verdad que pone palabras a mucho de lo que se ha venido especulando en el último año:
→ Hablan de modelos "strawberries" para referirse a IAs con capacidad mejorada de razonamiento.
→ Ya se había filtrado anteriormente sobre Q* su capacidad de resolver problemas complejos de ciencia y matemáticas.
→ La técnica sería de post-entrenamiento. Es decir, una vez entrenas un LLM o LMM, puedes aplicarla para mejorar sus capacidades (como sucede con RLHF)
→ Apuntan a un paper de Stanford del que podría estar basado (Self-Taught Reasoner - STaR). Quizá de ahí la estrella de Q* y también el comienzo de STRawberry.
→ OpenAI busca con esta técnica lograr que las IAs puedan resolver long-horizon tasks. Es decir, tareas que recorrieran de planificación y ejecución de múltiples pasos y decisiones.
→ Investigan el usar estas capacidades de ejecución de tareas complejas conectándolo a un agente que ejecute en un ordenador instrucciones, y realizando trabajo de ingeniero de software y ML.
Bastante información, de la que mucho se había especulado, y que se aproxima a lo esperado. Aún así, una cosa es especular y otra tener (mediante filtraciones) la confirmación de que es eso.
Muy intrigado de las nuevas capacidades de la próxima generación de modelos!
El modelo no sólo es rápido, sino que los resultados son buenos!
Con lo que ahora contamos con una nueva herramienta que facilitará el editar los vídeos de generación de IA, tanto para interpretar poses o para sincronización labial.
En colaboración con Freepik hoy os traigo uno de los inpaintings más rápidos de internet y una de las suite de herramientas lA más completas para retocar vuestras imágenes. Ah, y os daré acceso GRATIS!
¿Cómo? Atentos al este hilo 🧵👇
1. Generación de imágenes!
Este será nuestro punto de partida. Escribes un prompt, eliges estilo, y pum! En este caso la velocidad de generación de Freepik me permite visualizar entre los diferentes estilos sin necesidad de consumir
créditos, lo cual es muy útil! ✨
2. Reimagina tu creación!
Nuestra imagen es una primera idea, pero si queremos explorar alternativas, la opción Reimagine es la leche!
Aquí la lA te describirá automáticamente tu imagen en un prompt donde para cada concepto podrás variar y
re-imaginar múltiples alternativas.
En un nuevo blog post publicado por OpenAI responden a la demanda interpuesta por Musk la semana pasada. Más allá del salseo, esta "batalla" nos está dando acceso a muchos documentos interesantes que narran la historia de OpenAI.
Veamos 👀🔥👇
La primera cosa interesante la encontramos al final del artículo, donde podemos ver que lo firman los pesos pesados de OpenAI, con el desaparecido Ilya Sutskever también!
Que desde la crisis de Noviembre con el despido de Sam no se le veía...
En un primer correo vemos que en 2015, cuando se planificó la creación de OpenAI -recordemos, para competir contra DeepMind- Elon insistió en inflar la financiación para dar más status al laboratorio frente a gigantes como Google o Facebook.
¿Te gustó Oppenheimer?
¡No dejes de leer OpenAI-mer!
Enserio. Si algún día se quisiera escribir una novela sobre OpenAI, la demanda interpuesta por Elon Musk es un documento espectacular en el que basarse
Acabo de leerla y realmente contiene un montón de datos interesantes! :)
El documento es este y contiene información sobre el origen de OpenAI, las donaciones de Elon, el miedo a DeepMind y a Google, GPT-4, Q* y la AGI.
¡Lo tiene todo! Además ordenado cronológicamente. Sólo recordad que se escribe desde la perspectiva de Elon. courthousenews.com/wp-content/upl…
¿Mi opinión tras leerlo? El problema que tiene el documento es que depende de considerar a GPT-4 una AGI -cosa que no es y cosa que nadie ha definido como tal- pero incluso solicita que se determine judicialmente que así es.
De hecho en partes anteriores del documento hace trampa hablando de que GPT4 estaría dentro del umbral de la AGI -lo cuál no es un concepto rigurosamente definido-, y para basarse en ello hace referencia a papers como el de "Spark of AGI".
Pero claro... si algo muestra "chispas" de AGI, es que no es una AGI. Igual que un niño puede mostrar potencial para convertirse en un excelente matemático, y sin embargo eso no le convierte en matemático.
Si habéis creado un GPT propio y queréis que la gente pueda encontrarlo a través de la Store tenéis que configurarlo para que su estado de publicación esté en "Everyone".
A partir de eso momento cualquier persona podrá encontrarlo 👌