2) Lo que él decía no tenía ningún fundamento más allá de lo que era su propia percepción. Cualquiera que haya podido interactuar con LaMDA o ChatGPT meses después se habrá dado cuenta.
3) "Y ahora Microsoft dice lo mismo". Microsoft NO ha dicho lo mismo.
5) "Sparks of AGI" NO significa "CHISPAS DE CONCIENCIA".
Si se hiciera bien el trabajo de periodismo, se acudiría directamente a la fuente que se referencia -al artículo de Microsoft- para consultar cuál es la definición de AGI que se utiliza.
6) "¿Quién sabe qué detecto?" Las conversaciones son públicas ya que las filtró él -sí, revelación de secretos- en un punto donde Google era muy sensible con cualquier tema de IA que pudiera dañarles reputacionalmente.
Aquí el enlace a las conversaciones en su blog. Nada nuevo. Cualquiera que haya interactuado con ChatGPT habrá llegado incluso a conversaciones de mayor profundidad.
Así que no, ni grandes corporaciones han confirmado nada que el año pasado se quisiera tapar. Ni la IA tiene destellos de conciencia. Ni Lemoine tenía razón.
Y aprovecho para sacar aquí este clip del 24 horas con Jordi Wild el año pasado, a la pregunta que me hizo sobre mi opinión de Iker Jimenez, muy en relación con este hilo porque luego saltamos al tema de LaMDA.
Viendo a Altman declarando en el congreso a la espera de que a alguna pregunta comprometida responda:
"Como modelo del lenguaje entrenado con datos hasta 2021 no puedo..."
Si no os parece suficientemente salseante esto, lo han sentado junto a Gary Marcus 🍿
Cero conocimiento de cómo va la política de EEUU, pero el colegueo y las coñitas que se sueltan los congresistas en esta sesión me están haciendo la tarde.
Y... os voy a compartir por aquí algunos experimentos. Lo primero que he probado ha sido meterle las 100 páginas del documento de GPT-4 y entre medias colarle la frase:
En la siguiente prueba voy a hacer algo de Q&A sobre el mismo documento. En este caso pedirle los nombres del equipo de RL y Aligment, listados a mitad de paper.
El resultado es un listado de nombres que sí aparecen en el paper -significa que llega a observar esa información- y… twitter.com/i/web/status/1…
En esta prueba le he pedido que me traduzca el documento entero (hasta el límite de tokens fijados) y lo ha hecho bien, de lo que he podido leer.
Es flipante ver a un modelo procesar información alcanzando contextos tan largos!
Estaba tan metido en lo de PaLM 2 y Bard que he pasado muy por encima sobre el modelo Claude de 100K.
Pero ahora que lo estoy procesando ES MUY BESTIA!
Estamos hablando de una ventana de contexto x3 veces más grande de los 32K que estábamos esperando de GPT-4 🔥
100K tokens -unas 75K palabras- es
👉 Harry Potter y la piedra filosofal entero!
👉 Las 200 pags de los papers de PaLM 2 y GPT-4
👉 6 horas de transcripciones de podcasts!
👉 Muchísimo espacio para código y documentación.
Si tenéis curiosidad, desde Google Cloud (desde hace un par de meses) se puede acceder a la API de PaLM.
Es PaLM 1 -la del año pasado- y con la escala de tamaños que desvelaron ayer en el evento, ahora sabemos que text-BISON que ofrecen no hace referencia al modelo de mayor… twitter.com/i/web/status/1…
Hasta la llegada de GPT-4, PaLM era el modelo de lenguaje más potente, demostrando capacidades de razonamiento nunca antes vista en otros modelos.
Y este acertijo de aquí es mi favorito :)
Peeeeero probándolo ahora con esta versión de PaLM no consigo replicarlo.
Luego también tienen una versión de PaLM orientada a conversaciones, similar a lo que es ChatGPT frente a GPT-3. Esta es la versión chat-bison@001
Aún así, no sé por qué pero se niega a arrancarse a hablar conmigo en Español. Muy limitado.
Directo finalizado, y podemos decir que Google se ha puesto al día. ¿Lo más destacable? Una nueva versión de su modelo PaLM -podéis pensarlo como si OpenAI sacara una nueva versión de su GPT-
Y PaLM 2 es... PEQUEÑO! 🌴
x38 menos que PaLM! 😯
Hay mucho que cortar aquí, así que para más info os derivo al blog post de Google y al preprint en arxiv.
Me lo leeré y cuando tenga más información y unas impresiones formadas, os cuento :)