Thread by @arikouts

Suite à mon thread sur les sites automatisés en #IA, on m’a beaucoup demandé « Mais comment t’as fait ».
J'ai pu le présenter à @genaiparis

Je vais détailler mais profitons-en pour parler de comment on « code » avec #ChatGPT #langchain
⤵️⤵️

@genaiparis Je vais essayer de vulgariser un peu, on verra mon workflow spécifique après.
Outre la version grand public, ChatGPT existe aussi en version APIsé, c’est-à-dire que l’on peut donc intégrer dans un programme (soit via OpenAI, soit sur Microsoft Azure).
datascientest.com/api-tout-savoir

@genaiparis De ce côté, il n’y a rien de différent avec d’autres services (par exemple se connecter à l’API de twitter pour créer un bot). Là où c’est très différent, c’est que les paramètres que l’on va indiquer sont plus qualitatif. On va coder de manière littérale !

@genaiparis La « magie » d’un LLM est la manière dont il comprend le prompt afin de compléter le texte. A la place de variables traditionnelles on va donc devoir mettre tout dans un prompt.
Il existe des framework pour faciliter la tâche, on va parler de #LangChain
github.com/hwchase17/lang…

@genaiparis Afin de créer une application complexe, on va utiliser plusieurs technique (prompt simple, prompt demandant step by step…) et souvent via une « chaine de réflexion » et d’actions à prendre (chain of thoughts + Action Plan = ReAct)
python.langchain.com/en/latest/glos…

@genaiparis Ces méthodes sont issues de try & learn et de papiers de recherches (quelques papiers des principales façons d’interagir avec un LLM)
arxiv.org/abs/2201.11903
arxiv.org/abs/2205.11916
arxiv.org/pdf/2207.04237…

Et globalement une liste ici
github.com/atfortes/LLM-R…

@genaiparis Par exemple disons que je lui mets à disposition un outil pour chercher sur internet et un outil de calcul (équivalent des plugins de ChatGPT), et lui demande de formuler une chaine de réflexion et d’actions à prendre pour arriver à répondre

@genaiparis Il y a déjà pas mal d’outils qui existent via langchain et de types d’agents, ce qui rend GPT bien plus utile surtout dans un cadre d’entreprise. Et c’est très simple d’en créer d’autres

@genaiparis Mais tout ça n’est pas « magique » en réalité tout rentre dans le prompt. Par exemple pour utiliser les outils, il reçoit donc d’abord le mode d’emploi des outils dans le prompt, à chaque message (masqué par la librairie) qui ressemble à ça

@genaiparis Alors qu’en fait le code ne fait que 3 lignes (je choisi mes outils, je crée l’agent, je lance), la librairie va pré créer le prompt, qui aura été testé par les développeurs de l’outil avant (via les papiers de recherche)

@genaiparis On remarque donc que c’est le prompt qui fait tout.
Un modèle de ce type n’a pas de mémoire, quand vous utilisez chatGPT à chaque fois toute la conversation est renvoyée entièrement. Et il arrive parfois au bout du maximum qu'il peut recevoir et on lui fait « oublier » le début.

@genaiparis Voici les prompts « systèmes » cachés qui sont envoyés donc à chaque requête sur Bing Chat (772 mots) et sur My Ai de Snapchat (478 mots)
Renvoyés à chacun de vos messages

Donc la manière la plus efficace d’utiliser GPT c’est de lui donner à chaque fois le contexte nécessaire pour répondre, comme cet exemple où les sources en rapport avec la question sont remontées au niveau du prompt pour qu’il puisse formuler une réponse

https://twitter.com/arikouts/status/1640813480914702344

Vous pouvez tester avec un PDF ici (attention seulement avec des données non confidentielles) ici
chatpdf.com (je vais pas rentrer sur l'explication de l'indexation ici)
Exemple avec l’étude des vaccins covid Biontech

A ce stade vous avez donc compris que le prompt est le moyen de coder, et que le contexte fait tout.
Revenons à mes sites.

Les sites de base sont un wordpress standard, avec un thème gratuit, rien de spécial, juste customisé les couleurs et rapidement quelques ajouts CSS + config première page, trad, plugins standards etc : temps de mise en place moins d’une heure

Les profils ont été écrits par chatGPT à ma demande, la tagline aussi

Ensuite les photos ont été faites via un stable diffusion, modèle Realistic Vision 1.5/2.0, sur Google Collab (quelques exemples au hasard pas choisis finalement, parmi des centaines… Ca va tellement vite qu’on peut en générer pleins et choisir ensuite)

Je ne pouvais pas utiliser langchain (car PHP) puis au moment du lancement j’étais moins certain de son apport pour ce cas-là. De plus comme on va le voir, c’est très scripté et encadré, je n’ai pas besoin de réflexion de la part de GPT. Je guide.

Donc pour chaque site j’ai ensuite développé un petit plugin avec quelques fonctions, en gros quelques heures de taff avec du try & learn (surtout les prompts), on va rentrer dans le workflow de chaque site et les prompts utilisés

Côté cuisine, le but était de créer de recettes de saison, en rapport avec la culture et la personnalité du « chef », originales, et dans un format précis. Ca donne le workflow suivant :

Toutes les x heures donc une nouvelle recette est éditée, en rajoutant dynamiquement la date du jour, la bio du chef, les anciennes recettes, et un format très strict et précis en sortie pour la mise en page.
Le prompt devient :

Sur Tech Generation, on a 2 workflows. L’un pour le choix des articles, l’autre pour l’écriture de l’article

De la même manière le prompt contient des informations sur le journaliste, la structure exacte, et enfin on rajoute l’article en texte en entier

Et … c’est tout. C’est aussi simple que cela. Au niveau des coûts un site coûte 0,5 à 3€ par jour (il faut optimiser, choisir GPT3.5 quand on ne cherche pas une forte qualité, par exemple sur le choix des catégories pas besoin de GPT4)

Cela fait longtemps qu’il y a des outils de générations de contenus. nicheasucces.com/generation-de-…
Certains comme klistair.com permettent une génération auto complète.

Dans mon talk vous pouvez retrouver une partie sur éthique et de réglementations qui commencent à se mettre en place. Mais surtout beaucoup de fantasmes autour de l'utilisation et des capacités aujourd'hui de ces "IA" qui sont surtout des outils

Langchain a aussi la pire documentation possible, donc l'URL de ce tweet

https://twitter.com/arikouts/status/1660703922804105228

a changé est c'est dispo ici python.langchain.com/en/latest/gett…

https://twitter.com/arikouts/status/1660709779633741825

Je remets le lien vers le premier thread

https://twitter.com/arikouts/status/1649163855375769613