Thread by @emile_marzolf

🤖Je vois que l’IA générative “Albert” de l’Etat fait beaucoup parler, intéresse et est aussi critiquée/moquée. On retrace la genèse de ce projet, aujourd’hui testé à petite échelle auprès d’une soixantaine de conseillers des maisons France Services ⤵️

https://twitter.com/emile_marzolf/status/1782743173829198040

Rappelons les bases : Albert n’est pas un grand modèle de langue créé de toutes pièces, mais une adaptation de Llama 2 (puis de Mistral), réentrainée sur des données administratives, pour en faire un modèle plus spécialisé pour le service public mais toujours très généraliste.

Par ailleurs, il n'a à voir avec le modèle Bert de Google.

Albert, c'est un socle technologique qui permet de décliner des LLM sur des cas d‘usages spécifiques de chaque administration, rééentrainés ou branchés sur des bases documentaires (RAG). Pour en faciliter la diffusion dans l'administration.

Cette approche a le mérite d’améliorer la fiabilité des réponses et de limiter les hallucinations. Et aussi le mérite de la “frugalité” : pas besoin d'immenses modèles de langue très gourmands en puissance de calcul, les GPU n'étant pas donnés.

Albert est présenté comme une “IA souveraine, libre et ouverte”, c’est bien joli mais ça veut dire quoi ? Que l’Etat a repris des modèles ouverts, s’est fait la main et développé toute une couche par-dessus pour utiliser des LLM open source dans le public, quel que soit le LLM.

Ca veut aussi dire que tout est mis sur des infrastructures sécurisées internes. Pas de risque de fuite de données confidentielles chez OpenAI ou chez Microsoft. L'Etat reste néanmoins dépendant des modèles existants.

Le projet a commencé il y a un an environ, quand la vague ChatGPT avait déjà bien déferlé. Les datascientists de l’Etat ont commencé à jouer avec des LLM ouverts et avec GPT. Puis le projet Albert a pris forme pour construire un socle techno mutualisé et réutilisable.

En parallèle un autre projet fait beaucoup plus de bruit : c’est l'expérimentation sur la plateforme ServciesPublics+. Le but, c’est de pré-rédiger des réponses aux avis laissés par les usagers sur ce TripAdvisor du service public. Toujours avec la validation de l’agent.

Voyez les résultats par vous-mêmes, rien d’extraordinaire, mais c’est le cas d’usage qui veut ça. Ça a le mérite d’être facile à développer/entraîner, de n’utiliser que des données publiques et anonymes, et de tester l’appétence des agents.
plus.transformation.gouv.fr/experiences/43…

Et mine de rien, les résultats sont positifs : délais de réponse réduits de 19 jours à 3,3 jours en moyenne en quelques mois, et satisfaction des usagers supérieure pour les réponses générées par IA (de 11 points). L'outil va être ouvert aux 6 000 agents chargés de répondre.

De son côté, la DSI de l’Etat continue donc le développement d’Albert : elle réentraîne des (petits) modèles sur des corpus de textes administratifs et construit toute la tuyauterie pour reprendre ces modèles et les spécialiser.

La Dinum travaille surtout avec l'Agence des territoires sur un premier cas d’usage bien défini : son utilisation en appui des conseillers des maisons France Services. L’enjeu est d’aider ces conseillers à naviguer dans une masse d’informations - fiables - sur les démarches.

Albert introduit, et c’est important, la référence directe aux sources des informations, contrairement à ChatGPT (et à SP+). Ce qui permet de rassurer les conseillers d’une part, et d’aller vérifier l’info au besoin. Au final, ça en fait un super moteur de recherche.

La Dinum fait donc des ateliers avec les conseillers, embauche une designer pour observer leurs pratiques et voir où est-ce qu’une IA générative pourrait leur être utile. Une première version test est mise à dispo mi-janvier. Ce n’est pas encore une IA conversationnelle.

Une deuxième version a déjà été mise en ligne mi-avril, justement pour devenir plus conversationnelle, et permettre aux conseillers d’interagir avec le chatbot pour affiner ses réponses. La V2 permet aussi de mieux collecter le feedback des agents.

Pour l’heure, la DINUM elle-même reconnaît “transpirer” ne serait-ce que pour démontrer son “impact”. “On gagne quelques minutes ici et là, on améliore quelques rendez-vous”. Pas de quoi révolutionner le quotidien des conseillers, à ce stade en tout cas, car tout bouge très vite.

Rien ne dit que l’outil va rencontrer son public. D’ailleurs, une conseillère FS testeuse dit constater encore des erreurs et inventions, et m’a confié ne pas y voir d’utilité, pour elle en tout cas, mais plutôt pour les nouveaux conseillers.

Comme d’habitude, et plus encore que d’habitude, la DINUM prône donc l’agilité et l’itération : commencer tout petit, tester, améliorer, tester etc. Pour être sûr de ne pas investir trop d’efforts et d’argent dans un outil inutile ou inutilisable.

Ca tombe bien l’IA générative s’y prête bien : facile à tester pour se faire une idée de l’intérêt, beaucoup moins pour “industrialiser” un cas d’usage.

Les deux expérimentations SP+ et Albert se sont faites en parallèle mais pourraient converger : la DITP voudrait faire des tests avec Albert pour voir si les résultats sont équivalents à ceux de Claude et Mistral.

Selon la DINUM, plusieurs dizaines d’administrations se sont dites intéressées pour tester son IA, sans préciser sur quels cas d’usages. Elle leur met tout à dispo, et propose au besoin un développement sur-mesure.

Albert va ainsi être ouvert en API pour permettre aux administrations de tester l’IA générative facilement sur les infrastructures de la DINUM avant d’éventuellement investir. Sans passer par OpenAI et consorts.

Pour l’heure cette infra n’est adaptée que pour les démarches exploratoires, pas pour l'industrialisation. A ce niveau rien n’est arbitré côté financements, et c’est d’ailleurs ce qui freine certaines administrations, comme les Impôts.

Enfin, l’Etat veut lancer un chatbot Albert directement sur l’appli de messagerie Tchap pour le rendre accessible à tous ses agents, et éviter le “Shadow GPT”. Mais là aussi, il y a 2-3 détails à régler pour tenir la charge de plusieurs centaines de milliers d’agents...

Concernant les réutilisations d'Albert, rien n'est encore très clair. Je sais juste que la DILA, l'envisage pour ressusciter son projet de chatbot sur le site . L'Assurance retraite aussi pour créer un genre d'assistant RH pour les entreprises.service-public.fr

Pareil pour la DRH de l'Etat, la DGAFP, qui envisage de créer un assistant sur les règles RH, pour faciliter la tâche des gestionnaires de proximité de l'Etat territorial. (Mais pas pour le mettre directement au contact des agents "lambda")

La MSA aussi est intéressée, certaines collectivités aussi, comme Montpellier et Lille.

Ce qu'il faut retenir, c'est qu'entre les grandes annonces gouvernementales et la réalité des cas d'usages, il y a encore un gros gap, même s'il y en a à peu près partout. Les administrations naviguent encore à vue et ne savent pas du tout si leurs expés porteront leurs fruits.

C'est, comme je le disais, l'avantage de l'IA générative : on peut la tester très rapidement, pour pas cher : 100 000 euros ont été investis pour développer l'outil "Albert France Services". Si ça rate, pas bien grave, et l'expertise acquise servira à d'autres expés.

Pour ceux que ça intéresse :
- le code Albert :
- le code Albert Tchap : github.com/etalab-ia/albe…
github.com/etalab-ia/albe…

Une précision utile : sur la 20aine d'administrations à qui j'ai parler IAG, pratiquement aucune ne compte mettre de chatbots au contact des usagers. Selon elles, c'est parce qu'elles ne veulent pas déshumaniser, mais aussi et surtout parce l'IAG est encore bien trop imparfaite.