Thread by @jeredejere

#FunFact : des chercheurs ont mis au point 1 attaque adversariale contre #Katago, l'une des #IA de jeu de #go les plus populaires (et puissantes). Résultat : leur système de jeu parvient (presque toujours et dans certaines conditions) à… battre Katago ! goattack.far.ai

Concrètement, ils ont entraîné une (autre) #IA à appliquer leur système de jeu puis l'ont confrontée à #Katago dans différentes configurations. Ils atteignent notamment 72% de victoire contre une version largement "surhumaine" de Katago.

Résumé des épisodes précédents : depuis 2016 et la victoire d'#AlphaGo contre Lee Sedol (9p), puis l'arrivée de nouvelles versions d'AlphaGo et d'autres modèles, l'affaire est pliée : "Il existe désormais une entité qui ne peut être vaincue" (Lee Sedol).

Entre les humains et les IA, il n'y a même plus match. Les meilleures IA ne peuvent être vaincues que par des IA encore plus puissantes. Sauf que… voilà comment se situe celle développée par nos chercheurs (nommée ici "adversary" :

Vous avez bien lu : n'importe quel amateur humain peut battre l'IA adversariale (assez facilement, même), mais celle-ci maintient pourtant un très bon taux de victoire contre une version même très bien entraînée de #Katago. Et elle le fait avec beaucoup moins de ressources.

Alors que se passe-t-il dans ces parties ? Ben, comme d'hab avec l'IA, on sait pas 😅! On peut seulement analyser que la "victime" (Katago) semble ne pas voir un danger gigantesque sur ses groupes de pierres et finit par tomber dans un panneau gros comme le Grand Canyon.

Voici la même partie au 100e coup. N'importe quel joueur amateur un peu avisé sait que le groupe blanc au Nord-Ouest est mort : cette forme en carré ne peut pas vivre. L'espace de noir est immense. En partie "réelle", ce serait le bon moment pour blanc pour… abandonner.

Et c'est exactement comme ça que l'analyse Katago : probabilité de victoire = 100%. Mais notre "adversary" ne se démonte pas et entreprend… d'encercler tout le groupe noir à l'aide de groupes individuellement non viables. Jusqu'au coup 189, où… patatra !

En jouant le coup noté "A", Katago aurait encore pu sauver son groupe. Mais après le coup 189, c'est mort : le groupe blanc a 4 libertés, tandis que le noir n'en a que 3. Toutes les pierres noires dans le quart Nord-Ouest du goban sont mortes. La partie est renversée.

Pour ceux qui ne sont pas familiers du jeu de go, il est important de noter que compter les libertés, y compris de larges groupes, est totalement trivial : aucun humain un peu habitué ne serait tombé dans ce piège. Mais Katago, qui mange du joueur pro au petit déj, s'y vautre.

Après le coup 204, la "victime" évalue toujours ses chances de victoire à 100%, alors que n'importe qui peut voir que le groupe noir n'a plus qu'une seule liberté, tandis que le groupe blanc en a toujours 4.

Cette forme blanche en carré est un pattern qui revient dans toutes les parties de l'"adversaire". La "victime" l'analyse bien (elle est virtuellement morte), mais pour une raison inconnue, elle ne lui donne jamais le coup de grâce, même quand la course aux libertés se renverse.

Ce n'est pas un pb de calcul (trivial on l'a dit). En fait, et c'est probablement le + important, tout se passe comme si Katago… ignorait les concepts de "groupe de pierre" et de "course aux libertés", soit les règles parmi les plus fondamentales du jeu.

Donc s'il y a 1 truc à retenir (et à appliquer à toutes les IA avec lesquelles on intéragit), c'est que si Katago a appris à battre même les meilleurs joueurs a des perf impressionnantes et peut servir de support d'entraînement… IL NE "COMPREND" PAS LE JEU GO !

Et pour la conclusion, c'est @sebcrzt qui m'ôte les mots de la bouche : ce n'est pas parce qu'une IA, aussi perfectionnée soit-elle, se comporte "comme si" elle comprenait de quoi elle parle que c'est le cas. Suivez mon regard…

https://twitter.com/sebcrzt/status/1651937664914817031?s=20

Et surtout, voici les derniers mots de la conclusion du papier, à méditer avant de mettre de l'IA absolument partout :

Les IA ont des failles parfois béantes. Ces failles sont d'autant plus dangereuses que même les auteurs des modèles en question ont du mal à les détecter. Et elles peuvent survenir à n'importe quel moment, voire être exploitées de façon malveillante.

Au passage dans l'article, on apprend que les IA ont bcp de mal avec certaines techniques. Exemple avec le "shicho" ("ladder") : c'est l'une des 1es séquences que tout débutant apprend à reconnaître, mais #Katago ne les "voit" pas et a nécessité un module de code "en dur"…

On pèche par anthropomorphisme : comme l'#IA fait "la même chose" que nous (parfois en mieux), on a tendance à croire qu'elle le fait "comme nous". Or on n'en sait rien !

Par exemple, au go, même à très haut niveau, le joueur humain joue avec les "formes", càd qu'il utilise visuellement le dessin des pierres pour déterminer si une position est favorable ou non. C'est pourquoi il est si facile de reconnaître un schicho.

Or par définition, le robot n'a pas accès à cette dimension. Est-il possible que ça lui complique sensiblement la tâche pour "voir" certains trucs qui à nous nous sautent au nez ?

L'humain appréhende la tâche "jouer au go" dans sa matérialité, avec ses 5 sens, et tout son background. Pour lui, c'est une tâche parmi tant d'autres. Comment un robot programmé pour ça, qui ne fait que ça et n'a accès qu'à un formalisme limité l'appréhende-t-il ?