(1/16) Parlons un peu de Volition Extrapolée Cohérente (VEC). @science__4__all en fait une bonne introduction, mais je vais en refaire une. La plupart de mes sources sont anglophones, et je vais leur emprunter des exemples. Premièrement, qu'est-ce que la Volition Extrapolée (VE)?
La VE tente de prédire la volonté des gens malgré leurs limitations. Exemple : votre ami vous demande de ramener du jus d'orange du frigo. Vous y allez, pas de jus d'orange, que de la limonade. Vous « extrapolez » la volonté de votre ami, et lui ramenez de la limonade. (2/16)
Vous vous dites que si votre ami avait su qu'il n'y avait pas de jus d'orange, il vous aurait demandé de la limonade : vous le connaissez, il aime ça. La VE de l'ami, c'est ce qu'il aurait choisi s'il avait su plus de choses sur l'état du monde. (3/16)
Votre VE, idéalement, c'est votre choix SI vous en saviez un maximum, SI vous aviez tout le temps d'y réfléchir et SI vous vous connaissiez du mieux que vous le pouviez. C'est la définition de « ce que vous vouliez au fond de vous depuis le début si vous aviez su » (4/16)
À quoi sert ce truc ? Imaginez quelqu'un qui a un impact majeur sur votre vie. Par exemple un parent, si vous avez 3 ans. Il est dans votre intérêt que ce parent connaisse votre VE et qu'il l'applique. Par exemple éviter de vous faire écraser par une voiture. (5/16)
Dans le cadre de la vidéo de Lê, ce quelqu'un est une IA, qui réagit plus vite que vous, qui reçoit plus de données, et qui prend des décisions de façon plus ou moins autonomes. Vous voulez que l'IA se comporte selon votre VE, parce que votre volonté de base est implicite. (6/16)
Vous n'avez pas le temps de donner votre avis sur tous les sujets. Il y en a trop. Le monde est trop complexe, MAIS si on vous donnait le temps vous en auriez un. La VE suppose que vous avez le temps pour éliminer vos hésitations et vos contradictions internes. (7/16)
Il est très important d'intégrer cela aux machines, car si une machine ne sait pas exactement ce que vous voulez, elle finira par faire des choses que vous regretterez, et d'autant plus que la machine est puissante. L'IA n'est pas magiquement éthique. (8/16)
La VE *Cohérente*, c'est la même idée, mais appliquée à un groupe de personnes (idéalement l'humanité, ou l'ensemble du vivant), qui ont des volontés potentiellement différentes. La VEC est l'objectif moral qui, s'il est suivi aveuglément, contenterait l'humanité entière. (9/16)
Là, ça devient un problème ridiculement complexe. Si deux volontés sont en conflit direct même après extrapolation, il n'y aura pas d'équilibre possible, à moins de supposer que tout le monde préférera le compromis à l'absolutisme, la paix à la guerre. Que faire ? (10/16)
En plus, si nous parvenons à quelque chose de... cohérent (d'où le nom), encore faut-il l'expliquer aux machines et qu'elles s'y tiennent, ce qui est encore plus compliqué que pour une seule personne. D'où le conseil de commencer par des cibles morales plus simples. (11/16)
La publication originale de la VEC par @ESYudkowsky date de 2004, mais est obsolète. La publication de @MIRIBerkeley la plus à jour sur le sujet est ici intelligence.org/files/CEV-Mach… (2010). C'est un problème toujours ouvert, extrêmement important mais pas le plus urgent. (12/16)
La recherche en sûreté des IA s'intéresse en premier à « comment peut-on s'assurer qu'une machine respecte bien une VE quand celle-ci est inaccessible à ses concepteurs ?» Autrement dit, comment éviter que la machine prenne la *mauvaise* décision en cas d'imprévu ? (13/16)
Ceci est également un problème ouvert, prérequis pour la VEC, et déjà source de pas mal d'inquiétude. Plus un outil est puissant, mieux il faut le contrôler, et plus la technologie avance, plus on a de feu avec lequel jouer. Ce n'est même pas une question morale ! (14/16)
On peut argumenter autant qu'on veut sur quel principe moral assigner aux IA : si l'on ne parvient pas à s'assurer qu'on peut faire confiance à un programme pour le suivre à la lettre, sans interprétation catastrophique ou exception ou faiblesse, c'est fichu. (15/16)
Je peux continuer longtemps à parler de ces sujets, si ce fil ne vous suffit pas. Mes remerciements à @science__4__all pour sa vidéo sur le sujet. Comme il l'annonce dans cet autre fil , nous avons tous besoin d'en discuter calmement. (16/16)
