Thread by @zdricpx

Un fil de philo de l'IA sur l'opacité des systèmes computationnels complexes d'un point de vue de la philosophie des sciences. Disclaimer : il n'y a pas grand chose d'original dans ce thread, il s'agit surtout d'un appel à collaboration avec la
communauté IA sur ces enjeux.

1. philo de l'IA
La philo s'est très tôt intéressées à l'IA (conçue comme discipline & projet théorique). D'abord parce qu'une partie de l'IA et de la philo de l'esprit posent des questions proches (ac des outils différents). mitpress.mit.edu/books/artifici…

Qu'est-ce-que l'intelligence ? L'intelligence humaine peut-elle être reproduite/dépassée par des outils computationnels? La conscience/connaissance réflexive d'un agent intelligent humain peut-elle être simulée/reproduite/réalisée par des machines? philpapers.org/rec/PUTMAM

La philo de l'IA s'est récemment + tournée vers des ? techniques relatives aux =/= architectures et méthodes computationnelles et leurs enjeux épistémologiques, éthiques et politiques du fait de la pénétration et du dvlpt de l'IA ds la pratique scientifique et ds la société.

Cela introduit un gap entre la représentation de la philo de l'IA chez les non philosophes (-> éthique et pb fondationnels sur la possibilité d'une IGA ou d'une IA forte, très présent dans la philo du transhumanisme) et l'actualité de la recherche en philo de l'IA.

La philo de l'IA comporte bcp d'éthique (biais, Fairness, confiance, transparence) mais TOUJOURS liée à des enjeux épistémo selon les outils techniques mobilisés (apprentissage machine supervisé ou non, Réseaux de neurones profonds convolutifs, systèmes symboliques classiques)

1er 'Take home message'
Comme toujours en philo des sciences et techniques, les pb éthiques sont liés à des pb épistémologiques qui supposent une compréhension des questions pratiques et théoriques centrales soulevées par l'usage de ces méthodes : pas d'indépendance des 2.

2. Opacité et transparence des systèmes computationnels complexes (SCC)
Rappelez-vous les réactions aux premiers résultats de Parcoursup il y a 3 semaines, faites une recherche #PARCOURSUP + opacité sur tweeter, pour voir.

L'opacité d'un SCC est dérivée du ccpt d'opacité épistémique. Au sens le + fort, elle désigne l'impossibilité de principe, pr des agents cognitifs humains, de suivre les computations impliquées, d'en comprendre, à chaque étape, les justifications et d'en déduire les implications.

Nous ne pouvons expliquer ni pourquoi, ni comment le système produit, en sortie, les résultats (classification, décision, qu'il produit selon les données fournies (ou collectées) en entrées du système. On parle alors de boite-noire. Puisque l'intérieur est inscrutable.

Cette opacité s'étend aussi à la nature exacte des données pertinentes au fonctionnement du système ds le cas de l'apprentissage profond.
Bref, au pire, nous ne savons pas exactement comment le comportement du système est produit ni sur quelles données (ou traits) exactement.

Dans un article de 2016, Jenna Burrell @jennaburrell distingue 3 types d'opacité : intentionnelle (secret industriel ou d'Etat), éducationnelle (technical illiteracy) et opératoire (dérivant de la manière et l'échelle à laquelle l'algorithme est appliqué).

Les deux premiers types ne sont pas spécifiques à l'apprentissage machine/profond. On les retrouve dans tous les domaines techniques et scientifiques (essayez de démonter et réparer un écran OLED de dernière génération, pour voir ; ou de dépanner votre voiture hybride).

Ne serait-ce que comprendre les processus engagés entre l'input de votre index sur la télécommande et l'output de l'affichage représente un défi si vous n'avez pas de connaissances poussées en physique et en électronique.
Votre télé est une boîte-noire, "lucarne MAGIQUE"

La spécificité des SCC (en tout cas de certains), c'est que même si vous avez accès au code et que vous avez toutes les connaissances nécessaire pour concevoir ce système, son caractère récursif, l'échelle à laquelle il fonctionne et l'organisation dynamique de ses données

produit une opacité opératoire qui vous affecte quasiment au même titre que le béotien. Les chercheur.e.s en IA, les scientifiques qui utilisent des outils complexes de traitement computationnel des données massives et les philosophes de l'IA ont fait valoir que cela exigeait

un effort en direction de plus de transparence, d'interprétabilité ou d'explicabilité (tous ces concepts doivent être distingués en principe, mais ce serait trèèèès long parce qu'il n'y a pas consensus en la matière). Cela est traduit dans des règlements internationaux (RGPD)

Mais aussi des programmes de recherche (privés et publics) et un graaaand nombre de publications en IA, en SHS, en droit, en sciences politiques sciencedirect.com/science/articl…

Cette exigence de transparence repose sur l'espoir d'une plus grande confiance des utilisateurs proximaux ou finaux.
L'argument est : la confiance dans une personne provient de la capacité à exhiber les raisons de ses décisions. Si ces raisons sont inscrutables pas de confiance

Certains auteurs ont prévenu (il y a déjà un certain tas) que cette opacité des SCC était inhérente, insurmontable et inéliminable.
Deal with it. philpapers.org/rec/HUMTPN

D'autres considèrent que si l'on ne parvient pas à réduire cette opacité fondamentale (en choisissant des architectures et méthodes plus transparentes que l'apprentissage machine non supervisé ou l'apprentissage profond) il faut exclure l'utilisation des SCC dans certains cas

Les SCC d'aide à la décision mobilisées en médecine, dans le domaine judiciaire ou l'éducation devraient être suffisamment transparents du point de vue opératoire voyez les travaux de @CynthiaRudin par ex. tinyurl.com/4vtac7zh

@CynthiaRudin Certain.e.s encore pensent qu'en distinguant des types de transparence on pourra limiter l'opacité opératoire et gagner en confiance, mais aussi en maîtrise (recherche de bugs par les modélisateurs) et en capacité explicative (pour les scientifiques utilisant ces outils).

@CynthiaRudin C'est notamment ce que propose @KathleenACreel dans un article de 2020 extrêmement éclairant philsci-archive.pitt.edu/16669/

Enfin, d'autres considèrent qu'en exigeant une telle transparence des SCC, nous faisons deux poids-deux mesures puisque cette opacité opératoire n'est qu'une sous-catégorie de l'opacité épistémique dans laquelle nous nous trouvons face à nos congénères psyche.co/ideas/should-w…

Au fond, nous serions face à l'aide à la décision apportée par un.e docteur.e en médecine avant de donner notre consentement éclairé pr une opération comme nous sommes face à un SCC d'aide à la décision en apprentissage profond. Seul le contexte d'interaction --> notre confiance

Dr Juliette @FerryDanini a fait une communication sur ce débat récemment, je vous conseille de la voir si ça vous intéresse.

@FerryDanini Take home message #2 : la philosophie de l'IA suppose une certaine familiarité avec des questions techniques (idéalement, savoir coder est une exigence à viser, je débute).

Take-home message #3 : un gros travail interdisciplinaire de définition des concepts centraux (transparence explicabilité, interprétabilité, opacité) doit être fait pour stabiliser le champ et les stratégies théoriques et pratiques (voire industrielles).

Take-Home message #4 : la confiance comme vertu cardinale du rapport aux SCC me semble à questionner, il y a du boulot à faire.

Fin de ce très long fil que je n'ai pas numéroté ni posté à la bonne heure.
@cedric_p il faut que j'en prenne de la graine.