Thread by @Dorialexander

Allez un petit thread sur un aspect problématique (parmi d’autres) de l’étude de @DisinfoEU spark.adobe.com/page/Sa85zpU5C… : l’identification automatisée de l’orientation politique de comptes Twitter.

Dans l’étude cette information est reconstituée à partir d’une subdivision du réseau en ensembles cohérents ou clusters : le cluster 1 correspond à LR, le cluster 2 au RN, etc.

On forme ainsi l’hypothèse que les liens entre les comptes sont révélateurs d’une "communauté" politiques : les comptes d’extrême-gauche suivent surtout des comptes d’extrême-gauche (mais peu de comptes d’extrême-droite).

Tous ces algorithmes marchent très bien sur des réseaux générés automatiquement (le mode d’évaluation le plus commode). Sur des réseaux "réels", c’est une toute autre histoire...

Comme le souligne une étude de 2015, les algos de classification automatisés [dont Louvain] ne "s’accordent pas nécessairement avec les résultats d’une classification qualitative" arxiv.org/pdf/1207.3603.…

On en a la traduction concrète depuis hier : au-delà de l’évident problème de gestions de données personnelles de nombreux comptes Twitter ont pu constater depuis hier qu’ils étaient affiliés d’emblée à un certain cluster politique qui ne leur correspond pas vraiment.

Qu’est-ce qui ne va pas ? Je vois au moins trois problèmes.

1. La détection de clusters tend à hypertrophier les subdivisions préexistantes voire à "créer" des affiliations pas forcément cohérentes — et c’est normal, l’objectif est après tout de subdiviser autout que possible un réseau ou un jeu de données.

Par conséquent il n’y a pas de place pour les diverses postures apolitiques, le cluster 4 qui regroupe les médias et des comptes LREM ne rentrant pas vraiment dans ce cadre. On ne peut pas ne pas se positionner sur un axe polarisé.

2. La sélection des tweets autour de termes liés à l’Affaire Benalla tronque l’ensemble des proximités et des réseaux possibles entre les comptes, au profit du seul prisme politique.

Par conséquent il est impossible en l’état des données disponibles de prouver l’hypothèse inverse : que des comptes qui parlent habituellement de cuisine / jeux vidéo / science / whatever s’intéressent soudainement à Benalla parce qu’il s’agit tout simplement d’une affaire d’état

3. La spécificité des pratiques textuelles de Twitter n’est pas prise en compte ce qui ne permet pas d’évaluer dans quelle mesure les tendances constatées sont réellement anormales.

(En particulier l’emploi des pseudonymes ou l’absence de géolocalisation constituent autant que je sache une pratique usuelle sur ce réseau)

Bref ce qui manque fondamentalement à cette étude comme à de nombreuses autres approches estampillées "big data" de Twitter, c’est déjà de partir d’une saisie du Twitter normal, de l’état usuel des pratiques, des interactions et des cultures textuelles sur ce dispositif

Mais bon cette analyse de fond n’est pas terriblement sexy et elle risque pire encore d’instiller le doute sur des études sexy.

D’autre part il faut se doter des méthodes nécessaires pour quantifier l’incertitude et envisager la possibilité que le cadre d’analyse (le prisme politique en tant que tel) soit inexact.

C’est pour cela que je privilégie de plus en plus les classifications de textes supervisées : non seulement on part de classifications "qualitatives" mais on a une idée du degré d’incertitude (par exemple ici sur des genres journalistiques des années 1920)