Où s'arrête la réduction du risque et où commence le crédit social, que la Commission européenne veut interdire dans l'Union avec son projet de règlement sur l'intelligence artificielle ?
En l'état, la Commission considère que les IA utilisées pour déterminer les conditions d'attribution d'une aide sociale sont susceptibles de violer les droits fondamentaux de personnes en situation vulnérable. Elles devraient donc être catégorisées "à haut risque".
Et pour rappel, l'article 22 du RGPD : "La personne concernée a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l'affectant de manière significative"
Dans son bilan 2017, la CAF expliquait que le "datamining représente 70% des contrôles sur place" et que le "score de risque prédictif, généralisé à tout le réseau, permet de repérer plus précisément les dossiers à risques."
La Caisse d'allocations familiales, qui "s’appuie sur le croisement de plusieurs centaines de données statistiques", a recours à ce dispositif depuis 2013.
En janvier dernier, un article de @Rue89Strasbourg évoquait l'utilisation de ces statistiques prédictives pour traquer avec zèle les bénéficiaires du RSA.
Tout ça donne envie de lire "Contrôler les assistés" de Vincent Dubois, sorti il y a quelques semaines chez @EdRaisons_agir.
p.s. : cet article sur la traque algorithmique des fraudeurs du fisc montre que ces outils affichent des résultats décevants mais ne sont pas sans effet ; en juin 2020, le @Defenseurdroits s'inquiétait ainsi d'une surreprésentation des plus précaires.
Nonobstant, cette stratégie fait tâche d'huile : dans leur rapport d'octobre 2019 sur la lutte contre la fraude aux prestations sociales, @CGrandjean54 et @senateur61 écrivent que le datamining devrait être "largement renforcé" chez Pôle Emploi.
Tel le premier @OptaJean venu, j'ai sélectionné quelques chiffres-clés dans le dernier rapport d'activité de la Commission nationale des techniques de renseignement. Parce que dans une démocratie fonctionnelle, il est crucial de pouvoir contrôler l'action des services. 👇
21 952. Le nombre de personnes surveillées en France (c'est à dire ayant été ciblées par au moins une technique). 40% au titre de la lutte contre le terrorisme, 22,9% dans le cadre de la prévention de la criminalité organisée. En augmentation de 7,8% depuis 2016.
46,3%. La part de la prévention du terrorisme dans le total des demandes, toutes techniques de renseignement confondues. Suivent les intérêts stratégiques de la France (20%) et, ex-aequo, la criminalité (14%) et les atteintes à la forme républicaine des institutions (14%).
L'histoire de Thomas Le Bonniec est celle d'un film d'espionnage sans intrigue. Pendant des mois, dans un open space irlandais, il a écouté des milliers d'enregistrements Siri, afin d'entraîner l'IA d'Apple. Jusqu'à la transcription de trop. Cette semaine dans @Telerama.
Avril 2019 : recruté comme un agent secret par GlobeTech, un sous-traitant qui impose à ses salariés de taire leur activité, il écoute jusqu'à 1300 itérations par jour. Entend des conseils de classe, le bruit d'une poche, un diagnostic de sclérose en plaques, un pédophile.
"Je n'ai rien à cacher, ma vie est insignifiante", lui confie une collègue chargée d'épier d'autres vies insignifiantes. Celles-ci sont classées par appareil et par trimestre. "100 millions d'enregistrements par an", estime Le Bonniec. "Et c'est une moyenne basse".
[Petit thread] On m'interroge souvent sur la porosité entre la dictature technologique chinoise et les expérimentations hasardeuses des démocraties libérales occidentales. Ma réponse : la cloison est plus fine que ce qu'on imagine. Exemple avec Dahua. 👇
Domiciliée à Hanghzou, vitrine de la ville du futur à la chinoise, l'entreprise est un des leaders nationaux de la vidéosurveillance. Dans un pays qui abritera bientôt la moitié du milliard de caméras de la planète, ça offre quelques perspectives.
Ce chiffre vertigineux permet de comprendre une chose : à l'heure de l'automatisation croissante de ces caméras, les fabricants chinois ont un avantage concurrentiel incroyable, garanti par 1) leur assise économique 2) l'Etat, qui a fait de l'IA un secteur stratégique.
Au Beauvau de la sécurité, Christian Rodriguez, le directeur général de la gendarmerie, évoque "un algorithme de prédictibilité, progressivement étendu des cambriolages aux autres crimes et délits. Aux 🇺🇸, PredPol, le logiciel utilisé par la police, est 1) dangereux 2) un échec.
PredPol est tellement contesté que Santa Cruz, la ville californienne, qui abrite le siège social de l'entreprise, a interdit en juin dernier cette technologie. Elle réplique et amplifie les discriminations.
Et un rappel utile : la rustine juridique arrive bientôt, puisque la #PPLSécuritéGlobale permet une utilisation massive (et floue) des drones par la police.
Didier Lallement vs le Conseil d'Etat, huile sur toile, 2020
Hier, en Conseil des ministres, Jean Castex a présenté un projet de loi pérennisant l'état d'urgence sanitaire. Il subordonnerait l'accès à certains lieux à un dépistage ou un vaccin, et permettrait de déroger au secret médical en créant des fichiers.
Avis du @Conseil_Etat : "Certaines de ces décisions sont susceptibles d’avoir des effets significatifs sur l’exercice des droits et libertés constitutionnels."
Le texte ne précise pas la date de péremption des traitements de données personnelles (notamment les fichiers SI-DEP et Contact-COVID, clés de voûte de la stratégie 🇫🇷). Aussi le @Conseil_Etat réclame-t-il un décret dans un délai de 6 mois à compter de la publication de la loi.