Ces sorttises de classement de Shanghai me font penser à un autre joli cas où la réalité essaie de se conformer à une norme inventée hors de tout contrôle : le score d’audit.
Dans une boîte où je travaillais il y a 10 ans, on n’avait rien trouvé de mieux que de *noter* les services lors des missions d’audit.
La mission était d’audit classique (identifier les risques, apprécier l’efficacité des mesures de réduction des risques, alerter sur ce qui restait dangereux) mais elle se transformait en remplissage de la grille de notation.
Et cette grille de notation était un monstre de 300 à 500 questions (selon le nombre de sites) notées de 1 à 5, avec une bonne grosse moyenne pondérée qui donnait le « score » et produisait des graphiques qu’on collait dans le rapport.
La seule réunion qui intéressait les audités était celle du dernier jour, où on sortait le « score ».
Quand je suis arrivé, il y avait en plus une échelle de couleurs. Score de 0 à 20% rouge, de 20 à 40% orange etc.
Et les explications de chaque tranche de score étaient copiées-collées des descriptions des niveaux de maturité du modèle CMMI. Amis consultants en orga, je décline toute responsabilité pour l’AVC que vous venez de faire.
La grille de notation, que notait-elle? La conformité à des bonnes pratiques.
Vous faites des backups tous les jours? 5/5 Vous vérifiez les backups produits? Non. 1/5. Score 3/5. Commentaire « les sauvegardes sont passables »
Vous faites des backups tous les jours? 5/5 Vous vérifiez les backups produits? Non. 1/5. Score 3/5. Commentaire « les sauvegardes sont passables »
Donc on émettait un score de conformité à des bonnes pratiques, décrétées par nous applicables à tous les services audités, et ça passait pour une estimation de la maîtrise du risque de l’entité auditée.
Que croyez-vous qu’il s’est passé? Tout le monde a voulu son score au-dessus de 80%, colorié en vert.
On s’est mis à objectiver des directeurs sur ça. 10% du variable annuel si tu as 80% ou plus.
On s’est mis à objectiver des directeurs sur ça. 10% du variable annuel si tu as 80% ou plus.
Du côté de mon équipe, faite de pros de l’audit, on avait développé une « intuition » du score et on « sentait », après une journée chez les audités, combien ils allaient avoir. « C’est du 67-68% à vue de nez ».
Et on savait que la grille de notation sortait parfois n’importe quoi, donc quand on avait flairé du 67% et qu’elle sortait 80%, on repassait sur les notes et on sacquait jusqu’à avoir 67%.
Ce n’était pas de l’acception de personne (on s’entendait très bien avec les audités) mais une manière de remettre l’expertise professionnelle à sa juste place, devant un outil de notation dont les mesures ne voulaient rien dire.
Bien entendu, il y a eu des mini-drames. Je pense à cette DSI qui a eu 79% et m’a supplié de monter à 80% pour qu’elle atteigne son objectif. (J’ai refusé. Je suis allé plaider sa cause auprès de ses n+1 et 2 à la place)
Je raconterai une autre fois comment on a fait évoluer la situation.
La DSI en question est aujourd’hui DSI Amérique de mon plus gros fournisseur et ne m’en veut pas apparemment. 15 millions de son CA annuel, c’est ma boîte qui les paye.
A l’époque je n’avais pas voulu lui mettre 80%, parce que c’était déjà le score de Konrad, le DSI Autriche de l’époque, qui était excellent.
Depuis, Konrad est devenu mon n+1 puis à démissionné trois mois plus tard, et je regrette mon aveuglement. Madame 79% méritait largement plus de 80% mais elle n’enfumait pas aussi bien que Konrad.
Dans la série non glorieuse, mentionnons aussi le passage à Excel 2007. Paf, la macro qui calcule les notes ne marche plus. On regarde le code. Les variables s’appellent a, b, c, d, rien n’est commenté, on dirait du fortran c’est immonde.
Je charge Junior de remplacer tout ça par des formules, il s’en acquitte et six mois durant tout marche. Sauf que...
... sauf que 6 mois plus tard je me rends compte que la conversion des notes en % est fausse. Junior a converti une échelle de 0/5 à 5/5 sauf qu’on notait de 1/5 à 5/5. Deux ans de pratique de la grille de notation ne suffisaient pas, apparemment.
Punition : je fais recalculer tous les scores à Junior avec la bonne échelle de notes. Résultat : les scores calculés durant les six derniers mois sont les pires de l’histoire du service.
Explication : on avait tellement intégré intuitivement notre échelle de valeurs que, quelles que soient les notes atomiques qu’on mettait, et donc aussi *quelle que soit la fonction de calcul du score*, le score calculé était égal à l’idée qu’on s’en faisait.
Je n’ai donc pas corrigé le score de ces six-mois, et j’avoue avoir été tenté de ne plus faire rien noter durant une mission, et de sortir juste un score du chapeau à la fin.
Après tout, si en sept ans, le score a été souvent contesté, personne n’a jamais voulu savoir comment il était calculé. Culture d’entreprise : on a la flemme, ou on fait confiance au mécanisme garbage-in garbage-out, mais on conteste ce qu’il produit.
