Lorsque j’anime des ateliers ou des conférences sur les indicateurs je reviens régulièrement sur la loi de Goodhart: « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure ».
Cette loi très simple rappelle que les indicateurs ne sont qu’une mesure, qu’il faut être capable de les analyser mais également qu’il est essentiel de ne pas les transformer en des objectifs à atteindre à tout prix sous peine d’aller à l’encontre de l’objectif initial. Cette loi se vérifie malheureusement très fréquemment et les exemples concrets sont nombreux. Je vous propose aujourd’hui de partager certains de ces exemples issus de mon expérience personnelle.
Dérives de l’utilisation d’indicateurs liés à la qualité
% de tests automatisés
Le % de test automatisés est un indicateur régulièrement utilisé. Son objectif est d’estimer la niveau de l’avancement de l’automatisation. De plus cet indicateur est relativement simple à calculer dès lors où l’on est en capacité de bien identifié et dénombrer nos tests.
Cet indicateur semble idéal et fait souvent partie des KPI (Key Performance Indicator) avec des objectifs précis chiffrés (comme 50% des tests automatisés). Il est donc normal que dans ma vie de testeur je me sois retrouvé à travailler avec cet indicateur… une histoire qui s’est d’ailleurs assez mal finie 🙁
Contexte:
C’était au début des années 2010, nous implémentions l’automatisation des tests. L’objectif était de tester plus souvent, de diminuer les tâches à faible valeur ajoutées mais aussi de diminuer la charge des campagnes de régression. De l’investissement avait été fait sur des outils d’automatisation de smartphone afin de répondre à ces besoins et pour cela nous avions des objectifs d’automatisation clairs comme:
- 10% de tests automatisés au bout de 1 mois
- 25% au bout de 2 mois
- 50% au bout de 3 mois…
Cela semblait super… jusqu’à ce que l’on mette en pratique cette stratégie au sein de l’équipe!
On a très vite déchanté avec des imprévus ayant rendu difficile l’atteinte des objectifs… pourtant nécessaire à la poursuite de l’automatisation. Nous avons alors automatisé pour automatiser et non pour aider les testeurs et proposer une campagne efficace et utile. Afin de satisfaire à cet indicateurs nous avons automatisé tous les tests faciles à automatiser! Nous avons donc automatisé la totalité des tests liés à la connexion, les tests dans le menu option (même les CGU) et à chaque fois qu’une fonctionnalité avait un test automatisé nous automatisions tous les tests de cette fonctionnalité (car plus facile).
Au final, avoir 50% de tests automatisés ne servait pas vraiment car on ne couvrait même pas 50% des fonctionnalités principales et encore moins les tests couvrant les bugs impactants.
Nombre de bugs
Le nombre de bug est un indicateur très fréquent censé représenter la qualité d’un logiciel en production. Outre le fait que cet indicateur soit peu satisfaisant pour atteindre cet objectif (il faut loguer les bugs, plus il y a d’utilisateurs plus on trouveras de bugs mineurs, que cet indicateur ne prend pas en compte la criticité…) on peut vite atteindre des dérives. Voici une des dérives liées à cet indicateur que j’ai personnellement vécue:
Contexte:
Travail sur des application très complexes, anciennes et encore en évolution.
Le nombre de bugs ouverts était impressionnant. Afin de diminuer ce nombre il avait été instauré des « jours de corrections des bugs ». Lors de ces journées (en tout cas initialement) toutes les personnes travaillant sur les logiciels ciblés étaient dans l’obligation de travailler sur de la correction de bug avec comme objectif de diminuer ce nombre de bugs! Concrètement cela se traduisait par une analyse des bugs ouverts permettant de (dans cet ordre de priorité):
- fermer directement des fiches de bug non reproductibles (en tout cas du premier coup en relisant le bug)
- fermer des bugs semblant être des dupliqués
- corriger des bugs très rapides et faciles à corriger (généralement totalement mineur)
A la fin de la journée le nettoyage était efficace et le nombre de bug baissait considérablement… La qualité n’était pas contre quasiment pas impactée. Au fur et à mesure, la multiplication de ces jours a vu ses résultats baisser (il y avait de vrais bugs à corriger) et cela s’est traduit par… moins de personnes affectées à ces journées.
Comme vous pouvez vous en douter ces limites se croisent également dans la vie de tous les jours!
Dérives de l’utilisation d’indicateurs dans la vie de tous les jours
Nombre de réactions/j’aime…
Cet indicateur est particulièrement suivi sur les réseaux sociaux!
Par expérience ce n’est pas forcément ce que je cherche en écrivant mes articles. Je sais évidemment ce qui plaît généralement plus mais ne vouloir écrire que des articles avec beaucoup de vues et de j’aime entraînerait la non écriture d’articles plus spécifiques comme des articles de retours d’expérience sur des outils ou ma série sur la norme ISO-25 010.
Bref ce qui « crée » le plus de connaissance ou ce qui est le plus pérenne ou même qui apporte le plus individuellement n’est pas forcément ce qui suscite le plus de réactions.
Cette impression ressentie ce traduit actuellement sur LinkedIn où je vois passer de plus en plus de post « inutile » avec des sondages bateaux ou des posts volontairement provocateurs. J’ai également eu un déclic en lisant un post d’un professionnel du test très actifs à mes débuts sur LinkedIn indiquant qu’il commençait à délaisser ce réseau car il ne trouvait plus de vrais information à part dans certains groupes.
Notes (stores/prestations)
Les notes sont essentielles pour nous décider à acheter ou télécharger un logiciel ou même plus généralement un produit au sens large (voiture, robot, PC, nourriture au restaurant…).
Malheureusement ces notes ont de moins en moins de sens notamment à travers des campagnes nous poussant de manière plus ou moins visible à noter haut. Je ne me suis toujours pas remis d’un panneau demandant de noter un service avec: 0 à 8 = mauvais et on se fait recontacté 9 et 10 = bien. Je ne sais pas pour vous mais si j’avais du avoir 18 de moyenne au bac (16/20 étant « mauvais ») je ne l’aurais pas eu!
Par ailleurs on reste dans ce cas dans des pratiques « honnêtes » dans le sens où on n’ajoute pas artificiellement des notes de faux utilisateurs ou d’utilisateurs payés pour bien noter.
Nombre d’abonnés
Le nombre d’abonnés est très utilisé pour connaître l’influence d’une personne ou d’une chaîne. Cela permet d’estimer une audience que l’on peut toucher. Il n’est alors pas étonnant que les chaînes Youtube avec le plus d’abonnés se voient offrir des offres de sponsoring, que des blogs très référencés aient des sponsors, que des instagrammeurs de plus de 1500 abonnés aient des propositions d’offres de produits…
Néanmoins on retombe ici sur des potentiels problèmes de qualité des abonnés. Les abonnés ça se « paye ».
Trafic/nombre de vue/référencement
Cet indicateurs est un point que l’on me remonte très souvent pour la taverne. Des commerciaux me contactent pour me vendre des services de référencement ou pour accroître ma visibilité. De même je suis également contacté car mes articles sont sur 2 (voire plus) plateformes différentes (LinkedIn, taverne, livres ou magazines…) pour me demander de retirer mon article ou n’en mettre qu’une partie car ce n’est pas bon pour le référencement.
Ma réponse est toujours claire: « je me fous du référencement », je veux que les lecteurs soient satisfait! Je ne me vois pas proposer des articles de 3 lignes disant d’aller sur un autre lien pour satisfaire un algorithme de Google qui peut changer du jour au lendemain!
Dans la même veine, je pense à des très longs posts LinkedIn dont le seul moyen d’avoir accès à l’article est d’aller voir dans des commentaires… entre temps on a lu de la publicité déguisée… De même l’article en question est compliqué à partager car un partage de post se traduit par un non partage de l’article. Au final on crée de la frustration juste pour avoir un peu plus de trafic sur son site.
Conclusion
Les indicateurs c’est bien! Néanmoins il ne faut jamais perdre de vue ses véritables objectifs! Quand j’écris un article c’est pour le partager, c’est pour partager mes réflexions, mon point de vue mais aussi pour continuer à apprendre. Je n’écris pas pour avoir des « j’aime », avoir du trafic sur mon profil ou le blog de la taverne. Je n’écris pas non plus pour me faire de l’argent ou devenir aux yeux de certains un influenceur avec de nombreux abonnés… Ces indicateurs, que je suis évidemment, restent des mesures importante permettant d’avoir une indication sur la qualité de ce que je propose et des sujets attendus par les personnes susceptibles de me suivre… Et pour être honnête je pense que c’est en partie ce qui fait le succès de mes articles et du blog sur le long terme (plus de 5 ans).
Ce que je dis pour mes articles est également vrai pour la qualité. Ne perdez pas de vue le plus important en vous focalisant sur des indicateurs. Les indicateurs ne sont et ne doivent pas être des objectifs comme l’illustrent les exemples que je vous ai proposés dans cet article.
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
