Préambule:
Cette série propose de décrire les familles d’indicateurs liés à la qualité proposé lors de la présentation de la JFTL 2022. Cette répartition est le fruit de résultats d’atelier de mise en place d’atelier et d’une collaboration avec différents experts test d’Altran part of Cap Gemini que je remercie encore pour leur contribution.
Les indicateurs sont un outil essentiel lorsque l’on veut d’améliorer ou plus simplement mesurer notre performances. Malheureusement bien choisir ses indicateurs n’est pas aisé car ces derniers sont très nombreux! Afin de faciliter ces choix je vous propose une répartition de ces indicateurs liés à la qualité en 7 familles. Chacune ayant son but et ses indicateurs propres dont certains seront présentés.
Famille d’indicateur: dénombrement des anomalies
La première famille que je vous propose est la plus couramment utilisée celle sur le dénombrement des anomalies.
Son principe est simple: compter le nombre d’anomalie en fonction (ou non) de différentes caractéristiques. Le rôle de cette famille est souvent considéré comme proposer un aperçu de la qualité du logiciel. Plus précisément ces indicateurs peuvent permettre d’évaluer:
- La capacité des tests à détecter les anomalies
- Mesurer la qualité des tests
Les indicateurs les plus courants de cette famille sont:
- Le nombre d’anomalies: c’est un indicateur que je n’apprécie pas car un nombre sans contexte ne veut rien dire. Cet indicateur est d’ailleurs généralement considéré comme inutile après une analyse collective car trop versatile et dépendant d’un nombre d’utilisateur. De même il ne permet pas d’estimer une qualité (1 anomalie critique/bloquante étant plus handicapante que 100 bugs mineurs et marginaux)
- Le nombre de bugs majeurs et critiques en production: cet indicateur segmentant les anomalies par criticité donne une meilleure vision de la qualité. Dans une moindre mesure il peut aider à mesurer la qualité des tests et leur capacité de détection si l’on a une politique de ne pas déployer lorsque l’on a connaissance d’une anomalie majeure ou critique.
- Le % bugs majeurs/critiques détectés avant déploiement: on est ici sur une vraie mesure de la capacité des tests à détecter les anomalies et donc sur une mesure de la qualité du processus de test dans son ensemble. Cet indicateur est très similaire au % de bugs majeurs ou critiques détectés en production. On note néanmoins l’impossibilité, avec cet indicateur, à savoir quand sont détecté ces bugs (maîtrise de phase).
- Il est évidemment possible d’imaginer de nombreux autres indicateurs dans cette famille en fonction de son contexte et des difficultés rencontrées. On peut par exemple penser à un dénombrement lié à la maîtrise de la phase.
Le dénombrement des anomalies est particulièrement lié aux fiches d’anomalies. Les informations liées aux tests en développement sont donc invisibles. Par contre, il est possible, grâce à ces indicateurs d’avoir des informations sur la phase de test et la production. Les indicateurs pouvant être reliés à ces phases peuvent être présentés comme cela:
Conclusion
Cette famille d’indicateur est très classique car très utiles. Il faut cependant à faire attention à ne pas utiliser des indicateurs trop flous comme le nombre d’anomalie et bien analyser les indicateurs suivis afin de s’assurer que ce que l’on mesure permet bien d’atteindre l’objectif que l’on s’est fixé avec cet indicateur.
Pour finir je vous propose un indicateur de cette famille qui reste généralement pertinent dans de nombreux contexte (notamment grâce à l’utilisation des %):
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
