La taverne du testeur

Familles d’indicateurs liés à la qualité – Dénombrement des anomalies (1/7)

Préambule:

Cette série propose de décrire les familles d’indicateurs liés à la qualité proposé lors de la présentation de la JFTL 2022. Cette répartition est le fruit de résultats d’atelier de mise en place d’atelier et d’une collaboration avec différents experts test d’Altran part of Cap Gemini que je remercie encore pour leur contribution.

Les indicateurs sont un outil essentiel lorsque l’on veut d’améliorer ou plus simplement mesurer notre performances. Malheureusement bien choisir ses indicateurs n’est pas aisé car ces derniers sont très nombreux! Afin de faciliter ces choix je vous propose une répartition de ces indicateurs liés à la qualité en 7 familles. Chacune ayant son but et ses indicateurs propres dont certains seront présentés.

Famille d’indicateur: dénombrement des anomalies

La première famille que je vous propose est la plus couramment utilisée celle sur le dénombrement des anomalies.

Son principe est simple: compter le nombre d’anomalie en fonction (ou non) de différentes caractéristiques. Le rôle de cette famille est souvent considéré comme proposer un aperçu de la qualité du logiciel. Plus précisément ces indicateurs peuvent permettre d’évaluer:

  • La capacité des tests à détecter les anomalies
  • Mesurer la qualité des tests

Les indicateurs les plus courants de cette famille sont:

  • Le nombre d’anomalies: c’est un indicateur que je n’apprécie pas car un nombre sans contexte ne veut rien dire. Cet indicateur est d’ailleurs généralement considéré comme inutile après une analyse collective car trop versatile et dépendant d’un nombre d’utilisateur. De même il ne permet pas d’estimer une qualité (1 anomalie critique/bloquante étant plus handicapante que 100 bugs mineurs et marginaux)
  • Le nombre de bugs majeurs et critiques en production: cet indicateur segmentant les anomalies par criticité donne une meilleure vision de la qualité. Dans une moindre mesure il peut aider à mesurer la qualité des tests et leur capacité de détection si l’on a une politique de ne pas déployer lorsque l’on a connaissance d’une anomalie majeure ou critique.
  • Le % bugs majeurs/critiques détectés avant déploiement: on est ici sur une vraie mesure de la capacité des tests à détecter les anomalies et donc sur une mesure de la qualité du processus de test dans son ensemble. Cet indicateur est très similaire au % de bugs majeurs ou critiques détectés en production. On note néanmoins l’impossibilité, avec cet indicateur, à savoir quand sont détecté ces bugs (maîtrise de phase).
  • Il est évidemment possible d’imaginer de nombreux autres indicateurs dans cette famille en fonction de son contexte et des difficultés rencontrées. On peut par exemple penser à un dénombrement lié à la maîtrise de la phase.

Le dénombrement des anomalies est particulièrement lié aux fiches d’anomalies. Les informations liées aux tests en développement sont donc invisibles. Par contre, il est possible, grâce à ces indicateurs d’avoir des informations sur la phase de test et la production. Les indicateurs pouvant être reliés à ces phases peuvent être présentés comme cela:

Conclusion

Cette famille d’indicateur est très classique car très utiles. Il faut cependant à faire attention à ne pas utiliser des indicateurs trop flous comme le nombre d’anomalie et bien analyser les indicateurs suivis afin de s’assurer que ce que l’on mesure permet bien d’atteindre l’objectif que l’on s’est fixé avec cet indicateur.

Pour finir je vous propose un indicateur de cette famille qui reste généralement pertinent dans de nombreux contexte (notamment grâce à l’utilisation des %):

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

test

L’évolution de la définition du test au fil des années

Cet article est la traduction de l’original « The history of the definition of testing« , rédigé par Rik Marselis à propos l’histoire de la définition du test. Aujourd’hui, les équipes de livraison informatique sont convaincues que la qualité est un objectif très important. Au cours des dernières décennies, l’ingénierie de la

Lire la suite »
Automatisation

Outil de test: automatisation IHM avec Cypress

Cet article est le premier d’une nouvelle série dans la taverne qui tend à présenter succinctement différents outils de test. Cypress en bref Cypress est un outil d’automatisation de test IHM (Interface graphique) open source concurrent à Selenium qui dispose d’une communauté active et réactive. Cypress propose d’automatiser ses tests

Lire la suite »
culture générale

Quels tests lorsque l’on migre une application vers le Cloud ?

C’est un fait, de plus en plus d’applications sont migrées de serveurs simple au « Cloud ». Les raisons sont multiples, on peut néanmoins retenir celles-ci : le Cloud offre une mutualisation des ressources (moins d’énergie utilisée en moyenne) le Cloud offre un service de disponibilité proche des 100% le

Lire la suite »