Ce poste est inspiré de cet article en anglais, qui, comme celui qui a inspiré mon précédent article, a été écrit par Ruslan Deystnikov.
Le problème initial est simple : comment connaitre et mesurer l’efficacité des campagnes de test ?
Comme vous le savez, la communication est une des bases du métier du test, un testeur doit donc savoir comment communiquer sur l’efficacité de son travail… Cela se révèle néanmoins assez compliqué, en effet mesurer des évènements qui ont été évités (et donc n’ont pas eu lieu) est un exercice qui peut se révéler compliqué.
Pour pouvoir répondre au moins en partie à cette question, une bonne gestion des bugs est nécessaire car beaucoup d’indicateurs pertinents pour répondre à cette question vont se servir de cette partie du travail d’ingénieur de test.
Voici des indicateurs pertinents pour mesurer l’efficacité des campagnes de test :
1. Le taux de correction des bugs (ou defects/défauts…) avant la mise en production. Plus ce taux est élevé plus les défauts trouvés par les tests sont pertinents et nécessitent d’être corrigé pour atteindre la juste qualité souhaitée pour le produit/projet
2. Le taux des bugs non détectés avant la mise en production. Ces bugs découverts après la mise en production et donc souvent par les utilisateurs, néanmoins ces bugs peuvent aussi être découverts par quelqu’un travaillant sur le projet.
3. Le taux de bugs rejetés : cette mesure permet de connaitre la précision, la stabilité ou la pertinence des tests (un fort taux de rejets peut être dû à de mauvaises données, un environnement instable mais aussi à des tests de mauvaise qualité)
4. La productivité des tests : combien de tests ont été exécutés par testeur et par unité de temps. Si ce taux est bas alors les tests peuvent être trop compliqués à exécuter ou analyser. Cet indice prend tout son sens lorsque l’on le compare avec des campagnes similaires (par exemple avec la version antérieure du produit)
5. Le taux de bugs découverts par rapport au nombre de tests exécutés : Plus cet indice est élevé plus les tests et leur couverture sont pertinents.
6. Le taux de tests ayant dû être ré-exécutés sans détection de bugs : cet indice permet de connaitre la stabilité des tests et donc de la confiance que l’on peut avoir en leur résultats.
7. Le taux de bugs ré-ouverts en production: cet indice n’a de sens que si une mise en production a déjà été effectué et que l’on livre une nouvelle version. Il vise à connaitre si des bugs déjà repérés et corrigés en production se sont reproduits et ont de nouveau dû être fixé en production.
8. Le taux de bugs mineurs/majeurs/critiques découverts en production : si des bugs mineurs sont découverts en production cela n’est pas très gênant, par contre si un bug majeur voir un bug critique est découvert en production alors la campagne de test devra surement évoluée pour éviter que ce dernier ne se reproduise.
Cela reste des indicateurs « indirects » et dépendants de facteurs extérieurs (l’indicateur 5 est à 0 si le code est parfaitement exécuté), néanmoins ils permettent d’avoir une idée sur la qualité générale des campagnes de test et prennent tout leur sens sur du long terme lorsque l’on peut les comparer sur plusieurs livraisons d’un même produit.
Encore merci à Ruslan Deystnikov pour sa réactivité, son accord pour que j’écrive des articles en m’inspirant des siens et son envie de faire partager son expérience dans les métiers du test et de la qualité.
Pour plus d’information sur les bugs non détectés : http://www.qamentor.com/wisdom-center/sample-deliverables-showcase/defect-leakage-analysis/
Site QA mentor : www.qamentor.com
