Comment interpréter une campagne de test sans bug ?

Au cours des nombreuses campagnes de test que l’on exécute, il peut arriver de ne remonter aucun bug sur l’une de celles-ci. Que faut-il tirer comme informations d’une campagne avec un résultat comme celui-ci ?

Une campagne qui ne remonte pas de bug ne veut pas forcément dire que le testeur a mal fait son travail ou que l’application délivrée est parfaite!

Il y a de nombreuses façons d’interpréter ce résultat, des bonnes et des mauvaises en voici quelques-unes :

·        L’application testée est stable et/ou a peu été modifiée : on peut le remarquer avec de l’intégration et du déploiement continu, dans ce cas il est normal d’avoir des campagnes sans bug détecté.

·        La partie modifiée de l’application est très stable : cela n’est peut-être pas le cas d’autres parties de l’application qui seront modifiées ultérieurement et dont les modifications impacteront plus l’application. Cette information est très précieuse car permet d’accentuer ses efforts de tests sur d’autres fonctionnalités de l’application.

·        Les bugs ont été corrigés en amont avec les tests statiques: Dans ce cas le travail fait sur les tests statiques a particulièrement bien porté ses fruits et on a ici un très bon retour sur investissement (ROI) avec l’utilisation de ces tests.

·        Une mauvaise ou faible couverture de test : en effet si on a une mauvaise ou faible couverture de test on peut passer au travers de nombreux bugs. Lorsque l’on lance une campagne de tests vitaux (qui a donc une couverture faible) on veut absolument une campagne avec 0 défaut détecté. Dans le cas d’une mauvaise couverture de test il faut enrichir la campagne afin d’éviter la mise en production de bugs majeurs voire critiques.

·        Sortir une application sans bug est obligatoire sur le projet : selon les projets et les entreprises le niveau de qualité à atteindre n’est pas le même. Pour un logiciel critique dans un avion la qualité doit être irréprochable et l’application ne pas avoir de bug, quitte à ré-exécuter un grand nombre de fois les campagnes.

·        On peut être face à un paradoxe des pesticides : auquel cas une campagne de test exploratoire est conseillée ainsi qu’un enrichissement de la campagne de test et une évolution de certains tests.

·        Les tests ne sont pas fiables : cela peut arriver (principalement en automatisation) lorsque les tests ne testent pas vraiment ce qui est attendu. Par exemple vérifier la présence du mot « Bus » pour un trajet en car alors que dans cette même page le mot « Business » apparait dans tous les cas. Il arrive également que des tests soient mal écrits et qu’ils ne peuvent pas être en échec (j’ai déjà vu des tests automatisés 100% commentés).

·        Les tests ont mal été exécutés : c’est malheureusement une possibilité, l’erreur humaine est possible avec les tests manuels et l’exécution des tests peut ne pas avoir été irréprochable.

·        La mauvaise version de l’application a été testée : cela peut arriver avec une erreur de livraison sur l’environnement de test, ou sur application web l’utilisation d’une mauvaise url.

·        Cela peut être une campagne de retest après la correction de certains bugs : dans ce cas les probabilités de régressions sont plus faibles.

·        La stratégie de test n’est pas appropriée : le problème peut venir d’une mauvaise appréciation des risques et donc d’un effort concentré avec les tests sur une partie de l’application moins sujette à avoir des défauts.

Avoir une campagne sans bug détecté peut vouloir dire beaucoup de choses. Ce qui est sûr c’est qu’elle soulève un certain nombre de questions auxquelles il faut répondre.

En effet, ne pas avoir de bug lors d’une campagne de test peut être :

·        Une bonne nouvelle et un signe d’un bon voire excellent travail des testeurs (et des développeurs) avec des bugs corrigés en amont avec les tests statiques…

·        Une mauvaise nouvelle, avec un travail mal exécuté ou bien une mauvaise stratégie ou encore des tests peu fiables…

·        Une information précieuse : exprimant par exemple que les fonctionnalités modifiées sur l’application sont stables ou alors que cette campagne a justement pour but de n’avoir aucun défaut et que cela est normal (ex : campagne tests vitaux ou peu de changements effectués sur l’application)…

Dans tous les cas, une campagne n’ayant détecté aucun bug est une campagne qui doit être analysée encore plus en profondeur qu’une campagne « lambda » avec un nombre de défaut détecté plus habituel.

Autre article sur le sujet : https://www.linkedin.com/pulse/testers-worst-fear-bugs-ruslan-desyatnikov?trk=hp-feed-article-title-share

Pensez à rejoindre le groupe Le métier du test si le test vous intéresse !

N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles