Les petits trucs de testeur: sélectionner ses tests

Introduction

Lorsque l’on travaille sur la préparation d’une campagne de test on s’aperçoit vite que l’on ne peut pas tout tester. Lorsque aucun test n’existe le choix se fait lors de la conception, le testeur se doit alors de créer des cas de test, généralement pour tester en profondeur un logiciel ou une de ses fonctionnalités. De cette phase sort généralement un assez grand nombre de tests spécifiques à une version ou une fonctionnalité. Ces tests sont alors répertoriés et peuvent servir de base à des campagnes de régression.

Une erreur fréquente lors de l’élaboration des campagnes de régression est de vouloir garder tous les tests conçus précédemment. Cela part d’une bonne intention (assurer une bonne couverture) mais engendre de sérieux problèmes liés à une nombre de tests qui devient vite beaucoup trop important comme :

• Un temps d’exécution toujours plus grand (et non, l’automatisation de l’exécution des tests ne suffit pas entièrement à régler ce problème) et donc plus de temps pour déployer les fonctionnalités
• Un temps d’analyse des tests toujours plus important (s’il est fait correctement)
• Un temps dédié à la maintenance des tests de plus en plus handicapant
• Une information trop diluée: trop d’information tue l’information. Avoir des milliers de test sur un produit assez simple n’est pas utile et engendre de mauvaises pratiques comme juste regarder un pourcentage de succès et d’échec!
• Des coûts non maitrisés menant, à terme à la mort de l’appli comme illustré dans la partie « santé » des secrets d’une bonne recette…

Afin d’éviter ces dérives le testeur se doit de mettre à profit une compétence essentielle à son métier: faire des choix! Son principal choix est de sélectionner les tests de ses campagnes!

La sélection des tests, élément essentiel du travail du testeur

La sélection des tests est essentielle! Le testeur doit être capable d’estimer l’importance des tests afin de sélectionner lesquels il est pertinent de garder pour une campagne spécifique.

Les tests d’une campagne doivent permettre à cette dernière d’accomplir son objectif.

Pour une campagne de régression, le testeur peut sélectionner un sous-ensemble des tests déjà conçus lors de la validation. Ce sous-ensemble étant les tests permettant de remonter des régression majeures.

Pour une campagne de tests vitaux, il est alors possible de prendre un sous ensemble des tests de régression, ne gardant que les tests permettant de remonter des tests critiques.

Ce fonctionnement donne généralement des campagnes « fixes », c’est à dire avec un contenu qui évolue peu.

Le testeur peut alors aller plus loin en ayant un ensemble de tests maintenus plus important que le nombre de tests à exécuter à chaque campagne. Chaque campagne pourra alors être construite « sur mesure » en fonction des risques identifiés, du temps imparti ou de tout autre éléments liés au contexte. Dans ce cas le testeur pourra être aidé de différents outils, il est notamment possible de se servir de Tag indiquant une fonctionnalité, une criticité ou tout autre élément. Il existe également des IA d’aide à la décision qui se développent en ce sens.

Conclusion

Faire des choix est quelque chose de très complexe car faire des choix c’est avant tout renoncer et prendre des risques. Renoncer à des possibilités, renoncer à de l’information et donc prendre le risque de se tromper. Néanmoins, ces choix s’avèrent vite nécessaires lorsque l’on est testeur afin d’assurer la pérennité du logiciel. Afin de choisir « au mieux », le testeur devra constamment se rappeler le but et les contraintes de la campagne qui sera exécutée avec ces tests tout en étant capable, en analysant différentes variables, d’estimer l’apport de chaque test pour atteindre le but de la campagne. C’est un travail loin d’être évident, c’est un travail qui souffrira d’erreur et nécessite de l’expérience mais c’est un travail passionnant (et obligatoire) lorsque l’on est testeur!

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.