Introduction
Les audits représentent probablement la méthode la plus connue pour mesurer la maturité des tests. On parle d’ailleurs souvent d’audits TPI ou TMMi qui peuvent être considérés très lourds en terme d’investissement. Mais les audits ce n’est pas que des audits TPI ou TMMi.
La définition ISTQB est celle-ci: évaluation indépendante du produit logiciel ou du processus pour s’assurer de sa conformité à des standards, règles, directives, spécifications et/ou procédures basées sur des critères objectifs, incluant les documents qui spécifient : la forme ou le contenu du produit à produire, le processus qui produira le produit, comment la conformité à des standards ou des directives sera mesurée [IEEE 1028]
On voit qu’un audit requiert certains critères importants comme l’indépendance et qu’il est amené à s’intéresser à de nombreux sujets tout en utilisant des indicateurs précis (car objectifs).
Dans les faits les audits peuvent s’avérer plus léger mais aussi et surtout souvent aller plus loin en engendrant des conséquences qui ont pour but d’améliorer l’existant.
Voici comment je schématise rapidement un processus d’audit:
L’identification des objectifs
Cette étape est la base de tout audit réussi. Les raisons pour faire un audit de test sont très nombreuses. Parmi les plus fréquentes il y a l’atteinte d’un certain niveau de certification (ex: TMMI niveau 3), améliorer la qualité ou améliorer la vitesse de livraison. Mais ces objectifs peuvent être plus opérationnels et spécifiques comme améliorer l’automatisation des tests.
Cette étape est particulièrement importante car elle oriente toutes les autres. De même elle permet également d’identifier le retour sur investissement potentiel et donc l’investissement que l’on est prêt à mettre.
Préparation
La préparation se fait lorsque l’on a identifié les raisons de l’audit.
Cette préparation commence avec l’identification du ou des auditeurs (personnes ou organismes). Il est alors important de leur présenter le contexte et objectifs afin de définir les différentes personnes à interviewer lors de l’audit. En fonction des objectifs et des différents acteurs ces interviews ne seront pas les mêmes.
Enfin lorsque les personnes sont identifiées il faut organiser les interviews: prévenir les interviewés, réserver les créneaux horaires, les salles (si besoin), donner les droits nécessaire (si besoin)…
Photo de l’existant
C’est l’activité de l’audit en elle même. Grâce aux interviews et à la collecte de documents (notamment des documents du testware) servant souvent de « preuves » il est possible de proposer une photo, vraie à l’instant t, qui s’éloigne de la vérité au fur et à mesure du temps.
De même la photo en elle même est fortement influencée par les objectifs. On peut prendre la photo d’un même jardin de plusieurs manières:
- couleur / noir et blanc
- portrait / paysage
- Avec un téléphone / avec un appareil professionnel
- Avec filtre / sans filtre
- Proportions (plus ou moins large)…
La photo se doit d’être fidèle mais aussi de représenter ce que l’on souhaite… Pour cela il est important de bien faire les étapes précédentes mais aussi, lors des entretiens de collecter correctement les informations (il faut par exemple éviter les biais ou anticiper les réponses).
Rapport d’audit
C’est ici que « l’expertise » test est la plus importante. Le principe est assez simple: analyser la photo.
Cette photo regroupe donne des informations sur les rôles, les processus, l’organisation des tests et des équipes… Avec ses/leurs connaissances l(es) auditeur(s) sont capables d’identifier des points de douleurs et des axes d’amélioration qui en découlent.
Le travail est alors de définir les actions et les axes qui proposent le plus de valeurs (par rapport à l’objectif de l’étape 1), des les articuler, les prioriser et les présenter dans un rapport.
Au final, un rapport contient régulièrement ces parties:
- Rappel du contexte
- Les différentes actions (interviews, ateliers (s’il y en a eu), dates, documents collectés…)
- L’analyse de l’existant (points foirts, axes d’amélioration…)
- Une liste d’actions priorisées avec l’apport (et l’investissement relatif) de chacun
- Une trajectoire et une cible
Accompagnement
L’accompagnement pourrait ne pas être dans cet article car c’est plus une « suite » de l’audit que l’audit en lui même. Il me semble important néanmoins de le mentionner car il est rare qu’un rapport d’audit seul avec des préconisations permettent de bien mettre en place les actions définies. Cela s’explique car ces actions impliquent un changement, parfois radical, dans les habitudes de travail.
Il me semble donc intéressant dans un grand nombre de cas de faire appel à des personnes pour nous accompagner dans ces évolutions. Ces personnes ne sont pas forcément les auditeurs ou même des personnes de leur société.
Conclusion
Les audits sont très liés aux démarches de mesure de la qualité des tests. La raison est simple: ils permettent, sur le papier, une analyse objective des pratiques. De même ces audits, menés par des humains ont l’avantage d’éviter les écueils auxquels on fait face avec des indicateurs qui peuvent vite avoir des dérives les rendant contre-productifs… il ne faut jamais l’oublier, les tests dépendent du contexte… et à ce jour les machines et indicateurs ne savent gérer ce contexte.
Les audits sont donc, à mon sens, un outil très efficace pour évaluer la maturité de ces tests. Il faut néanmoins bien savoir ce que l’on souhaite évaluer, bien les préparer en identifiants les bons acteurs (auditeurs et interviewés) pour avoir des résultats exploitables.
Enfin, un audit reste le résultat d’une analyse à un instant t. Plus le temps avance moins l’audit et ses conclusions sont pertinentes. Si l’on reprend l’image de la photo et du jardin, un même jardin est totalement différent en janvier et en juin. Il est également bien différent d’une année sur l’autre. Ces différences existent aussi dans le périmètre de l’audit. Plus le temps passe plus le produit, les acteurs (nombre, personnes, connaissances de chacun), les processus… évoluent. La photo se retrouve « périmée » au moins en partie suite à ces évolutions.
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
