Introduction
Lorsque l’on fait prévoit nos tests il faut choisir lesquels nous ferons car, faut-il le rappeler, les tests exhaustifs sont impossible!
Ce choix se fait en fonction des risques, les risques sont calculés en fonction de leur impact et de leur probabilité d’occurrence.
Hors, comment faire pour bien estimer un impact… Et encore plus une occurrence si on ne sait pas comment le logiciel est utilisé ?
Comment connaitre les risques si on ne connait pas le comportement des utilisateurs et les faiblesses du logiciel ?
Pour répondre à cette problématique, une seule solution (pas la manifestation!), un petit truc de testeur: connaitre/suivre la production
Le suivi de la production
Le suivi de la production est une activité que je considère comme quasiment obligatoire lorsque l’on est testeur. Ce suivi permet en effet de:
- s’assurer que les campagnes de tests que l’on a mis en place étaient pertinentes. Un point essentiel pour l’amélioration continue!
- connaitre les anomalies remontées par les utilisateurs, savoir ce qui les gène. Cela permet de mieux appréhender les faiblesses de l’application et les risques!
- connaitre le comportement des utilisateurs sur l’application. Et donc mieux orienter ses tests, créer des personae pertinents pour ses tests exploratoires mais aussi mieux prioriser ses tests.
- Repérer au plus tôt d’éventuels incidents.
Comment faire pour effectuer un bon suivi en production ?
Il va sans dire qu’il n’y a pas de réponse générique et fonctionnant dans tous les contextes. Je peux néanmoins partager avec vous quelques bonnes pratiques:
- Aller discuter avec les utilisateurs et les regarder utiliser l’application
- Regarder les logs (avec l’aide d’un Ops)
- Vérifier si certaines erreurs ne sont pas trop récurrentes
- Analyser les commentaires écrits des utilisateurs
- Analyser les anomalies remontées (et essayer de les regrouper)
Petits REX sur l’importance du suivi en production
Le suivi en production est particulièrement important et pour vous convaincre je vais vous présenter 2 exemple où ce suivi a permis d’améliorer, en profondeur la qualité de l’application.
Premier exemple:
un logiciel permettant de faire avec une IHM ce qui était fait avant à la console par les utilisateurs (et donc le rendre plus accessible). Ce logiciel proposait, pour ne pas déstabiliser les anciens utilisateurs, une console pour réaliser les actions.
Les campagnes de tests étaient très importantes, le but était de s’assurer que l’IHM fonctionnait parfaitement. Malheureusement à chaque déploiement, de très nombreuses anomalies étaient remontées et les clients étaient mécontents.
Une analyse de la production et du comportement des utilisateurs a permis de s’apercevoir que 90% des utilisateurs travaillaient uniquement avec la console car c’était plus rapide. Les campagnes de tests ont donc été ré-orientées et la satisfaction utilisateur s’est fortement améliorée.
Second exemple:
Nous sommes ici sur un logiciel qui a 2 types d’utilisateurs. Des utilisateurs créant un besoin et ayant accès à une IHM, d’autres utilisateurs recevant l’information et devant renvoyer des fichiers qui doivent être intégrés automatiquement à l’IHM.
Le tout fonctionne avec de nombreuses notifications, notamment pour gérer les erreurs. Un travail important est fait pour anticiper des erreurs et créer des notifications spécifiques afin de permettre un meilleur taux d’importation et une meilleure compréhension des utilisateurs « externes ».
Le suivi de la production a permis de montrer très vite certains manques par rapport à des erreurs qui n’avaient pas été anticipées ou sous-estimées. De même certaines notifications se sont avérées insuffisamment précises.
Grâce à ces retours nous avons créé de nouvelles notifications et modifié certaines.
Enfin, ce suivi nous a également permis de détecter très tôt des défaillance de l’outil d’import et donc de le réparer au plus tôt.
Conclusion
Le suivi en production est un outil particulièrement puissant pour le testeur. Une fois qu’on y a goûté il devient inconcevable de ne plus faire ce suivi tant son retour sur investissement est important et permet d’améliorer le logiciel.
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
