Gérer et centraliser ses automates de tests avec JIRA et Xray – Simon Champenois

Même si aujourd’hui les automates de tests sont souvent intégrés dans des pipelines, ils sont aussi souvent « dispersés » sur différents projets en fonction des outils et des équipes de test. Ainsi, le rejeu des automates et l’obtention des résultats peuvent être compliqués à appréhender pour les personnes dont l’automatisation des tests n’est pas leur métier (chef de projet, scrum master, testeur métier…) et donc un frein au développement de cette activité.

A ma connaissance,  aucune solution de lancement d’automates de test sous JIRA via XRAY n’a été proposée. Pourtant il existe un réel besoin de pouvoir gérer et centraliser tous les types de tests sur JIRA, en particulier pour les Test Manager. La solution que je propose « détourne » une fonctionnalité de JIRA (le gadget « Filter Result ») et une fonctionnalité de XRAY (le champ « Description » du Test Execution) pour ajouter des « boutons » de lancement (START) et de reporting (RESULT).

L’objectif de ce Dashboard JIRA est de s’appuyer sur les automates existants en rajoutant une surcouche simple pour centraliser tous les lancements ainsi que leurs résultats.

Peut-être qu’il n’apportera rien de plus à certains projets mais il peut en inspirer d’autres avec, par exemple, les intérêts suivants :

• Une seule URL pour accéder à tous les automates
• Une seule vue pour afficher les résultats des tests API, IHM, de performance, etc
• JIRA est accessible à tous et utilisable sans avoir de compétences techniques 
• D’autres informations peuvent être ajoutées et affichées (anomalies ouvertes, tests manuels…)

Principe de la solution (exemple d’outils):

Pour afficher les boutons, il suffit d’ajouter des « images » en attachement au « Test Execution » et de leur associer un lien hypertexte. En fonction de l’étape de l’automate, ces images s’afficheront avec leur lien par une requête sur l’API JIRA portant les informations à « injecter » sur le champ « Description » du Test Execution.

Pour mettre en œuvre cette solution, les étapes à réaliser :

1. Initialisation du Dashboard JIRA

• Créer un nouveau « Dashboard » sur JIRA et ajouter le gadget « Filter Results »
• Ajouter un filtre sur les « Test Execution » des automates souhaités (un TE par automate)
• Ajouter a minima les colonnes « Test Execution Status » et « Description »

2) Initialisation des Test Execution

• Avoir un TE avec les tests Xray de type « Generic » associés et identifiés par l’automate
• Ajouter les informations « fixes » dans les champs du TE (environnement, heure de lancement, etc)
• Ajouter des images que vous souhaitez sur ce TE : Start.png, etc
• Ajouter des liens hypertextes sur les images dans le champ « Description ». Ceci afin d’obtenir la ligne à copier dans le fichier JSON. Par exemple pour l’image « Result » :  

3) Préparation des JSON à injecter via l’API JIRA

• Constituer les fichiers JSON qui seront injectés en fonction de l’étape de l’automate par Jenkins. Tous les formats de fichiers sont détaillés sur le WIKI de XRAY :   https://docs.getxray.app/display/XRAY/Import+Execution+Results+-+REST

• A la fin de l’exécution de l’automate, le dernier JSON doit contenir le nom du report généré et son chemin sur le serveur IIS.   L’automate modifie le template du JSON ou le constitue lui-même avec ce lien hypertexte spécifique à l’exécution.

4) Configurer l’envoi du JSON par les API

• Il est possible d’envoyer ces fichiers par des commandes CURL cependant le plus simple est de passer par Jenkins ( https://docs.getxray.app/display/XRAY/Integration+with+Jenkins#IntegrationwithJenkins-Importingtheexecutionresults )

• Une fois un TE configuré avec ces 4 étapes, il suffit de le dupliquer pour les autres automates

Pour terminer …

Cette solution détourne des fonctionnalités existantes de JIRA mais permet de répondre au besoin de nombreux projets pour centraliser leurs automates de tests. Cela reste une proposition personnelle qui peut surement être améliorée et ne constitue probablement pas l’unique solution pour gérer ses automates sous XRAY. Elle est aussi à adapter au contexte de chaque projet (génération et stockage des Json, etc)

Une fois mis en place, il est possible d’adapter ce Dashboard simplement en modifiant les données injectées dans le JSON, par exemple :

• Ajouter un lien vers les vidéos d’exécution des tests
• Ajouter une icône « New Release » si l’automate a été exécuté sur une nouvelle version
• Afficher la version de l’application testée
• Afficher la durée d’exécution de l’automate
• Afficher l’icône des outils de test (Selenium, ReadyAPI …)

Toutes les informations enregistrées par l’automate peuvent être injectées et affichées sur JIRA. A vous de créer votre propre DASHBOARD en fonction du besoin de vos projets…

A propos de l’auteur: Simon Champenois

est Manager et membre du “Club utilisateur Xray France”, je m’appuie sur mes 15 années d’expériences en outils et méthodologies de test pour partager sur les sujets QA au travers d’articles et de meetups.