JIRA est un outil très apprécié par les équipes agiles et particulièrement des développeurs. Dans une optique de rapprochement des tests et des Dev (et donc de l’équipe agile) il peut être intéressant d’utiliser les mêmes outils.
Pour répondre à cette demande i existe 2 plugins JIRA dont le but est de gérer les tests. Ces Plugins sont Zéphyr et Xray.
La taverne vous propose dans cet article le retour d’expérience de Frédéric Farès sur cet outil qui souhaite remplacer les ALM.
Ce Rex a été fait lors de la STLS 2018.
Bon visionnage
La taverne du testeur 
Utilisant depuis plus de 2 ans XRAY, je vous livre rapidement ce que je peux tirer de mon expérience agile (domaine web & mobile).
Autant ALM (ou similaire) est un outil de référence pour du test cycle en V, autant son utilisation semble lourde et peu adaptée pour du test en agilité (pas testé ALM Octane).
Travaillant pour des entreprises utilisant JIRA, il m’a été donné d’utiliser Zéphyr (cloud) et XRAY (cloud et On Prem) pour la gestion des tests. Ces plug-in permettent de se connecter avec tout un tas d’outils liés à l’agilité et ça permet d’augmenter la qualité logicielle si c’est correctement mis en place.
Zéphyr : Utile pour une mise en place simple du test dans un projet. Peu de gestion possible, un seul type de demande (test), exécution à la volée, je n’ai pas eu le temps de tester le reporting (qui ne semblait pas fameux quand même)
XRay : Utile pour une gestion de test plus poussée (plusieurs types de demande qui le permettent), adapté au test en agilité, encore des progrès à faire pour la gestion des tests de non-régression d’après moi mais c’est gérable (utilisez les étiquettes !) et ça progresse bien, le support étant bien réactif.
Je n’ai pas testé les TestLink, Squash TM et autres depuis un bon moment donc je ne peux pas comparer avec ces outils.
No More ALM (et c’est trop bien 🙂
J’aimeAimé par 1 personne
Merci pour ce retour.
Je ne suis toujours pas convaincu par JIRA pour une politique de test poussée. Néanmoins il semble que les outils proposés soient suffisant selon les contextes et dans ce cas ce semble être une solution viable.
J’aimeJ’aime
Certes, JIRA (enfin, XRAY) est loin d’être l’outil parfait, j’en conviens allègrement.
Mais ce qui me plait tant à l’utiliser au quotidien, c’est le fait qu’enfin les tests sont partagés avec le reste de l’équipe : tout le monde travaille avec le même outil et ça, je trouve, ça contribue grandement à la démocratisation/expansion/propagande (rayer la mention inutile) du TEST !
On dira ce qu’on veut, avoir un outil de gestion de test à part, ça entretient insidieusement le sentiment que le Test n’est pas totalement intégré dans l’équipe, qui plus est quand celui-ci est compliqué à prendre en main.
Je ne compte plus le nombre de collègues (chef de projet, dév, PO et autres) qui n’ont jamais mis le nez dans ALM/Squash/Testlink, etc. pour cette raison.
Je suis curieux de la version Octane d’ALM par contre. J’avais assisté à une démo lors de son lancement mais je n’ai pas eu de retour d’utilisateur. Si y’en a, je suis preneur.
J’aimeAimé par 1 personne
Bonjour,
Retour rapide sur notre utilisation de Xray chez AXA France.
Gros utilisateur de JIRA dans un contexte Agile @scale (gestion des EPIC, MMF, US,), nous avons cherché un outil de test intégré à JIRA. Choix fait fin 2016, pilote début 2017. Le choix s’est naturellement tourné vers Xray.
Ce que nous apprécions : l’intégration complète avec JIRA (donc un seul outil pour tous, pour PO, BA, testeurs, …), la richesse fonctionnelle de l’outil, les fonctions de reporting (soit directement dans Xray ou via les tableaux de bord/gadgets JIRA), l’ouverture via les APIs, la réactivité et la transparence de l’éditeur et la qualité de la documentation. En points d’amélioration : l’ergonomie du fait que Xray est intégré à JIRA (mais l’éditeur Xpand a ajouté la gestion d’arborescence depuis la version 3.0. Cela améliore largement les choses et améliore la productivité des testeurs), qques manques fonctionnels (dont la gestion des tests paramétrés prévue pour la version 4.0 en 2019. Et un manque de visibilité sur la roadmap produit.
Fin 2018, j’ai créé le Club Utilisateurs Xray France. A cette date, il regroupe 20 sociétés et une trentaine de membres. Il est accessible sous LinkedIn : https://www.linkedin.com/groups/13584107/ Si vous êtes utilisateur final Xray, ce sera un plaisir de vous accueillir
J’aimeAimé par 1 personne
Merci pour ce retour!
J’aimeJ’aime
Bonjour,
De mon côté on utilise Jira could et Xray
Pour tous ce qui est gestion EPic us reporting liée à ça on a jamais trouvé de problème,par contre pour les tests c’est très limité soit sur les requêtes JQL soit sur les Dashboard pour le suivi
J’aimeJ’aime
Bonjour,
Je suis en train d’essayer de passer à Xray, que je connaissais juste de nom auparavant, mais j’ai un petit soucis, moi ayant été mis chef de projet sur le projet Jira sur lequel nous avons mis Xray, je peux lancer les runs depuis un ticket de « Tests Execution » mais le reste de mon équipe ne peut pas, ils ont un message d’erreur leur indiquant qu’ils n’ont pas les droits. N’étant pas l’administrateur du Jira, je n’ai pas accès à la plupart des configuration de celui-ci. Si quelqu’un pouvait m’indiquer l’autorisation à accorder à mon équipe pour qu’ils puissent exécuter les tests, je pourrais la communiquer à mon administrateur Jira pour qu’il l’active. J’ai essayé de chercher, je n’ai rien trouver. Même dans la FAQ Xray, çà indique que les personnes qui n’ont pas les droits, auront ce message, mais sans indiquer quels droits il faut donner à la personne pour ne plus avoir le message.
J’aimeAimé par 1 personne
Bonjour Rodrigue,
désolé je ne peux pas vous aider sur ce point. JIRA est un outil assez complexe avec de nombreux paramètres. Je ne peux que vous conseiller de comparer la différence entre vos droits et ceux de votre équipe.
Bonne journée
J’aimeJ’aime
Oui c’est d’ailleurs pour le moment çà fait parti des rares points négatifs que j’ai relevé. Comme la plupart de l’administration est celle de Jira, c’est beaucoup plus complexes que pour les ALM.
Les 2 autres sont :
– Absence de tests paramétrés
– Absence de burndowchart dans le reporting pour l’exécution des tests
J’aimeAimé par 1 personne
Bonjour,
Pour ma part je suis plus un habitué de Squash-TM, et je viens de commencer à travailler avec X-Ray. Je ne suis pas sur d’être bien objectif mais ma préférence va à squash-TM.
Mes griefs:
– processus d’écriture de test lourd:
– ouverture du mode édition parfois un peu lent
– l’édition d’un pas de test prend tous l’espace d’écran disponible ce qui oblige à scroller pour voir les pas de tests précédent ou suivant.
– Génération de rapport un peu décevante:
– Si Xray permet d’attacher d’utiliser des paramètres de scénario, ces paramètres ne sont pas imprimés dans les rapports générés. Donc l’utilisation super pratique des paramètres, abouti à des lacunes dans la documentation des tests. Après j’ai peut être un biais, ayant travaillé pour la recherche clinique, où tout devait être documenté en pdf (pour répondre au 21 CFR part 11)
– les puces et numérotations qui s’affichent très joliment dans l’application sortent sous forme de * et # bien moins agréable à la lecture.
Les point positif malgré tout:
– la possibilité de créer des préconditions réutilisable d’un test à l’autre
– le mode exécution est assez agréable avec le chronomètre intégré pour mesurer le temps d’exécution.
D’une manière générale j’aime bien l’aspect très structuré de Squash avec des espaces séparés exigences / test / exécution / rapports, là où dans Xray il me paraît beaucoup plus facile d’écrire plein de tests sans rien maîtriser véritablement. X-ray a sans doute des avantage en terme de flexibilité mais l’effort de structuration et de rigueur à fournir me paraît du coup plus grand.
Tout cela ne sont que des premières impressions sur un outil que je maîtrise encore mal par rapport à un autre que je maîtrisais bien.
J’aimeAimé par 1 personne
Bonjour Raphaël,
je suis un peu dans la même situation, Squash-TM me paraît vraiment très complet, intuitif et facile d’utilisation. Mais beaucoup d’entreprises utilisent X-Ray, je me demande est-ce qu’il est vraiment meilleur ?
Votre commentaire date déjà de 4 mois, vous devez mieux maîtriser cet outil maintenant ainsi que ses différentes fonctionnalités.
Auriez-vous des choses à rajouter par rapport à votre expérience avec X-Ray ?
Si aujourd’hui vous aviez la possibilité de choix, ce serait quand même Squash-TM ou vous resteriez sur X-Ray? 🙂
J’aimeAimé par 1 personne
Bonjour
Nous sommes fidèles à Xray depuis 2017 (année du choix).
Et toujours satisfaits du choix (cf mon message de 2019).
Les 2 « nouvelles » fonctionnalités sont encore un peu jeunes. Entre autre les tests paramétrés.
Le problème étant qu’un test paramétré ayant 15 « lignes de jeu de données » compte pour un au niveau du reporting. On perd l’avancement fin. XBlend est au courant de ce problème.
Très certainement des améliorations dans les versions futures.
Pour information, j’ai un point avec le responsable Produit dans les jours à venir. Histoire d’avoir de la visibilité sur la roadmap de l’éditeur.
J’aimeJ’aime
Le seul point fort que je trouve à Xray c’est qu’il est intégré à Jira. Sur tout le reste je le trouve bien inférieur à tous les ALM du commerce
J’aimeAimé par 1 personne
En effet, c’est UN point fort. Pour le reste, je n’ai pas d’avis. Je n’ai pas d’expérience avec d’autres outils 😉
J’aimeJ’aime