JIRA est un outil très apprécié par les équipes agiles et particulièrement des développeurs. Dans une optique de rapprochement des tests et des Dev (et donc de l’équipe agile) il peut être intéressant d’utiliser les mêmes outils.
Pour répondre à cette demande i existe 2 plugins JIRA dont le but est de gérer les tests. Ces Plugins sont Zéphyr et Xray.
La taverne vous propose dans cet article le retour d’expérience de Frédéric Farès sur cet outil qui souhaite remplacer les ALM.
Ce Rex a été fait lors de la STLS 2018.
Bon visionnage
19 réponses
Utilisant depuis plus de 2 ans XRAY, je vous livre rapidement ce que je peux tirer de mon expérience agile (domaine web & mobile).
Autant ALM (ou similaire) est un outil de référence pour du test cycle en V, autant son utilisation semble lourde et peu adaptée pour du test en agilité (pas testé ALM Octane).
Travaillant pour des entreprises utilisant JIRA, il m’a été donné d’utiliser Zéphyr (cloud) et XRAY (cloud et On Prem) pour la gestion des tests. Ces plug-in permettent de se connecter avec tout un tas d’outils liés à l’agilité et ça permet d’augmenter la qualité logicielle si c’est correctement mis en place.
Zéphyr : Utile pour une mise en place simple du test dans un projet. Peu de gestion possible, un seul type de demande (test), exécution à la volée, je n’ai pas eu le temps de tester le reporting (qui ne semblait pas fameux quand même)
XRay : Utile pour une gestion de test plus poussée (plusieurs types de demande qui le permettent), adapté au test en agilité, encore des progrès à faire pour la gestion des tests de non-régression d’après moi mais c’est gérable (utilisez les étiquettes !) et ça progresse bien, le support étant bien réactif.
Je n’ai pas testé les TestLink, Squash TM et autres depuis un bon moment donc je ne peux pas comparer avec ces outils.
No More ALM (et c’est trop bien 🙂
Merci pour ce retour.
Je ne suis toujours pas convaincu par JIRA pour une politique de test poussée. Néanmoins il semble que les outils proposés soient suffisant selon les contextes et dans ce cas ce semble être une solution viable.
XRay est inexploitable pour du test en SAFe / Agilité à l’échelle.
Le problème étant que les DSI poussent pour passer sous XRay (au prétexte de devenir agile) au détriment des vrais ALM.
D’où une perte de productivité et une dégradation du processus de test.
Mais cet aspect souffre encore d’un manque de communication vers les DSI chez lesquelles « on croit » que tous les outils se valent.
L’expertise test reste un métier méconnu et donc, des décisions sont prises de transformer les processus d’ingénierie de manière inopportune.
Pour preuve, lorsque je dois maintenant apporter une méthode de test, je commence d’abord par refondre les customisations de JIRA et corriger l’agilité en place !
Je deviens coach agile sans en avoir le titre, par nécessité.
Bonjour,
il est vrai que JIRA n’a pas été pensé pour les tests et donc qu XRay qui est un plugin n’est pas l’outil le plus performant.
Son gros point fort est la possibilité de casser des silos en intégrant le travail des testeurs dans l’espace de travail des développeurs. Cela se fait, en partie, au détriment de la qualité de l’outil du testeur et force à faire certaines adaptations.
Personnellement je n’aime pas vraiment XRay en tant qu’ALM mais l’apprécie en tant qu’outil dans une équipe Agile
Merci pour ce retour.
Je confirme le propos : la vision des tests proposée par XRay comme Zéphyr se limite aux tests embarqués dans une équipe agile, c’est à dire une équipe qui accouche d’une unique application.
C’est oublier que l’essentiel du test est en dehors (multi-applicatif, donc au niveau du SI).
En outre, XRay s’appuyant sur l’objet de base de JIRA (le ticket) celui-ci ne permet comme les véritables ALM de versionner les exigences couvertes.
En règle générale, je déconseille les plugins de JIRA pour le test : c’est un non sens de dire que le module de test est un plugin du bugtracker (ce qu’est JIRA initialement), quand pour les ALM, c’est le bugtracker qui est un plugin de l’outil !
Certes, JIRA (enfin, XRAY) est loin d’être l’outil parfait, j’en conviens allègrement.
Mais ce qui me plait tant à l’utiliser au quotidien, c’est le fait qu’enfin les tests sont partagés avec le reste de l’équipe : tout le monde travaille avec le même outil et ça, je trouve, ça contribue grandement à la démocratisation/expansion/propagande (rayer la mention inutile) du TEST !
On dira ce qu’on veut, avoir un outil de gestion de test à part, ça entretient insidieusement le sentiment que le Test n’est pas totalement intégré dans l’équipe, qui plus est quand celui-ci est compliqué à prendre en main.
Je ne compte plus le nombre de collègues (chef de projet, dév, PO et autres) qui n’ont jamais mis le nez dans ALM/Squash/Testlink, etc. pour cette raison.
Je suis curieux de la version Octane d’ALM par contre. J’avais assisté à une démo lors de son lancement mais je n’ai pas eu de retour d’utilisateur. Si y’en a, je suis preneur.
Bonjour,
Retour rapide sur notre utilisation de Xray chez AXA France.
Gros utilisateur de JIRA dans un contexte Agile @scale (gestion des EPIC, MMF, US,), nous avons cherché un outil de test intégré à JIRA. Choix fait fin 2016, pilote début 2017. Le choix s’est naturellement tourné vers Xray.
Ce que nous apprécions : l’intégration complète avec JIRA (donc un seul outil pour tous, pour PO, BA, testeurs, …), la richesse fonctionnelle de l’outil, les fonctions de reporting (soit directement dans Xray ou via les tableaux de bord/gadgets JIRA), l’ouverture via les APIs, la réactivité et la transparence de l’éditeur et la qualité de la documentation. En points d’amélioration : l’ergonomie du fait que Xray est intégré à JIRA (mais l’éditeur Xpand a ajouté la gestion d’arborescence depuis la version 3.0. Cela améliore largement les choses et améliore la productivité des testeurs), qques manques fonctionnels (dont la gestion des tests paramétrés prévue pour la version 4.0 en 2019. Et un manque de visibilité sur la roadmap produit.
Fin 2018, j’ai créé le Club Utilisateurs Xray France. A cette date, il regroupe 20 sociétés et une trentaine de membres. Il est accessible sous LinkedIn : https://www.linkedin.com/groups/13584107/ Si vous êtes utilisateur final Xray, ce sera un plaisir de vous accueillir
Merci pour ce retour!
Bonjour,
De mon côté on utilise Jira could et Xray
Pour tous ce qui est gestion EPic us reporting liée à ça on a jamais trouvé de problème,par contre pour les tests c’est très limité soit sur les requêtes JQL soit sur les Dashboard pour le suivi
Bonjour,
Je suis en train d’essayer de passer à Xray, que je connaissais juste de nom auparavant, mais j’ai un petit soucis, moi ayant été mis chef de projet sur le projet Jira sur lequel nous avons mis Xray, je peux lancer les runs depuis un ticket de « Tests Execution » mais le reste de mon équipe ne peut pas, ils ont un message d’erreur leur indiquant qu’ils n’ont pas les droits. N’étant pas l’administrateur du Jira, je n’ai pas accès à la plupart des configuration de celui-ci. Si quelqu’un pouvait m’indiquer l’autorisation à accorder à mon équipe pour qu’ils puissent exécuter les tests, je pourrais la communiquer à mon administrateur Jira pour qu’il l’active. J’ai essayé de chercher, je n’ai rien trouver. Même dans la FAQ Xray, çà indique que les personnes qui n’ont pas les droits, auront ce message, mais sans indiquer quels droits il faut donner à la personne pour ne plus avoir le message.
Bonjour Rodrigue,
désolé je ne peux pas vous aider sur ce point. JIRA est un outil assez complexe avec de nombreux paramètres. Je ne peux que vous conseiller de comparer la différence entre vos droits et ceux de votre équipe.
Bonne journée
Oui c’est d’ailleurs pour le moment çà fait parti des rares points négatifs que j’ai relevé. Comme la plupart de l’administration est celle de Jira, c’est beaucoup plus complexes que pour les ALM.
Les 2 autres sont :
– Absence de tests paramétrés
– Absence de burndowchart dans le reporting pour l’exécution des tests
Bonjour,
Pour ma part je suis plus un habitué de Squash-TM, et je viens de commencer à travailler avec X-Ray. Je ne suis pas sur d’être bien objectif mais ma préférence va à squash-TM.
Mes griefs:
– processus d’écriture de test lourd:
– ouverture du mode édition parfois un peu lent
– l’édition d’un pas de test prend tous l’espace d’écran disponible ce qui oblige à scroller pour voir les pas de tests précédent ou suivant.
– Génération de rapport un peu décevante:
– Si Xray permet d’attacher d’utiliser des paramètres de scénario, ces paramètres ne sont pas imprimés dans les rapports générés. Donc l’utilisation super pratique des paramètres, abouti à des lacunes dans la documentation des tests. Après j’ai peut être un biais, ayant travaillé pour la recherche clinique, où tout devait être documenté en pdf (pour répondre au 21 CFR part 11)
– les puces et numérotations qui s’affichent très joliment dans l’application sortent sous forme de * et # bien moins agréable à la lecture.
Les point positif malgré tout:
– la possibilité de créer des préconditions réutilisable d’un test à l’autre
– le mode exécution est assez agréable avec le chronomètre intégré pour mesurer le temps d’exécution.
D’une manière générale j’aime bien l’aspect très structuré de Squash avec des espaces séparés exigences / test / exécution / rapports, là où dans Xray il me paraît beaucoup plus facile d’écrire plein de tests sans rien maîtriser véritablement. X-ray a sans doute des avantage en terme de flexibilité mais l’effort de structuration et de rigueur à fournir me paraît du coup plus grand.
Tout cela ne sont que des premières impressions sur un outil que je maîtrise encore mal par rapport à un autre que je maîtrisais bien.
Bonjour Raphaël,
je suis un peu dans la même situation, Squash-TM me paraît vraiment très complet, intuitif et facile d’utilisation. Mais beaucoup d’entreprises utilisent X-Ray, je me demande est-ce qu’il est vraiment meilleur ?
Votre commentaire date déjà de 4 mois, vous devez mieux maîtriser cet outil maintenant ainsi que ses différentes fonctionnalités.
Auriez-vous des choses à rajouter par rapport à votre expérience avec X-Ray ?
Si aujourd’hui vous aviez la possibilité de choix, ce serait quand même Squash-TM ou vous resteriez sur X-Ray? 🙂
Bonjour
Nous sommes fidèles à Xray depuis 2017 (année du choix).
Et toujours satisfaits du choix (cf mon message de 2019).
Les 2 « nouvelles » fonctionnalités sont encore un peu jeunes. Entre autre les tests paramétrés.
Le problème étant qu’un test paramétré ayant 15 « lignes de jeu de données » compte pour un au niveau du reporting. On perd l’avancement fin. XBlend est au courant de ce problème.
Très certainement des améliorations dans les versions futures.
Pour information, j’ai un point avec le responsable Produit dans les jours à venir. Histoire d’avoir de la visibilité sur la roadmap de l’éditeur.
Le seul point fort que je trouve à Xray c’est qu’il est intégré à Jira. Sur tout le reste je le trouve bien inférieur à tous les ALM du commerce
En effet, c’est UN point fort. Pour le reste, je n’ai pas d’avis. Je n’ai pas d’expérience avec d’autres outils 😉
Pour une alternative solide et qui fait le pont entre les ALM dits classiques et les outils dits « Agiles. Cette alternative c’est Squash qui devient une plateforme incontournable pour les tests fonctionnels manuels et les test automatisés. Il est intégré a Jira et aux touils d’automatisation et d’intégration déploiement et qualification continue DevOps.
Bonjour,
Squash est en effet un ALM qui est apprécié et très répandu.
Je n’irai pas jusqu’à dire incontournable, il y a d’autres ALM également performants.
Je pense par exemple à Octane ou ou XQual (XStudio) mais il y a aussi d’autres outils comme Qtest, de nombreuses addon JIRA (à ma connaissance XRay est la plus performante) et bien d’autres.
Je suis cependant conscient que Squash n’est pas vraiment abordé dans la taverne et que cela serait intéressant d’avoir le REX d’un utilisateur.
Bonne journée