Yves Richard, expert QA et automatisation chez Ausy, nous partage son expérience avec Cerberus Testing.
Contenu de l’interview
Automatiser, oui, mais à quel prix ?
Réussir un projet d’automatisation requiert la combinaison de plusieurs facteurs de succès. C’est loin d’être un seul sujet d’outillage réservé à des profils techniques. Une véritable collaboration et adhésion des équipes fait la différence.
Cet interview partage le retour d’expérience sur Cerberus Testing avec Yves Richard, expert QA et automatisation chez Ausy. Sa vision transverse des outils et différentes missions apporte une vision d’ensemble et du concret.
À propos de Cerberus Testing
Cerberus Testing est un framework d’automatisation de tests open source. Disponible en codeless pour permettre une collaboration transversale entre les équipes business, développement et QA. Les tests web, mobile, API, clients lourds et bases de données sont supportés dans un framework unifié pour itérer rapidement entre configuration, exécution et reporting des tests.
Chiffres clés
- La réalisation d’un POC en quelques heures
- L’on-boarding de profil non technique inférieur á 10 min
- 1300 tests exécutés plusieurs fois par jour en moins de 2 heures
- Une recommandation de 15/10 ! 🙂
« Cerberus Testing m’a permis d’unifier mon approche d’automatisation de tests sur une plateforme unique pour mes différents cas d’usages »
Yves Richard
Peux-tu commencer par te présenter?
Je suis testeur depuis plusieurs années dans des grandes entreprises. Ma spécialité, ce sont les outils: leur choix, mise en place et le conseil focalisé sur l’automatisation. Je travaille actuellement chez Ausy. Pour l’anecdote, je suis nordiste à la base et ai “émigré” dans le sud de la France 🙂
Quels problèmes cherches-tu à résoudre en utilisant Cerberus Testing ?
Le premier besoin était de pouvoir donner la main aux testeurs sur l’ensemble des activités d’automatisation. Ce sont des profils qui ne sont pas tous techniques, il faut donc une solution accessible. À l’époque, Cerberus Testing a fait la différence en facilitant au maximum son utilisation. Tout se fait par l’interface; mis à part l’identification des objets, il n’y a pas besoin de coder pour automatiser des tests.
Figure 1 : L’interface codeless disponible dans Cerberus Testing
Le second besoin était de pouvoir financièrement accéder à une solution d’automatisation. J’ai régulièrement été confronté à des produits dont le ticket d’entrée était prohibitif pour les budgets disponibles pour la qualité. Cerberus était disponible gratuitement, cela a enlevé cette première barrière. Encore mieux, le modèle open-source permet même d’y contribuer.
Le troisième besoin était de pouvoir tester un panorama large de produits et de cas d’utilisation. Cerberus supportant différentes techniques de test en web, mobile, API etc et étant continuellement mis à jour permet d’automatiser dans différents contextes. Ces briques à jour facilitent l’interfaçage avec des solutions externes comme le CI/CD.
Les différentes intégrations natives sur les plateformes de déploiement, la conteneurisation, et les APIs donnent également une flexibilité de mise en place.
Dans quelle situation étais-tu avant d’utiliser Cerberus Testing ?
J’ai commencé par la base, on m’a formé à faire du Selenium avec du Java. J’ai ensuite utilisé des logiciels un peu plus spécifiques comme Protractor, HP UFT, entre autres. Ces solutions nécessitaient clairement des capacités de développement et d’analyses assez poussées. J’ai donc passé un certain temps à m’adapter à chacun de ces outils.
Je rencontrais des problématiques récurrentes d’optimisation des tests. Je devais par exemple gérer les temps d’attente d’affichage des éléments, de chargement des pages. L’effort de code et d’optimisation était donc significatif.
Cerberus Testing m’a permis d’unifier mon approche d’automatisation de tests sur une plateforme unique pour mes différents cas d’usages. J’ai pu me concentrer sur la réalisation des tests pour le produit
Qu’est-ce qui distingue Cerberus Testing des autres options sur ce segment des outils d’automatisation ?
Le “vrai” codeless est pour moi une réelle différenciation. On comprend facilement les grands menus et on apprend à naviguer rapidement. On arrive à enchaîner les étapes nécessaires à la création, exécution et analyse de tests. On découvre dans un second temps des fonctionnalités avancées telles que la bibliothèque d’objets, d’actions ou de données. Un néophyte peut réussir à automatiser des tests en moins de 10 minutes.
L’utilisation de propriétés dans les cas de tests est pour moi un second avantage. Les produits en codeless manquent souvent de scalabilité dans la gestion des données; on doit souvent dupliquer son paramétrage pour chacun des tests. C’est différent avec Cerberus, le découplage entre actions et données est natif et permet de réutiliser les données entre les tests ou reáliser du data-driven testing.
Figure 2 : La variabilisation des données disponible dans Cerberus Testing, documentation.
Et on peut aller plus loin en variabilisant l’accès aux données. Cela peut être fait par pays ou par contexte, par exemple. On peut également dynamiquement récupérer des jeux de données dans bases de données, par fichier ou APIs. L’ensemble de ces fonctionnalités permet d’améliorer le design des tests et gagner en maintainabilité.
L’interface et la documentation á jour supportent la facilité d’utilisation.
En complément faisant la différence, on peut d’ailleurs facilement gérer ses campagnes de tests de leur configuration, exécution au reporting. L’ajout de robots d’exécutions sur des fermes locales ou distantes, en parallèle, est également natif. Un autre point est le support de tests d’APIs en SOAP, REST, GraphQL, Kafka.
En dernier point, l’accessibilité facilite la réalisation d’un POC avec l’ensemble de la documentation disponible en ligne, vidéos ou articles.
Figure 3 : La documentation orientée use-cases en article et vidéo, Cerberus Testing.
J’oubliais également un point, le support! Le slack de la communauté est ouvert aux utilisateurs et permet d’échanger directement. J’ai la plupart du temps une réponse en moins d’une journée pour différentes demandes. Cette communauté ne fait que grandir, et permet également de partager nos pratiques. Cela fait réellement gagner un temps considérable au quotidien.
Qu’est-ce que tu as pu réaliser en utilisant Cerberus Testing ? As-tu une success story ?
J’ai pu mettre en place une suite complète de non-régression qui m’a permis de sécuriser le lancement d’un projet complexe. Plusieurs intervenants étaient nécessaires à la configuration d’un nouveau système et réalisaient des changements à plusieurs endroits.
La capacité d’automatisation de tests de bout en bout m’ont permis de sécuriser l’intégration des composants. En plus, je pouvais laisser la main aux équipes pour lancer les campagnes de tests et obtenir le rapport d’exécution. Les acteurs du projet pouvaient rapidement itérer et éventuellement faire les corrections nécessaires dans les minutes qui suivent. Cette non-régression à clairement sécuriser les dates du projet.
Figure 4 : Les rapports d’exécutions nativement disponibles dans Cerberus Testing.
J’ai également réalisé de l’automatisation à l’échelle dans le contexte du e-commerce. C’est un grand classique pour les testeurs, on retrouve les parcours clients et autres scénarios orientés utilisateur. Sur la partie web, nous avons par exemple automatisé plus de 1300 tests qui tournaient en moins de 2 heures.
Nous pouvions les exécuter chaque matin pour avoir un rapport d’automatisation et également à chaque release logicielle. L’automatisation réussie nous a permis de créer une valeur visible pour l’organisation.
Quelles étaient tes principales préoccupations avant d’utiliser Cerberus Testing, et qu’est-ce qui t’as finalement convaincu ?
Au tout début il y a déjà 4-5 ans, en 2016, l’installation nécessitait des compétences techniques. Il fallait réaliser la configuration d’un serveur d’application, base de données et intégrer Selenium et autres composants de tests.
Ce n’est plus le cas aujourd’hui. J’ai dû réaliser l’année dernière une démonstration et mon instance était prête en quelques minutes pour tester localement. On peut également utiliser à tout moment la démo en ligne ou demander une instance Cloud.
Quels éléments contribuent le plus à ta satisfaction et à celle de tes utilisateurs avec Cerberus Testing ?
L’accessibilité de l’utilisation rend vraiment agréable et facile l’automatisation. On ne perd pas de temps dans des temps de trop haut niveau ou dans des détails de configuration. On gagne un réel temps dans le cycle de vie des tests.
Cette simplicité d’utilité permet également de faciliter la collaboration avec le métier, les développeurs, etc. Cela permet de supporter le rapprochement des équipes et in fine, l’amélioration du produit.
Et finalement, la plus grande satisfaction était l’utilité concrète des tests dans les projets. Ils m’ont permis de faire la différence dans la confiance de livraison et de changement des logiciels.
Pour quelles principales raisons recommanderais-tu Cerberus Testing ?
La première est de permettre la collaboration avec le métier. Quand on essaye de réaliser des tests automatisés, pouvoir être en contact direct avec les acteurs du produit fait toute la différence. C’est là que l’on peut réaliser une automatisation fournissant un maximum de valeur ajoutée. La facilité d’utilisation sans barrière technique est donc une première raison.
Ensuite, le tarif pour accéder à l’ensemble de ces fonctionnalités. On peut accéder gratuitement à la solution et accélérer avec des plans disponibles. D’autres solutions codeless émergent, mais leur prix reste une réelle problématique.
Encore une fois, la disponibilité du support et ses réponses rapides font la différence. Le produit est également en évolution continue sur l’interface, les cas d’usages, les connecteurs, le reporting, etc. Un réel travail sur l’expérience utilisateur a été mis en avant.
L’intégration est également différenciante. J’ai pu assister à une démonstration de l’outil en live avec les développeurs coeurs. On pouvait avoir accès à la roadmap et des fonctionnalités en beta, donner notre avis. C’est vraiment super intéressant de pouvoir contribuer de cette façon à une solution que l’on utilise.
Sur une échelle de 0 à 10, à quelle niveau recommandes-tu Cerberus Testing à des pairs ?
15 /10 ! 😊
Je l’ai déjà proposé à pas mal de collègues, fais des petites démos et régulièrement démontré la valeur du produit. La problématique est souvent celle du changement pour mettre en place une nouvelle solution.
Pour une entreprise voulant se lancer dans l’automatisation, je ne vois aucune raison de ne pas utiliser Cerberus Testing. La documentation est disponible, le support également. On peut également facilement accélérer avec la nouvelle offre Cloud sur des abonnements très accessibles.
J’ai déjà vivement recommandé Cerberus Testing à plusieurs pairs et je maintiens cette position. Essayer c’est l’adopter !
Plus d’infos sur Cerberus Testing
Suivez-nous sur nos réseaux sociaux :
Github https://github.com/cerberustesting/cerberus-source/
LinkedIn https://www.linkedin.com/company/cerberus-testing
Twitter @CerberusTesting https://twitter.com/CerberusTesting
Site Web https://cerberus-testing.com
Commencez gratuitement sur https://cerberus-testing.com/start
À propos de l’auteur: Antoine Craske
Passionné par l’architecture, la transformation et les technologies. Convaincu que la qualité logicielle est un pilier structurant de la performance des solutions et qu’elle doit s’adresser en transverse. En quête d’apprentissage, amélioration continue et partage de pratiques efficaces et applicables. Convaincu que l’open source et la collaboration transverse peuvent nous permettre de trouver plus rapidement des solutions concrètes à des problèmes communs.
