Les agents IA et leur usage pour l’exécution de tests – Partie 2 – Illustration avec Lynqa for Jira

Dans la première partie de cette série consacrée aux agents IA pour l’exécution des tests, j’ai présenté l’architecture générale des agents IA et leur déclinaison comme agents GUI, c’est-à-dire agissant sur l’IHM du PC (ou du mobile) pour réaliser la tâche demandée par l’utilisateur.

Ces agents GUI peuvent agir comme un testeur QA pour réaliser l’exécution de cas de tests manuels ou de scénarios au format Gherkin.

Dans cette deuxième partie, nous prenons l’exemple de Lynqa, de Smartesting dont fait partie l’auteur de ces lignes, pour détailler le fonctionnement de ce type d’agent, son intégration dans l’outillage de test et les questions liées à son usage dans un workflow de test. Cette illustration est réalisée en montrant « comment cela marche » dans Jira avec Xray en présentant les captures d’écran.

Lynqa est un agent IA d’exécution des tests manuels permettant d’exécuter des scénarios de tests formulés en langage naturel sur les applications web. Il se présente (à la date de cet article) de façon intégrée au référentiel de test :

• Lynqa for Jira, intégré à l’outil de gestion des tests Xray
• Lynqa for Xqual, intégré à l’outil de gestion des tests Xqual – Xstudio
• Lynqa Service, qui est le service délivré via API

Dans la suite, nous illustrons le fonctionnement de l’agent Lynqa à partir de la version Lynqa for Jira avec l’outil de gestion des tests Xray.

Pour cette illustration de l’agent Lynqa, nous sommes dans Jira cloud avec les apps Xray et Lynqa for Jira installées. Le système sous test est le site « La taverne du testeur » sur lequel vous lisez ces lignes.

Voici notre tableau en cours :

• Deux User Stories :
  • US TLT-12 qui recouvre la recherche par mot-clé dans la barre de recherche sur la home page
  • US TLT-13 qui recouvre la recherche par mot-clé via le nuage de mots sur la home page
• Un cas de test Xray TLT-14 qui couvre les deux US précédentes
• Une exécution de test TLT-15 pour le cas de test TLT-14

Création du cas de test et exécution par l’IA

Le cas de test TLT-14 est en mode « test manuel ». Il comprend deux étapes de test permettant de couvrir les deux US.

L’exécution se lance depuis la ticket de lancement de test TLT-15 associé au cas de test TLT-14. La capture d’écran ci-dessous montre qu’une exécution a été réalisé, et que l’on peut réexécuter avec Lynqa.

Un agent IA exécute les cas de test tels qu’ils sont dans le référentiel de test, en mode visuel, sans nécessité ni retouche, ni scripting, ni codage. L’agent IA interprète les consignes de test (action / résultat attendu), les exécute étape par étape et réalise un reporting par étape.

La capture d’écran ci-dessous montre l’exécution par Lynqa : le détail de la réalisation de chaque étape de étape de test (à gauche) et le détail de l’évaluation du résultat attendu (à droite, en vert pastel). Pour chaque action de test sur l’IHM et chaque évaluation du résultat attendu par analyse de l’IHM, la capture d’écran apporte la preuve d’exécution et la preuve de l’évaluation du résultat attendu.

Le rôle du Testeur QA : prioriser, superviser et décider

Un agent IA est donc au service du testeur QA. Utiliser un agent permet de raccourcir les cycles de test manuel (on peut lancer les exécutions en temps masqués, à midi, le soir ou plusieurs exécution en parallèle). Mais, la décision reste au testeur.

Dans notre exemple, à partir du reporting d’exécution dans Lynqa, c’est le testeur QA qui décide de la publication de cette exécution dans Xray. Il n’y a pas de mise à jour automatique du statut du test dans le référentiel : cette action décisionnelle est réalisée par le testeur au vu de l’exécution réalisée et du reporting présenté par l’agent IA. Dans la capture du panel Lynqa dans Jira, on voit le bouton « Publier dans Xray » : l’agent exécute et l’humain décide de la publication des résulats d’exécution.

Une fois publié dans Xray, le résultat d’exécution par Lynqa présente le détail de l’exécution avec le détail des assertions pour chaque étape de test, comme le montre la capture d’écran ci-dessous (le détail dans le ticket « test exéc » d’une exécution par agent IA).

En conclusion

Cet article illustre le fonctionnement d’un agent IA d’exécution de tests (Lynqa) dans un éco-système de projet (Jira avec Xray). Cette nouvelle possibilité d’exécution automatique permet de réduire les pics de charge des cycles de test manuels en prenant en charge les exécutions routinières, permettant aux testeurs QA de se concentrer sur les exécutions les plus complexes.

Dans une partie 3 de cette série sur les agents IA d’exécution de test, nous comparerons ce nouveau mode d’exécution automatique des tests par agent IA avec l’automatisation scriptée dans des environnements tels que Playwright, Cypress ou Selenium : dans quels cas exécuter avec un agent IA et dans quels cas automatiser avec l’assistance de l’IA.