Bonjour Anne, peux-tu rapidement te présenter ?
Je suis responsable de la formation IA chez Smartesting. Nous proposons une formation « Tester avec l’IA générative » qui fait partie du schéma ISTQB Testeur Certifié. J’ai aussi la responsabilité de la promotion, du déploiement et de l’accompagnement des utilisateurs de notre produit LYNQA, Agent IA d’exécution des tests manuels, sur le marché germanophone.
Qu’est-ce que le test et la qualité représentent pour toi ?
Pour moi, la qualité est avant tout un état d’esprit que doit partager chaque membre de l’équipe. Les tests n’en sont qu’une partie. C’est pourquoi, à mes yeux, le travail des testeurs commence déjà lors de l’analyse des exigences. Lors de la relecture des besoins ou dans un atelier des Trois Amigos, on déniche les premières — et souvent aussi les pires — défauts.
Qu’est-ce que l’IA, et plus particulièrement l’IA pour toi ?
L’IA est pour moi un outil, un peu comme une calculatrice, mais beaucoup plus polyvalent. Je dois toutefois préciser : quand je parle d’IA, je pense en général à l’IA générative. Bien sûr, il existe beaucoup d’autres formes d’IA, mais en tant que testeur, elles ne sont pas forcément à ma disposition.
Comment t’es-tu formée sur le sujet ?
C’était douloureux ! Fin 2023, nous avions décidé de proposer cette formation. Début 2024, j’ai donc passé mes journées à écrire des prompts et à essayer différents cas d’usages avec ChatGPT et d’autres LLM. Mais comme au début je ne comprenais pas vraiment comment fonctionnent les modèles Transformer, j’ai commis toutes les erreurs de débutant possibles. Parfois, j’étais tellement agacé que je me suis mis à « crier » sur l’IA en utilisant des MAJUSCULES. Fait amusant : ChatGPT a compris et s’est alors montré « vexé ». À un moment donné, j’ai fini par reprendre pied et j’ai abordé les choses de manière plus systématique. Et là, ça allait mieux.
Pourquoi avoir imaginé une formation sur l’IA pour le test ?
Smartesting est un éditeur d’outils qui développe des solutions pour la conception et l’exécution de tests fonctionnels, et tous nos produits intègrent ou reposent sur l’IA. En réalité, avec notre Lab IA, nous nous sommes penchés sur le sujet du « test avec IA » bien avant le COVID. Nous disposons donc à la fois du savoir-faire en matière de tests et d’une connaissance approfondie de l’usage de l’IA. À cela s’ajoute le fait que plusieurs d’entre nous sont des formateurs expérimentés. Tout s’imbriquait parfaitement — et la demande du marché était évidente. Ma propre courbe d’apprentissage en est la preuve.
Comment as-tu créé cette formation ?
Dès le départ, nous nous étions mis en tête de créer une formation axée sur la pratique. La théorie, c’est bien joli, mais on apprend toujours mieux en expérimentant. C’est pourquoi les exercices ont été mis au premier plan. Les slides ne sont venus qu’ensuite. Nous voulions aussi illustrer différents cas d’usage. Chaque exercice a donc deux objectifs : mettre en pratique des techniques de requêtage et d’essayer l’IA générative pour différents objectifs.
Quels sont les points qui te semblent le plus importants à transmettre lors de cette formation ?
Soyez prudents, mais aussi ouverts à cette nouvelle technologie ! L’IA générative peut considérablement augmenter la productivité, mais ce ne sont pas toujours les cas d’usage les plus évidents qui s’avèrent les plus utiles. Beaucoup rêvent de cas de test générés d’un simple clic à partir de la base de test. C’est possible, certes, mais d’une part il faut rédiger un prompt vraiment solide, et d’autre part cela génère plus de travail de relecture qu’auparavant. En revanche, l’IA peut, en un temps record, examiner et évaluer les exigences, ou encore traduire des cas de test d’un format à un autre. Voilà des cas d’usage peu sensibles aux hallucinations ou pour lesquels ce n’est pas dramatique si l’IA « dévie » un peu. Il faut vraiment savoir ce qui fonctionne bien et ce qui fonctionne moins. Sinon, on se décourage vite et on abandonne trop tôt.
L’IA évolue très vite, comment fais-tu pour maintenir cette formation à jour ?
Tu touches là où ça fait mal. Chaque fois que j’ouvre ChatGPT, il a une apparence différente. Mes exemples de solutions d’il y a un an ne fonctionnent plus aussi bien qu’à l’époque. Quand je m’en rends compte, je cherche une meilleure solution pendant la formation que je partage par le chat. Ensuite, je l’intègre dans les supports dès que je peux.
La partie théorique change heureusement un peu plus lentement, mais tout de même sur quelques mois. Nous prévoyons donc une mise à jour régulière du programme ISTQB. De plus, j’ai toujours quelques slides sous la main qui abordent les développements les plus récents.
Quel est la maturité du public qui assiste à cette formation ?
J’ai souvent des groupes très hétérogènes. Certains n’ont même pas accès à un LLM approuvé par leur entreprise et, en conséquence, très peu d’expérience. D’autres ont déjà créé leurs propres workflows basés sur l’IA ou se sont essayés au règlement fin d’un LLM.
Comment fais-tu pour t’adapter aux différences de connaissances des apprenants ?
Il est bien sûr plus simple quand le groupe est à peu près homogène, mais j’ai mes petites stratégies. Par exemple, je laisse les participants expérimentés partager leurs anecdotes. C’est toujours très intéressant, et parfois j’en apprends moi-même quelque chose. De plus, j’ai du matériel complémentaire et des exercices optionnels pour les experts. Néanmoins, je dirais que la formation s’adresse surtout à ceux qui se trouvent encore dans la première moitié de la courbe d’apprentissage. La formation fait gagner du temps et garantit que les participants savent ce qui compte vraiment dans l’ingénierie de prompts.
Souhaites-tu ajouter quelque chose ?
Justement dans le domaine de l’exécution automatique des tests, il se passe énormément de choses en matière de soutien par l’IA. Il est désormais possible de faire exécuter des spécifications de tests manuels par un agent IA. Contrairement à d’autres solutions NoCode, l’agent gère très bien des étapes de test de haut niveau. C’est précisément ce sur quoi les LLM sont entraînés : analyser des textes et trouver la réaction la plus probable. Ceux qui veulent en savoir plus devraient s’abonner à notre newsletter 😉
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
