Des perspectives infinies!
L’IA, fortement popularisée par l’émergence des LLM comme ChatGPT, Mistral, Llama, Claude a vu naitre d’énormes perspectives d’usages.
Les idées d’application pour le test et la qualité se sont multipliées. On peut par exemple citer: la revue des spécifications, l’identification des tests à effectuer, leur conception, écriture, exécution, la revue des couvertures, la gestion des bugs ou encore la maintenance.
Les expériences se sont alors multipliées, tant au niveau des usages qu’au niveau des LLM. Nous avons eu le droit à de nombreuses conférences très intéressantes présentant leurs résultats encourageants.
L’objectif affiché ?
Proposer au testeur un assistant qui lui permette de s’affranchir de tâches chronophages, affiner et vérifier plutôt que de tout construire, se concentrer sur les tâches où son expertise est la plus utile.
Les limites ?
Une consommation de ressources effrayante et incompatible avec les limites planétaires comme le montre très bien l’enquête de Cap Gemini « Developping Sustainable Gen AI« .
De nombreuses incertitudes quant à la fiabilité et l’intelligibilité des résultats
De la recherche à l’investissement
Suite aux premiers retours encourageants et la hype qui en est née, la très grande majorité des organisations ainsi que des ingénieurs travaillant dans le numérique ont souhaité se lancer!
Il était inconcevable de « manquer » ce virage de l’IA. L’IA était devenu une obligation. Soit on y va à fond maintenant, soit on est fini d’ici quelques années.
Les impacts environnementaux et les incertitudes ? On les ignore, ces problèmes seront réglés en temps et en heure.
L’IA pour être plus performant.
On ne fait maintenant plus de l’IA dans un cadre de recherche mais bien dans une perspective d’investissement qui exige un retour d’investissement. On doit devenir plus compétitif grâce à l’IA!
L’IA doit maintenant rapporter de l’argent… Et si possible rapidement.
Les mécaniques classiques se développent avec une recherche des centres de coûts et un besoin de les diminuer. L’IA est un outil puissant, elle devrait permettre de réduire ces coûts!
L’IA pour vendre
Il semble (malheureusement) inconcevable, sous peine d’énorme désavantage marketing, de ne pas indiquer que le produit que l’on vend n’utilise pas l’IA. L’IA se retrouve partout… Sans réflexion sur son réel apport. Les budgets sont maintenant fléchés vers l’IA. Si l’on veut proposer quelque chose, il faut qu’il y ait de l’IA, quelque soit l’usage.
A la manière d’un « C’est magique » des années 1800 ou du « Scientifiquement prouvé » que l’on croisait beaucoup il y a encore quelques années, ou maintenant les notes des applications (toujours entre 4 et 5/5 !) l’IA doit être présente et affichée car l’IA fait vendre!
Au delà de la vente, l’IA doit aussi permettre d’améliorer l productivité de manière conséquente. Les attentes sont énormes et illusoires… mais elle sont quand même là.
L’IA va résoudre nos problèmes… il suffit juste d’utiliser l’IA et tout ira bien.
Un investissement sans réel retour ?
La phase de « fourmillement » et de recherche touche à sa fin avec l’avènement de celle des investissements.
Qui dit investissement dit retour sur investissement. Mais l’IA peut elle vraiment promettre ce retour sur investissement ?
L’IA pour être plus performant.
Dans le contexte du test et de la qualité, on a vu émerger plusieurs usages intéressants comme celui des revues ou de la vérification des couvertures.
De mon point de vue ces 2 usages on un vrai potentiel.
L’usage liées aux revues (souvent fait sous forme d’un 4ème amigo) c’est une application du principe du test « tester tôt« . Cela demande une requête par élément à réviser et permet d’identifier de potentielles imprécisions ou certains manques. Il va de soi que les revues peuvent être effectuées sur de nombreux items. On pense directement aux User Storys ou aux spécification mais il y a aussi des revues de tests (manuels ou scripts automatisés) et pas seulement!
Celui sur la vérification des couvertures permet d’améliorer l’efficacité et l’efficience des tests. Avec une analyse de logs de production, il peut aussi aider à lutter contre l’usure des tests et l’illusion d’absence d’erreur.
Ces usages ne sont cependant pas ceux où l’on me sollicite le plus.
En effet, lorsqu’une organisation se penche sur le coût des tests, ce qui ressort le plus c’est le coût d’exécution! Les organisations ont généralement assez peu de tests automatisés et le coût d’exécution est souvent très important.
Je ne crois pas, à court termes, à un quelconque retour d’investissement aisé sur cet usage. Les agents IA actuels ne sont pas encore assez fiables. De même, sur cet aspect il y a déjà des outils très performants. Je ne vois pas les agents IA devenir, de manière systématique, plus efficaces que les outils actuels.
Une autre raison à ma réserve est que le vrai avantage des agents IA est, selon moi, leur capacité à utiliser le langage naturel comme un script automatisé. Cela veut néanmoins dire que le test en entrée doit être de qualité suffisante! Il m’arrive de croiser des équipes ou des testeurs n’arrivent pas à exécuter des tests écrits par d’autres testeurs. Comment demander à un agent IA de le faire correctement ?
L’IA pour vendre
L’IA est actuellement un « Buzz word ». Il fait en effet vendre! Mais pour combien de temps ?
L’IA, si l’on veut qu’elle soit rentable à moyen et long termes se doit de proposer des usages où elle a une vraie valeur ajoutée.
De l’IA pour la maintenance des tests auto ?
Quel intérêt si l’automate est bien structuré ? Quel intérêt si l’instabilité des tests vient d’un problème de données ou d’environnement ?
De l’IA pour exécuter ses tests ?
Quel intérêt si des tests automatisés le font déjà très bien ? Quel intérêt si les tests à exécuter se doivent d’être faits manuellement ?
Intégrer des LLM aux outils pour répondre à des questions ?
Quel intérêt si le LLM proposé est exactement que celui auquel on a accès sans l’outil ? Quel intérêt si l’on peut trouver la réponse aussi rapidement avec une recherche internet ou sur un outil de gestion de la connaissance ?
Créer automatiquement des cas de test ?
Quel intérêt si les cas de tests créés ne sont pas pertinents ou complémentaires avec l’existant ? Quel intérêt si l’on doit passer plus de temps à les corriger et vérifier qu’à les écrire ? Quel intérêt si une session de tests exploratoire suffit ?
Conclusion
L’IA est un outil formidable et particulièrement puissant. Ce n’est pas pour cela qu’il doit être utilisé partout et pour n’importe quoi.
Au delà de son impact écologique qui est inacceptable, l’IA est entrée pour moi dans une phase que j’ai connue avec l’automatisation. Elle n’est pas encore mâture mais les possibilités entrevues sont nombreuses. Ces possibilités font miroiter aux organisations de forts retours sur investissement et naître la peur de louper un virage historique.
L’IA, comme l’automatisation au début des années 2010 (et je dirais même avant), semble obligatoire tout en assurant un ROI énorme. Malheureusement, tout comme pour l’automatisation, l’IA n’assurera pas d’avoir des ROI importants. Il y aura, au départ, de nombreux échecs et assez peu de réussites… Et c’est normal, l’IA (et surtout les LLM) reste une technologie récente.
De même, l’IA n’est pas toujours la solution optimale. Si l’on veut automatiser l’exécution de ses tests, les outils d’automatisation classiques restent à ce jour une solution nettement plus fiable que les agents IA si l’on veut avoir des retours sur ses investissements.
Je l’écris souvent mais il me semble important, lorsque l’on part sur de l’IA de partir sur l’IA pour de bonnes raisons. Faire de l’IA pour faire de l’IA est pour moi l’assurance de partir dans le mur. Le référentiel général pour une IA frugale de l’AFNOR est pour moi une démarche nécessaire à adopter quelle que soit la technologie que l’on veut adopter: partir d’un besoin et étudier les différents moyens d’y répondre avant de sélectionner celui qui semble le plus adapté.
Se dire que l’IA doit servir, dans un grand nombre d’organisations à uniquement automatiser des tests me fait dire que l’on va actuellement dans la mauvaise direction car on demande à l’IA de faire quelque chose que d’autres outils font mieux et à moindre coût.
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
