Résultats du sondage : quel futur pour le test ?

Ce sondage a été mené du 9 au 28 mars 2021. Il a recueilli 229 réponses soit plus de 2 fois plus que le même sondage qui avait eu lieu en 2018 et en avait recueilli 103.

Je remercie donc énormément tous les participants qui permettent de mieux connaitre quel est la vision du futur du test pour les professionnels de ce métier !

Présentation du sondage

Ce sondage ne comportait qu’une seule question :

Quels sont, selon vous, les 3 axes d’évolution principaux du test sur les 10 prochaines années ?

Les participants avaient alors le choix entre 17 sujets souvent annoncés comme faisant partie intégrante de l’avenir du test. Ils devaient en sélectionner 3 ce qui n’est pas une tâche aisée, certains votant n’ayant pas réussi à départager certains choix et ayant donc voté pour un peu plus de choix ou un peu moins.

Résultats

Les résultats bruts sont ceux-ci :

RéponseNb (2018)%  (2018)Nb (2021)% (2021)
L’automatisation de l’exécution des tests  10043,7%
Le DevTestOps avec des testeurs toujours plus intégrés et techniques  9641,9%
La généralisation de l’automatisation à l’ensemble des activités de test  7934,5%
L’IA3534,0%7934,5%
Les tests de sécurité11,0%6427,9%
Le déploiement continu3231,1%4720,5%
La gestion de la qualité transverse11,0%4419,2%
Les xDD (TDD, BDD, ATDD)1413,6%4218,3%
Les tests d’API11,0%3716,2%
Les tests exploratoires98,7%3214,0%
Le KDT et l’accès facile à l’automatisation2019,4%229,6%
Le test embarqué et test d’IoT  229,6%
Les tests non fonctionnels3231,1%198,3%
Le shift right (tests en production)1211,7%177,4%
La formation  167,0%
Le Crowdtesting  125,2%
Le MBT1413,6%73,1%
Transformation en quality assurance du début à la fin avec des « testeur » intégrés  10,4%
Modern testing / Quality Assurance  10,4%
Le continuous testing  10,4%
Rapprochement des méthodes d’IA, BDD et MBT pour une documentation vivante2322,3% 0,0%
L’agilité avec l’intégration du test dans les équipes de développement5452,4%  
L’automatisation des tests6866,0%  

Comme vous pouvez le constater la plupart des possibilités sont identiques à il y a 3 ans ce qui facilite les comparaisons et évolutions.

Les points qui ont changé sont :

  • « l’automatisation des tests » a été transformée en « l’automatisation de l’exécution des tests » et « automatisation de l’ensemble des activités de test »
  • « Le rapprochement des méthodes d’IA, BDD et MBT pour la documentation vivante » a été supprimée car trop complexe et au final synthétisable avec IA et les xDD (cela aurait pu être transformé en « documentation vivante » mais j’y ai pensé après le lancement du sondage)
  • « L’agilité avec l’intégration du testeur dans les équipes de développement » a été supprimée car ce n’est plus l’avenir mais le présent (plus de 50% des développements sont fait en Agile)
  • Certains points ont été ajoutés suite à des retours du dernier sondage et de pratiques qui ont émergées.

Analyse

Ces résultats montrent plusieurs points intéressants. Tout d’abord, de nombreux sujets (5) sont vus comme des changements majeurs pour plus du quart des sondés. Ces sujets sont :

  • L’automatisation de l’exécution des tests (43,7%) : même si ce sujet peut être considéré par certains comme déjà une réalité, le fait est que l’Agile pousse à automatiser toujours plus l’exécution des tests et que cette automatisation n’est pas toujours aisée… Surtout avec la pénurie d’automaticiens
  • Le DevTestOps avec des testeurs toujours plus techniques (41,9%) : le DevOps est, selon moi, le simple prolongement de l’Agile. On voit fleurir des termes comme DevTestOps ou DevSecOps qui sont là pour rappeler que si l’Agile a oublié à ses débuts les « Ops » elle ne doit pas oublier d’autres points. De même, cela montre que la demande de testeurs techniques va sûrement augmenter, les testeurs devant être capable de travailler sur des chaînes d’intégration continue.
  • La généralisation de l’automatisation à l’ensemble des activités de test (34,5%) : L’automatisation ce n’est pas que l’exécution des tests. Les sondés voient un vrai gain de temps à automatiser d’autres points qui ne le sont que trop peu pour le moment mais commencent à devenir, grâce à l’automatisation de l’exécution, de nouveau goulots d’étranglement
  • L’IA (34,5%) : l’IA est un serpent de mer. On en parle énormément mais on ne voit, pour le moment que peu d’applications concrètes. De nouvelles techniques (ou outils de test) utilisant l’IA commencent cependant à émerger pour aider le testeur dans son quotidien. De même, même si les application concrètes de l’IA restent assez rares, des produits assez performants sont maintenant à disposition du grand public (ex : assistants vocaux). Les testeurs vont donc devoir s’adapter et savoir tester ces nouveaux logiciels. Il ne fait donc que peu de doutes que l’IA, d’ici 10 ans aura commencé à transformer le métier.
  • Les tests de sécurité (27,9%) : je suis très heureux de voir des tests non fonctionnels regrouper plus d’un quart des votes. Les problèmes liés aux tests de sécurité ont émergé grâce à la RGPD qui a fait éclore une prise de conscience du grand public. Il ne fait d’ailleurs plus de doute que des critères de sécurité comme la protection de ses données personnelles et la confidentialité sont des sujets majeurs comme nous avons pyu le voir avec le changement des CGU de WhatsApp et une migration importante vers la messagerie Signal.

Vous pouvez constater que tous ces sujets (mais aussi celui qui arrive en 7ème position) sont liés à des sujets techniques ! L’avenir du testeur semble donc très lié à des compétences techniques. Là où en 2018 il y avait beaucoup de votes (en proportion) pour un aspect humain et fonctionnel (KDT, intégration des testeurs en Agile, xDD et documentation vivante) c’est beaucoup moins le cas en 2021.

La raison ? J’en vois honnêtement plusieurs, les principales sont :

  • L’intégration aux équipes Agile (et l’émergence du DevOps) fait converser les testeurs avec des profils beaucoup plus techniques qu’avant
  • L’automatisation est un point essentiel demandant de la technicité et le KDT ne semble pas, pour le moment, à être arrivé à faire évoluer cette vision
  • Les avancées humaines ont déjà modelé en bonne partie le métier de testeur sur les 10 dernières années (tests exploratoire, intégration aux équipe Agile, meilleure vision du métier…)

Au-delà des résultats bruts, il peut être intéressant de voir les évolutions par thème. J’ai personnellement choisi de diviser les réponses en plusieurs thèmes : l’Agile, Méthode et outil, Non-fonctionnel, Automatisation, tests techniques, DevOps

RéponseThème
Rapprochement des méthodes d’IA, BDD et MBT pour une documentation vivante Transformation en quality assurance du début à la fin avec des « testeur » intégrés Les xDD (TDD, BDD, ATDD) La gestion de la qualité transverse L’agilité avec l’intégration du test dans les équipes de développementAgile
Modern testing / Quality Assurance Le MBT La formation Les tests exploratoires L’IA Le CrowdtestingMéthode, outil
Le continuous testing Le shift right (tests en production) Le déploiement continu Le DevTestOps avec des testeurs toujours plus intégrés et techniquesDevOps
Les tests non fonctionnels Les tests de sécuritéNon fonctionnel
Le KDT et l’accès facile à l’automatisation La généralisation de l’automatisation à l’ensemble des activités de test L’automatisation de l’exécution des tests L’automatisation des testsAutomatisation
Le test embarqué et test d’IoT Les tests d’APITests techniques

Les résultats par rapport à l’analyse de ces données donnent :

Thème2018%2021%
Automatisation85,4%87,8%
Agile89,3%38,0%
DevOps42,7%70,3%
Méthode, outil56,3%64,2%
Tests techniques1,0%25,8%
Non fonctionnel32,0%36,2%

On peut voir que la plupart des thèmes ont un impact assez stable entre 2018 et 2021.

L’Agile a beaucoup perdu mais principalement au profit du DevOps qui est aussi de l’Agile. A noter également, la forte entrée des tests techniques (tests embarqués et IoT, tests d’API) qui n’étaient pas proposés en 2018.

Pour ceux qui le souhaitent, vous trouverez les résultats questions par questions dans ce doc (normalement en csv mais format bloqué) totalement anonymisé.

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Publié par

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l’aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s