Avant toute analyse je souhaiterais remercier les 118 personnes qui ont répondues à ce sondage et qui permettent d’avoir une représentation plutôt fiable sur la vision du testeur agile mais aussi l’évolution depuis le sondage précédent en 2019.
On voit d’ailleurs qu’à part pour le BDD et l’ATDD qui progressent les résultats sont très similaires entre 2022 et 2019!
Comme en 2019 la quasi-totalité des sondés se considèrent comme testeur et travaillent en Agile:
Le rôle du testeur Agile
Le testeur Agile est vu, comme en 2019, principalement comme un coach Agile. Contrairement à 2019 où presque 1 sondé sur 5 le voyait comme un automaticien, nous sommes maintenant à moins de 1 sur 10 ayant cette vision. Les « votes » se sont déportés sur le rôle d’analyste de test. Je pense que cette évolution est à mettre en parallèle avec l’expansion des outils d’automatisation sans scripts qui rendent accessible l’automatisation à des profils plus fonctionnels mais aussi au fait que, comme nous le verrons plus tard dans l’article, la proportion d’équipe avec des analystes métier a diminuée.. Cela peut également être vu comme une déportation de l’automatisation sur les développeurs ou une moindre importance de l’automatisation comme dans la dernière enquête du CFTL où l’automatisation perdait du terrain:
Les produits Agiles
Contrairement à ce que j’avais anticipé avec une expansion des développements webs, les types de produits construits avec une méthode Agile restent sensiblement les mêmes sur les 3 dernières années:
De même,- même si l’on peut noter une légère augmentation de la moyenne des livraisons, il semblerait que cette accélération ne soit sensible que pour les équipes qui livraient déjà assez fréquemment (le % de produits avec moins de 10 livraisons par an reste à peu près le même).:
L’amélioration continue
Selon moi, les rétrospectives sont la clé de voûte de l’amélioration continue en Agile. Il est essentiel d’en faire mais aussi de s’en servir en décidant de mettre en place des actions et d’assurer un suivi de ces dernières. On peut voir, comme en 2019, que les équipes agiles avec des testeurs sont plutôt assidues sur le sujet. Les résultats de 2022 restent très proches de 2019 même si l’on peut identifier des progrès sur la sélection d’actions à mettre en place et leur suivi:
Les équipes Agiles
Les équipes Agiles avec des testeurs sont évidemment quasiment toutes, comme en 2019, avec des développeurs. Il est cependant intéressant de noter qu’il y a moins d’analyste métiers dans ces équipes qu’en 2019 et plus d’opérationnels qu’en 2022.
Pour la première partie cela peut en partie s’expliquer avec le testeur qui reprend une partie du travail de l’analyste métier (et donc la montée du rôle de d’analyste de test).
Je pense que l’expansion des opérationnels montre une évolution vers le DevOps, ce qui peut là aussi expliquer la hausse des livraisons très fréquentes (plus de 20 livraisons par an).
Comme en 2019, le testeur n’est pas seul à tester (la baisse des tests par l’analyste métier s’explique par la diminution de leur présence):
De même, le testeur n’est pas cantonné au test. Il est d’ailleurs plus impliqué sur les spécification en 2022 qu’en 2019… Ce qui est toujours cohérent avec la baisse du nombre d’analystes métier
Enfin, la collaboration dans les équipes semble augmenter comme on peut le voir avec les méthodes BDD et ATDD qui gagnent du terrain sur les 3 dernières années:
Les tests dans les équipes agiles
Sans surprise, lorsqu’il y a un testeur agile dans l’équipe il y a des tests fonctionnels. Les autres types de tests étant également représentés. Je tiens à attirer votre attention sur le fait que cette question mélange des types de tests et des niveaux de test qu’il ne faut pas confondre!
Certains tests non fonctionnels sont d’ailleurs en expansion, je pense notamment aux tests de sécurité et aux tests de performances. Pour la sécurité on sent clairement l’impact de la RGPD. Pour les performances on fait, selon moi, plus face à des exigences de plus en plus importantes des utilisateurs:
Automatisation
Comme on a pu le constater avec la dernière enquête du CFTL l’automatisation des tests n’évolue pas beaucoup. A l’exception des tests de certains tests non-fonctionnels (performances et adaptabilité) on voit une relative stagnation:
A contrario, le besoin d’automatisation se fait moins ressentir.
Doit-on en conclure que les tests sont mieux automatisés ? C’est une piste qu’il n’est pas possible d’écarter!
Au niveau des outils d’automatisation, on remarque une nette évolution! Cypress est un outil maintenant très utilisé tout comme les outils d’automatisation sans scripts qui sont maintenant assez matures pour être fiables dans de nombreux contextes:
A noter: je pense que la notion de tests d’automatisation des tests d’acceptation est lié au fait que le terme n’est pas utilisé dans le sens des niveaux de test.
L’intégration continue
D’un manière surprenante le sondage nous montre que l’utilisation de chaîne d’intégration continue. Je pense qu’il est légitime de se demander si la définition n’a pas évoluée sur ces 3 ans et si la présence de certains tests n’est pas considérée comme nécessaire pour valider la présence de cette chaîne:
Par rapport à ces chaînes on peut remarquer une croissance du déploiement continu:
Ce qui peut en partie s’expliquer par un grand gain de temps sur les campagnes de tests intégrées:
Il est d’ailleurs bon de noter que ce gain de temps ne s’est généralement pas fait sur la suppression de certains types de test dans la chaîne:
Les frameworks
Au niveau équipe on peut s’apercevoir que le Scrum domine toujours de la même manière les frameworks:
Par contre les organisations en Agile à l’échelle prennent de l’importance:
Et SAFe s’est fortement imposé en 3 ans:
Conclusion
Les évolutions sur les 3 dernières années sont sommes toute assez faible. Je remarque néanmoins quelques points clés différenciant entre 2019 et 2022:
- La vision du rôle de testeur Agile est moins technique et plus fonctionnelle. Cela est du à de nombreux facteurs, les 2 principaux sont selon moi l’essor des outils d’automatisation sans script et la diminution des profils analyste métiers dans les équipes.
- Les outils d’automatisation évoluent vite. On peut noter la quasi-disparition d’UFT et LeanFT, la forte régression de Selenium et la forte progression des outils sans script et de Cypress
- SAFe est maintenant la norme en Agile à l’échelle
Pour ceux qui souhaitent aller plus loin, voici les résultats bruts:
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
Une réponse
Toujours intéressant ! Merci !!!