La dernière enquête du CFTL vient de se terminer. Les résultats sont disponibles sur ce lien. Cette enquête régulière sur le test logiciel est selon moi une enquête majeure car accessible à tous, comportant de nombreux participants (plus de 500) et stable avec des questions se répétant entre chaque enquêtes ce qui permet de voir ses évolutions!
Comme dit précédemment, l’enquête est riche et il serait trop long de tout analyser. Je vous propose donc ici de vous pencher uniquement sur certains points qui ont attirés mon attention:
Les cycles de vie logiciel
Ce point traité notamment sur les questions 3 et 5 indique les méthodes de travail. On peut voir ici, notamment avec la question 3, qu’il y a beaucoup d’entreprises (ou de votes) où l’Agile cohabite avec le cycle en V.
Néanmoins, malgré cette cohabitation l’Agile semble prendre de plus en plus d’importance. Si on se base sur la question 5 on peut estimer que:
- l’Agile (testeur intégrés) représente environ 59,5% des développements,
- le « partiellement Agile » (testeurs partiellement intégrés aux équipes) 16%
- qu’il ne reste plus que 19% du « pur V » avec des équipes spécifiques de testeur
Les pratiques
Il existe de nombreuses questions sur les pratiques… Et je dois avouer que les résultats, même s’ils sont positifs me font poser des questions.
Il y a par exemple, d’après la question 9, 60% des équipes qui pratiquent du test exploratoire. Je suis assez dubitatif sur ce résultat car d’expérience je n’ai rencontré que peu d’équipes qui mettaient en place des tests exploratoires. J’ai bien peur que dans ce cas le terme « test exploratoire » soit mal compris et que certains « tests exploratoires » soit plutôt des tests « freestyle ».
De même, je trouve que 25% d’équipes utilisant les méthodologies BDD et/ou ATDD est élevé… bien que plus probable. Ici je me demande juste si le BDD est vraiment bien compris en tant que méthodologie et non en tant qu’utilisation du gherkin.
L’automatisation
L’automatisation peine toujours autant à s’installer. D’après l’enquête 2019 elle est même en léger recul avec 42% des équipes avec moins de 10% d’automatisation ce correspond à peu près à la part cycle en V mais aussi que 19% des équipes avec plus de 50% de tests automatisés.
On remarque ici une difficulté à bien implémenter l’automatisation malgré le besoin très important induit par l’Agile. L’automatisation, plus que jamais est un sujet d’actualité!
Le non fonctionnel
Le non fonctionnel semble prendre de plus en plus d’importance. Néanmoins certains résultats me surprennent. A la question 27 on remarque par exemple que:
- 70% des équipes font des tests de performances. Ce chiffre me parait très élevé… il peut cependant correspondre à des tests ponctuels ou fait de manière non ou mal outillée
- 62% des équipes font des tests d’utilisabilité. Ce chiffre me parait également élevé. Il me semble cohérent si l’on considère que les PO font ces tests en faisant leur acceptation
De même l’importance du non fonctionnel se traduit également sur le budget avec 40% des équipes qui dépensent plus de 15% du budget test dans les tests non fonctionnel. Bien que élevé ce chiffre me semble possible tant les tests d’adaptabilité (mobiles) peuvent représenter des coûts importants.
Les modèles de maturité et d’amélioration
La question à ce sujet est intéressante mais peut laisser penser que ces modèles sont très suivis avec notamment 50% des répondants déclarant suivre TMMI et 10% TPI. Néanmoins c’est une question où l’on remarque environ 2/3 d’abstention. La conclusion à avoir est donc plutôt que les modèles d’amélioration sont peu suivis même si celui qui fait référence est TMMI.
Quelques limites de l’enquête
Il faut rappeler que cette enquête bien que très suivie et instructive comporte certaines limites. Je pense notamment à l’échantillon des personnes ayant répondu. Cet échantillon contient une très forte proportion de test manager et d’internes. La proportion de testeur en société de conseil me semble également assez faible. De même, les personnes répondant à cette enquête sont des personnes investit et faisant de la veille. Il y a donc de fortes chances que sur certains points ils soient un peu plus avancés que la moyenne (par exemple avec le BDD).
Les environnements et données de test
Les environnements et données de tests sont très peu outillés (environ 50%). Ces environnements et données de tests sont pourtant essentiels au test et leur maîtrise est souvent primordiale pour mener ses tests dans de bonnes conditions.
En allant plus loin on peut également penser que ce manque de maitrise des environnement et des données de test pénalise l’automatisation
Conclusion
Encore une belle enquête que j’ai eu plaisir à lire et à étudier. Néanmoins comme pour toute enquête il faut savoir analyser les résultats et ne pas forcément tout prendre comme une vérité absolue. Un des grands avantages de cette enquête c’est que l’on a accès aux résultats (avec le nombre de votants pour chaque question, le nombre de vote de chaque réponse et le nombre d’abstention) et qu’en aucun cas le CFTL cherche à nous orienter vers une « vérité ». Cet accès permet également de pouvoir échanger, de proposer différentes analyses et donc de créer des discussions qui ne peuvent qu’enrichir les débats.
De même je regrette l’absence de question sur la veille et les communautés… Peut être pour la prochaine édition! =)
Et vous que pensez-vous des résultats de cette enquête ?
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
