La taverne du testeur

Enquête CFTL: les outils d’automatisation les plus utilisés

Les résultats de l’enquête 2023 de CFTL sont disponibles.

Cette enquête permet de faire un état des lieux régulier du test depuis plus de 10 ans. Cela permet de ce faire une idée des évolutions du test en plus de savoir, à un instant t, quelles sont les problématiques, les difficultés rencontrées, les outils utilisés…

J’ai eu l’honneur d’avoir accès aux résultats de cette enquête dans leur intégralité (les réponses étant totalement anonymisées) ce qui m’a permis de faire une analyse des questions les plus complexes à analyser: les question ouvertes.

Dans cette série d’article je vais vous proposer une analyse de différentes questions ouvertes de cette enquête et vous partager mon fichier d’analyse.

Lister les outils d’automatisation des tests utilisés dans votre contexte

Je me doute que les résultats à cette question vont beaucoup intéresser car cela permet d’avoir une idée de l’utilisation des différents outils dans les entreprises. Cette information peut autant intéresser des entreprises pour orienter des études de marché que des testeurs pour savoir quels sont les outils sur lesquels se pencher car répondant à la demande du marché.

Les réponses sont d’autant plus intéressantes qu’il y a eu de nombreux répondant: 294.

Il me semble également important d’ajouter qu’évidemment, chaque répondant a généralement mentionné plusieurs outils car la question demande une liste d’outils, qui servent à l’automatisation.

Au final il y a 99 outils très divers qui ont été mentionnés. Ces outils vont des outils d’automatisation IHM (ceux auxquels on pense généralement en premier) aux outils de conception et de reporting en passant par des outils de gestion de test.

Au final j’ai choisi de créer 11 catégories pour mon étude.

ThèmeNombre
Automatisation Open source257
Automatisation éditeur105
API76
Développement62
Outils interne15
CI/CD28
ALM20
Reporting2
Conception2
Performances35
Autres2

Vous noterez que de nombreuses activités et types de tests sont automatisés et compris dans les outils d’automatisation. Il y a la conception, l’exécution, l’IHM, les API, la performance, les tests unitaires…

Cela reflète la diversité du test et plus particulièrement de l’automatisation des tests… mais cela n’aide pas beaucoup à avoir une idée de l’utilisation réelle des outils. C’est pourquoi j’ai travaillé sur des graphiques liéé à des catégories en particulier: les outils d’automatisation IHM, les outils de performances, les API:

Comme vous pouvez le constater les outils open sources sont largement plébiscités avec un trio largement en tête: RobotFramework, Selenium et Cypress. Le premier outil Editeur est UFT. Vous noterez également que Playwright, très récent est également bien placé.

Outils de test de performances

Ici encore l’open source est largement en tête. Neoload reste cependant très utilisé.

Postman est largement en tête pour les tests APIs. Néanmoins les derniers changements liés à son coût de licences vont peut être venir modifier cette hégémonie.

Pour ceux qui sont intéressés voici la base de mon travail. Cela vous permettra de voir les 47 éléments et faire vos propres analyses:

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

conférence

Organiser la JFTL: la préparation (2/3)

Introduction L’organisation de tout événement est un travail minutieux que l’on a souvent tendance à sous-estimer la première fois que l’on est amené à participer à l’organisation d’un de ces événements. J’ai le plaisir d’avoir (et de continuer) à contribuer à l’organisation de beaux événements comme la STLS, les webinaires

Lire la suite »
Agilité

L’impact du manifeste agile sur le test

Nous avons généralement tous entendu parlé du manifeste agile. Ce dernier a très souvent été expliqué et même réutilisé sous d’autres formes comme j’ai pu le faire avec ma proposition de manifeste du testeur. Néanmoins, je n’ai encore jamais vu d’article analysant ce manifeste et son impact direct sur le

Lire la suite »
Agilité

Les DoD et DoR supports essentiels à la qualité en Agile

Le cycle en V n’est jamais loin! On ne va pas se le cacher, même si les développements logiciels sont de plus en plus fait avec des méthodes Agiles, l’influence des méthodes dites « traditionnelles » comme le cycle en V reste particulièrement prégnante. Cette influence s’explique d’ailleurs assez simplement par le

Lire la suite »