Pourquoi les 1001 tests ?

La Genèse

Le jeu des « 1001 tests » a une place à part pour moi.

C’est en effet le premier « vrai » jeu (au sens de ma présentation de la STLS) dans l’univers du test. Les objectifs principaux, contrairement au Serious Game, ne sont pas de faire apprendre le rôle de bonnes pratiques mais bien de proposer:

• des moments de partage et de fun
• une courbe d’apprentissage avec des règles spécifiques
• un jeu accessible

Pour arriver à cela j’ai suivi les conseils que je prodiguais dans mon article dédié et lors de ma présentation. J’ai défini en premier lieu le public que je souhaitais atteindre. J’ai choisi de concevoir un jeu « grand public » et donc accessible à tout profil (enfant, adulte, testeur ou non).

L’idée est donc de proposer ceci:

• Pour les novices et les personnes en formation: passer un bon moment autour du thème du test logiciel. Acquérir du vocabulaire et des notions de base du test
• Pour les experts et formateurs: proposer des ateliers ludiques en formation
• Pour les communautés de testeur: proposer des ice breaker et diffuser des notions de test en dehors de la communauté.

J’ai ensuite repris l’idée de Sandrine Domagala de s’inspirer du « 1000 bornes » et de proposer l’exécution d’une campagne de test!

L’idée étant posée il a fallu adapter le jeu au test en fonction des buts mais aussi de rajeunir le « 1000 bornes » et d’éviter certains problème connus liés à ce jeu (comme le fait d’être facilement bloqué). L’idée des « 1001 tests » était née. Il fallait maintenant proposer des règles faisant passer les notions du test.

Attention, je ne parlerai pas dans cet article de l’équilibrage.

Les règles des 1001 tests et l’explication de leur présence.

Le principe des 1001 tests est simple: exécuter une campagne de test et la conclure avec une campagne de tests exploratoires de test d’acceptation.

La pyramide des tests et les différents tests

Une campagne de test ce n’est pas que du test fonctionnel. Pour cela, cette dernière devra contenir au minimum:

• 400 tests unitaires
• 200 tests système fonctionnel
• 50 tests de performances
• Conclure avec 1 campagne de tests exploratoires de test d’acceptation

Par cette règle nous sommes capables d’ajouter de la stratégie au jeu mais aussi:

• Qu’il existe différents types de tests et qu’ils ne sont pas équivalents
• Une notion de pyramide des tests: plus de tests unitaires que de tests système fonctionnels
• Une campagne de test ce n’est pas que du test fonctionnel
• Le terme « système fonctionnel » est important pour montrer qu’on peut faire du test fonctionnel qui ne soit pas du niveau système
• Proposer différents niveaux de test (unitaires pour les composants, système et acceptation)
• Montrer que la vision client est particulièrement importante. A-t-on fait le bon produit (tests d’acceptation) ?

Les imprévus

Une campagne est rarement un long fleuve tranquille!

Les imprévus sont communs. Nous (travail en équipe) imaginé divers imprévus très souvent présents:

• Les bugs bloquants: bloquant totalement la campagne
• Les modifications de spécifications: bloquant les tests système fonctionnel
• Les environnements instables: limitant le nombre de test par tour à 50
• Les Chaines d’intégration KO: bloquant les tests unitaires
• Le freeze: bloquant les tests fonctionnels et de performances

Pour chacun des imprévus nous avons sélectionné une réponse permettant souvent de résoudre le problème.

Les bonnes pratiques

Les imprévus ne sont pas une fatalité. Certaines bonnes pratiques permettent de la éviter:

• Les tests vitaux permettent d’éviter les régression critiques (ici illustré par 50% des bugs bloquants)
• Le BDD permet d’éviter de nombreuses modifications de specs
• Les environnements virtualisés permettent d’éviter les environnements instables
• Avoir une équipe DevOps limite les problématiques liées à la chaîne d’intégration
• Un projet prioritaire n’est pas affecté par un freeze

De même les bonnes pratiques ne sont pas uniquement là pour gérer des imprévus. POur montrer cela nous avons imaginé:

• L’automatisation: qui permet d’exécuter plus de test par tour (jouer 2 cartes tests)
• La sélection des tests par l’IA: qui retire la limite des 1000 tests pour jouer la carte acceptation (on a sélectionné les tests les plus pertinents)

La (re)jouabilité et les explications

La jouabilité est particulièrement importante. L’idée est avant tout de s’amuser!

Afin de limiter les nombreux tours bloqués plusieurs décisions ont été mises en place:

• La possibilité de changer 2 fois de main dans la partie (pour aller chercher une carte dont nous avons besoin)
• Des imprévus n’étant pas totalement bloquant

De même afin de faire comprendre le rôle et les impacts de chaque carte, des explications des effets et définitions dans certains cas sont proposés sur chaque carte.

Enfin, un travail a été fait pour proposer plusieurs modes de jeu et des variantes. Cela permet de prolonger la durée de vie du jeu mais aussi de voir l’impact de certaines cartes, de certains objectifs ou même de manière de jouer (faisant le parallèle avec des méthodologies de développements). Ces variantes sont avant tout pensées pour les personnes souhaitant se servir du jeu pour la formation mais elles restent également ludiques pour les joueurs souhaitant juste diversifier leur expérience de jeu.

Conclusion

Je ne peux que vous conseiller de jouer aux 1001 tests. Le jeu que vous voyez est le résultat d’un travail de 6 mois (à partir du moment où le concept a été validé). Il a été pensé, testé et validé par de nombreux professionnels du test certains joueurs expérimentés et d’autres totalement novices. J’espère honnêtement que le but de proposer des bons moments de partage sera atteint pour la majorité des joueurs des 1001 tests et que cela créera des vocations.

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.