Visuel_article_CloudNetCare

Identifier les 4 moments clés où l’automatisation des tests devient pertinente.

Article publié initialement sur cloudnetcare.fr
 

Bon nombre de tests peuvent être mis en place et conduits manuellement. Il n’est pas nécessaire d’automatiser les tâches si le ou les tests restent épisodiques. Cela va de soit pour plusieurs types de tests : montée en charge et non régression par exemple. Les tests pour assurer la fiabilité de vos applicatifs rentrent toujours sous la contrainte du ROI. Que vous coûte réellement une série de tests générée manuellement ? Quelle est la marge d’erreur que vous êtes prêts à tolérer ? Autant de questions auxquelles il n’est pas évident d’apporter une réponse claire et précise. Alors, voici les 4 moments clés où l’automatisation des tests devient pertinente.

 

1 – La fréquence.

Élémentaire ! La fréquence est un critère qui va naturellement vous amener à vous poser la question de l’automatisation. Pour mettre en place et conduire un test de non régression une fois par an, il y a fort à parier que dans 9 cas sur 10 une réalisation manuelle du test répondra à vos besoins. Toutefois, il se peut que les caractéristiques  de la campagne de tests impose une automatisation même ponctuelle.

À contrario, lorsque la fréquence de vos tests est de plus en plus rapprochée, l’automatisation peut devenir une vraie alternative, voire s’imposer naturellement par exemple en développement Agile.

2 – Quelle couverture de test ?

Pour tenir compte des différentes évolutions : fonctionnelles, technologiques,  des navigateurs utilisés par les internautes ou des devices par les mobilnautes, la couverture nécessaire des tests est de plus en plus large. On s’explique : réaliser une campagne de tests de non régression avant une mise en production, c’est capital.

Mais la réaliser sur un seul environnement peut s’avérer insuffisant. Aujourd’hui, des tests de non régression pour un site internet doivent être effectués à minima sur 2 à 3 navigateurs : Chrome (68% des utilisateurs), Firefox (11%), IE (7%) – Source StatCounter et sur 2 à 3 machines et si vous avez une apps mobile ou un  accès en responsive design sur plusieurs mobiles, tablettes.

On résume pour une campagne à minima d’une application disponible sur mobile et web, soit la majeure partie aujourd’hui, on a :

Soit, pour une configuration simple 5 environnements à tester donc autant de scénarii à exécuter, maintenir , faire évoluer .. et pléthore de résultats à analyser, répertorier, cartographier, à communiquer aux équipes de développement, … Sans parler des KPIs à établir pour obtenir un retour sur cette MEP et améliorer la prochaine.

Si on combine la « fréquence X couverture fonctionnelle X environnement »  on se rend compte qu’il est impératif de mettre en place une automatisation.

 

3 – Quels scénarii ?

La typologie du scénario est critique pour déterminer s’il est pertinent d’automatiser ses tests. Dans le cas d’un seul scénario où vous allez tester les points critiques du parcours utilisateur : valider que l’utilisateur peut mettre un produit dans son panier, s’enregistrer et payer, des tests manuels pourraient suffire. Mais ce cas n’arrive quasiment jamais car alors votre couverture de tests se restreint à une seule fonction, certes stratégique !  Encore que, comme expliqué ci-dessus, il faut corréler cela avec la fréquence et l’environnement à tester.

Pour exemple un scénario plus précis et intégrant l’ensemble du parcours utilisateur de votre site internet ou votre application mobile :

  1. Chargement de la page d’accueil
  2. Chercher un produit dans la barre de recherche
  3. Cliquer sur la fiche produit
  4. Cliquer sur l’image
  5. Ajouter le produit au comparateur
  6. Aller dans le menu catégorie
  7. Aller et cliquer sur la sous-catégorie A
  8. Cliquer sur une fiche produit
  9. L’ajouter au comparateur
  10. Accéder au comparateur
  11. Sélectionner un des deux produits
  12. L’ajouter au panier
  13. Se connecter / Ou créer un compte
  14. Choisir son option de transport
  15. Payer
  16. Accuser réception du paiement

Le nombre d’actions par scénario peut vite augmenter, il est cependant impératif de segmenter au mieux les parcours pour les établir par fonction.

 

4 – Le nombre de profils ?

Le dernier des éléments clés est le nombre de profils à tester. Les parcours utilisateurs sur votre site ou votre applicatif varie-t-il en fonction des différents droits d’accès, ou selon des personnalisations par profil (connecté, non connecté, client récurrent, client VIP, Admin …).

Ces profils sont autant de coefficients multiplicateurs au nombre d’actions à reproduire. Dans notre exemple ci-dessus, admettons que 3 profils utilisateurs à tester :

 


On résume la formule magique : fréquence x nbr environnements x actions par scénario x profils = nbr d’actions à reproduire.

À raison d’une minute en moyenne par action : prise de connaissance de l’action, saisie de la valeur, action, étude du résultat, saisie du résultat et commentaire, …. vous avez devant vous une journée de tests à effectuer pour une seule phase de tests. Bien entendu avant la livraison de la nouvelle MEP il sera nécessaire d’en réaliser plusieurs. Sachant que dans notre exemple nous n’avons que 4 scénarios. Nous vous laissons faire le calcul pour votre contexte. Attention le nombre de jours/hommes nécessaires va vous effrayer !

À cela s’ajoute que la récurrence des actions manuelles va augmenter le pourcentage d’erreur. À ce stade, pas de secret, l’automatisation des tests est la seule alternative pour assurer la fiabilité de vos applicatifs !

Christian Sayegh  – CloudNetCare 

Publié par

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s