À quoi ressemble un rapport d’une campagne de tests de montée en charge ?

Article publié initialement sur cloudnetcare.fr
 

Vous souhaitez mettre en place une campagne de tests de montée en charge pour vous assurer de la capacité de votre infrastructure et de votre application à absorber la connexion simultanée d’un nombre déterminé d’utilisateurs ? C’est une étape qui devient incontournable quand l’accessibilité à votre service représente un enjeux majeur dans votre stratégie de développement. Avant d’attaquer le rapport d’une campagne de TMC, nous détaillons dans un autre article comment mettre en place une campagne de tests de montée en charge pertinente. Toutefois que peut-on attendre d’une campagne de tests de montée en charge, à quoi peut ressembler un rapport de performance ? Lumière.

Idéalement 2 rapports.

Derrière une campagne de TMC il y a souvent deux niveaux d’attentes. Vous avez sûrement d’un côté vos équipes techniques qui attendent des données précises pour pouvoir agir en conséquence et d’un autre côté une équipe marketing et/ou métier qui ont besoin d’informations factuelles sur l’expérience que vit « l’utilisateur virtuel » lors de l’augmentation des connexions sur votre site ou application. .

Pour faciliter la lecture, il est idéal d’obtenir deux rapports :

  1. Rapport dit de “Conclusion” : qui va présenter synthétiquement les résultats obtenus pour les différents tirs. Ex : Avec 250 utilisateurs simultanés le site a bien réagi, toutefois il devenait pertinent de limiter le nombre de produit à afficher sur les pages “catégorie”
  2. Rapport dit “Technique : qui va présenter en détails les métriques, minute par minute. Ex : Avec 250 utilisateurs simultanés, le site a eu un TTFB (Time to first Byte) de 2174 ms avec 19 erreurs (et remonter la liste des erreurs).

On ne va pas présenter ici le rapport dit de “Conclusion” car, comme précisé ci-dessus, ce rapport est spécifique au contexte du logiciel à tester. Il est fondamental que le langage soit vulgarisé et aucunement technique. Il doit faire apparaître de manière claire et simple les fonctions qui peuvent, comme dans l’exemple ci-dessus, engendrer une frustration pour l’internaute, voire de ne plus revenir sur votre site ou application.

 

Exemple d’un rapport technique.

Prenons pour exemple le scénario de navigation décrit ci-dessous :

Un visiteur arrive sur la page d’accueil du site, se connecte sur son compte et utilise la barre de recherche pour saisir  un mot-clé. L’utilisateur change le nombre de résultats par page et le passe de 24 à 48 puis sélectionne le premier produit.

Le visiteur affiche la page d’accueil puis le panier. Il clique sur le menu déroulant des catégories et sélectionne une catégorie puis une sous-catégorie et choisi la première marque affichée. Il coche les deux premiers produits de la liste et clique sur comparer.

Il recherche à nouveau un mot-clé dans la barre de recherche puis se rend à la page 3. Il clique ensuite sur « Mon compte » puis « Mes devis » puis « Mes commandes » et enfin « Mes factures » et se déconnecte.

Nombre d’étapes : 63

Ce scénario est exécuté dans les conditions ci-dessous :

  • Premier tir avec 250 utilisateurs
  • Second tir avec 500 utilisateurs
  • Troisième tir avec 750 utilisateurs

Ci-dessous le rapport complet du tir numéro 1 :

 

visuels_articles_cloudnetcare

visuels_articles_cloudnetcare_rapport_tmc

Le premier diagramme présente l’évolution du nombre d’utilisateurs virtuels reproduits par rapport au temps de chargement complet d’une page et au temps nécessaire pour obtenir la première réponse du serveur (FirstByteTime) et le chargement de la page de manière « confortable » pour l’utilisateur (OnLoad), voir le détail après le clic sur le graphique ci-dessous. On remarque qu’il y a logiquement une corrélation entre le temps de chargement nécessaire d’une page et le nombre d’utilisateurs.

visuels_articles_cloudnetcare_rapport_tmc2

 

Souvent négligé au moment de leur sélection et de leur implémentation : le comportement des services tiers lors de la montée en charge est à analyser avec la plus grande attention.

 

visuels_articles_cloudnetcare_rapport_tmc3

Ce graphique présente le temps de chargement des domaines tiers sollicités lors du TIR de charge. On remarque que les 13 premiers domaines mettent plus de 10 secondes à se charger en moyenne. Si ces domaines sont nécessaires pour l’exécution de fonctions “vitales” (prestataire de paiement, affichage de carte géographique…) cela aura un impact négatif sur l’expérience utilisateur.

 

visuels_articles_cloudnetcare_rapport_tmc4

Le tableau des métriques par minute présente une photographie précise et complète du TIR. L’objectif est de mettre en évidence le comportement de chacun des cycles « minute par minute ». On peut voir qu’il faut 9 minutes pour que les 2 premiers cycles soient finalisés. Sur les 250 utilisateurs simulés dès la première minute il n’y en a que 2 qui ont terminé le scénario. Un cycle est compté comme terminé lorsque toutes les étapes du scénario ont été réalisées.

Ce tableau permet de voir plus clairement que sur ce TIR de charges en 15 minutes il y a 100 cycles terminé, 76 en erreurs et 228 encore en cours (en effet 250 sont initiés et bon nombre sont interrompus au terme des 15 mn du TIR)

 


 

Vous venez de voir un extrait de rapport de test de montée en charge. Vous l’aurez compris un seul TIR ne suffit pas car il ne permet pas d’identifier le moment où l’infrastructure ou l’applicatif ne permettent plus de répondre aux requêtes. La qualité du scénario déterminera la pertinence des résultats et les domaines tiers sont critiques, pensez à les inclure dans votre rapport de performance.

Christian Sayegh  – CloudNetCare 

Publié par

2 réponses sur « À quoi ressemble un rapport d’une campagne de tests de montée en charge ? »

    1. Bonjour Wafa, ce sont des graphes générés par notre plate forme d’automatisation de tests CloudNetcare, par exemple les services tiers ou le graphe de représentation du TIR. Le tableau « minute » est lui réalisé semi-manuellement par nos équipes en extrayant les milliers de données collectées lors du TIR. Toutes ces informations découlent de campagnes de TMC que nous réalisons avec notre plate forme pour les sociétés avec lesquelles nous intervenons. Je reste disponible pour en discuter de vive voix si nécessaire. Vous pouvez sélectionner un créneau horaire –> https://meetings.hubspot.com/csayegh Très bonne fin de journée. Christian

      J'aime

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s