Crowdtesting (1/3): Pourquoi y avoir recours ?

Qu’est-ce que le crowdtesting ? 

Le crowdtesting est l’exécution d’une campagne de test par une communauté de testeurs sélectionnés en fonction des besoins d’une campagne. Ces testeurs peuvent être des professionnels, c’est le cas chez StarDust. La capacité de la communauté de testeurs à répondre à une grande variété de besoins est ce qui en fait une solution attrayante pour plusieurs projets. 

Le pouvoir du crowdtesting est enraciné sur sa capacité à valider une application mobile, un site web, un objet connecté, etc., avec flexibilité et adaptabilité grâce à une communauté de testeurs professionnels situés dans plus de 60 pays. 

Plus d’information dans cet article.

Le choix (ou non) du crowdtesting

Si StarDust n’a pas d’offre sur étagère et que chaque propale est faite selon le client après analyse du projet et du besoin ; le choix d’orienter la stratégie de test vers le crowdtesting se fait en fonction de plusieurs critères.

Le besoin initial

Le premier critère est le besoin :

  • Le site doit être testé dans des langues spécifiques (japonais, coréen…) ?
  • Le client souhaite un ressenti UX des utilisateurs d’un marché/culture spécifique (users possédant des smartphones haut de gamme en Arabie Saoudite, personnes résidant en Russie, abonnés d’un produit / d’une enseigne précise…) ?
  • L’application à recetter implique des tests de géolocalisation/couverture réseau en situation réelle (parcours entre deux villes à effectuer, nécessité de se trouver à proximité d’un magasin de la marque testée) ?
  • L’objectif du test est de dérouler les scénarios sur un panel de configurations difficilement disponibles en lab (top mobiles utilisés en Asie, marques de devices locales…) ?

Voici autant de cas pour lesquels StarDust fait appel à sa communauté We are Testers pour répondre aux besoins de ses clients.

Le planning

Le second levier de choix peut être le planning. Le recours aux testeurs de la communauté étant activable en très peu de temps, le choix du crowdtesting se révèle être évident en cas d’urgence et/ou de laboratoire déjà staffé. Ces tests lancés en crowdtesting permettent d’avoir des premiers résultats en 48h.

A l’inverse, si la période voit la présence de bande passante dans le laboratoire, une campagne initialement envisagée au sein de la communauté pourra être aisément basculée en interne.

Le choix du client

Le choix du client reste cependant prépondérant et peut dépendre de certains pré-requis clients comme la demande d’un cloisonnement des tests pour des raisons de sécurité (accès aux environnements…) et/ou de confidentialité spécifique.

Il arrive également que le choix du crowdtesting soit demandé par le client, qui a contacté StarDust spécialement pour cette approche.

La logistique des tests

Si certains tests se prêtent au Crowd, d’autres ne peuvent être réalisés facilement qu’en laboratoire. C’est par exemple le cas d’un exemplaire unique d’objet connecté (montre, oreillettes…) devant être testé sur un grand nombre de devices en peu de temps, ou étant trop volumineux/délicat pour être envoyé et testé avec des protocoles complexes dans un autre lieu que le laboratoire (compteur électrique, installation domotique…).

L’approche hybride

Chez StarDust, on n’oppose pas laboratoire et crowdtesting, les méthodes choisies le sont selon des critères propres à chaque campagne de test, et dans la plupart des cas une campagne de test peut être effectuée à la fois en crowd et en lab. Pourquoi donc ne pas profiter des avantages des deux approches en les combinant : il s’agit du test hybride.

Pour tester un objet connecté, par exemple, il est nécessaire de valider plusieurs éléments : les fonctionnalités de l’application, la connexion et le comportement entre le smartphone et l’objet connecté. Dans ce cas, il est plus logique d’exécuter en lab tous les cas de test qui requièrent la connexion IoT/mobiles. En revanche, les crowdtesteurs peuvent facilement effectuer les cas de tests fonctionnels sur l’application qui ne nécessitent pas d’avoir l’objet en leur possession.

Autre exemple, pour un site e-commerce mondial qui solliciterait StarDust : la rédaction du cahier de recette et l’exécution des tests guidés sur des configurations nécessitant d’anciennes versions d’OS davantage présentes dans le parc StarDust que chez les testeurs, seront confiées au lab, tandis que les tests multilingues seront assurés par la communauté.

Enfin, combiner le lab et le crowdtesting permet également d’atteinte une task force d’ampleur, déployée en parallèle ou en relais, qui donnera lieu à des résultats livrés plus rapidement.

_______________________________________________________________________

Mise en situation avec les campagnes de test liées à la série d’articles

1er exemple : 

Pour valider une application mobile incluant ses fonctionnalités, notamment le paiement et la vérification d’identité, avec résultats attendus dans un délai court, StarDust a opté pour un test hybride afin d’effectuer efficacement la campagne. 

Stratégie : Une première partie des test identifiés a été faite par le laboratoire de test de StarDust. Une seconde partie, partiellement exploratoire devait être faite par notre communauté de Crowdtesteurs disposant des modèles (et des OS) de téléphones choisis selon les analytics clients et statistiques du marché.

Résultat : En 48 heures, nos testeurs en lab et nos testeurs sur le crowd ont permis d’obtenir des informations sur la qualité de l’application et sur les processus de mise à disposition des environnements. 

Deuxième Exemple : 

Exécuter des campagnes de test exploratoire sur une application mobile marchande.

L’application est à tester quasiment dans son ensemble avec un accent à mettre sur la partie “In store”, c’est à dire dans ou à proximité d’un magasin de cette enseigne (à l’aide de la fonction GPS du téléphone).

La seule partie “hors périmètre” est le paiement.

La stratégie retenue a été une campagne de Crowdtesting afin de tester l’adaptabilité de l’application. Le choix a été simple car l’application était simple à prendre en main, le périmètre bien défini et ne nécessitant pas forcément beaucoup de mise en place (en dehors de l’installation d’application pour donner les coordonnées GPS souhaitées afin de faciliter les tests In store)

Article réalisé en collaboration avec Stardust que je remercie pour le temps qu’il m’ont consacré et leur investissement dans cette série.

N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

culture générale

Les qualités d’un « bon testeur »

L’idée de ce post m’est venue suite à la lecture de cet article intéressant sur les « mauvais testeurs ». Etant par nature plutôt adepte de la communication « positive », j’ai décidé d’écrire sur les « bons testeurs ». Je préfère en effet choisir en « adhérant » plutôt qu’en «rejetant ». Quelles sont donc ces qualités qui

Lire la suite »
conférence

La ParisTestConf, la conférence des artisans testeurs

En 2018, sur le slack de la Test Communauté, quelques passionnés du test logiciel échangent sur les conférences testing en France et font le constat qu’ils ne trouvent pas ce dont ils ont besoin pour évoluer dans leur quotidien. Ils se lancent donc dans le pari un peu fou de

Lire la suite »
Avenir

Enquête CFTL: les axes d’améliorations pour le test

Les résultats de l’enquête 2023 de CFTL sont disponibles. Cette enquête permet de faire un état des lieux régulier du test depuis plus de 10 ans. Cela permet de ce faire une idée des évolutions du test en plus de savoir, à un instant t, quelles sont les problématiques, les

Lire la suite »