Vue Crowdtesteur
Intégrer une campagne :
Pour intégrer une campagne il faut d’abord demander à y accéder. Pour savoir quelles sont les campagnes disponibles chez Stardust, le plus simple est d’être sur le Slack ce qui permet de recevoir par mail des notifications de mission décrivant les besoins:
Il est également possible d’aller sur le site https://we-are-testers.com/campaigns/all pour accéder à l’ensemble des missions ouvertes :
Il faut ensuite demander à participer à la campagne en cliquant sur « Apply now » puis faire la demande en renseignant avec quel devices nous allons faire nos tests :
Il ne reste plus qu’à attendre un mail pour savoir si l’on est accepté pour la mission (le nombre de testeur est limité)
Dès lors où l’on est accepté on reçoit plus d’informations sur la campagne, notamment en intégrant un channel du slack créé spécialement pour la campagne :
Nous avons également des rappels par rapport au début de la campagne :
A partir de là commence la campagne en tant que tel, chacune ayant ses spécificités !
Campagne 1 : application de pari
La première campagne était une campagne de test exploratoire sur une application mobile et une web app de pari en ligne.
Pour cela des données bancaires, des documents d’identités étaient nécessaires.
Pour cela nous avons été informé par le slack qui nous donnait les documents à utiliser, les serveurs à utiliser et les démarches à faire pour pouvoir faire les démarches et notamment la principale : avoir un compte valide avec des coordonnées bancaires acceptées sans que cela soit les nôtres !
Le processus était bien défini, documenté et facile à suivre ; Nous avions également des confirmations par mail :
Malheureusement, bien que documentées et claires, l’environnement de test n’était pas atteignable car les données fournies (carte d’identité et CB) n’étaient pas acceptées.
La campagne n’a donc pas pu suivre son cours et l’ensemble des testeurs est resté bloqué sur cette partie malgré un suivi et des informations régulières de Stardust.
Après la fin de la campagne on reçoit un mail nous proposant de voir les résultats de la campagne :
Ce mail nous donne un lien permettant de voir nos résultats (résultats accessibles également depuis le site We are tester)
Malgré tous ces problèmes Stardust a quand même payé l’ensemble des testeurs ! La première fois que je suis payé avec du Crowdtesting (cet argent m’a d’ailleurs permis de me payer des sessions de foot à 5 :D).
Chaque testeur a été payé 10€ (par campagne web app et app). L’argent a été reçu ssez rapidement (moins de 2 semaines) et directement sur Paypal (pas besoin de fournir des coordonnées bancaires à Stardust !) :
Je souhaite également ajouter un point important : le mail est demandé pour payer par Paypal mais certaines vérifications sont faites. J’ai été contacté car mon mail était invalide afin que je puisse être réellement payé !
Ce que je retiens :
- Honnêtement j’ai été très agréablement surpris par le support apporté par Stardust et les informations fournies
- On a des résultats de la campagne à laquelle on a participé. Cela ne semble peut-être rien mais dans les faits on a vraiment l’impression d’avoir participé à quelque chose !
- J’ai été payé pour la première fois avec du CrowdTesting alors que je n’ai pas pu exécuter la campagne 😮
- La paye n’est pas grande
- Le Crowdtesting semble avoir beaucoup mûri et 2 ans (tout du moins Stardust est très organisé et je pense que ses concurrents le sont également beaucoup plus qu’il y a 2 ans)
- Préparer une campagne de Crowdtesting (particulièrement quand il y a du paiement) nécessite beaucoup de travail en amont et cette campagne a sûrement permis au client de Stardust d’acquérir beaucoup d’expérience afin que les prochaines campagnes se passent mieux
A noter : à la fin du mois nous recevons un mail récapitulatif avec les campagnes auxquelles on a participé et les sommes gagnées :
Campagne 2 : application mobile marchande
Cette fois-ci la campagne était plus simple et consistait en du test exploratoire pour une application d’une enseigne qui vend de l’électroménager avec demande explicite de ne pas faire de paiement !
Comme vous pouvez le voir nous avions également un périmètre et un point sur lequel se concentrer : la fonctionnalité « En magasin ».
Pour cela des conseils nous étaient fournis afin de pouvoir faire ces tests en modifiant les données GPS de son téléphone :
Un template de BUG était également fourni :
Les tests ont donc pu commencer !
Et, au bout de 5 minutes de test, 1er bug majeur détecté !
Il est donc temps d’ouvrir un bug ce qui s’avère assez simple car il suffit d’aller sur la mission sur le site de stardust et cliquer sur le bouton « Bug Tracker »
On arrive alors à la liste des bugs avec un résumé de ce que l’on a déjà détecté :
Et la possibilité d’en ajouter quand la campagne est encore ouverte.
La page est assez simple à remplir, il faut :
- Donner un nom au bug
- Le relier à une fonctionnalité (+ possibilité de le lier à une sous-fonctionnalité)
- Donner ses étapes de test
- La criticité
- La reproductibilité
- Si possible les logs et une vidéo !
Pour être honnête je ne savais pas comment faire des vidéos sur mon téléphone et il y a 2 ans tout ce que j’avais trouvé était payant. Ce n’est plus le cas, suite au conseils de l’admin Stardust en charge de la campagne j’ai téléchargé MNML qui fonctionne très bien et propose des vidéos de trop grosse taille.
Pas de problème, là encore j’ai été aidé et on m’a conseillé d’aller sur le site http://www.videosmaller.com/ qui fonctionne très bien.
J’ai alors pu soumettre mes 4 bugs : 1 majeur, 3 mineurs, tous validés comme vous avez pu le voir sur le screenshot précédent. Je le précise car j’avais eu, il y a 2 ans, des bugs refusés sans explication.
Bref, la campagne s’est bien déroulé, j’ai trouvé le système de Bug tracker bien fait, le support réactif et efficace mais surtout j’ai appris beaucoup de choses sur l’utilisation de diverses applications que je ne connaissais pas.
Au final, j’ai été rétribué pour 3 bugs et 1 défaut de « wording » soit 19€. Là encore j’ai été payé rapidement et sans rien avoir à faire ! Le paiement se passe beaucoup mieux que lors de ma précédente expérience de Crowdtesting en 2017.
Un autre point montrant la professionnalisation des plateformes de Crowdtesting c’est les informations que l’on a après les campagnes. En effet, même 1 mois après je peux ertrouner sur le site et avoir des informations (et des indicateurs de performances) sur ma campagne. Et, comme vous pourrez le voir ci-dessous, tous mes bugs ont été acceptés du premier coup :
Ce que je retiens de cette campagne :
- Tout s’est bien passé
- Un bon support de l’équipe Stardust
- Une gestion bien pensée des bugs
- Un périmètre donné dès le départ
- Une campagne bien préparée en amont par le client ce qui engendre une campagne efficace !
- Pas de paiement = moins de problème, le paiement reste, selon moi, un gros problème avec le Crowdtesting qui teste régulièrement en production.
Vue Stardust
Préparation de la campagne
Dès validation de la stratégie crowd-testing pour ces deux projets, une task force composée d’un chef de projet et d’un delivery manager en charge de la communauté est déployée. Les différentes étapes sont :
- Le call de kick off avec le client afin de récolter tous les éléments opérationnels nécessaires au lancement de la campagne
- La publication de la mission via différents canaux pour recruter les testeurs répondant aux critères spécifiques de la campagne, que ce soit en terme de devices possédés, de niveaux de test exigé (beginner, expert…) etc.
- La préparation des instructions de test et des différents outils de communication StarDust-testeurs qui permettront d’optimiser les tests et de rendre les échanges fluides et pertinents.
- La revue de testabilité lors de laquelle l’équipe s’assure du bon accès aux environnements et aux données nécessaires pour dérouler la campagne.
- La confirmation du planning
- L’envoi des instructions et le GO des tests.
Campagne 1 : application de pari
- Rappel du contexte : Test exploratoire d’un tunnel d’inscription sur les sites et app d’une société de paris.
- Particularité : besoin de vraies pièces d’identités des testeurs / environnements difficilement accessibles et testables durant la première campagne.
- Communication constante entre les équipes StarDust / Le client, le Delivery Manager StarDust / les crowdtesteurs pour palier ces difficultés.
- Le projet a nécessité plusieurs campagnes dans un mode hybride.
Campagne 2 application mobile marchande
- Rappel du contexte : Test exploratoire d’une app Android iOS
- Focus sur le tunnel de commande et les pages produits / pages magasins
- Particularités : pas de paiements / test effectué en production
- Mise en place du projet facilitée par l’environnement en production
- Pas de problématique majeure
Pour l’une comme pour l’autre campagne, les étapes en cours de test sont :
- Une communication constante avec les testeurs et le client
- La modération des bugs en vérifiant la cohérence des informations et le respect de la nomenclature demandée. Par exemple, un ticket où la pièce jointe est manquante ne sera pas validé sans, et une anomalie hors scope sera refusée.
- La clôture de la campagne
- Le paiement
Conclusion
Les campagnes de Crowdtesting ressemblent beaucoup plus à des campagnes de test que lors de ma dernière expérience. L’accompagnement est réel, les problèmes rencontrés des problèmes similaires à ce que l’on rencontre lorsque la campagne n’est pas assez préparée, mais surtout, cette campagne est suivie même après sa fin pour les testeurs qui peuvent analyser leurs performances à postériori !
Enfin, un point également très important, le paiement se fait simplement, efficacement et sans devoir aller chercher l’argent qui nous est dû !
Article réalisé en collaboration avec Stardust que je remercie pour le temps qu’il m’ont consacré et leur investissement dans cette série.
N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
