Crowdtesting (3/3): les résultats de la campagne

Point de vue testeur :

Comme déjà vu dans l’article précédent (lien), en tant que testeur on obtient plusieurs résultats comme :

  • Un paiement qui arrive rapidement (20€ pour la campagne qui a été bloquée, 19€ sur l’autre)
  • Une bonne visibilité de notre performance
    • Nombre de bugs trouvés/acceptés
    • Nombre d’aller – retours pour accepter un bug
  • Une visibilité sur l’ensemble des anomalies trouvées lors de la campagne
  • Un résumé mensuel de nos activités

Cette expérience m’a aussi permis de confirmer certains points particulièrement importants avec le Crowdtesting :

  • Il est extrêmement important de bien préparer une campagne de Crowdtesting

On l’a vu avec la première campagne, une simple erreur ou imprécision coûte beaucoup plus « cher » dans une campagne de Crowdtesting que dans une campagne habituelle et cela pour 2 raisons principales qui sont la distance entre les testeurs et les équipes de développement et le temps imparti pour les campagnes de Crowdtesting qui est souvent assez restreint (la variable d’ajustement se faisant plus sur le nombre de testeur).

  • Le paiement reste un point sensible

C’est un point qui m’avait refroidi en 2017 et qui reste complexe à ce jour. Sur les 2 campagnes effectuées il y a eu 2 stratégies.

Pour la première une stratégie de « faux » paiement avec des documents de test a été choisi mais cela n’a pas été concluant et a bloqué la campagne qui était pour une application de pari.

La stratégie de la seconde campagne a été plus simple : pas de paiement sauf si vous voulez vraiment acheter. L’inconvénient ci est l’impossibilité de tester un point particulièrement important pour une application marchande mais qui a permis de ne pas être bloqué.

  • Le Crowdtesting est principalement efficace pour du test d’acceptation/bêta test

Ces campagnes ont renforcé mon sentiment. Rien que pour faire du test d’acceptation on peut se retrouver avec des problèmes et un suivi attentif et très réactif de Stardust a été nécessaire pour être aussi efficace. Je pense sincèrement que sur la seconde campagne a été très efficace et a permis de remonter des bugs qui n’auraient pas été trouvés autrement. De même sur la première le suivi et les informations données par Stardust étaient très bons.

Il me semble donc très compliqué de proposer des campagnes de test avec des tests scriptés et conçus par d’autres à des crowdtesteurs car cela demanderait encore plus de préparation et de support. Le Crowdtesting peut par contre être particulièrement efficient en mode « Test exploratoire » avec des chartes proposées aux testeurs.

Point de vue Stardust :

  • Quels ont été les résultats des deux campagnes ?

Sur la première campagne, des difficultés liées à l’environnement et aux jeux de données réels ont été observées, raison pour laquelle les tests se sont déroulés en plusieurs phases le temps de replanifier la recette et de rassembler à nouveau les informations nécessaires. Pour dédommager les testeurs qui avaient été disponibles, un montant leur a été versé à l’issue de la première tentative de test infructueuse.  Résultat final, 30 anomalies ont été décelées par les équipes crowd et lab mobilisées sur le projet.

Sur la campagne 2, aucune problématique opérationnelle n’a entravé le bon déroulement des tests exploratoires. Après plusieurs jours de recette, les testeurs ont remonté plus de 70 tickets de bugs, en majorité fonctionnels et graphiques.

  • Les résultats/informations obtenus étaient-ils ceux attendus ?

Oui, les campagnes de ces clients récurrents se sont conclues avec des métriques observées habituellement.

En ce qui concerne la campagne 1, la majorité des anomalies sont fonctionnelles et relèvent d’une criticité de niveau bloquant ou majeur. L’intérêt principal a également été de fournir au client la liste des devices impactés par ces bugs parmi la vingtaine de configurations ciblées. Des suggestions d’ordre graphiques ont aussi été remontées par les crowdtesteurs afin de partager au client leurs idées d’amélioration et ressentis.

Pour la campagne 2, les 15 configurations testées ont fait apparaitre 50% de bugs fonctionnels dont 13 bloquants, un résultat précieux pour le client dont l’application était déjà en production.

  • Quels apports le Crowdtesting a-t-il apporté ?

Pour la campagne 1, le principal apport du crowdtesting concerne la réponse donnée aux deadlines souhaitées par le client. En effet, l’exécution des campagnes devant être faite dans un temps relativement court, et le démarrage dépendant de la résolution de certaines problématiques, le choix du crowd a permis une mise en route de la campagne rapide en cette période fortement chargée pour le laboratoire de test.

Lors de la deuxième campagne, la facilité d’accès de l’application (environnement de production) et la volonté d’avoir des ressentis users dont certains d’utilisateurs de l’enseigne cliente, ont motivé principalement la stratégie d’opter pour du crowdtesting.

  • D’autres campagnes de Crowdtesting sont-elles prévues ?

Oui, des campagnes sont régulièrement prévues avec les différentes approches StarDust (laboratoire, crowd et hybride), nous en avons notamment plusieurs d’ici la fin de l’année.

  • Quels sont les points à améliorer pour que la prochaine campagne avec ce client se passe mieux ?

Comme la plupart des campagnes de test, les deux points primordiaux sont la stabilité de l’environnement à tester et la confirmation des plannings afin que les testeurs sollicités soient disponibles et prévenus à l’avance.

  • Le client souhaite-t-il repasser par le Crowdtesting ? Si oui, souhaite-t-il améliorer certains points ?

Pas d’informations spécifiques sur ce point.

  • Quelle est la satisfaction client suite à cette campagne ?

En ce qui concerne ces deux clients, des bilans de campagne ont permis de mettre en lumière les points positifs et points de progrès de ces collaborations (délai entre la livraison de l’environnement et le démarrage, approvisionnement en jeux de données, confirmations planning plus en amont…). De nouvelles campagnes nous ont été confiées depuis celles-ci et d’autres interventions de test sont prévues dans les semaines à venir.

Article réalisé en collaboration avec Stardust que je remercie pour le temps qu’il m’ont consacré et leur investissement dans cette série.

N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Publié par

3 réponses sur « Crowdtesting (3/3): les résultats de la campagne »

  1. Bonjour,
    Articles très intéressants ! Voici mon humble point de vue de crowtester :
    – Je trouve l’utilisation, quand c’est possible, de missions hybrides très pertinente, permettant d’avoir le meilleur des deux mondes, surtout quand le crowd a accès aux remontées du lab.
    – Les tests scénarisés en crowdtesting fonctionnent également très bien. Alors oui parfois il y a des imprécisions ou des erreurs dans les scénarios, et si le client final n’est pas réactif, cela complique les choses pour le crowd, mais cela est compensé par la puissance des échanges que l’on peut avoir en crowd.
    – Il y a beaucoup plus d’avis, d’échanges et de découvertes avec des dizaines de testeurs chacun sur un seul device, qu’une personne sur 10 devices.
    – Le crowdtesting est très dépendant de la plateforme :
    – Qualité des outils mis à disposition (suivi des bugs, plateforme de tests scénarisés, outils de communication avec les testeurs)
    – Qualité et implication des tests managers (plus les testeurs se sentent seuls et isolés, plus on perd en émulation)
    Plusieurs plateformes de crowdtesting existent, avec chacune leurs forces et leurs axes d’amélioration, et s’il est vrai que ces dernières s’améliorent de plus en plus, il reste des étapes à franchir.

    Aimé par 1 personne

    1. Merci pour ce retour!
      Des conseils de plate formes mâtures à utiliser ?
      J’ai testé Uplay il y a longtemps et Stardust récemment pour les articles. J’ai trouvé celle de Stardust vraiment bien pensée, pour celle de Uplay, mon expérience est trop vieille (2,5 ans)

      J'aime

      1. Pour le moment je travaille principalement sur deux plateformes :
        – Utest (Applause)
        – We Are Testers (Stardust)
        Je suis inscrit sur Tesbirds également mais mes missions se comptent sur les doigts d’une main. Je suis en cours d’inscription sur Digivante et TesterWork (Global App Testing)
        Pour moi les Utest et WAT sont très complémentaires :
        – Points forts UTest : énormément de missions disponibles (mais c’est une course de rapidité pour avoir une place), du test de paiement, de l’IOT (avec du matos supercool !), des missions à très long terme (certains durent déjà depuis plus de 6 mois)
        – Points forts WAT : Ambiance familiale, des échanges permanents sur Slack (avec les admins comme avec les autres testeurs), admins super-réactifs, super abordables, beaucoup de tests francophones, bugtracker et plateforme pour scénario ergonomiques et simples d’utilisation, retour des admins sur les missions, possibilité de faire du bug feedback voire même d’être campaign manager (et ça c’est top), des missions hybrides (ou on peut voir les bugs trouvés en lab !!)
        – Axes d’amélioration utest : Un chat old school (genre années 90) super désagréable à utiliser, des admins dans le monde entier, on attend parfois des réponses pendant des jours, donc un sentiment de communauté très peu existant pour moi. Il faut actualiser le Dashboard en permanence pour voir les nouveaux projets, si on attend la notification par mail, il y a peu de chances qu’il reste des places (surtout sur les missions FR). De nombreuses surveys pour savoir si on possède tel ou tel device (pourtant enregistré sur le site) et pour lesquels on ne sait jamais si on est retenu ou pas (surprise). Le système pour les tests scénarios pourrait largement être amélioré (ergonomie).
        – Axes d’amélioration WAT : Avoir plus de missions, développer une version mobile du site (car si on est pas devant son PC, pour s’inscrire sur une mission depuis son téléphone c’est quasi mission impossible), quelques petites améliorations sur la plateforme sont possibles, mais c’est moins gênant que sur utest.

        Pour moi uTest est une énorme machine de guerre, un peu datée, mais avec énormément de missions variées, très formatrice. WAT au contraire est plus moderne, beaucoup plus frenchie, et le sentiment d’appartenance à une communauté beaucoup plus forte. Je préfère dix fois le temps passé sur WAT que sur uTest, mais je ne peux me passer de utest du fait du nombre de missions et de la variété.

        Aimé par 1 personne

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s