Le match : tests de non régression sur mobile en interne VS externalisation ?

Article publié initialement sur cloudnetcare.fr
 

Votre application mobile est un enjeu dans votre stratégie d’acquisition ou de fidélisation et la moindre régression peut avoir des conséquences non négligeables sur votre image, vos services et ou vos ventes ? Nul doute que vous avez mis ou allez mettre en place des tests de non régression automatisés et dignes de ce nom pour parer aux risques. La première question qui va se poser : vos tests, les réaliser avec les ressources et compétences internes ou les externaliser ?

 

I. PRÉREQUIS

La qualité et fiabilité de l’automatisation des tests de non régression reposent sur les scénarii et les parcours clés qui vont être simulés voire idéalement reproduit. Ces derniers doivent être fidèles au comportement des mobinautes, aux systèmes d’exploitation et équipements utilisés. L’objectif est de valider que l’utilisateur pourra accéder à l’application, se connecter, télécharger un document, exécuter une requête … tout cela depuis son téléphone préféré et une version déterminée.

Il est évident que les tests vont tenir compte d’un certain ROI. Nous entendons par là qu’il n’est pas pertinent d’effectuer des tests sur TOUS les terminaux (iPhone, Galaxy S …) et sur TOUS les systèmes d’exploitation (Apple, Android …). Vos datas d’utilisation vous permettront d’aligner vos tests sur les usages de vos mobinautes. Il y a fort à parier que 3 à 4 terminaux utilisés sur 1 à 2 systèmes d’exploitation couvriront 90% des usages.

Le but est de présenter une application avec 0 dysfonctionnement à vos utilisateurs et ce  avant soumission aux différents stores.

 

II. LA FIABILITÉ DE L’INFRASTRUCTURE

Si pour vous la question se pose, c’est que vous disposez des compétences nécessaires en interne pour :

  • Configurer et maintenir l’ordinateur qui va émuler voire reproduire les tests
  • Auditer, installer et configurer le logiciel d’automatisation des tests (open source ou sous licence)
  • Mettre en place un cahier de tests (on vous aiguille ici)
  • Exécuter, générer et valoriser les résultats
  • Maintenir les terminaux et systèmes d’exploitation
  • Faire évoluer la couverture de tests

À partir de là, le tableau ci-dessous vous intéresse :

 

III. EN INTERNE

On ne vous le souhaite pas mais les projets d’automatisation des tests en interne sont régulièrement sous-évalués. Mettez à plat toutes les actions à conduire et affectez en face les compétences nécessaires. Validez systématiquement avec les équipes concernées leurs disponibilités et leurs compétences sur le sujet.

Le choix du logiciel de test est déterminant :

  • Open source : on pourra difficilement trouver meilleur rapport qualité prix car ils sont gratuits mais cela va demander beaucoup de temps et des compétences pour les configurer et reproduire les scénarii.
  • Sous licence : opérationnel plus rapidement mais qui dit licence dit coût d’acquisition et souvent intervention d’un consultant pour former les équipes à son utilisation. Avec un peu de recul vous faites un premier pas vers l’externalisation.

En interne il faut aussi anticiper l’investissement en temps nécessaire au maintien opérationnel :

  • Maintenance de la performance des tests de non régression en actualisant la couverture de tests en fonction de l’évolution de l’application.
  • Maintenance technique : acquisition des nouveaux terminaux pour suivre le comportement des mobinautes, maintenance des systèmes d’exploitation sur les terminaux, maintenance des machines d’émulation, maintenance du logiciel de test …

Contrairement aux idées reçues, automatiser des tests de non régression en interne demande beaucoup de temps à l’initialisation et d’une manière conséquente ensuite. Soyez vigilant pour que cela n’impacte pas la qualité et fiabilité des résultats.

IV. EN EXTERNE

C’est sûr, vous créez une dépendance avec prestataire. Soyez donc très exigeant au moment de sa sélection ! Calculez également le ROI avant d’externaliser. C’est ce dernier qui va vous permettre de déterminer le moment ou l’externalisation de vos tests devient le plus pertinent.

Car, oui, à un moment où à un autre, l’externalisation sera incontournable pour conserver un ROI positif.

En externalisant vous gagnez en temps et en compétences car votre prestataire :

  • Supporte en mutualisant les coûts d’acquisition des infrastructures techniques et des compétences humaines.
  • Maintient les terminaux et systèmes d’exploitation.
  • Dispose d’une expertise et vous permet une mise en œuvre plus rapide.
  • Acquière de la compétence sur votre métier et vous conseillera.

Toutefois, externaliser ne vous déchargera pas de tout, il vous appartiendra toujours d’exprimer vos besoins en fonction du comportement de vos utilisateurs ! Et oui, n’oublions pas que c’est l’utilisateur qui est au cœur de toutes ces réflexions.

 

13Lors de votre voyage dans le monde du test vous avez commencé ou commencerez par des tests manuels et aléatoires. Puis, pour suivre l’évolution de votre application et de son utilisation vous automatiserez tout ou partie de vos tests. Peut-être en interne dans un premier temps si les enjeux de ces tests ne sont pas cruciaux ni chronophages. Mais, lorsque les enjeux et la complexité des tests nécessitera des investissements trop importants (humain et technique) l’externalisation sera alors la solution !

 

Christian Sayegh  – CloudNetCare 

Publié par

Une réponse sur « Le match : tests de non régression sur mobile en interne VS externalisation ? »

  1. Article intéressant!
    Il est néanmoins bon de noter que tous ces points doivent être étudiés en amont lors de la mise en place de la stratégie de test dédiée au projet (plan de test). Une externalisation ne peut être qu’un échec qsi elle est mal préparée ou si l’on ne sait pas exactement ce que l’on souhaite.
    La complexité des environnements mobiles n’est pas à prendre à la légère, les aspects non-fonctionnels d’adaptabilité sont souvent vitaux.
    Par rapport à l’externalisation, dans tous les cas il faut avoir une bonne base de connaissance à transmettre et s’assurer une bonne compréhension et une bonne communication avec le prestataire externe éventuel.
    Enfin les tests peuvent être faits avec des simulations, des fermes mobiles (accès à distance aux mobiles) et des mobiles physiques. La partie mobile physique est la plus efficace mais la plus coûteuse sans ue bonne stratégie.

    J'aime

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s