Alpha et Bêta tests : La solution pour les applications mobiles?

Les phases d’alpha tests et bêta tests sont des phases de test métier. Ils arrivent donc après les tests fonctionnels (tests effectués en général par les testeurs).

Définition ISTQB :

·        Alpha test : test opérationnel réel ou simulé par des utilisateurs/clients potentiels ou par une équipe de test indépendante sur le site de développement, mais en dehors de l‘organisation de développement. Les tests Alpha sont souvent utilisés comme une forme de tests d‘acceptation interne

·        Beta test : tests opérationnels par des utilisateurs/clients potentiels et/ou réels sur un site externe non associé aux développeurs, pour déterminer si un composant ou système satisfait ou non les besoins des utilisateurs/clients et s‘adaptent aux processus d‘entreprise. Le béta test est souvent utilisé comme une forme de tests externe d‘acceptation de façon à obtenir des informations de retour du marché

Les 2 phases visent à tester un produit dans des conditions « réelles ». La vraie différence entre ces 2 phases est l’environnement dans lequel le logiciel est testé (environnement du créateur pour les alphas tests, environnement client pour les bêtas tests) et souvent le nombre d’utilisateurs. C’est pourquoi l’alpha test précède souvent la bêta.

Les bêtas tests sont très utilisées dans le milieu des jeux vidéo PC avec des phases de beta fermées (avec un nombre restreint de joueurs invités) puis ouvertes (où tout joueur est invité à jouer et donc tester le jeu).

Pourquoi ces tests sont particulièrement utilisés dans le domaine du jeu vidéo PC ?

La raison est simple, il existe un nombre quasiment illimité de configuration de PC. Il suffit d’aller sur un site comme surlix pour s’apercevoir qu’il existe des centaines de cartes graphiques et de processeurs. Il est donc très compliqué de faire des tests sur un ensemble de machines conséquent, surtout qu’avec les betas tests, ce sont les futurs clients qui vont tester le jeu et ce, souvent pendant de longues heures.

Avec une population largement supérieure aux équipes de testeurs, des « environnements » de tests tous différents et un nombre d’heures cumulées d’utilisation du jeu particulièrement conséquent, une phase de beta test permet d’avoir rapidement un très grand nombre d’information pour un coût limité.

De plus les personnes étant sur la bêta sont souvent plus compréhensives (le jeu n’est pas encore officiellement sorti) et impatientes de tester avant les autres le jeu. Ils ont donc, en général, une démarche plus constructive qu’après la sortie du jeu. Cela permet, si les premiers retours utilisateurs sont mauvais, de faire des ajustements avant la sortie officielle.

Quels sont les problèmes actuels avec les applications mobiles ?

Les problèmes les plus récurrents que l’on a avec les applications mobiles sont les suivants :

·        Beaucoup de logiciels différents (Android : 2.2, 2.3, 3.0, 4.0….6.0…, IOS, windows 8, 8.1, 10 (surtout pour les tablettes)), et ce même pour un même téléphone (suivant les mises à jour)

·        Beaucoup de tailles d’écran différentes

·        Beaucoup de téléphones et tablettes différents (des centaines)

·        Un temps de mise sur le marché qui doit être de plus en plus court

·        Des applications qui peuvent être mortes nées si les premiers retours sont négatifs

Ces problématiques sont identiques à celles connues par les jeux vidéo PC avant la mise en place des alphas et des betas tests.

On peut alors se demander si ce qui a marché pour les logiciels de jeux vidéo peut fonctionner également pour les applications mobiles.

Ma réponse est simple : oui ce type de test a forcément sa place dans cette nouvelle industrie de l’applicatif mobile et même dans l’IoT (Internet of Things).

Il faut néanmoins pouvoir mettre en place ce type de tests.

La mise en place des alphas et betas tests.

Maintenant que comme moi (du moins je l’espère) vous êtes convaincus que les alphas et betas tests sont un vrai plus (et l’avenir) pour les applications mobiles il faut pouvoir les mettre en place.

La mise en place des alphas tests ou d’une beta fermée est généralement peu problématique. Sur une application grand public comme une application mail (Android), une simple installation de l’apk (souvent par un développeur de l’équipe) directement sur le téléphone de chaque volontaire peut être faite.

Pour trouver les volontaires, une recherche des membres de l’équipe parmi leurs collègues et leurs amis peut être suffisante. Il faut néanmoins s’assurer, pour une phase d’alpha test, que les serveurs pourront tenir la charge.

Le vrai défi est de mettre en place une beta ouverte, c’est-à-dire que n’importe qui puisse avoir accès à l’application avant son lancement. Des entreprises comme Facebook contournent ce problème en faisant des mises en production localisée, ce qui fait office de beta test. Lorsqu’une entreprise n’a pas les moyens de faire cela, il faut qu’elle s’assure de la possibilité de télécharger l’application à tester mais aussi que les potentiels bêta-testeurs soient mis au courant de cette phase de test. Il faut donc coupler cette phase de test avec une campagne de communication (ce qui est également fait pour les jeux vidéo).

Conclusion :

Les phases d’alpha et de beta tests permettent de faire des tests métiers directement avec les futurs utilisateurs. Les betas tests, permettent en plus de tester l’application sur un grand nombre de configurations et environnements différents ce qui n’aurait pas été possible (ou coûter beaucoup trop cher) sans ces tests.

Si les phases d’alpha et de beta fermées (si on reste sur un nombre restreint d’utilisateurs) ne demandent pas beaucoup d’efforts ce n’est pas le cas d’une beta ouverte qui a besoin d’une campagne de communication afin que les personnes potentiellement intéressées téléchargent et testent l’application durant cette phase.

Enfin comme toujours dans le métier du test il faut savoir si le retour sur investissement est intéressant. Pour certaines applications ces campagnes peuvent être inintéressantes, pour d’autres une alpha ou beta test fermées peuvent amplement suffire. Je trouve personnellement qu’une phase d’une semaine de beta fermée est relativement peu coûteuse et peut permettre de trouver de nombreux bugs. J’ai souvenir qu’une phase de beta fermée nous avait permis de remonter que l’application sur laquelle nous travaillions depuis plusieurs mois ne fonctionnait pas (il y avait un bug d’affichage critique) sur les téléphones sony (un problème de surcouche), cette phase de tests nous avait donc permis d’éviter de lancer l’application avec ce bug.