Le logiciel sans Bug

Le logiciel sans Bug

Le logiciel sans bug est un idéal, surtout pour nous, utilisateurs de ce logiciel. Mais à quoi cela correspond-t-il réellement ?
Un logiciel sans bug est-il vraiment souhaitable tant pour nous utilisateurs que pour l’éditeur du logiciel?

Tout d’abord, qu-est-ce qu’un logiciel sans bug ?

Un logiciel sans bug est un logiciel, qui, en toutes circonstances, dans tous les cas de figures, toutes les différentes utilisations fonctionne de la façon voulue.

De la façon voulue ne veut pas dire que l’on ne rencontre pas d’erreur, par contre ces erreurs sont correctement gérées (ex : bon message d’erreur lorsque l’on perd sa connexion internet pour une application mail).

Prenons l’exemple d’une application simple au premier abord : une application Mail sur Android.

A priori, il est difficile de faire plus simple qu’une application mail, tout du moins dans les applications utilisées quotidiennement (je ne parle donc pas d’applications de lancer de dés).

Qu’attend-on comme fonctionnalités sur une application mail ?

  1. S’identifier
  2. Lire ses mails
  3. Envoyer des mails

Cela comme vous le voyez est déjà très simplifier et il faudrait plusieurs pages pour décrire plus correctement ma deuxième et ma troisième fonctionnalité.

Dans la suite de mon exemple je vais simplement prendre la première fonctionnalité, l’identification.

Encore une fois, cela semble particulièrement simple. Mais en réalité pour une identification combien de tests avons-nous besoin pour être exhaustif et s’assurer qu’il n’y a aucuns bugs ?

En y réfléchissant on arrive très vite à un nombre ahurissant.

Commençons déjà par limiter le périmètre d’utilisation de l’application, nous dirons arbitrairement que cette application est prévue pour fonctionner à partir de la version 4 d’Android.

Dès lors pour s’assurer de n’avoir aucun défaut que faut-il faire ?

  1. Tester sur l’ensemble des téléphones Android 4.0 ou plus (au moins quelques centaines, prenons 200)
  2. Bien sûr tester la gestion de toutes les erreurs (au moins 20 erreurs)
  3. Tester dans toutes les conditions (Wi-fi, réseau 2G, 3G, 4G, bon/mauvais réseau)
  4. Tester que la connexion fonctionne correctement (Case sensitive ou non, gestion de l’encodage… 2 cas minimum: connexion + login sauvegardé)

Rien qu’avec ces 4 paramètres non exhaustifs (pas de changement wi-fi – réseau téléphonique par exemple) nous avons : au moins 200 téléphones à se procurer, avoir des environnements de recettes permettant de tester dans 7 conditions différentes minimum). Il va de soi que tous les tests doivent être effectués pour tous les téléphones à chaque campagne de tests et qu’à chaque « bug » trouvé il faut tout refaire.

Nous avons donc au minimum 200 (téléphones) * 2 (Cas login) * 20 (erreurs) * 7 (conditions réseaux) soit 56 000 de tests à effectuer.

Le coût de l’application sans bug

Cela reste « possible », par contre c’est très coûteux en temps et en argent. En effet entre le temps d’exécution des tests, d’analyse des bugs et le coût des infrastructures de test on arrive à un budget, rien que pour la connexion à l’application, nettement supérieur à toutes les autre applications mail, et à un temps nécessaire tellement important que le temps de finir tous ces tests, l’application sera obsolète (et de nouveaux téléphones et versions d’Android seront sorties).

Je rappelle qu’ici je ne travaille que sur la connexion à l’application ce qui est totalement banal et qui dans les faits ne nécessite que peu de temps de travail relativement aux autres fonctionnalités.

Dans mon post précédent (https://www.linkedin.com/pulse/je-suis-testeur-logiciel-oui-mais-cest-quoi-marc-hage-chahine?trk=pulse_spock-articles ) je disais que le métier de testeur c’est principalement de la communication, des choix et des compromis, ceci en est une explication.

Toujours intéressé par cette application sans bug ?

Sincèrement, quelle entreprise voudrait dépenser des millions d’euros pour la connexion sur une application mail ?
Quel utilisateur serait prêt à attendre 3 ans pour avoir accès à ses mails au moyen d’une application, et ce, même si elle n’a pas de bugs ?

Savoir se fixer un cadre (ici on a quand même un cadre sur les versions d’Android à utiliser), choisir si oui ou non, malgré les bugs détectés on peut ou non sortir son application, c’est aussi ça le métier du test.
Soyons honnête une bonne partie des bugs ne sont pas bloquants et la plupart des utilisateurs s’en accommode, on classe généralement ces bugs en tant que bugs « mineurs ».
La connexion n’a pas fonctionné la première fois suite à un problème de réseau ? Pas de problème je me reconnecte !

Il y a aussi de nombreux bugs non détectés lors des campagnes de tests mais remontés par les utilisateurs (c’est aussi pour cela que l’on voit de plus en plus de béta test, notamment pour les jeux vidéo). Rien de plus normal, en gardant mon exemple d’application mail, même si cette dernière est testée par 20 personnes pendant 2 mois cela fera toujours moins de temps/conditions (téléphone, réseaux…) que l’utilisation en condition réelle avec des milliers d’utilisateurs quotidiens.

Conclusion

Le plus important est d’avoir un produit dont la qualité est suffisamment haute pour que l’application soit adoptée par les utilisateurs. Cette limite est souvent difficile à juger mais c’est la plus importante, surtout à l’heure des notes des applications qui peuvent très vite tuer une application.

Attention : le niveau de test nécessaire pour une application dépend énormément de l’application. Une application mail qui freeze et que l’on doit redémarrer une fois de temps en temps c’est moins problématique qu’une application de santé qui doit s’assurer de la bonne santé du détenteur du téléphone car dans ce cas une défaillance de l’application peut avoir des conséquences beaucoup plus graves.

Liens :

Liste des téléphones sous Android (exhaustivité non assurée) : https://fr.wikipedia.org/wiki/Liste_des_t%C3%A9l%C3%A9phones_sous_Android

 

Pensez à rejoindre le groupe Le métier du test si le test vous intéresse !

N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

Publié par

3 réponses sur « Le logiciel sans Bug »

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s