Témoignage Octoperf – rendre accessible les tests de performances

Bonjour qui êtes-vous ?

Guillaume : directeur de la performance chez OctoPerf

Quentin: gère la partie commerciale, partenariat et opérationnelle de la société

Gérald CEO et Jérôme CTO pour la partie développement

Nous sommes les 4 co-fondateurs.

Guillaume a de nombreuses années d’expérience : Neoload, avant-vente chez Néotys (éditeur de Néoload). Le coté simplicité est un crédo auquel on tient depuis longtemps car c’était le crédo de Néotys à l’époque.

OctoPerf c’est quoi ?

OctoPerf est un outil de test de performances en mode SAAS et « On-premise ». OctoPerf s’appuie sur le moteur JMeter (moteur open source fiable et utilisé par des milliers de personnes). OctoPerf fourni une interface par-dessus JMeter permettant d’importer les tests mais aussi des fonctionnalités comme le lancement automatique des tests, des rapports dynamiques générés en temps réel…

OctoPerf apporte aussi une facilité d’utilisation (formation d’1 journée) pour créer des tests performances (pas besoin de connaitre JMeter).

OctoPerf est un outil intuitif avec une montée en compétence rapide qui propose toutes les fonctionnalités de JMeter. Le but est de diminuer le temps passé à paramétriser JMeter et permettre à des non experts de faire des tests de performance pertinents et efficaces.

A la base on voulait faire un outil SAAS complet et simple. Notre force est de pouvoir aujourd’hui adresser aussi bien des experts que des novices.

Pourquoi avez-vous proposé un outil comme OctoPerf ?

Lorsque l’équipe s’est lancée l’idée était de créer un nouvel outil sur des technologies plus récentes.  Puis L’intérêt technologique a rencontré l’approchemarketing et on a constaté que sur le marché il y avait de  très bons outils qui étaient également très chers (Load runner, Neoload)  et de l’autre côté du scope, des outilscomplexes d’utilisation (JMeter, Gatling).Ce qui présente, dans les deux extrêmes, un frein pour la mise en place des tests de performances dans pas mal d’entreprises.  L’idée avec OctoPerf est deproposer un compromis via un outil moderne, avec une interface utilisateur intuitive mais un coût moindre que les outils à licence.

Comment faites-vous évoluer OctoPerf ?

OctoPerf est développé avec des méthodes agiles avec un fort niveau de qualité. On capitalise énormément sur les retours clients via  le chat qui est intégré dans l’application, ce qui nous permet de réagir rapidement aux problèmes ou besoins d’améliorations si certains retours deviennent récurrents.

On peut livrer en quelques heures un fix après un feedback. Tout le processus de build est automatisé, ce qui nous donne une forte réactivité et donc du déploiement continu. Ce qui est très important pour proposer une interface utilisateur simple car pour cela les retours clients sont la clé.. Une bonne interface ne peut être développée par une personne seule dans son garage.

Nous avons un rythme de développement assez élevé puis nous livrons environ 8 versions majeures par an. Depuis le début de l’année (5 mois) nous avons livré en tout 11 versions majeures et/ou mineures.

A part les retours utilisateurs, que faites-vous ?

On avait une liste de fonctionnalités à implémenter ce qui a donné la RoadMap initiale des 2 premières années de déploiement d’OctoPerf. La plupart de ces fonctionnalités existaient déjà dans JMeter ce qui nous a fait gagner du temps. Notre roadmap est maintenant plus épurée et on fait principalement des développements par rapport aux retours client, on vient par exemple de finir l’implémentation d’Azure (équivalent d’AWS chez Microsoft) sur une demande client.

A noter : on essaye également de limiter le plus possible la dette technique en étant sur les dernières versions des outils utilisés ou en n’hésitant pas à revoir intégralement l’architecture.

Depuis combien de temps travaillez-vous sur OctoPerf ?

Le développement a commencé début 2015 (il y a 4,5 ans). Cela fait 3 ans que nous sommes sur le marché.

A niveau investissement, OctoPerf est rentable/profitable depuis la première année. Nous avons plus de 200 clients dans 28 pays. Un de nos derniers client majeur nous ayant rejoint n’est autre que la SNCF.

Comment faites-vous la promotion de votre outil ?

La promotion en direct n’est pas notre point fort car nous sommes une société auto-financé (refus de faire entrer des investisseurs) pour rester « maître à bord » et maitriser la stratégie du produit. Du coup on n’est pas les rois de la communication. On investit principalement sur le produit que sur la communication. Nous essayons néanmoins de participer à des salons dédiés au test (France et aux USA, nos plus grands marchés). Nous avons également un blog à valeur ajouté sur les tests de performances. Ces articles nous donnent  un bon référencement  et permettent d’amener pas mal de monde sur notre version d’évaluation en ligne gratuiteNous faisons aussi des « co-event » en proposant des webinars avec des partenaires.

Pour les articles de blog, on essaie de ne pas tomber dans le piège des mots clés c’est pourquoi nous demandons à des experts d’écrire sur des sujets qui ont de la valeur ajoutée pour la communauté du test.

Comment voyez-vous OctoPerf dans plusieurs années ?

Bonne question !

Il y a plusieurs choses que nous souhaiterions faire. Je tiens à préciser que notre objectif n’est pas de grossir exponentiellement. On veut se focaliser sur les tests de perf, c’est ce qu’on aime et qu’on sait faire. L’idée c’est de rester compact et garder cette politique tarifaire très avantageuse pour nos clients. Continuer de proposer un outil accessible à tous les profiles à tous les profils: grandes sociétés, PME, les experts JMeter et les novices tests de performances.

On ne veut pas grossir pour grossir ce qui permet d’assurer une bonne qualité notamment sur l’accompagnement des clients. On veut également maintenir une bonne ambiance au sein de l’équipe.

Aujourd’hui nous ne manquons pas de grosses fonctionnalités par rapport aux concurrents, nous souhaitons maintenant proposer des petites fonctionnalités innovantes pour continuer à nous démarquer.

Un exemple de fonctionnalité que l’on souhaitait intégrer était d’essayer d’intégrer du Gatling à OctoPerf. Malheureusement on perdait beaucoup d’informations sur le bilan des tests. Nous allons donc proposer un nouvel outil permettant d’utiliser Gatling en ayant une mise à disposition des rapports et autres fonctionnalités. Nous avons appelé cet outil Kraken qui est un outil open-source ! C’est un POC (Proof Of Concept) qui s’est transformé en un vrai produit.

Comment testez-vous les performances d’Octoperf ?

On est sur un produit avec peu d’utilisateurs mais où 1 utilisateur pourrait potentiellement faire tomber la plateforme. C’est beaucoup plus simple pour nous de surveiller les utilisateurs plutôt que l’ensemble des tests.

On a également un certain nombre de hosts que l’on peut ajouter pour re-scaler la plateforme rapidement si besoin. Notre principe c’est de prendre le l’avance, de surdimensionner, en prenant comme base le plus gros test lancé et de redimensionner en fonction. C’est un peu du shift right.

Cela reste un outil dans un navigateur, les performances sont très importantes pour éviter une éventuelle frustration. On vient tout juste de passer de 5 à 9 machines sur notre infrastructure.

Comment gérez-vous le support client ?

Pour le support client, même si nous sommes 6, nous sommes extrêmement réactifs, notamment grâce à Slack. Nous garantissons délais moyens de réponse de 10 minutes à nos clients mais aussi une forte réactivité de correctif de bug.

Voulez-vous ajouter quelque chose ?

Ce qu’on voit en ce moment, c’est que le test de performance est un marché en pleine mutation. Les grands comptes quittent les acteurs historiques et JMeter prend de plus en plus d’importance. Se positionner avec un outil comme OctoPerf est très intéressant car il propose une réversibilité vers JMeter mais Qui ne va verrouiller les utilisateurs dans un format propriétaire tout en offre une expérience de test très complète et surtout très agréable. Un réel consensus à moindre coût.

Liens vers Octoperf :

Site web : https://octoperf.com

Version d’évaluation en ligne:  https://app.octoperf.com

Blog: https://octoperf.com/blog/

Tutoriels: https://octoperf.com/tutorials/

Démo enregistrée: https://octoperf.com/request-demo/

N’hésitez pas à me suivre et lire mes autres articles si vous voulez en apprendre plus sur le test ou venir partager vos connaissances

Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test

Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles

N’hésitez pas à faire vos propres retours d’expérience en commentaire.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Automatisation

Quels indicateurs pour ses tests automatisés ?

Les mesures sont essentielles lorsque l’on veut évaluer une performance ou lorsque l’on veut s’améliorer. Comment savoir si l’on s’améliore s’il n’y a pas de mesure confirmant ou infirmant celle-ci ? Afin de mesurer ces performances nous utilisons des indicateurs. Ces indicateurs sont des outils permettant de mesurer un point

Lire la suite »
Bug

Test en image (7)

Le processus d’évolution du test : Les différents  types d’anomalies (ISO 25010), très utile pour adapter sa stratégie de test : Les différents métiers et parcours dans le test : Pour avancer correctement sur un projet il faut supprimer les points de blocage : Un processus pour intégrer les tests à une chaine d’intégration

Lire la suite »