Expérimenter sereinement et mesurer l’impact de votre stratégie grâce à l’AB testing.

Tout au long de sa carrière, Wassym Kalouache, CEO de Corolair et diplômé X-Columbia en Data Science a été contraint de prendre des décisions à partir de la donnée pour piloter son produit, ses équipes et son entreprise. Les A/B Tests constituent une base solide pour mettre ses données en action, les affiner et les analyser dans le développement du produit. Dans cet entretien, Wassym nous explique comment expérimenter sereinement et mesurer l’impact d’une stratégie grâce à un AB testing performant.

Lorsqu’on développe un produit, on évoque souvent la recherche utilisateur. Quelle place doit-on laisser au prototypage ?

L'utilisateur est bien sûr essentiel. Il doit rester au cœur de tout ce que nous faisons et il est important de le comprendre. Cependant, il peut être aussi périlleux de consacrer trop de temps à la recherche. Je me rappelle par le passé avoir dédié plus de deux mois à l’interview de profils pour cerner leurs besoins. Par la suite, j’ai constaté que je n’avais pas considéré certains métiers, certaines classes d’âges. En réalité, cet exercice peut s’avérer sans fin. J’en ai conclu qu’il était préférable de construire et d’itérer très rapidement.

Je vois deux avantages à cela :

1. Le prototype permet de progresser et de se consacrer au développement du produit dès le départ, tout en favorisant les retours d’expérience.
2. Les utilisateurs sont beaucoup plus réceptifs lorsqu’ils peuvent s’appuyer sur un produit concret - même si ce dernier n’est pas abouti - plutôt que sur une série d’entretiens. Sans valeur ajoutée, il est plus difficile d’engager ton public et d’obtenir leur retours.

Chez Corolair par exemple, je n’avais jamais codé en front. Pour obtenir le retour de nos utilisateurs test, j’ai construit une fausse interface. Nous avons réalisé une vidéo de démonstration que nous avons partagée à notre échantillon. Très rapidement nous avons obtenu de nombreux retours car nos utilisateurs se projetaient mieux.

La problématique existe aussi dans certaines grandes entreprises et dans le cas de clients qui utilisent déjà un produit. En tant que product manager, l’objectif est de récolter un maximum d’information sur ces clients mais il est aussi important de récolter ses retours intelligemment, de façon à ne pas les solliciter outre mesure.

Dans ta vision, L’A-B testing, associé à l’intuition, est une solution efficace pour obtenir des retours concrets. Peux tu nous expliquer en quoi il consiste ?

L'A-B Testing consiste à développer deux versions d'un même produit. Par exemple, deux  boutons de couleurs différentes sur un formulaire d’inscription. On choisit une métrique, comme le nombre de clics, pour mesurer quelle version est la plus performante. Pour qu’un A-B Testing soit valide, il est crucial de définir clairement l'objectif du test et de s'assurer que les deux versions sont suffisamment différentes. Il est important d’exposer ces versions à un nombre suffisant de personnes. Aléatoirement, une partie de l’échantillon va être confrontée au produit A et la seconde au produit B. En fonction de leurs réactions, il sera possible de tirer les premières conclusions.

Comment doit-il être mis en place pour des résultats efficaces ?

Pour qu’un A-B testing soit efficace, il est important de prendre en compte d'autres indicateurs pour s'assurer que le changement est positif dans son ensemble. Notre intuition n’est pas toujours la bonne. Chez Dailymotion par exemple, nous utilisions régulièrement l’A-B testing pour nos algorithmes de recommandation. Notre métrique, la métrique intuitive - qui n’a finalement pas été retenue - était le CTR (Taux de clic), de façon à favoriser les vidéos les plus attractives. Très vite, nous nous sommes rendus compte que nous ne poussions que des vidéos pièges à clic. Nous avons pris conscience que nous ne voulions pas seulement optimiser la rétention mais également favoriser la variété, la qualité de la vidéo et la diversité du contenu. Autrement dit, dans certains cadres, il est difficile de définir une métrique unique qui puisse résumer toute l'expérience utilisateur.

Comment intègres-tu alors l’ensemble de ces paramètres dans ta stratégie de développement de produit ?

Il est essentiel d'analyser minutieusement toutes les métriques afin de comprendre les raisons des différences observées. Cet exercice nous permettra de prendre les bonnes décisions. Il ne faut pas se précipiter. Même si la version B semble meilleure, il est recommandé de faire un release progressif de cette version et de rester attentif aux autres indicateurs, et à la façon dont réagi notre version A. Parfois, des résultats obtenus avec un petit groupe d'utilisateurs ne peuvent pas être généralisés à une plus grande échelle.

Y a-t-il d'autres pièges à éviter lors de l'expérimentation ?

Un piège commun est de négliger le contexte et les facteurs externes qui peuvent influencer les résultats d’un A/B test. Par exemple, le comportement des utilisateurs peut varier selon les saisons, la temporalité, l’échantillon étudié. Pour cette raison, il faut veiller à ce que les utilisateurs mobilisés soient représentatifs de l'ensemble de la population cible. Il est également important de tester la nouvelle fonctionnalité sur une période suffisamment longue pour observer son impact sur l’ensemble de l’expérience utilisateur.

Wassym Kalouache est co-fondateur et CEO de la startup Corolair. Il fusionne GenAI et éducation pour soutenir les formateurs. Diplômé de Polytechnique et de Columbia, il a occupé le poste de premier Data Scientist chez Weight Watchers, supervisant le recrutement d'une équipe complète. Sa mission y a été de dénicher des cas d'usage pertinents en machine learning, une expérience qui lui a permis d'appréhender les erreurs courantes lors du lancement d'initiatives data. En tant que premier Data Product Manager chez Dailymotion, il a contribué à l'amélioration du management de produits data. Fort de son expertise, il a par la suite enseigné la data chez le Wagon.