Claire Lebarz, VP Data chez Malt et ex-Head of Guest Data Science chez Airbnb : « Pour développer un produit à base d’IA, il faut avoir un problème bien défini »

Claire Lebarz a passé plus de 10 années dans la Silicon Valley à développer des produits à base de Machine learning. Après une expérience de 6 ans chez Airbnb, où elle a notamment dirigé la division data côté voyageur, Claire a rejoint Malt en 2022 en tant que VP Data.

En déployant le machine learning dans le produit, Claire et ses équipes ont fortement impacté le business d’Airbnb : + 10% de conversion, -20% de volume de tickets, faisant d’elle une experte en data science et intelligence artificielle.

Quel a été le projet le plus important que Claire a « shippé » et les challenges associés ? Quel est l’écueil qu’elle rencontre le plus fréquemment ? Comment a-t-elle géré les questions éthiques dans les projets d’IA de Airbnb ? Qu’est-ce qui fait qu’une collaboration entre produit et data scientists est une réussite ? Elle nous explique.

Peux-tu nous parler du projet le plus important que tu as « shippé » et les difficultés rencontrées ?

Mon dernier projet important a été la search par catégorie sortie en mars 2022. C’était un projet innovant et difficile dans la mesure où cette façon de chercher n’existait pas encore dans la recherche de logement. D’ordinaire, la recherche se fait par l’entrée d’une « destination » plus une « date » et avec la search par catégorie, nous voulions sortir de ce paradigme en procédant différemment : faire des attributs des maisons l’élément déterminant la destination et les dates du voyage.

Nous avions déjà cette idée en tête, mais nous avons accéléré le mouvement lors de la pandémie. Nous cherchions à montrer la diversité de l’inventaire de nos destinations et à donner des envies de destination aux gens à partir d’un segment d’inspiration pour sortir des sentiers battus et tendre vers un tourisme responsable qui réduit la pollution des zones les plus touristiques.

Il faut savoir que plusieurs tentatives ont été lancées pour créer des concepts de catégorie. Par exemple, en 2018, nous avons lancé « les collections », mais ce produit n’a pas marché notamment parce que l’on n’a pas su lister les différents groupes : travail, familles, etc. Cela nous demandait de très bien connaître les inventaires, or nous n’avions pas accès à toutes ces données des hôtes.

Pour connaître l’inventaire et pallier ces difficultés de design, on a créé un système d’IA augmenté par une vérification humaine ciblée. Par exemple, pour pouvoir montrer un listing dans la catégorie “proche de la mer”, le système d’IA nous donne un score ; les équipes opérationnelles revoient les listings les mieux scorés et valident la photo, proposée par l’IA, qui le représente le mieux dans cette catégorie.

L’autre difficulté lorsque l’on a introduit cette nouvelle façon de chercher a été de ne pas diminuer la conversion. En effet, la majorité des utilisateurs viennent sur Airbnb avec une destination et des dates en tête ; il ne faut pas entraver leur recherche. Les versions précédentes cherchant à introduire du browse avaient toutes échouées pour cette raison. On a donc analysé les comportements sur le site et l’app, conduit des user research pour comprendre où se dirige leur attention et les frictions rencontrées. Au fil des années et avec une collaboration entre les équipes design, research et data, on a développé une connaissance des patterns qui amènent de la friction pour trouver le bon dosage.

Un des écueils les plus fréquents quand on développe un produit à base d’IA est de partir d’une techno plutôt que du problème. Comment l’appréhendes-tu ?

C’est un écueil que je rencontre tous les jours. Lorsque je demande « quel problème veut-on résoudre avec ce produit ? », les gens ne sont pas clairs. Il est essentiel de s’assurer que le problème est bien défini et que le machine learning est la meilleure solution pour le résoudre.

En pratique, on oublie généralement que le machine learning représente un coût par rapport aux solutions plus simples. Un autre point qui passe à la trappe : on ne pense pas à toutes les mauvaises expériences qui sont susceptibles de se passer. Au moment de designer les solutions, on passe 80% du temps sur les cas généraux et 20% du temps sur les mauvais. La bonne approche est d’inverser le mindset en procédant de la façon suivante :

• Choisir des métriques qui retranscrivent les mauvaises expériences
• Déployer des éléments d’UX dans le produit pour traiter ces mauvaises expériences et ne pas frustrer ou décevoir les utilisateurs.

Exemple d’un cas concret : l’hôte crée un listing sur Airbnb en prenant des photos de sa maison. Après avoir téléchargé les photos, le système d’IA propose de ranger les photos par pièce. Dans 80% des cas, cette tâche se passe bien. Mais quid des 20% où cela fonctionne mal ? Lorsque les photos ne sont peut-être pas de bonne qualité ? Ou qu’il en manque de certaines pièces ? Il était donc vital de designer la possibilité pour l’hôte de corriger la répartition des photos.

Ici, outre la métrique classique de complétion du flow de création de listing, les métriques les plus importantes sont : à quelle fréquence les gens font des corrections ? Combien de temps passent-ils à corriger ? Et quel est le nombre de corrections par utilisateur ? Ces métriques nous aident à nous concentrer sur les mauvaises expériences et itérer pour rendre le process de correction le plus simple possible. Au lieu de regarder le taux de complétion, on a inversé la métrique pour regarder le nombre de personnes qui abandonnent et où elles abandonnent. La même métrique, mais inversée, modifie le point d’attention.

Comment as-tu géré les questions de discriminations et de biais dans les projets d’IA d’Airbnb ?

Les biais sont présents dans la société donc quand on construit des produits d’IA fondés sur les données collectées dans la société, on sait qu’on va capturer ces biais et qu’on risque de les amplifier dans le produit. Mesurer la discrimination est la partie la plus difficile. Il faut identifier les catégories à risque puis pouvoir identifier dans laquelle se situe un utilisateur, ce qui pose aussi des questions éthiques.

Nous avons créé un groupe cross fonctionnel à Airbnb (data, legal, policy) et très vite réalisé que nous devions travailler avec les chercheurs et les ONG pour avancer de façon crédible sur la question et faire des choix éthiques sur les mesures et sur la façon de storer ces informations sensibles.

As-tu observé une façon différente d’aborder ces sujets en Europe vs aux US ?

Il est plus difficile de traiter ce sujet en France tout simplement parce que poser la question du background ethnique, le tracker, est illégal. Alors, comment mesurer les discriminations ? C’est un sujet sur lequel il faut développer des approches avec la société civile, les ONG et les acteurs académiques.

Selon toi, qu’est-ce qui fait qu’une collaboration entre data scientists PM est une réussite ?

Les PM et designers ne savent pas toujours quelles questions poser aux data scientists et les data scientists ne savent pas toujours comment exprimer les décisions de modélisation data en décisions business et produit. Il n’est donc pas étonnant que les PM sur les produits avec le plus d’IA de Netflix, Airbnb, etc. soient d’anciens data scientists. Cependant, il n’est pas nécessaire d’être expert en ML pour être à l’aise sur ce type de produit. L’important est de démystifier la data science et l’IA, comme cela a été fait pour le frontend ou le backend engineering dans les années 2000.

Le 13 décembre 2023, Claire Lebarz partagera son expérience et ses méthodes pour que vous puissiez construire des produits à base de machine learning sans besoin d’être un expert data dans sa formation « Construire des produits avec l’IA » Pour connaître les détails du programme, les objectifs et vous inscrire, c’est par ici !