Histoire de la recommandation produit: l’impact des algorithmes de machine learning

Avec l'évolution des technologies et la montée en puissance des capacités de calcul, les années 2010 ont vu l'essor des algorithmes de machine learning - qui existent depuis la fin des années 50 - appliqués aux systèmes de recommandation. Ces algorithmes utilisent des données massives pour identifier des patterns complexes dans les comportements d'achat et les préférences des utilisateurs. Les avancées dans le domaine du machine learning ont permis de passer d'approches basiques et rigides à des systèmes capables de fournir des recommandations plus personnalisées et dynamiques.

Les réseaux de neurones, par exemple, ont révolutionné la personnalisation en permettant aux systèmes de recommandation d'apprendre des représentations complexes et abstraites des préférences des utilisateurs. Grâce à des techniques de deep learning, ces systèmes peuvent capturer des corrélations non linéaires et des interactions subtiles entre différents attributs de produits et comportements utilisateur. Les réseaux de neurones peuvent également intégrer divers types de données, y compris les données de navigation, les avis des utilisateurs, et les interactions sociales, pour créer des modèles de recommandation holistiques et précis. Mais leur complexité leur interdit en pratique de travailler en temps réel.

Les modèles de factorisation matricielle, quant à eux, ont permis d'améliorer la précision des recommandations en décomposant les matrices utilisateur-produit en facteurs latents. Ces facteurs représentent les dimensions sous-jacentes des préférences des utilisateurs et des caractéristiques des produits. En projetant utilisateurs et produits dans un espace latent partagé, les modèles de factorisation matricielle peuvent prédire les préférences des utilisateurs pour des produits qu'ils n'ont pas encore évalués, en se basant sur des similarités latentes. Cette technique a été utilisée pour traiter le problème de la sparsité des données (la situation où une grande partie des données disponibles est constituée de valeurs manquantes, de zéros ou de valeurs non informatives), commun dans les systèmes de recommandation.

Les algorithmes de clustering ont également joué un rôle crucial dans l'amélioration des systèmes de recommandation. En regroupant les utilisateurs en clusters basés sur des similarités comportementales, les systèmes peuvent fournir des recommandations plus ciblées et pertinentes pour chaque segment de clientèle. Par exemple, un cluster de clients qui achètent fréquemment des articles de sport recevra des recommandations différentes de celles d'un cluster intéressé par des produits de luxe. Cette segmentation fine permet de personnaliser les recommandations à un niveau granulaire, améliorant ainsi l'engagement et la satisfaction des utilisateurs.

Amazon et Netflix ont été parmi les pionniers de l'application du machine learning aux systèmes de recommandation. Amazon utilise des modèles de machine learning pour analyser des millions de transactions et interactions utilisateur, permettant de recommander des produits avec une précision remarquable. Netflix, quant à lui, utilise des algorithmes sophistiqués pour analyser les habitudes de visionnage et les préférences des utilisateurs, offrant des suggestions de films et de séries personnalisées qui maintiennent un haut niveau d'engagement.

Le machine learning a permis de limiter légèrement les effets du cold start problem grâce essentiellement à deux techniques: l'apprentissage par transfert et la factorisation matricielle:

• dans l'apprentissage par transfert, les modèles sont pré-entraînés sur des ensembles de données larges et diversifiés provenant de domaines similaires. Par exemple, un modèle de recommandation de films peut être pré-entraîné sur une vaste base de données de préférences de visionnage; les connaissances acquises sur les préférences et les comportements des utilisateurs dans le domaine source sont transférées à la nouvelle tâche. Par exemple, les préférences de genre ou de style de films peuvent être appliquées à une nouvelle plateforme. Cela pose bien évidemment d’importants problèmes de pertinence essentiellement dûes:
  • à la divergence de domaines: si les domaines source et cible sont trop différents, les connaissances transférées peuvent être inappropriées ou moins utiles,
  • à la suradaptation: risque que le modèle soit trop ajusté aux données du (des) domaine(s) source,
  • biais hérités: les biais présents dans les données du domaine source peuvent être transférés au domaine cible, ce qui pourrait affecter la pertinence et l'équité des recommandations.
• dans la factorisation matricielle, plusieurs techniques peuvent être utilisées:
  • utilisation de métadonnées:  enrichissement avec des métadonnées sur les utilisateurs et les items. Par exemple, les informations démographiques des utilisateurs (âge, sexe, localisation) et les attributs des items (genre d'un film, catégorie d'un produit) peuvent être intégrées dans le modèle.
  • factorisation conjointe (Hybrid Methods): combinaisons avec des méthodes de filtrage de contenu ou de filtrage collaboratif pour créer des modèles hybrides.
  • incorporation de Bias Terms: les modèles de factorisation matricielle peuvent inclure des termes de biais pour capturer les effets globaux tels que la popularité des items et les tendances générales des utilisateurs.

Les inconvénients de la factorisation matricielle sont nombreux et viennent pénaliser la pertinence des recommandations: 

• Difficulté à comprendre la nouveauté (qu’il s’agisse de nouveaux utilisateurs ou de nouveaux produits) du fait qu’elle repose sur les interactions passées entre utilisateurs et items.
• Sparse Data: dans les systèmes avec une grande sparsité des données, c'est-à-dire un faible ratio d'interactions par rapport au nombre total possible d'interactions, les matrices résultantes seront incomplètes et conduiront à des recommandations de faible qualité.
• Coût computationnel : la factorisation matricielle, en particulier sur des ensembles de données volumineux, nécessite des calculs intensifs pour décomposer les matrices. Cela peut être coûteux en termes de temps et de ressources informatiques, surtout pour les très grandes bases de données. Conclusion: la technique n’est que très faiblement utilisée par les prestataires.
• Scalabilité : à mesure que le nombre d'utilisateurs et d'items augmente, la taille des matrices à factoriser augmente également, ce qui peut rendre les algorithmes de factorisation moins scalables. Lors d’un A/B test de Netwave sur un site leader en France face à un système américain de machine learning qui avait mal tourné lors d’un 1° “round” - +392% de surperformance pour Netwave -  le prestataire américain avait demandé à actualiser son modèle pour refaire un A/B test. Résultat: 2 semaines de computation. Et à l’arrivée un résultat encore meilleur pour Netwave: +395% de surperformance. 
• Ajustement des hyperparamètres : la performance des modèles de factorisation matricielle dépend fortement du choix des hyperparamètres, tels que le nombre de facteurs latents. Trouver les bonnes valeurs pour ces hyperparamètres peut être compliqué et nécessite souvent des essais et erreurs. Dont le site marchand paie le prix, bien entendu.
• Et bien d’autres obstacles viennent pénaliser la pertinence d’une factorisation matricielle: convergence lente, local minima, abstraction des facteurs latents, overfiiting,, manque de données implicites…

Toutefois, l'application des algorithmes de machine learning a conduit à des systèmes de recommandation plus sophistiqués et précis. Ces systèmes peuvent également évoluer de manière autonome, s'améliorant continuellement à mesure qu'ils reçoivent de nouvelles données et qu’une actualisation est lancée. Cette capacité à apprendre et à s'adapter est essentielle dans un environnement e-commerce dynamique où les attentes des clients évoluent constamment. Encore faut-il que les modèles soient actualisés…

En conclusion, l'impact des algorithmes de machine learning sur les systèmes de recommandation a été profond et transformateur. En exploitant la puissance des données massives et des techniques avancées de machine learning, les entreprises peuvent offrir des expériences de recommandation qui non seulement répondent mieux aux besoins actuels des utilisateurs mais essaient d’anticiper leurs futures préférences. Ils sont d’ailleurs plus adaptés, par nature, à cette seconde fonction qu’à la première. Cette évolution marque une étape majeure dans l'histoire des recommandations produit, ouvrant la voie à des innovations encore plus avancées dans le domaine de la personnalisation et de l'engagement client. 

Mais, n’étant pas initialement conçus pour prendre des décisions - et faire une recommandation c'est prendre une décision -, ils comportent de lourdes limites. A voir dans le prochain article de notre blog, mardi prochain.

Apprenez en plus sur Netwave et sa technologie d’IA Inductive

• les solutions 
• la technologie
• le pricing 

Et n’hésitez pas si vous avez d’autres questions: contact Netwave