La recommandation personnalisée sur les sites marchands relève de l'intelligence artificielle décisionnelle en temps réel. En effet, pour fournir des recommandations personnalisées en temps réel, ces systèmes utilisent majoritairement des algorithmes de machine learning pour analyser les données d'achat et de navigation de l'utilisateur afin de prédire ses préférences et de lui suggérer des produits pertinents.
Les systèmes de personnalisation doivent être capables de s'adapter immédiatement à l'évolution des préférences et des comportements des utilisateurs, ce qui nécessite une prise de décision en temps réel pour ajuster les recommandations en fonction des nouvelles données.
Et c’est là que le machine learning montre ses limites.
Pour rappel: un modèle de machine learning est un algorithme informatique qui permet de résoudre des problèmes en utilisant des données et des techniques statistiques. En d'autres termes, il s'agit d'un programme informatique qui apprend à partir de données et est capable de généraliser à de nouvelles données pour effectuer des prévisions, des classifications, des recommandations ou d'autres tâches similaires.
Les modèles de machine learning sont créés à partir d'un processus appelé "apprentissage automatique" (ou "machine learning" en anglais), qui implique l'utilisation d'un ensemble de données d'entraînement pour ajuster les paramètres du modèle. L'objectif de ce processus est de permettre au modèle de généraliser à de nouvelles données qui ne sont pas incluses dans l'ensemble d'entraînement, de manière à ce qu'il puisse effectuer des prévisions.
Il existe différents types de modèles de machine learning, notamment les modèles de régression, les modèles de classification, les réseaux de neurones, les arbres de décision, les machines à vecteurs de support, etc. Le choix du modèle dépendra de la nature du problème à résoudre et des données disponibles.
En somme, les modèles de machine learning sont des outils puissants pour résoudre des problèmes complexes en utilisant des données et des techniques statistiques, et sont largement utilisés dans de nombreux domaines tels que la reconnaissance vocale, la vision par ordinateur, la prédiction de la demande et bien d'autres applications.
En ce qui concerne la personnalisation en temps réel, le décisionnel temps réel, le machine learning présente plusieurs défauts qui qualifient d’autres technologies d’IA plus adaptées.
La limite “ Temps de traitement”
Les modèles de machine learning peuvent être très complexes et nécessiter des temps de traitement importants pour prendre des décisions en temps réel. Cela entraîne des temps d'attente incompatibles avec les applications où la prise de décision rapide est cruciale.
Le temps de traitement dépend de plusieurs facteurs, tels que la complexité du modèle, la taille des données à traiter, la puissance de calcul disponible, etc. Cela peut varier considérablement d'une application à l'autre.
Pour donner une estimation approximative, nous pouvons donner quelques chiffres de référence. Tout d'abord, il est important de noter que la création d'un modèle de machine learning nécessitera préalablement plusieurs étapes, telles que la préparation des données, l'exploration des données, la sélection des variables, la conception du modèle, l'entraînement du modèle, l'évaluation du modèle et l'ajustement du modèle. Chacune de ces étapes peut prendre énormément de temps en fonction de la complexité du modèle et de la taille des données.
En supposant une base d'apprentissage de 2 000 000 de visites avec 40 données en moyenne par visite, que cette base soit déjà préparée et nettoyée, la création d'un modèle pourra prendre de plusieurs heures à plusieurs jours en fonction de la complexité du modèle et de la puissance de calcul allouée.
Pour des modèles de machine learning relativement simples, tels que les modèles linéaires ou les arbres de décision, la création ne prendrait que quelques heures et jusqu’à une journée environ. Pour des modèles plus complexes, tels que les réseaux de neurones profonds, la création pourrait prendre plusieurs jours voire plusieurs semaines.
Bien sûr, ces estimations ne sont qu'indicatives et le temps nécessaire peut varier considérablement en fonction de nombreux facteurs, tels que la qualité des données, la complexité du modèle et la disponibilité de la puissance de calcul. Mais en aucun cas ces systèmes ne pourront générer un modèle en quelques millisecondes.
Autant dire que les promesses de "temps réel" des solutions de personnalisation reposant sur du machine learning relèvent , pour le moins, de l'abus de langage. Voire pire.
La technologie d’IA Inductive de Netwave ne travaille pas sur la base de modèles mais plus pragmatiquement sur la base de la transposition de la situation constatée par le système à l’instant T à la situation identique la plus récente enregistrée dans le passé. Cela lui permet d’être capable de “processer” la réponse en 35 mlllisecondes en moyenne et donc de s’adapter en temps réel. Cet avantage est particulièrement important dans le cadre de la limite abordée dans le paragraphe suivant pour assurer une pertinence maximale à chaque recommandation effectuée.
La limite “Environnement dynamique”
Les environnements en temps réel sont souvent très dynamiques, avec des données changeantes en permanence. Les modèles de machine learning peuvent avoir du mal à s'adapter rapidement à ces changements, ce qui peut affecter leur capacité à prendre des décisions fiables.
Lorsqu'un modèle de machine learning est déployé dans un environnement en constante évolution, ce qui est typiquement le cas d’un site de e-commerce, il devient rapidement obsolète et n’est plus en mesure de fournir des prédictions acceptables.
L'environnement peut être dynamique pour plusieurs raisons, telles que :
- L'évolution des données : les données sur lesquelles le modèle a été entraîné peuvent changer avec le temps, par exemple si de nouvelles données sont collectées ou si les données existantes sont modifiées.
- Les changements des caractéristiques des données : les caractéristiques des données peuvent changer avec le temps, ce qui peut affecter la capacité du modèle à généraliser à de nouvelles données.
- Les changements de l'environnement : les facteurs externes qui influencent les données peuvent également changer avec le temps, par exemple si les conditions économiques, sociales ou politiques changent.
Ces changements affectent la performance du modèle de machine learning, car il n’est plus capable alors de généraliser de manière pertinente à de nouvelles données et de fournir des prédictions fiables dans un tel environnement.
Ici, la technologie d’analyse de situation en temps réel de Netwave et sa capacité à processer la réponse à chaque demande, lui permet de prendre immédiatement en compte les évolutions.
La limite “Données d'entraînement limitées”
Les modèles de machine learning ont besoin de données pour apprendre et prendre des décisions. Cependant, en temps réel, on constate souvent un manque de données disponibles pour entraîner les modèles de manière efficace. Cela peut entraîner une baisse de la précision et de la fiabilité des décisions prises par les modèles.
Cela fait référence à la difficulté, voire l’impossibilité au regard des lois de la statistique, de construire un modèle de machine learning fiable lorsque les données d'entraînement disponibles sont limitées. En effet, un modèle de machine learning nécessite un grand nombre de données d'entraînement pour apprendre efficacement à faire des prédictions précises.
Cela pose un problème en temps réel, car les données sont souvent limitées dans les situations où les prévisions doivent être faites rapidement. Par exemple, lorsqu'une recommandation - produit doit être réalisée en quelques millisecondes sur la base de données historiques limitées ou lorsque des tendances émergent dans les données.
Dans de telles situations, il est quasi impossible de construire un modèle probant, car le modèle ne peut pas apprendre suffisamment de patterns à partir des données d'entraînement disponibles. Cela conduit à des prévisions imprécises ou à des erreurs de prévision qui auront des conséquences négatives sur les résultats.
Ce sera notamment le cas lorsqu’il s’agira de recommander des produits nouveaux. Ou des produits qui se vendent à un faible volume: la prévision obéissant aux lois de la statistique verra augmenter l’écart-type dans des proportions qui condamnent sa fiabilité.
La technologie d’IA Inductive de Netwave ne travaille pas sur des bases probabilistes mais plausibilistes. Tansposant à partir d’une seule situation plutôt que de généraliser à partir d’une probabilité issue d’un grand volume de données, elle échappe à cet écueil.
La limite “Dépendance des prévisions passées”
Les modèles de machine learning peuvent être biaisés par les données historiques. Si un modèle a été entraîné sur des données historiques qui ne sont plus représentatives de l'environnement actuel, il prendra des décisions inexactes ou inappropriées en temps réel.
Dans la plupart des cas, les prévisions futures peuvent dépendre de manière significative des prévisions passées, ce qui peut limiter la précision du modèle de machine learning dans le temps réel.
Cela peut se produire dans des situations où les données évoluent de manière lente ou stable, mais où les prévisions futures dépendent fortement des tendances passées.
Par exemple, dans le cas de la prévision de la demande en électricité, la consommation peut être relativement stable pendant la journée, mais elle peut également suivre une tendance saisonnière ou hebdomadaire. Dans ce cas, les prévisions futures dépendent de manière significative des données passées. Si le modèle de machine learning n'est pas en mesure de capturer ces tendances en temps réel - ce dont nous avons vu précédemment qu’il n’en pas la capacité dans le laps de temps qui lui est imparti pour fournir une recommandation personnalisée-, les prévisions ne seront pas fiables.
En outre, les modèles de machine learning ont des difficultés à capturer les événements imprévus ou les changements soudains dans les données. Dans des situations où les données évoluent rapidement ou sont sujettes à des événements imprévus, tels que les données de trafic ou les données météorologiques, les prévisions passées peuvent ne pas être suffisantes pour prédire les futurs événements.
Pour pallier ces problèmes, il peut être nécessaire de combiner des modèles de machine learning avec d'autres approches, telles que des méthodes de contrôle en temps réel ou des approches plus traditionnelles de la prévision. En outre, il peut être nécessaire de mettre en place des processus de surveillance et de mise à jour pour les modèles de machine learning afin de s'assurer qu'ils restent pertinents et précis dans un environnement en constante évolution.
Mais ces méthodes ne sont pas compatibles avec le temps que passe un visiteur sur une fiche - produit.
De surcroît, le poids des données passées entre en jeu lorsque des tendances nouvelles et potentiellement importantes sont détectées, mais qu'elles ne sont pas encore suffisamment représentatives dans la base d’apprentissage pour influencer de manière significative la recommandation.
Si de nouvelles données sont susceptibles de changer radicalement la direction ou la tendance des données, il peut être nécessaire de réévaluer le poids accordé aux données passées dans le modèle de machine learning. Dans ces situations, il est important de trouver le bon équilibre entre l'importance des données passées et la prise en compte des nouvelles données pour garantir que le modèle reste précis et pertinent dans un environnement en constante évolution. Les calculs purement statistiques des solutions de personnalisation reposant sur la prise en compte du passé pour prédire l'avenir dans un logique probabiliste, elles ont toujours un temps de retard sur la réalité de la consommation.
Chez Netwave, quand nous utilisons notre technologie d’analyse de situation en temps réel, nous prenons garde de n’utiliser les données du passé (la sphère d’affinité) que si elles sont connexes à celles que nous recueillons en temps réel (la sphère d’activité). Dans le cas contraire, nous travaillons exclusivement sur les données temps réel.
La limite “Complexité des modèles”
Les modèles de machine learning peuvent être très complexes, ce qui les rend difficiles à comprendre et à interpréter. Cela rend difficile l'identification des causes sous-jacentes des décisions prises par les modèles et i affecte la capacité des organisations à prendre des mesures appropriées en réponse à ces décisions.
Cela pose des problèmes dans les applications de décisionnel temps réel, car il peut être très difficile de comprendre comment le modèle arrive à ses prévisions ou de diagnostiquer les problèmes lorsque le modèle ne fonctionne pas comme prévu.
De plus, les modèles de machine learning complexes peuvent nécessiter des ressources de calcul importantes, ce qui est une question rédhibitoire dans les environnements en temps réel où les ressources sont limitées. Les modèles de machine learning complexes peuvent également nécessiter beaucoup de temps et d'efforts pour être entraînés et optimisés, ce qui est bien évidemment problématique dans les applications qui nécessitent des prévisions en temps réel comme la recommandation personnalisée.
Il est donc important de trouver un équilibre entre la complexité du modèle de machine learning et sa capacité à produire des prévisions précises et utiles dans un contexte de décisionnel temps réel. Cela peut impliquer la recherche de modèles de machine learning plus simples qui sont plus faciles à comprendre et à déployer, ou la recherche de compromis entre la précision et la complexité du modèle.
Mais plus le modèle sera simple, plus sa précision sera faible et donc moins sa performance sera avérée.
En outre, il est important de veiller à ce que le modèle de machine learning soit transparent et interprétable, de manière à ce que les utilisateurs puissent comprendre comment il fonctionne et comment il arrive à ses prévisions. Cela peut faciliter l'identification des problèmes potentiels et permettre aux utilisateurs de mieux comprendre les résultats des prévisions.
Chez Netwave, l’IA Inductive échappant à la création de modèles, ce problème n’existe pas et la transparence est totale. La dynamique de la technologie est simple: nous reproduisons ce qui a fonctionné dans la même situation la plus récente. Et nous le montrons en live lors de nos démonstrations.
The last but not the least, la limite “’Universalité”
L’intégralité des plateformes de personnalisation repose sur des systèmes de machine learning et donc la création de modèles. Bien évidemment, le modèle est bâti en utilisant l’intégralité de la base d’apprentissage du prestataire qui ne va pas investir - pour quelques centaines d’€ / mois voire quelques milliers - dans la création d’un modèle spécifique à chacun de ses clients… Le modèle est le même pour tout le monde.
Et c’est là que le bât blesse.
Il est hautement improbable qu'un même modèle de machine learning soit valide pour tous les types de site marchand, car les préférences et les comportements d'achat des consommateurs varient considérablement en fonction de la nature du site marchand.
Par exemple, les comportements d'achat sur un site de luxe sont susceptibles d'être très différents de ceux sur un site discount. Les clients d'un site de luxe peuvent être plus sensibles à des facteurs tels que la qualité, le prestige et l'exclusivité, tandis que les clients d'un site discount peuvent être plus sensibles aux prix bas et aux offres spéciales.
De même, les comportements d'achat sur un site spécialisé peuvent être très différents de ceux sur un site généraliste. Les clients qui visitent un site spécialisé ont souvent des besoins ou des intérêts spécifiques, tandis que les clients qui visitent un site généraliste peuvent être plus diversifiés.
Pour fonctionner correctement, les modèles de machine learning devraient donc être adaptés à chaque site marchand pour fournir des recommandations précises et personnalisées. Cela nécessite une compréhension approfondie des données et des comportements d'achat des consommateurs sur chaque site, ainsi que des techniques d'apprentissage automatique avancées pour adapter le modèle aux caractéristiques uniques de chaque site. Ce qui n’est pas le cas.
Au final, les modèles sont donc des modèles génériques, témoignant de la réalité d’un consommateur moyen qui n’existe que…théoriquement.
L’analyse situationnelle et l‘IA Inductive de Netwave échappant à la création de modèles ne connaissent pas ce problème. Ils se concentrent sur les visiteurs d’un site donné et ne produisent sur cette base des prédictions que pour ce site. Ils s'auto adaptent ainsi nativement à la spécificité de chaque site.
Au final, si le machine learning a représenté un progrès par rapport à un traitement statistique manuel, il n’est que la 2° génération d’outils de recommandation personnalisée.
La 3° génération, dont l’IA Inductive de Netwave, a été spécifiquement pensée, elle, pour l’interaction digitale en temps réel individualisée.
L’IA Inductive n’apporte pas, certes, une vérité statistique. Mais elle apporte une efficience bien plus élevée. Comme le vendeur en magasin, elle ne vous apportera pas de vérité statistique mais… elle vendra.
PS: efficience confirmée par tous nos A/B tests Vs des systèmes de machine learning. Résultats par simple demande à mathias@netwave.ai.