"Les modèles d’IA sont extrêmement complexes, à tel point qu’il est impossible pour les humains de comprendre précisément les calculs exacts d’un modèle entier.
L’IA explicable, ou XAI, est un ensemble de processus et de méthodes qui permettent aux gens de comprendre comment l’algorithme va du point A (les données d’entrée, comme l’historique financier d’une personne) au point B (la conclusion, comme l’approbation ou non d’un prêt).
En comprenant l’impact attendu du modèle et les biais potentiels, et en ayant accès au résumé de la cartographie du modèle complet, les utilisateurs peuvent comprendre les résultats des algorithmes d’apprentissage automatique. Ce qui peut être un biais pour une plus grande confiance dans l’IA."
"Pour comprendre l’origine d’un modèle, il faut se poser quelques questions : Comment le modèle a été formé, comment les données ont été utilisées et comment les biais dans les calculs ont été mesurés et atténués ?
Ces questions sont l’équivalent, pour la science des données, de l’explication de l’école qu’a fréquentée votre analyste financier – avec l’identité de ses professeurs, ce qu’il a étudié et les notes qu’il a obtenues. L’obtention d’un résultat correct est davantage une question de processus et de traces écrites qu’une question d’IA pure, mais elle est essentielle pour établir la confiance dans un modèle."
https://www.silicon.fr/avis-expert/ia-explicable-comprendre-lia-cest-possible