L’ancienne méthode d’analyse ne suffit plus pour l’IA

Les chatbots d’IA générative nécessitent des analyses spécialisées pour lutter contre les hallucinations et renforcer la confiance.

L’IA générative n’est pas imprévisible par accident. Elle est imprévisible de par sa conception. Ces systèmes, alimentés par de grands modèles de langage (LLM), ne récupèrent pas les faits comme le font les bases de données traditionnelles. Ils prédisent le texte sur la base de modèles, de contextes et de probabilités. Cela signifie qu’ils peuvent produire des informations qui semblent correctes mais qui ne le sont pas. C’est ce qu’on appelle une hallucination. Et si votre chatbot d’IA donne de faux noms de produits ou renvoie à des pages qui n’existent pas, vous ne vous contentez pas d’ennuyer les utilisateurs, vous mettez votre marque en péril.

SWOOP, le chatbot IA développé par SWOOP Analytics, l’équipe a rencontré exactement ce type de problèmes. Liens hallucinés. Des réponses erronées. Des questions incomprises. Il ne s’agissait pas de bogues logiciels, mais de défaillances du code et du contexte. En réalité, ces chatbots ne « savent » pas les choses ; ils génèrent des résultats basés sur les modèles de leur formation et de leur matériel de référence. Ainsi, lorsque le contenu n’est pas clair, qu’il est incomplet ou qu’il manque de contexte, le robot comble les lacunes. C’est une responsabilité.

La solution n’est pas d’augmenter le contenu. C’est une meilleure visibilité. Si vous déployez la GenAI à grande échelle, vous avez besoin d’analyses qui montrent où se produisent les erreurs, qui vous expliquent pourquoi elles se produisent et qui remontent à la source de chaque réponse. Vous devez savoir quelles réponses sont basées sur un contenu réel et fondé, et quelles réponses ont été improvisées par le modèle. Sans cela, vous volez à l’aveuglette. Le niveau suivant d’analyse ne se contente pas de rendre compte de l’utilisation. Il vous indique si votre système est fiable.

Pour que les chatbots d’IA réussissent dans les environnements d’entreprise, la confiance est aussi importante que la précision. Cette confiance naît de la transparence, de la possibilité de vérifier n’importe quelle réponse, de voir le document sur lequel elle est basée et d’évaluer la confiance qui la sous-tend. Sans cette couche, vous devinez. Avec elle, vous construisez des systèmes que vos utilisateurs et vos équipes de conformité peuvent soutenir.

L’évolution de l’analyse doit englober un engagement plus profond de l’utilisateur et la performance du contenu.

La plupart des tableaux de bord des chatbots vous indiquent aujourd’hui le nombre de sessions que vous avez eues, le nombre de messages que le robot a traités et peut-être le nombre de fois où il n’a pas réussi à comprendre une demande. C’est utile, mais c’est loin d’être suffisant pour comprendre comment l’IA générative se comporte dans des conversations réelles.

Lorsque l’équipe de SWOOP Analytics a examiné 950 conversations de chatbot impliquant le Dr. SWOOP, elle a trouvé 1 393 questions d’utilisateurs. Près de 30 % d’entre elles étaient des questions de suivi. Ce n’est pas anodin. Un suivi signifie que l’utilisateur n’a pas obtenu ce qu’il voulait de la première réponse. Ou qu’il était curieux et souhaitait obtenir plus de détails. Dans tous les cas, il s’agit d’un signe d’engagement qui ne peut être ignoré. Et cela vous en dit plus sur le sentiment du public et l’intérêt pour le produit que ne pourraient jamais le faire des consultations statiques de la FAQ.

Ils sont allés plus loin en classant ces questions par thèmes, comme l’interprétation des données, l’aide à la rédaction, l’analyse comparative, le suivi de l’utilisation et les demandes de renseignements occasionnelles. Ils ont ensuite évalué les scores de confiance et de sentiment en fonction des thèmes. Par exemple, les questions sur les données relatives au lieu de travail ont bénéficié d’un niveau de confiance élevé, car le système disposait d’un contenu solide, mais le sentiment était plus faible. Cela s’explique probablement par le fait que les questions étaient de nature analytique et technique. En revanche, les sujets tels que l’interaction créative ou les requêtes occasionnelles ont suscité un faible niveau de confiance, ce qui laisse supposer une couverture de contenu plus faible dans ces domaines.

Ce type d’informations vous permet de savoir où votre contenu fonctionne et où il a besoin d’être renforcé. Il fournit une feuille de route, non seulement pour améliorer le chatbot, mais aussi pour aligner l’ensemble de votre écosystème de connaissances sur la demande des utilisateurs. Les indicateurs traditionnels ne vous montreront pas cela. Mais les analyses modernes des chatbots doivent le faire. Si votre système ne vous indique pas quels sont les sujets qui frustrent les utilisateurs ou qui provoquent un décrochage, vous volez avec des instruments qui ont été construits à une autre époque.

Les dirigeants doivent aller au-delà des statistiques d’engagement de surface. Dans les environnements à fort enjeu, la finance, la santé, les opérations internes, vous n’avez pas seulement besoin d’une IA qui parle bien. Vous avez besoin d’une IA qui comprenne le contexte, qui assure un suivi avec clarté et qui s’adapte en permanence en fonction du comportement réel de l’utilisateur. Cela commence par de meilleures analyses, conçues pour le fonctionnement réel des systèmes génératifs.

L’analyse robuste du contenu grâce à la catégorisation RAG améliore la fiabilité du dépôt de connaissances

Si vous utilisez un chatbot d’IA sans visibilité au niveau des documents, vous passez à côté de la capacité la plus importante en matière de génération assistée par récupération (RAG) la traçabilité. Le système RAG vous permet de relier chaque réponse du chatbot directement au contenu qui l’a étayée. Ce n’est pas facultatif, c’est essentiel si votre activité dépend de l’exactitude, de la fiabilité et de la conformité réglementaire.

SWOOP Analytics a analysé la manière dont son robot traitait le contenu d’un large éventail de documents. Ils n’ont pas deviné quels documents étaient importants. Ils les ont mesurés. Le résultat est une classification en quatre zones : pierres angulaires, joyaux cachés, vague/général et faible valeur. Chaque zone vous apprend quelque chose d’utile. Les pierres angulaires sont des documents à haute fréquence et à haute pertinence. C’est là que se trouvent vos connaissances institutionnelles essentielles. Les pierres précieuses cachées sont sous-utilisées mais précises, et stimulent les performances une fois qu’elles font surface. Les documents vagues apportent une contribution fréquente mais ne correspondent pas aux requêtes. Les documents de faible valeur sont rarement utilisés et souvent mal alignés.

La compréhension de ces modèles d’utilisation permet à votre équipe de contenu d’obtenir un retour d’information en temps réel. Au lieu de télécharger des bases de connaissances statiques massives et d’espérer que le modèle puisse les trier, vous optimisez en fonction des performances réelles. Les documents qui sont fréquemment utilisés mais dont la correspondance est vague peuvent nécessiter des modifications pour plus de clarté. Les documents qui sont sous-utilisés mais qui obtiennent un score élevé en termes d’exactitude peuvent être rehaussés ou intégrés dans un plus grand nombre de réponses.

D’un point de vue commercial, il s’agit de contrôler la qualité. Il s’agit d’aligner vos informations les plus précieuses sur la capacité du système à fournir des réponses précises. Lorsque vous savez à quel contenu l’IA fait référence et dans quelle mesure elle correspond à chaque requête de l’utilisateur, vous avez une connaissance opérationnelle complète de ce que votre chatbot sait et de ce qu’il ne sait pas.

Les dirigeants qui souhaitent une solution évolutive basée sur le GPT sans introduire de risque opérationnel doivent considérer l’analyse de contenu comme un élément essentiel de la performance de l’IA, et non comme une réflexion après coup. Une catégorisation intelligente fait passer l’IA de l’expérimentation à une infrastructure fiable.

La visualisation du chevauchement des documents à l’aide de cartes de réseau permet d’éviter les conflits de contenu

À mesure que les chatbots d’entreprise s’étendent à toutes les fonctions de l’entreprise, les documents qui se chevauchent peuvent donner lieu à des réponses contradictoires. Lorsque plusieurs sources contiennent des informations similaires mais non identiques, les systèmes d’IA générative peuvent générer des incohérences, ce qui perturbe les utilisateurs et érode la confiance. C’est le signe que votre architecture de contenu a besoin d’être affinée.

SWOOP Analytics s’est attaqué à ce problème en utilisant l’intelligence artificielle pour calculer les similitudes sémantiques entre les documents, visualisées au moyen d’une carte interactive du réseau. L’approche va au-delà de l’appariement traditionnel de mots-clés et s’intéresse au chevauchement conceptuel réel. Dans le système, les documents sont représentés sous forme de nœuds et les relations entre eux sont illustrées par des lignes de connexion. Une similarité plus forte apparaît sous la forme d’un lien plus épais. Cela permet non seulement d’identifier les documents redondants, mais aussi de mettre en évidence des groupes de contenus que l’intelligence artificielle peut combiner lors de la formulation des réponses.

Ce qui est particulièrement intéressant, c’est que cette méthode permet de mettre en évidence des documents centraux. Un exemple se trouve au centre d’une grappe dense. Cela vous indique qu’il s’agit d’un nœud très connecté, soutenant de nombreuses réponses sur différents sujets. Ce document mérite probablement une attention particulière pour s’assurer qu’il est parfaitement exact, clairement rédigé et à jour.

Pour les cadres, les implications sont stratégiques. Vous n’avez pas besoin de plus de contenu, vous avez besoin du bon contenu, soigneusement sélectionné et synchronisé. Si différents services fournissent à votre chatbot des informations similaires, assurez-vous qu’elles ne sont pas contradictoires, fragmentées ou désynchronisées. Sinon, votre IA risque de produire des réponses disparates qui diluent votre message et embrouillent vos utilisateurs.

La visualisation en réseau de la similarité des documents vous permet de gérer cette complexité. Elle permet de s’assurer que votre plateforme d’IA est cohérente dans la manière dont elle répond aux questions, quel que soit le nombre d’équipes qui contribuent à la base de connaissances. Alors que l’IA générative assume de plus en plus de responsabilités en matière de service à la clientèle, d’orientation interne et de communication politique, l’alignement du contenu n’est pas un avantage. Elle est essentielle sur le plan opérationnel.

L’analyse des conversations à plusieurs tours offre des informations essentielles sur la satisfaction des utilisateurs.

L’IA générative ne se limite pas à des questions ponctuelles. Les utilisateurs s’engagent dans une interaction en va-et-vient. C’est ainsi qu’ils testent l’IA, en affinant leurs questions, en réagissant aux réponses et en demandant des éclaircissements ou des approfondissements. Traiter chaque requête comme un événement isolé, c’est passer à côté de la dynamique réelle de l’engagement des utilisateurs.

L’examen par SWOOP Analytics de près de 1 400 interactions avec les utilisateurs a révélé qu’environ 30 % d’entre elles étaient des questions de suivi. Cela montre que les utilisateurs sont suffisamment engagés pour continuer. Lorsque ces suivis génèrent des réponses meilleures ou plus précises, vous avez créé une continuité. Cela renforce la confiance. Mais si la précision du suivi stagne ou diminue, c’est là que la confiance s’effondre.

Les données ont montré que la plupart des fils de discussion, c’est-à-dire des dialogues de deux échanges ou plus, ont maintenu ou augmenté la confiance au fil du temps. Seuls 8 % des fils de discussion se sont terminés par une baisse de confiance, ce qui est un signe fort que l’amélioration des messages-guides ou du contenu à mi-parcours de la conversation est une stratégie viable. Cela signifie également que la détérioration de ces fils de discussion est détectable si vous surveillez la qualité de l’interaction au niveau du fil de discussion, et pas seulement par message.

Pour les dirigeants d’entreprise, la conclusion est directe : les mesures axées sur la trajectoire des fils permettent un réglage proactif du système. Vous recevez un signal en temps réel lorsque la fiabilité diminue et vous pouvez intervenir, soit en améliorant le contenu, soit en ajustant le renforcement rapide. Ignorer les chaînes de conversation, c’est laisser de côté des informations essentielles.

Lorsque les utilisateurs s’engagent dans une recherche en plusieurs étapes, ils expriment un besoin qui va au-delà des réponses des FAQ. L’analyse au niveau du fil conducteur révèle dans quelle mesure votre système prend en charge ce comportement. C’est là que l’expérience client, la stratégie d’assistance et l’ingénierie de contenu se croisent. Si vous voulez un chatbot qui apporte une réelle valeur ajoutée, vous devez inspecter non seulement le point de départ, mais aussi chaque étape du parcours de l’utilisateur.

Les tableaux de bord traditionnels ne sont pas à la hauteur ; les nouvelles mesures pour la GenAI doivent tenir compte de la qualité des réponses, de l’hallucination et de la confiance.

La plupart des plateformes d’analyse des chatbots ont été conçues pour des architectures plus anciennes, des bots pilotés par des scripts, des menus et des réponses basées sur des règles. Avec l’IA générative, cette base est dépassée.

Les grands modèles de langage ne se contentent pas de catégoriser les entrées et de renvoyer des réponses en stock. Ils génèrent des réponses de manière dynamique sur la base de probabilités dans d’énormes ensembles de données. Cela introduit de nouvelles variables : les risques d’hallucination, la variabilité de la confiance et les erreurs imprévisibles de mise à la terre. Les tableaux de bord traditionnels ne tiennent pas compte de tout cela.

SWOOP Analytics a remédié à ces limitations en élaborant un nouvel ensemble de mesures adaptées aux systèmes génératifs. Un score de confiance a été ajouté à chaque réponse. Les documents à l’origine de chaque réponse ont été suivis et reliés en temps réel. Le sentiment a été mesuré à partir de l’entrée de l’utilisateur, détectant non seulement la frustration mais aussi la curiosité active. Des fils de conversation entiers ont été évalués pour déterminer si la confiance augmentait ou diminuait, et des pistes d’audit ont été créées pour toutes les interactions afin de permettre une post-analyse complète au niveau de l’entreprise.

Cette approche remplace les mesures simples telles que le nombre de messages ou le taux de repli par des indicateurs de grande valeur liés à l’exactitude, à la clarté et à la fiabilité. Une amélioration essentielle est le suivi des hallucinations, un élément dont les chatbots traditionnels n’ont pas besoin, mais que les chatbots GenAI doivent contrôler. Sans cela, vous ne pouvez pas mesurer la fréquence à laquelle votre système invente des informations, ni le danger que cela peut représenter pour votre organisation.

Pour les dirigeants de C-suite, voici l’essentiel : si votre IA produit des réponses critiques pour l’entreprise, vous devez mettre en place des systèmes qui mesurent si ces réponses sont exactes, traçables et complètes. Vous devez savoir quel contenu génère des réponses. Vous devez savoir comment vos utilisateurs réagissent. Et vous avez besoin de mesures qui peuvent révéler les vulnérabilités avant qu’elles ne deviennent des échecs.

L’IA vérifiable est la prochaine norme pour les entreprises. Si votre système génératif ne répond pas à cette norme, il n’est pas prêt à prendre des décisions pour votre entreprise ou à parler à vos clients.

Principaux faits marquants

• L’IA générative nécessite des outils d’analyse adaptés : Les dirigeants devraient mettre en œuvre des outils d’analyse qui permettent de suivre les hallucinations, l’ancrage du contenu et l’évaluation de la confiance, éléments essentiels pour garantir la fiabilité des réponses générées par l’IA.
• Les mesures traditionnelles des chatbots sont insuffisantes pour la GenAI : passez des statistiques d’utilisation de base à des signaux d’engagement tels que les taux de suivi et l’évaluation des sentiments pour obtenir une image plus riche de la façon dont les utilisateurs interagissent avec les systèmes d’IA.
• La qualité du contenu doit être mesurée et optimisée à la source : Utilisez la catégorisation des documents pour identifier le contenu à fort impact (Cornerstones) et les actifs sous-utilisés mais précieux (Hidden Gems) afin d’améliorer la fiabilité des réponses.
• Le chevauchement des documents doit faire l’objet d’une surveillance constante : Les dirigeants devraient investir dans des outils visuels qui cartographient le chevauchement des contenus conceptuels afin d’éviter les réponses contradictoires des chatbots et de s’assurer que les connaissances internes restent alignées.
• Les informations au niveau du fil de discussion révèlent la satisfaction de l’utilisateur et les points à risque : Surveillez les conversations à plusieurs tours pour identifier les moments où la confiance s’améliore ou se détériore, ce qui permet d’intervenir rapidement avant que la confiance de l’utilisateur ne s’érode.
• Les tableaux de bord existants ne répondent pas aux besoins de performance de la GenAI : Remplacez les KPI obsolètes par des mesures conçues pour les LLM, suivez les hallucinations, l’utilisation des documents, le sentiment et la qualité de la résolution pour maintenir la confiance à l’échelle.