Protéger votre business des erreurs de l’IA

L’IA générative produit souvent des contenus inexacts

L’IA générative évolue rapidement. Mais la vitesse et l’élégance ne signifient pas qu’elle a toujours raison. Les grands modèles de langage, comme ceux qui alimentent la plupart des outils d’IA générative actuels, fonctionnent en prédisant le mot suivant sur la base d’un modèle statistique et non d’une connaissance du monde réel. Ils ne comprennent pas ce qu’ils disent. Ils savent simplement ce qui « sonne » juste, statistiquement parlant. C’est leur travail : créer un langage fluide et plausible basé sur des modèles qu’ils ont déjà vus.

Il en résulte un problème crucial. Ces systèmes peuvent produire des textes qui donnent l’impression d « être intelligents et sûrs d’eux, mais leur véracité n’est pas garantie. L » éloquence de ces modèles est souvent trompeuse. Un texte peut sembler bien écrit, voire crédible, et pourtant être fondamentalement erroné. Cela devient un risque coûteux lorsque les entreprises commencent à prendre des décisions basées sur les résultats de la GenAI sans les vérifier.

Les dirigeants doivent être clairs : La GenAI n’a pas d’intention. Elle reproduit des modèles de connaissances, certains réels, d’autres inexacts. Ainsi, même les informations fournies en toute confiance par l’IA doivent être remises en question, testées et vérifiées avant d’être utilisées à des fins stratégiques. Les erreurs ne sont pas des bogues dans ces modèles, ce sont des résultats attendus s’ils ne sont pas contrôlés.

Matt Aslett, directeur de la recherche, de l’analyse et des données à l’ISG, souligne que « les LLM n’ont aucune compréhension sémantique des mots générés ». Ils ne distinguent pas le vrai du faux, ils créent simplement ce qui correspond au modèle d’entrée. Mike Miller, Senior Principal Product Leader chez Amazon Web Services, renforce ce point en notant que ces modèles « peuvent sembler éloquents » même lorsque la réponse est inexacte ou entièrement fabriquée.

Si vous considérez GenAI comme un copilote, vous devez valider ce qu’il vous montre. Ne lui confiez jamais les commandes sans les avoir examinées, en particulier lorsqu’elle a l’air certaine, même si ce n’est pas le cas.

La vérification et le contrôle humain sont essentiels

Utilisez l’IA, mais ne l’utilisez jamais à l’aveuglette. La vérification est obligatoire. La GenAI peut rédiger du contenu, répondre à des questions et même générer des rapports internes. Mais les dirigeants ne doivent jamais confondre vitesse et fiabilité. Vérifiez toujours. Les humains doivent rester dans la boucleLes humains doivent rester dans la boucle, non seulement pour examiner les résultats, mais aussi pour les remettre en question lorsqu’ils ne correspondent pas aux vérités connues.

Les meilleures organisations mettent en place des systèmes pour vérifier les réponses générées par l’IA par rapport à des données internes fiables, des normes publiques ou des références réglementaires. Cela peut prendre la forme de moteurs de validation automatisés ou d’auditeurs humains qui examinent le contenu avant qu’il ne soit pris en compte. Quoi qu’il en soit, vous avez besoin de cette couche entre la machine et la décision. Sinon, vous êtes à deux doigts d’une atteinte à votre réputation, ou pire, de retombées réglementaires.

Matt Aslett a été très clair : « Les utilisateurs doivent toujours vérifier l’exactitude factuelle du contenu généré par GenAI et des sources citées, qui peuvent également être des fabrications ». Même les sources qui semblent être référencées par un système GenAI peuvent ne pas être réelles. C’est un problème sérieux. Satish Shenoy, vice-président mondial des alliances technologiques et de la GenAI chez SS&C Blue Prism, a présenté plusieurs moyens utilisés par les entreprises pour résoudre ce problème, notamment les journaux d’audit, le débogage prédictif et ce que l’on appelle les processus « human-in-the-loop », dans lesquels un expert supervise les décisions de l’IA en temps réel.

Pour les PDG et les DSI, cela se traduit par la mise en place de flux de travail dans lesquels les humains supervisent l’IA de manière significative, au lieu d’approuver sans broncher tout ce qu’elle produit. Toutes les entreprises n’ont pas besoin de construire leur propre modèle de GenAI. Mais toutes les entreprises doivent intégrer des vérifications croisées et une supervision dans leur stratégie GenAI. Dans ce nouveau territoire, le jugement humain est votre principale protection.

Il est risqué de s’en remettre uniquement à la GenAI pour prendre des décisions

C’est une erreur de confier entièrement les décisions à la GenAI. La technologie génère des réponses basées sur des probabilités et non sur des faits. Elle n’est pas conçue pour faire la différence entre des nuances critiques, en particulier dans les environnements à fort impact où les faux pas ont des conséquences financières, juridiques ou sur la réputation. Si vous prenez ses réponses pour argent comptant et agissez en conséquence sans contrôle approprié, vous acceptez un niveau de risque que peu d’organisations peuvent se permettre.

Nous avons déjà assisté à des échecs retentissants. Dans un cas, le chatbot d’Air Canada a mal informé un client sur les politiques de remboursement. Cette erreur n’est pas restée dans les coulisses, elle est devenue publique. Dans un autre cas, des cabinets d’avocats américains ont soumis des documents juridiques rédigés à l’aide de GenAI qui citaient des affaires judiciaires qui n’avaient jamais existé. Il s’agit là d’erreurs évitables. Elles se sont produites parce que des professionnels se sont fiés au système au lieu de l’examiner de près.

Matt Aslett de l’ISG le dit clairement : les décisions basées uniquement sur les résultats de la GenAI peuvent entraîner des « décisions commerciales coûteuses » et même « des amendes réglementaires et des atteintes à la réputation ». La mauvaise utilisation de la GenAI n’est pas seulement une défaillance technique, c’est aussi une défaillance de gouvernance. Les dirigeants doivent s’assurer que les applications d’IA sont mises en œuvre avec une responsabilité claire, en utilisant des protocoles de révision et des voies d’escalade lorsque les informations du modèle sont utilisées dans des contextes externes ou réglementés.

Les dirigeants doivent fixer les attentes en interne : utiliser la GenAI pour aller vite, certes, mais vérifier avant de finaliser quoi que ce soit. Cette norme interne unique permettra d’éviter de nombreux retours en arrière publics par la suite.

L’amélioration de la précision de la GenAI nécessite des stratégies sur plusieurs fronts

L’amélioration de la précision de GenAI n’est pas le fruit d’une simple modification d’un paramètre. Il s’agit d’une combinaison de formation, d’apports ciblés, d’une meilleure gouvernance et de tests rigoureux. L’une des solutions consiste à recycler les modèles en utilisant les données de l’organisation, ce qui améliore l’alignement sur le langage, les métriques et les normes spécifiques de l’entreprise. Le compromis est le coût et la complexité, toutes les entreprises ne souhaitant pas investir dans la maintenance d’une infrastructure de modèle privée.

Pour obtenir des résultats plus rapides, l’ingénierie rapide peut guider le modèle pour qu’il se concentre uniquement sur des ensembles de données spécifiques ou qu’il fonctionne dans le cadre des contraintes fournies par l’utilisateur. Cette approche améliore la fiabilité à court terme, mais elle ne s’applique qu’à cette seule interaction. Le modèle ne retient ni n’apprend de ce contexte au-delà de l’invite. C’est fonctionnel, mais limité.

Mike Miller, d’Amazon Web Services, introduit une autre technique : le raisonnement automatisé. Il utilise la logique et les mathématiques pour vérifier si une affirmation peut être prouvée ou si les politiques sont logiquement valables. Cette méthode offre de solides garanties, mais elle nécessite des hypothèses de base claires. Si vos données d’entrée sont erronées, même cette méthode a des limites.

Satish Shenoy, de SS&C Blue Prism, présente des stratégies complémentaires, telles que l’enregistrement et l’audit, le débogage prédictif et l’ajustement du modèle lorsque des erreurs sont identifiées. Il insiste également sur le renforcement des cadres de gouvernance et sur la formation de tout humain impliqué dans la boucle. La résolution d’un seul problème est rarement suffisante. Une solution durable nécessite un retour d’information continu, un contrôle des processus et une supervision.

Ce qu’il faut retenir pour les chefs d’entreprise : Ne vous fiez pas à une seule méthode. Construisez un système. Vous aurez besoin d’une stratégie combinée qui s’aligne sur votre modèle opérationnel, vos réglementations sectorielles et votre tolérance au risque. Plus le résultat est critique, plus vous devez vous efforcer d’en garantir l’exactitude avant qu’il n’entre dans les circuits de production ou de décision.

L’exactitude est essentielle dans les secteurs réglementés et sensibles à la sécurité.

Dans les secteurs réglementés tels que la santé, la finance et les infrastructures publiques, la précision n’est pas facultative, elle est fondamentale. Dans ces secteurs, les erreurs ne sont pas seulement coûteuses ; elles peuvent entraîner des violations de la réglementationLes erreurs dans ces secteurs ne sont pas seulement coûteuses ; elles peuvent entraîner des violations de la réglementation, des risques de sécurité et une exposition juridique. Lorsque vos systèmes d’IA fournissent des recommandations ou des informations aux clients, aux patients ou aux équipes internes, une erreur peut entraîner des audits, des amendes et une atteinte à la réputation à long terme.

Les systèmes d’IA générative ne sont pas intrinsèquement alignés sur ces exigences de précision. Ils n’ont pas été construits avec une logique réglementaire ou des seuils de sécurité intégrés. C’est pourquoi l’exactitude et l’assurance de l’exactitude doivent être planifiées et appliquées par le biais d’une stratégie, d’une infrastructure et d’un processus. Il ne s’agit pas d’un domaine où l’on peut s’appuyer sur des configurations par défaut ou supposer une fiabilité générale.

Satish Shenoy, vice-président mondial des alliances technologiques et de GenAI chez SS&C Blue Prism, le dit clairement : la validation est nécessaire. Il insiste sur le fait que les résultats de l’IA doivent être examinés lorsqu’ils sont utilisés dans un domaine impliquant « des informations sur la sécurité, les finances ou la santé fournies aux clients ». Cela signifie qu’il faut intégrer des points de contrôle, des validations et des alertes pour éviter que des données erronées ne parviennent jusqu’au point d’utilisation.

Sur le plan opérationnel, cela nécessite des cadres de gouvernance adaptés. Les dirigeants doivent s’assurer que les rôles, les critères d’évaluation, les protocoles de test et les voies d’escalade des erreurs sont clairement définis. Les équipes qui travaillent avec la GenAI dans ces environnements ont besoin d’une formation spécialisée, non seulement sur la manière d’utiliser les systèmes, mais aussi sur la manière d’examiner et de vérifier leurs résultats sur la base de normes juridiques et spécifiques au domaine.

Les dirigeants de ces secteurs ne peuvent pas se permettre des incohérences en matière d’IA. La GenAI peut apporter une valeur ajoutée, mais uniquement lorsqu’elle est soutenue par des systèmes qui garantissent que ses résultats sont adaptés au contexte, vérifiés et alignés sur les attentes réglementaires. Si vous déployez la GenAI dans ces secteurs sans véritables mécanismes de validation, vous vous exposez à des conséquences.

Principaux enseignements pour les dirigeants

• Les résultats de la GenAI semblent convaincants mais ne sont pas toujours corrects : Les dirigeants doivent partir du principe que la GenAI manque de compréhension et considérer les résultats comme potentiellement inexacts, quelle que soit leur crédibilité apparente.
• La vérification doit être intégrée à chaque flux de travail : Le contenu généré par l’IA doit toujours être examiné par des humains ou des systèmes de validation avant d’être utilisé dans la prise de décision ou la communication.
• S’appuyer uniquement sur la GenAI présente un risque pour l’entreprise : Les dirigeants doivent éviter les faux pas coûteux en traitant la GenAI comme un outil d’assistance et non comme une autorité décisionnelle autonome, en particulier dans les environnements réglementés.
• L’amélioration de la précision nécessite une stratégie à plusieurs niveaux : Les dirigeants doivent combiner des tactiques à court terme telles que l’ingénierie rapide avec des investissements à long terme dans la formation personnalisée, la gouvernance et le raisonnement automatisé pour l’évolutivité.
• Les industries à fort enjeu exigent une validation hermétique : Dans des secteurs tels que la santé et la finance, les organisations doivent mettre en place une surveillance stricte, des systèmes de contrôle et une formation du personnel pour éviter les erreurs critiques générées par l’IA.