L’IA en service client a besoin de limites plus strictes

Le service client par IA générative crée un problème de contrôle

Quatre cas impliquant Anthropic, Cursor, des systèmes du gouvernement écossais et Air Canada montrent le même schéma d’échec. L’IA générative peut produire une réponse plausible que l’entreprise n’a jamais approuvée. Les clients peuvent alors considérer cette réponse comme une déclaration officielle.

Cette capacité modifie le profil de risque du support automatisé. Les chatbots traditionnels peuvent sélectionner parmi des réponses approuvées. L’IA générative peut créer de nouvelles explications en temps réel. Cette flexibilité améliore la qualité conversationnelle, mais elle laisse aussi au système la possibilité d’inventer des politiques, des faits et des justifications pour des décisions de l’entreprise.

La contrainte essentielle est le contrôle de ce que l’entreprise communique. Une réponse fluide a peu de valeur métier si sa base factuelle est erronée. Les erreurs deviennent particulièrement graves dans des domaines tels que l’accès aux comptes, la sécurité, la tarification, les remboursements, les conditions juridiques et l’information publique. Une phrase générée dans ces contextes peut entraîner des pertes pour les clients, des litiges, des coûts de remédiation ou un examen réglementaire.

Des cas récents rendent ce risque concret. Les systèmes automatisés d’Anthropic ont traité de manière incorrecte des interactions avec des clients et liées à la sécurité. Le bot de support de Cursor a présenté un bug logiciel comme une politique de l’entreprise. Des systèmes d’IA fournissant des informations sur les élections écossaises ont produit de fausses informations de vote. Air Canada a été condamnée à indemniser un client après que son chatbot a donné des informations incorrectes sur les tarifs de deuil.

La décision concernant Air Canada est particulièrement pertinente pour les dirigeants, car elle établit un lien entre la sortie de l’IA et la responsabilité de l’entreprise. Une entreprise ne peut pas supposer en toute sécurité qu’un canal automatisé échappe à sa responsabilité habituelle en matière de communication client. Lorsque le bot s’exprime via le site web ou le service de l’entreprise, les clients peuvent agir sur la base de ce qu’il dit.

Le principe de conception approprié est donc une autorité limitée. L’automatisation reste utile, mais les systèmes en contact avec les clients doivent fonctionner à partir d’informations vérifiées et dans des limites explicites. Les décisions à fort impact doivent prévoir des voies d’escalade et une revue humaine. Là où l’exactitude factuelle doit être déterministe, des réponses préapprouvées offrent un contrôle plus fort qu’une génération ouverte.

Pour les dirigeants, la question porte moins sur le caractère humain du chatbot que sur ce qu’il est autorisé à dire et à faire. Chaque déploiement d’IA pour le service client doit avoir des limites claires, un accès à jour à des faits approuvés, des journaux d’audit, des règles d’escalade et des contrôles sur les actions affectant les comptes ou les données. L’IA générative peut encore améliorer le service. Son autonomie doit correspondre au coût de l’erreur.

Le bot de sécurité d’Anthropic a rejeté une vulnérabilité qu’Anthropic avait déjà traitée

Un incident survenu en février 2026 chez Anthropic montre le problème à un niveau technique. Des chercheurs de Wiz ont signalé un problème de sécurité impliquant des liens symboliques malveillants, ou symlinks, dans Claude Code. Un symlink redirige un logiciel d’un emplacement de fichier ou de répertoire vers un autre, ce qui peut créer des risques de sécurité lorsqu’une application suit cette redirection sans garanties suffisantes.

Le système automatisé de triage d’Anthropic a rejeté le signalement. Il a déclaré : « This falls outside our current threat model. » Le bot a soutenu que Claude Code exigeait des utilisateurs qu’ils confirment qu’ils faisaient confiance à un répertoire et qu’ils approuvent l’invite d’autorisation correspondante. Il a donc présenté le scénario signalé comme un comportement qu’Anthropic avait délibérément exclu de ses hypothèses de sécurité.

La réponse réelle de l’ingénierie d’Anthropic contredisait cette explication. L’entreprise a ensuite indiqué aux chercheurs que l’avertissement concernant les symlinks dans la boîte de dialogue d’autorisation Edit/Write avait été livré dans Claude Code v2.1.32 le 5 février 2026. Anthropic a précisé que ce changement résultait d’un « proactive security hardening based on internal review ». Le correctif avait été déployé neuf jours avant que Wiz ne soumette son signalement.

Le problème avait donc déjà fait l’objet d’une attention de l’ingénierie au sein d’Anthropic. Pourtant, le système de triage externe a généré une interprétation différente et l’a communiquée avec assurance. Anthropic a ensuite expliqué : « The decline to comment was an autoreply from our triage system. »

Cela compte parce que le triage de sécurité est un processus métier à fortes conséquences. Les chercheurs externes ont besoin d’informations exactes pour savoir si les signalements ont été reçus, compris et transmis au bon niveau. Un système automatisé qui invente une justification technique peut fausser ce processus. Il peut aussi donner aux chercheurs la fausse impression que l’entreprise a consciemment accepté un risque de sécurité particulier.

La vulnérabilité avait une portée plus large. Wiz a identifié Anthropic parmi plusieurs organisations concernées, aux côtés d’Amazon, Google, Cursor et d’autres. Dans le cas d’Anthropic, la revue interne semble avoir fonctionné : l’entreprise avait détecté le problème et déployé une protection avant le signalement de Wiz. C’est la couche de communication qui n’a pas reflété ce travail.

Pour les dirigeants, cette distinction est importante. Les systèmes d’assistance par IA ont besoin d’un accès à des informations internes faisant autorité et à jour s’ils sont censés expliquer des décisions techniques. Lorsque ces informations ne sont pas disponibles, la réponse la plus sûre est un accusé de réception contrôlé suivi d’une escalade vers une personne qualifiée. Le système ne doit pas fabriquer un raisonnement pour compléter la conversation.

L’expérience d’Anthropic indique une règle pratique de gouvernance. Plus les conséquences d’une réponse sont élevées, plus l’autorité du système d’IA doit être restreinte. Les divulgations de sécurité, la résiliation de compte, les questions juridiques, les engagements financiers et les incidents de perte de données justifient tous des contrôles stricts. L’IA peut classifier, acheminer, résumer et récupérer des informations approuvées dans ces workflows. Les jugements finaux et les explications exigent une vérification plus forte lorsqu’une réponse incorrecte peut devenir une déclaration officielle de l’entreprise.

Les décisions automatisées sur les comptes peuvent créer des dommages opérationnels immédiats

Un incident distinct chez Anthropic montre le risque qu’il y a à donner à des systèmes automatisés une autorité sur les comptes clients. Un bot d’Anthropic a annulé le compte IA d’une entreprise suisse qui dépendait du service. Un avocat est intervenu, et Anthropic a rétabli le compte en une journée. Environ 80 % des données du compte manquaient après le rétablissement.

Ce type d’échec a des conséquences plus graves qu’une réponse de support inexacte. L’annulation d’un compte modifie l’accès du client à un service de production. Pour une entreprise qui dépend d’une plateforme d’IA pour ses opérations quotidiennes, même une courte interruption peut affecter les workflows, les employés, les applications et les clients. La perte de données rend la reprise nettement plus difficile.

L’enjeu pour les dirigeants est l’autorité de décision. Un système automatisé peut être capable d’identifier une activité suspecte, des violations de politique ou un usage inhabituel. L’action finale peut néanmoins exiger un niveau de preuve plus élevé lorsqu’elle affecte l’accès à des services critiques ou à des données stockées. Les actions permanentes ou difficiles à inverser méritent des contrôles particulièrement stricts.

Cela signifie qu’il faut séparer la détection de l’exécution. L’IA peut identifier des problèmes potentiels, rassembler les preuves pertinentes, attribuer une priorité et faire passer les cas simples dans des workflows prédéfinis. Les actions à fort impact telles que la résiliation de comptes ou la suppression de données client doivent exiger une vérification plus forte. Les entreprises ont également besoin de procédures fiables de rollback et de récupération des données lorsqu’une décision automatisée s’avère erronée.

Les recours constituent un autre contrôle important. Les clients ont besoin d’un accès rapide à une personne disposant d’une autorité suffisante pour examiner l’ensemble du dossier et rétablir le service lorsque cela est approprié. Un canal d’escalade a une valeur limitée si l’évaluateur ne peut pas annuler rapidement l’action automatisée.

Les dirigeants devraient aussi exiger une piste d’audit pour les décisions automatisées ayant des conséquences importantes. L’entreprise doit pouvoir déterminer ce qui a déclenché une action, quelles politiques s’appliquaient, quelles informations le système a utilisées et qui a approuvé le résultat final. Ces enregistrements soutiennent la réponse aux incidents, la remédiation client, la gouvernance interne et l’examen juridique.

Le cas Anthropic illustre le coût potentiel de manière concrète : une annulation automatisée, une intervention juridique, un rétablissement du compte en une journée et environ 80 % des données du client manquantes ensuite. L’automatisation peut accélérer l’administration des comptes. Son autorité doit rester proportionnelle à la réversibilité et à l’impact métier de chaque action.

Le bot de support IA de Cursor a transformé un bug logiciel en fausse déclaration de politique

Cursor a été confronté à une autre version du même problème de gouvernance. Des clients étaient déconnectés lorsqu’ils changeaient d’appareil. Ce comportement était un bug. Un bot IA de support de premier niveau a indiqué aux clients que ces déconnexions étaient un « expected behavior under a new login policy ».

La réponse a donné aux clients une explication plausible avec l’autorité d’un canal de support officiel. Cette explication était incorrecte. Fortune a rapporté que le problème s’est propagé rapidement dans la communauté des développeurs, avec des signalements de clients annulant leurs abonnements et d’autres critiquant le manque de transparence de Cursor.

Michael Truell, cofondateur de Cursor, a fini par traiter la situation sur Reddit. Il a reconnu la « incorrect response from a front-line AI support bot » et a déclaré que l’entreprise enquêtait sur le bug qui provoquait la déconnexion des utilisateurs. Il a ajouté : « Apologies about the confusion here. »

L’incident met en lumière une faiblesse spécifique du support client génératif : un modèle peut combler un manque d’information par une explication cohérente. Ce comportement devient dangereux lorsque l’explication concerne une politique de l’entreprise. Les clients ont des raisons légitimes de considérer comme faisant autorité les déclarations sur les règles de connexion, les conditions de facturation, les remboursements, les restrictions de compte ou les exigences de sécurité.

Un système de support a donc besoin d’une distinction fiable entre les informations vérifiées et les incidents non résolus. Lorsqu’un nouveau problème technique apparaît, la réponse automatisée la plus sûre peut être simple : reconnaître le comportement signalé, enregistrer les détails pertinents et faire remonter le cas. Un système d’IA ne doit indiquer une cause ou une politique que lorsqu’il peut récupérer cette information à partir d’un système de référence approuvé et à jour.

Cela exige aussi une coordination opérationnelle. L’IA du support client a besoin d’un accès rapide aux incidents produit confirmés et aux changements de politique approuvés. Lorsque les équipes d’ingénierie découvrent un bug, les systèmes de support doivent recevoir rapidement un statut mis à jour. Lorsque la direction modifie une politique, le référentiel de politiques approuvées doit devenir la base faisant autorité pour les réponses aux clients.

Les dirigeants devraient suivre les défaillances de ce type comme des incidents de gouvernance. Un bot de support qui invente une politique d’entreprise peut affecter la rétention et la confiance à grande échelle, car les canaux automatisés peuvent répéter la même fausse affirmation dans de nombreuses conversations. La surveillance doit donc identifier des schémas de réponse inhabituels, des affirmations de politique non étayées, des taux de réclamation élevés et des changements soudains du sentiment client.

L’expérience de Cursor montre pourquoi la qualité conversationnelle est une mesure incomplète de la performance du support IA. L’exactitude, la provenance, l’escalade et la conformité aux politiques sont des contrôles métier plus importants. Le système doit savoir quelles informations il peut énoncer avec assurance et quand le cas exige une revue humaine.

L’IA liée aux élections exige un niveau plus élevé de contrôle factuel

Des systèmes d’IA utilisés pour fournir des informations sur les élections écossaises ont produit plusieurs erreurs factuelles graves. Ils ont inventé des scandales fictifs, donné une mauvaise date d’élection, indiqué à tort aux électeurs qu’ils avaient besoin d’une pièce d’identité dans les bureaux de vote et placé des candidats dans les mauvaises élections.

Ces erreurs montrent pourquoi une IA en contact avec le public a besoin de contrôles reflétant les conséquences des informations qu’elle fournit. Les dates d’élection, les exigences pour les électeurs, les listes de candidats et les procédures de vote sont des faits que les citoyens peuvent utiliser pour prendre des décisions. Des réponses incorrectes peuvent affecter l’inscription d’une personne, sa préparation des documents requis, son identification des bons candidats ou son arrivée au bon moment pour voter.

Le problème technique sous-jacent est simple. L’IA générative est conçue pour produire un langage contextuellement approprié. L’exactitude factuelle exige un processus de vérification supplémentaire. Un système fluide peut malgré tout générer de faux noms, dates, événements et exigences procédurales lorsque sa réponse repose sur des informations incomplètes, obsolètes ou mal interprétées.

Les administrations publiques ont donc besoin d’une architecture de l’information stricte pour les services publics à forts enjeux. Les systèmes électoraux doivent récupérer les faits à partir de registres faisant autorité et à jour. Les réponses impliquant des dates, des critères d’éligibilité, des règles d’identification, des lieux de vote et des candidats doivent être limitées à des informations vérifiées. Lorsque le système ne peut pas établir une réponse à partir de ces registres, il doit orienter l’utilisateur vers un canal officiel ou faire remonter la demande.

L’information a aussi besoin d’un contexte juridictionnel. Les exigences de vote peuvent différer selon les élections et les lieux. Une règle qui s’applique dans un processus électoral au Royaume-Uni peut ne pas s’appliquer dans un autre. Les systèmes d’IA au service des électeurs ont besoin de contrôles explicites sur l’élection, la juridiction et la date qui s’appliquent à chaque réponse.

Le même principe est pertinent pour les entreprises. Des secteurs fortement réglementés comme la banque, l’assurance, la santé, les télécommunications et l’énergie traitent eux aussi des informations pour lesquelles une erreur plausible peut influencer des décisions importantes. Les dirigeants qui déploient de l’IA dans ces environnements doivent classifier les interactions selon leur impact et appliquer des contrôles plus stricts à mesure que le préjudice potentiel augmente.

L’IA peut malgré tout améliorer l’accès à une information publique complexe. Elle peut aider les utilisateurs à naviguer dans les documents, à formuler des questions et à localiser les services pertinents. La priorité est une sortie vérifiable. Dans les communications électorales, la fiabilité factuelle doit déterminer la conception du système.

La décision contre Air Canada montre que les déclarations d’un chatbot peuvent engager la responsabilité de l’entreprise

Le chatbot de service client d’Air Canada a donné à un passager des informations incorrectes sur la politique tarifaire de deuil de la compagnie aérienne. Le client s’est appuyé sur ces informations et a ensuite demandé une indemnisation. Un tribunal canadien a jugé Air Canada responsable des informations diffusées via son site web, y compris celles générées par le chatbot, et a ordonné à la compagnie d’indemniser le client.

Cette affaire est importante pour les dirigeants parce qu’un canal de support automatisé opère dans le cadre de la relation client de l’entreprise. Les clients rencontrent le chatbot via l’infrastructure numérique de l’entreprise et peuvent raisonnablement se fier à ses déclarations sur les produits, les prix, l’éligibilité, les remboursements ou les conditions contractuelles.

La décision a été rendue par le Civil Resolution Tribunal de la Colombie-Britannique dans l’affaire Moffatt v. Air Canada, 2024 BCCRT 149. Jake Moffatt avait interrogé le chatbot d’Air Canada sur l’obtention d’un tarif de deuil après le décès de sa grand-mère. Le chatbot a indiqué qu’il pouvait demander l’application rétroactive du tarif réduit. La politique réelle d’Air Canada n’autorisait pas les demandes rétroactives dans ces circonstances.

Le membre du tribunal Christopher Rivers a rejeté l’argument d’Air Canada selon lequel elle ne devrait pas être responsable des informations fournies par son chatbot. Le tribunal a écrit : « Air Canada is responsible for all the information on its website. It does not matter whether the information comes from a static page or a chatbot. » Moffatt a obtenu 650,88 dollars canadiens de dommages-intérêts, 36,14 dollars canadiens d’intérêts avant jugement et 125 dollars canadiens de frais de tribunal.

Cela fournit une leçon claire de gouvernance. L’IA en contact avec les clients doit être traitée comme un canal de communication d’entreprise contrôlé. Les déclarations portant sur des conditions contractuelles, des remboursements, des remises, la tarification, les garanties et les obligations réglementées doivent provenir d’informations approuvées qui restent synchronisées avec la politique en vigueur.

Les entreprises ont aussi besoin de preuves de ce que leurs systèmes disent aux clients. Les journaux de conversation, les versions de politique, les horodatages, les configurations de modèle et les enregistrements d’escalade peuvent devenir importants lorsqu’une réclamation évolue en litige juridique. Ces enregistrements aident aussi les équipes à trouver les erreurs récurrentes et à les corriger sur l’ensemble des canaux clients.

Le modèle opérationnel le plus robuste relie directement les réponses de l’IA aux données métier et aux politiques faisant autorité. Les réponses sensibles peuvent exiger une récupération déterministe, une formulation fixe ou une approbation humaine selon leur impact potentiel. Cela permet aux entreprises de conserver une automatisation utile tout en réduisant la possibilité que des déclarations générées créent des engagements non intentionnels.

L’affaire Air Canada donne aux dirigeants un benchmark concret. Une réponse client générée par IA peut avoir de réelles conséquences juridiques et financières. La gouvernance doit donc commencer avant le déploiement, avec une responsabilité claire pour l’exactitude, les mises à jour de politique, l’auditabilité et l’escalade.

L’IA générative a besoin d’une autorité limitée dans les interactions client à fortes conséquences

L’IA générative rend les chatbots plus capables parce qu’ils peuvent créer de nouvelles réponses à des questions inhabituelles. Cette flexibilité élargit aussi l’éventail des erreurs possibles. Un système peut inventer une politique, fournir une explication technique incorrecte, énoncer de manière erronée une règle publique ou présenter une conclusion non étayée dans un langage convaincant.

Les cas impliquant Anthropic, Cursor, les élections écossaises et Air Canada montrent qu’il s’agit d’un problème de contrôle. Le système automatisé de triage d’Anthropic a fourni une explication incorrecte pour le rejet d’un signalement de sécurité. Le bot de Cursor a décrit un bug de déconnexion comme une nouvelle politique de connexion. Des systèmes d’IA au service des électeurs écossais ont produit de fausses informations électorales. Le chatbot d’Air Canada a mal présenté une politique tarifaire de deuil, contribuant à une décision du tribunal contre l’entreprise.

Une génération de langage plus performante ne résout pas à elle seule la fiabilité factuelle. Les modèles génératifs prédisent des réponses utiles à partir du contexte et des instructions dont ils disposent. Ils ne vérifient pas intrinsèquement chaque affirmation par rapport aux politiques actuelles d’une entreprise, à l’état de ses produits, à ses obligations juridiques ou à ses décisions internes. Un service client fiable exige donc une couche distincte d’informations vérifiées et de contrôles métier.

Les dirigeants doivent définir l’autorité de l’IA en fonction des conséquences. Les tâches à faible risque peuvent permettre une plus grande liberté conversationnelle. Il s’agit notamment d’aider les clients à naviguer dans la documentation, de résumer des contenus approuvés, de collecter des informations ou d’acheminer des demandes. Les divulgations de sécurité, la résiliation de compte, les engagements financiers, les conditions contractuelles, les informations réglementées et la suppression de données exigent des contrôles plus stricts, car les erreurs peuvent créer des résultats difficiles à inverser.

Des réponses préapprouvées constituent une option solide pour ces situations à fortes conséquences. Une entreprise peut aussi utiliser une récupération contrôlée, où l’IA construit sa réponse à partir d’un ensemble faisant autorité de politiques ou d’enregistrements métier. Le système doit identifier les informations approuvées qui étayent sa réponse et faire remonter les cas lorsque ces informations sont absentes, contradictoires ou incertaines.

La revue humaine reste importante à des points de décision définis. L’objectif est d’utiliser les personnes là où le jugement entraîne des conséquences métier significatives. L’IA peut prendre en charge la classification, la récupération, la synthèse et la communication de routine, tandis que des employés qualifiés approuvent les décisions sensibles et les cas exceptionnels.

La gouvernance a aussi besoin d’une mesure continue. Les dirigeants doivent suivre les erreurs factuelles, les déclarations de politique non étayées, les actions incorrectes, les escalades, les annulations, les réclamations et les préjudices clients. Les journaux de conversation doivent permettre de déterminer quelles informations et quelles instructions ont produit une réponse. Ces mesures donnent à la direction une vision plus claire de la capacité de l’automatisation à réduire les coûts d’exploitation sans créer un risque aval disproportionné.

La décision métier porte donc sur l’autorité plutôt que sur la sophistication du chatbot. L’IA générative peut améliorer la rapidité, la disponibilité et l’accès à l’information lorsqu’elle opère dans des limites définies. Pour les interactions à fortes conséquences, les faits vérifiés, les actions contraintes, l’auditabilité et l’escalade doivent déterminer la conception du système. Cette approche préserve les aspects utiles de l’automatisation tout en maintenant les engagements de l’entreprise et les décisions importantes sous un contrôle plus fort.

Réflexions finales

La leçon pour les dirigeants est claire. L’IA peut améliorer le service client, mais l’autonomie crée un risque lorsque le système peut inventer des faits, expliquer une politique ou prendre des mesures ayant des conséquences importantes. Les cas Anthropic, Cursor, Air Canada et les élections écossaises montrent à quelle vitesse ces défaillances peuvent devenir des problèmes de sécurité, opérationnels, réputationnels ou juridiques.

La bonne réponse est un déploiement contrôlé. Donnez à l’IA accès à des informations vérifiées. Limitez les réponses à haut risque à un langage approuvé. Exigez une approbation humaine pour la résiliation de compte, la suppression de données, les engagements financiers, les décisions de sécurité et les autres actions difficiles à inverser. Journalisez chaque interaction importante et créez une voie d’escalade rapide lorsque le système ne dispose pas d’informations fiables.

L’indicateur clé n’est pas le caractère humain du bot. C’est la capacité de l’entreprise à faire confiance à ce que le système dit et fait, à le tracer et à le défendre.

Les dirigeants doivent définir l’autorité de l’IA en fonction du coût d’une erreur. Utilisez l’automatisation de manière agressive là où les erreurs ont un faible impact et sont réversibles. Renforcez les contrôles à mesure que les conséquences augmentent. Cette approche permet de conserver les gains d’efficacité tout en garantissant que l’entreprise reste maîtresse de ses engagements envers les clients.