Pourquoi les incidents d’IA évités méritent aussi d’être signalés

Davantage de quasi-accidents liés à l’IA signalés peuvent refléter une meilleure surveillance

Une entreprise financière qui signale davantage de quasi-accidents liés à l’IA peut disposer d’une meilleure surveillance qu’une autre qui en signale moins. Pour les dirigeants qui évaluent la sécurité de l’IA, les totaux de divulgation peuvent donc être trompeurs : ils comptabilisent les événements détectés, alors qu’une autre entreprise peut être passée à côté d’une activité similaire. L’appel au signalement lancé par la Financial Conduct Authority du Royaume-Uni rend la qualité de la détection importante pour interpréter ces totaux.

Jessica Rusu, Chief Data Officer de la FCA, a appelé lundi, dans un discours prononcé devant un auditoire de la Bloomberg UK Policy Series, à ce que le signalement couvre les défaillances importantes de l’IA et les quasi-accidents. « Nos règles exigent déjà que les entreprises signalent les incidents majeurs, et cela doit s’étendre aux défaillances importantes de l’IA et aux quasi-accidents. Comme l’a reconnu le ministre de l’IA, le signalement des quasi-accidents pour l’IA agentique devient une priorité de sécurité nationale. C’est aussi une priorité réglementaire », a-t-elle déclaré.

Cet appel intervient dans un contexte d’inquiétude face au déploiement continu de l’IA générative, qui produit du contenu, et des agents IA, qui peuvent entreprendre des actions, ainsi qu’aux signalements récurrents de comportements fautifs d’agents et de conséquences insuffisantes. Le signalement obligerait les entreprises à divulguer les événements ayant des conséquences, même lorsque des garde-fous ont empêché tout préjudice. Au moment de la publication, la FCA n’avait pas répondu aux demandes visant à clarifier sa terminologie, laissant les entreprises face à une question de classification : que s’est-il passé, quelle en était la gravité, et qu’est-ce qui l’a empêché ?

Distinguer les préjudices graves, les préjudices évités et les tests

Les conséquences offrent un point de départ pour évaluer l’importance d’un événement. Pieter Arntz, chercheur en renseignement sur les malwares au sein de l’entreprise de sécurité Malwarebytes, donne quatre exemples hypothétiques dans les services financiers : un système d’IA approuvant des paiements frauduleux substantiels, divulguant des informations sensibles sur des clients, empêchant des clients d’utiliser des services financiers essentiels, ou initiant des transactions qui menacent l’intégrité du marché. Malwarebytes a un intérêt commercial dans la demande de services de sécurité, et Arntz aborde la question sous l’angle du préjudice qu’un système pourrait causer.

Pour Arntz, ce sont ces conséquences qui déterminent si une défaillance est importante. Une réponse incorrecte devient conséquente par l’action ou le résultat qu’elle produit. Comme il le dit : « Le critère devrait être l’ampleur et la gravité de l’impact, plutôt que le caractère techniquement spectaculaire ou non de la défaillance. » Une interruption de service d’apparence ordinaire peut donc justifier une attention particulière lorsqu’elle empêche des clients d’accéder à des services essentiels.

Un quasi-accident exige un jugement supplémentaire : déterminer si un événement avait une trajectoire réaliste vers un préjudice grave avant qu’un élément n’intervienne. Arntz l’illustre avec un agent tentant un transfert non autorisé qu’une exigence d’approbation distincte bloque. La tentative révèle un problème dans le comportement de l’agent, tandis que l’exigence d’approbation explique pourquoi la transaction a été arrêtée. L’évaluation de l’événement exige de prendre en compte à la fois l’action tentée et l’intervention réussie.

L’autre exemple hypothétique d’Arntz montre comment une attaque peut déclencher cette séquence. L’injection de prompt utilise des instructions présentes dans des contenus qu’un système d’IA rencontre pour rediriger son comportement ; un attaquant pourrait s’en servir pour amener un agent à tenter de divulguer des informations sensibles. Un contrôle de sécurité sortant pourrait alors empêcher ces informations de quitter le système. La redirection de l’agent crée le danger, et le contrôle distinct le contient.

Les tests nécessitent une classification distincte, car une organisation cherche délibérément à provoquer un comportement dangereux afin d’identifier des faiblesses. Le red teaming est un test adversarial conçu pour provoquer ce type de comportement ; un résultat défavorable peut donc signifier que le test a mis au jour un problème. Noah Kenney, consultant principal chez Digital 520, déclare : « L’échec d’un modèle à un test de red team signifie que le test fonctionne, pas qu’il s’agit d’un incident réglementaire. » Digital 520 a un intérêt commercial dans la demande de conseil sur ces problèmes ; l’interprétation de Kenney et les catégories d’Arntz restent distinctes d’une définition officielle de la FCA.

Les totaux de signalement dépendent de ce que les entreprises peuvent détecter

Ces catégories aident à expliquer les événements individuels, mais un total de signalement dépend aussi de la capacité d’une entreprise à les détecter. La détection doit précéder la classification et la divulgation ; le décompte d’une entreprise reflète donc à la fois l’activité dans ses systèmes et sa capacité à observer cette activité. Comparer les totaux revient donc aussi à comparer les capacités de surveillance.

Kenney illustre le problème avec deux banques hypothétiques. « Une banque dotée d’une bonne surveillance peut repérer des centaines de tentatives d’agents IA d’agir au-delà de leur autorité », dit-il. Il oppose cela à une détection plus faible : « Une banque dotée d’une mauvaise surveillance peut en signaler zéro, parce qu’elle ne les a jamais vus. Sur le papier, la banque la plus sûre paraît pire », explique Kenney. L’exemple montre comment le signalement peut récompenser l’apparence créée par une mauvaise détection.

Cela rend un décompte brut difficile à interpréter. Davantage de signalements peuvent refléter davantage de comportements fautifs tentés, une détection plus forte, ou les deux, et chaque explication conduit à un jugement différent sur un déploiement. Un total faible apporte peu de réassurance à moins que la surveillance qui le sous-tend ne soit digne de confiance. L’appel au signalement de la FCA n’établit aucune politique de classement des entreprises selon le volume de signalements ; le risque apparaît si les régulateurs ou les dirigeants utilisent ensuite les totaux sans examiner comment ils ont été produits.

Examiner un événement signifie aussi distinguer le comportement de l’agent de la réponse des contrôles : dans l’exemple de transfert d’Arntz, un agent a dépassé son autorité et une exigence d’approbation indépendante a empêché l’exécution. Regrouper ces faits dans un total unique masque des informations dont les équipes de conformité ont besoin pour expliquer les événements aux régulateurs et dont les dirigeants ont besoin pour comparer les unités opérationnelles. Une maîtrise réussie laisse toujours une raison de signaler l’événement, car la tentative a révélé un potentiel réaliste de préjudice grave. Enregistrer l’action tentée, ses conséquences possibles et l’intervention préserve cette information sans traiter une tentative bloquée comme l’équivalent d’un préjudice effectivement subi.

L’assurance doit se poursuivre à mesure que les modèles et les fournisseurs évoluent

Une intervention réussie montre comment un contrôle a fonctionné dans des conditions particulières, et ces conditions peuvent changer. Rusu a appelé à un investissement accru dans la cybersécurité et la résilience opérationnelle, c’est-à-dire la capacité à résister aux perturbations et à maintenir les services en fonctionnement, et l’a relié à une assurance continue, autrement dit à des vérifications répétées qu’un système reste d’un niveau de sécurité acceptable. « Un système sûr au moment du déploiement peut se comporter différemment à grande échelle, sous contrainte, ou à mesure que les modèles sous-jacents évoluent. Les systèmes agentiques nécessitent donc une assurance continue et conditionnelle », a-t-elle déclaré.

Les vérifications continues exigent aussi de la clarté sur qui ou quoi peut agir. Rusu a déclaré que la FCA travaillerait avec le secteur, d’autres régulateurs et les frontier labs qui développent des modèles d’IA avancés sur un framework pour la finance agentique. Le périmètre proposé comprend l’identité de l’agent, l’autorité déléguée, la responsabilité et l’exécution : quel agent agit, quelle autorisation il a reçue, qui répond de son comportement et comment ses actions sont exécutées.

Le signalement des quasi-accidents obligerait les entreprises à reconnaître et à expliquer les défaillances de ces dispositifs avant qu’un préjudice ne survienne. Frank Dickson, analyste principal chez Dickson Research, considère qu’il s’agit de la proposition la plus importante du discours et du domaine pour lequel les entreprises financières sont le moins préparées. « J’adore l’idée des quasi-accidents. C’est la chose la plus importante du discours. C’est l’aspect auquel les entreprises financières sont le moins prêtes », dit-il. En tant qu’entreprise de recherche commerciale, Dickson Research a un intérêt dans la demande d’analyses expertes sur ces risques.

Les exemples de Dickson élargissent la discussion des actions des agents aux services externes dont ils dépendent. Il souligne la dépendance à un modèle unique et décrit une panne hypothétique chez un fournisseur d’IA qui désactive un canal de service client. Les clients peuvent perdre l’accès parce qu’un fournisseur devient indisponible, même lorsque l’agent de l’entreprise n’a pris aucune décision non autorisée. La concentration des fournisseurs doit donc faire partie d’une évaluation fondée sur les conséquences.

Un fournisseur peut aussi modifier le comportement alors même que son service reste disponible. Un prestataire peut mettre à jour un modèle sans en informer chaque client, laissant les entreprises avec un comportement différent de la version qu’elles ont testée. Dickson illustre le risque ainsi : « Un modèle peut réussir les tests en mars et mal se comporter en mai sans que quiconque dans l’entreprise ait changé une seule ligne de code, parce que le fournisseur a modifié le modèle sous-jacent. »

L’exemple de mars à mai montre pourquoi la valeur des tests initiaux dépend de ce qui change ensuite. Le service d’une entreprise repose sur un comportement fourni par une autre organisation ; un code inchangé du côté du client peut donc malgré tout produire des résultats différents. La prescription de Dickson est directe : « Un changement de version de modèle devrait faire l’objet du même niveau d’examen que tout autre changement en production. » Cet examen permet aux entreprises de réévaluer des jugements de sécurité antérieurs lorsque les conditions qui les étayaient changent.

L’application des règles doit donner aux entreprises une raison d’agir

L’assurance continue exige des informations, mais les entreprises ont aussi besoin d’une raison convaincante d’agir sur cette base. Nader Henein, vice-président analyste basé au Royaume-Uni chez Gartner, s’interroge sur l’effet additionnel qu’aura la proposition de la FCA, car de nombreuses entreprises britanniques sont déjà soumises à des exigences de divulgation de l’UE. Ces obligations sont distinctes de la proposition de la FCA et de sa terminologie non résolue. Gartner a un intérêt commercial dans la demande de recherche et de services de conseil sur les risques réglementaires et technologiques, ce qui constitue un contexte pertinent pour l’évaluation de Henein.

Henein inscrit la proposition dans une série plus large d’avertissements émis par les autorités financières. Il cite la Bank of England, la Banque centrale des Émirats arabes unis et la Monetary Authority of Singapore, et indique que des banques centrales européennes ainsi que le Comité européen du risque systémique ont relevé à « sévère » l’évaluation du cyber-risque associé aux frontier models quelques mois plus tôt. Selon lui, l’inquiétude portait sur des cyberincidents simultanés dont les effets pourraient se propager à l’ensemble du secteur financier et menacer sa stabilité fondamentale.

Ces avertissements expliquent l’inquiétude, tandis que l’application des règles détermine les conséquences du fait de l’ignorer. « Les institutions financières ont tendance à tenir compte des avertissements du régulateur qui décide si elles peuvent continuer à opérer, mais sans lois claires, supervision réglementaire et amendes obligatoires, ces déclarations dispersées ne sont pas susceptibles de faire une différence », affirme Henein. Son argument est que les régulateurs doivent transformer les avertissements en obligations assorties de conséquences.

Même une obligation assortie d’une amende peut ne pas modifier les comportements si les entreprises traitent ce coût comme prévisible. Arntz évoque la possibilité hypothétique qu’une entreprise puisse remplir son obligation de signalement et absorber une amende tout en laissant inchangé le problème sous-jacent. Sa préoccupation diffère de l’avertissement de Kenney sur les totaux trompeurs : l’une porte sur la capacité de l’application des règles à modifier les comportements, l’autre sur la manière dont les divulgations sont interprétées. Une application efficace des règles doit s’attaquer aux pratiques nuisibles tout en permettant aux régulateurs de distinguer une entreprise qui détecte et contient des comportements fautifs tentés d’une autre qui laisse une activité comparable passer inaperçue.

Points clés à retenir pour les dirigeants

• Interprétez les signalements à la lumière de la qualité de la surveillance : Des totaux plus élevés de quasi-accidents liés à l’IA peuvent refléter une détection plus forte, tandis que des totaux faibles peuvent masquer une activité non détectée. Les équipes risque et conformité ont besoin de preuves de la couverture de surveillance avant de comparer les nombres d’incidents entre entreprises ou unités opérationnelles.
• Enregistrez séparément le préjudice, l’intervention et les tests : Les équipes de conformité doivent documenter l’action tentée, ses conséquences potentielles et le contrôle qui l’a arrêtée. Conservez les résultats des tests délibérés dans une catégorie distincte, tant que la terminologie de la FCA reste non résolue.
• Réévaluez la sécurité à mesure que les conditions changent : Les responsables de l’IA ont besoin de vérifications continues à mesure que les systèmes passent à l’échelle, subissent des contraintes ou reçoivent des mises à jour de modèles. Des enregistrements clairs de l’identité de l’agent, de l’autorité déléguée et de la responsabilité aident à expliquer où les contrôles ont réussi ou échoué.
• Incluez les fournisseurs dans la planification de la résilience : Une panne ou une mise à jour chez un fournisseur de modèles peut perturber les services ou modifier le comportement sans changement dans le code d’une entreprise financière. Les équipes technologie et risque doivent évaluer la concentration des fournisseurs et examiner les changements de version de modèle comme des changements de production.
• Reliez le signalement aux actions correctives : Les obligations de signalement et les amendes peuvent laisser les risques sous-jacents inchangés si les entreprises les traitent comme des coûts de routine. Les conseils d’administration et les équipes de conformité doivent suivre si les incidents divulgués conduisent à une remédiation efficace.