Ce que les dirigeants doivent encadrer avant de déployer l’IA

La gouvernance de l’IA doit couvrir les accès et les usages réels

La gouvernance de l’IA doit définir à quoi la technologie peut accéder et comment les employés l’utilisent, même lorsqu’un dirigeant en porte déjà la responsabilité. Les entreprises du monde entier ajoutent des agents, des outils de sécurité activés par l’IA et des fonctions d’IA à leurs systèmes internes. Les experts en sécurité avertissent que le déploiement progresse plus vite que la gouvernance et les garde-fous nécessaires pour protéger ces systèmes et les données clients.

Les responsables de la sécurité considèrent déjà cet écart comme une préoccupation majeure. Dans un rapport publié en octobre par PwC, la moitié ont identifié la protection de l’IA comme leur principal manque de préparation, devant les menaces liées au cloud, les violations provenant de tiers et les rançongiciels. L’enquête plus large a porté sur plus de 3 900 dirigeants d’entreprise et responsables technologiques dans 71 pays. PwC fournit des services de conseil en risque et en cybersécurité, et a donc un intérêt commercial à ce que les entreprises cherchent de l’aide pour combler cet écart.

Pour les dirigeants et les administrateurs, cette préoccupation fait de la cybersécurité un élément de la décision d’étendre l’usage de l’IA. « Je pense réellement que nous observons une prise de conscience croissante chez les dirigeants d’entreprise que les opportunités de l’IA et les risques de l’IA doivent être considérés ensemble », a déclaré Tonya Ugoretz, codirectrice du Cyber and Risk Innovation Institute chez PwC, à Cybersecurity Dive. Agir sur cette prise de conscience exige que quelqu’un veille à ce que les décisions de sécurité soient prises avant le déploiement. Pour cela, cette personne doit comprendre les accès et les activités qu’elle supervise.

La responsabilité de la direction doit s’accompagner de responsabilités claires en matière de déploiement

Déterminer qui prend ces décisions de sécurité est difficile lorsque les organisations attribuent la responsabilité de l’IA de différentes façons. « Nos conclusions montrent qu’il n’existe pas encore de modèle unique de responsabilité pour la gouvernance et le risque liés à l’IA », a déclaré Ugoretz. PwC a attribué moins de 30 % de la responsabilité de l’IA aux DSI, aux directeurs technologiques (CTO) ou à d’autres responsables technologiques. Environ un quart des organisations disposaient d’un dirigeant dédié à l’IA, tandis que 17 % ont indiqué que la responsabilité de l’IA relevait du CISO, ou responsable de la sécurité des systèmes d’information.

Ces attributions laissent en suspens des questions pratiques sur la responsabilité pendant la mise en œuvre. De nombreuses entreprises manquent de clarté sur qui introduit l’IA et qui peut imposer des protections pour les données et les systèmes critiques, de sorte qu’une nomination au niveau de la direction peut laisser les décisions de sécurité non résolues. Les dirigeants doivent établir qui examine un usage proposé, qui détermine les protections nécessaires et qui veille à ce que ces protections soient prises en compte avant le déploiement.

Pour les conseils d’administration, le test utile consiste à vérifier si la responsabilité au niveau de la direction s’étend à ces décisions de mise en œuvre. Le dirigeant responsable doit savoir qui peut expliquer l’objectif d’un déploiement, approuver ses accès et superviser son activité. Ces questions deviennent particulièrement concrètes avec les agents : leur capacité d’action dépend des autorisations du compte sous lequel ils opèrent.

Les agents peuvent créer des risques via des accès autorisés

Un agent d’IA est un logiciel capable d’exécuter des tâches avec un certain degré d’autonomie, en utilisant une identité opérationnelle, c’est-à-dire le compte par lequel il accède aux systèmes et aux informations. Les autorisations de ce compte déterminent ce à quoi l’agent peut accéder et ce qu’il peut faire. Un agent peut donc exposer des informations ou des systèmes via des accès que l’organisation a déjà autorisés.

L’accès utile fait partie de l’attrait de ces outils, alors que les entreprises engagent des ressources importantes dans les outils d’IA agentique, qui utilisent des agents pour effectuer du travail. Les entreprises veulent que ces outils améliorent la productivité ou rendent les produits existants plus efficaces, et ces objectifs les incitent à donner aux agents un accès aux systèmes métier. Les responsables du cyberrisque doivent évaluer l’ampleur des accès accordés à ces outils et déterminer si la supervision humaine est suffisante pour surveiller leur activité.

Le compte à l’origine de cet accès est au cœur du risque, selon George Gerchow, chief security officer chez Bedrock Data, un fournisseur de sécurité des données ayant un intérêt commercial dans la demande de protections autour des accès à l’IA. Il a déclaré à Cybersecurity Dive : « Un agent hérite des accès de l’identité sous laquelle il s’exécute. Il n’a jamais besoin de les forcer, il passe simplement par les portes que nous avons laissées ouvertes. » Le chemin vers les informations ou les systèmes peut déjà être autorisé.

Examiner ces accès suppose d’analyser le compte opérationnel de l’agent et d’identifier une personne qui en est responsable. « Traitez chaque agent comme une nouvelle identité avec un propriétaire humain nommé », a déclaré Gerchow. Les dirigeants disposent alors d’une personne à qui demander des comptes sur l’objectif de l’agent, ses autorisations et sa supervision. Pour juger si cette supervision est adéquate, le responsable doit comprendre à la fois les informations accessibles à l’agent et les actions qu’il peut entreprendre.

Certaines organisations limitent ces actions dans les usages qu’elles considèrent comme particulièrement risqués. Un rapport de KPMG pour le troisième trimestre a révélé que 49 % des organisations avaient défini des scénarios d’usage à haut risque limitant l’accès des agents autonomes, contre 28 % au même trimestre l’année précédente. KPMG fournit des services de conseil en risque et en technologie, et bénéficie donc commercialement de la demande d’aide pour gouverner l’IA. Cette conclusion décrit les restrictions appliquées à des scénarios désignés comme à haut risque.

Ces restrictions donnent au responsable d’un agent des limites précises à superviser. Pour chaque déploiement, les dirigeants peuvent demander quels usages déclenchent un accès plus strict, ce que l’agent peut encore faire et comment un humain surveille cette activité. Les réponses relient le responsable désigné à l’autorité réelle de l’agent et montrent clairement pourquoi les revues de sécurité doivent examiner les activités que les autorisations existantes permettent.

Les outils tiers approuvés nécessitent une supervision continue des accès

Les revues d’accès doivent aussi couvrir les outils d’IA externes, que de nombreuses entreprises obtiennent via des logiciels tiers plutôt que de les développer en interne. L’adoption de ces outils intègre la technologie du fournisseur et ses connexions aux systèmes de l’entreprise dans la décision de gouvernance. L’approbation doit donc tenir compte à la fois des informations auxquelles l’outil peut accéder et de l’autorité dont il dispose au sein des systèmes connectés.

Cette autorité peut être étendue, car les outils tiers reçoivent souvent un accès à des informations sensibles et des connexions privilégiées, qui accordent un accès élevé à des systèmes ou à des actions. Les responsables de la sécurité peuvent avoir du mal à voir ce qui se passe via ces connexions. Un outil d’IA peut accéder à des informations que les outils de sécurité existants ne peuvent pas voir, laissant l’organisation avec une vision incomplète de son activité. Les responsables internes ont besoin d’une visibilité technique pour comprendre ce qu’ils supervisent.

Les évaluations des fournisseurs doivent donc examiner comment la technologie se connecte à l’organisation. Pasha Sternberg, principal et avocat spécialisé en confidentialité et cybersécurité chez Polsinelli, a identifié cette exigence : « So, vetting those vendors from both a cybersecurity and a technical standpoint ». Le cabinet fournit des conseils juridiques en confidentialité et cybersécurité, et bénéficie donc des entreprises qui cherchent de l’aide face à ces risques. Pour les dirigeants qui approuvent une IA externe, le conseil de Sternberg signifie qu’il faut examiner les connexions et les accès de l’outil lors de l’évaluation du fournisseur.

Ces connexions restent importantes après l’achat ou l’adoption, car l’outil continue d’utiliser les autorisations qu’il reçoit. Les conseils d’administration peuvent demander à quelles informations sensibles et à quels systèmes les outils approuvés peuvent accéder, et où les équipes de sécurité manquent de visibilité sur cette activité. La revue des fournisseurs et la supervision continue couvrent les outils dont l’organisation sait qu’elle se sert. Les applications téléchargées par les employés créent un autre problème : l’application elle-même peut être inconnue.

L’IA téléchargée par les employés étend la gouvernance au-delà des déploiements approuvés

Les employés introduisent aussi l’IA via des applications que l’organisation n’a ni autorisées ni évaluées, une catégorie connue sous le nom de shadow AI. Ils téléchargent ces outils pour améliorer leur productivité, acquérir une compétence ou les utiliser à des fins personnelles. L’usage réel de l’IA s’étend donc au-delà des déploiements formellement approuvés à des applications susceptibles d’interagir avec les systèmes métier ou les données clients.

L’usage non approuvé peut commencer avec le même objectif de productivité que celui qui motive l’investissement des entreprises dans les agents. Pourtant, l’organisation peut savoir très peu de choses sur la manière dont l’application choisie par un employé traite les informations ou se connecte à son environnement. Des experts juridiques avertissent que les entreprises ne comprennent pas suffisamment les implications des outils non approuvés utilisés par leurs employés. Sans connaissance de l’application et de son usage, les équipes de sécurité sont moins en mesure d’évaluer le risque, de gérer l’activité ou d’appliquer des protections.

Cette exposition potentielle a conduit le National Cyber Security Centre au Royaume-Uni à avertir le mois dernier que le shadow AI peut créer des risques involontaires au sein des entreprises. Un employé peut télécharger une application dans un but ordinaire et utile, mais son interaction avec l’environnement de l’entreprise peut tout de même nécessiter des garde-fous. La raison pour laquelle l’employé l’utilise répond donc à une question différente de celle de savoir si l’organisation peut en superviser les effets.

La supervision commence par le fait de savoir que l’application existe. « Il est difficile de sécuriser et de gérer ce dont on ignore l’existence », a déclaré Sarah Glover, actionnaire et avocate spécialisée en confidentialité et cybersécurité chez Polsinelli, dont la pratique juridique a le même intérêt commercial dans la demande de conseils en confidentialité et cybersécurité. Son observation met en évidence un problème de visibilité distinct du suivi des connexions d’un fournisseur approuvé : les équipes de sécurité ont besoin d’un moyen d’identifier l’IA téléchargée par les employés avant de pouvoir évaluer ses accès aux systèmes métier et aux données clients.

Points clés

• Relier la gouvernance à l’usage réel : La gouvernance de l’IA a besoin de visibilité sur ce à quoi les outils peuvent accéder et sur la manière dont les employés les utilisent. Les conseils d’administration peuvent tester cette couverture en demandant qui approuve les accès, surveille l’activité et traite les lacunes avant le déploiement.
• Définir les responsabilités de déploiement : Les dirigeants responsables de l’IA ont besoin d’attributions claires pour examiner les usages proposés, définir les protections et approuver le déploiement. Ces responsabilités relient la responsabilité de la direction à des décisions de sécurité précises.
• Attribuer un responsable humain à chaque agent : Un agent hérite des autorisations de son compte opérationnel, créant un risque via des accès autorisés. Un responsable désigné doit comprendre ces autorisations, définir des limites pour les usages à haut risque et superviser l’activité de l’agent.
• Surveiller les accès des fournisseurs après approbation : Les outils d’IA tiers peuvent recevoir un accès à des données sensibles et des connexions privilégiées aux systèmes. Les évaluateurs sécurité et techniques doivent examiner ces connexions et maintenir une visibilité sur l’activité de l’outil après son adoption.
• Identifier l’IA téléchargée par les employés : Les applications non approuvées peuvent interagir avec les systèmes métier et les données clients en dehors des revues formelles. Les équipes de sécurité ont besoin d’un moyen de découvrir ces outils et d’évaluer leurs accès avant d’appliquer des garde-fous.