Google cloud explique les défis de la gouvernance des agents IA

Une gouvernance rigoureuse de l’IA est essentielle pour contrôler l’accès aux données sensibles de l’entreprise

Les agents IA ne prennent toute leur valeur que lorsqu’ils peuvent exploiter des informations métier réelles. Cela pose un nouveau défi. L’agent ne peut pas prendre de décisions fiables s’il n’a pas accès aux données dont il a besoin, mais un accès illimité engendre un risque métier inacceptable. Le véritable objectif n’est pas de fournir davantage de données aux agents, mais de leur fournir les bonnes données au bon moment, dans le cadre d’un contrôle strict.

Google Cloud a mis en évidence ce problème à l’aide d’un exemple interne impliquant deux générations d’unités de traitement tensoriel (TPU), dont les noms de code sont respectivement « Viperfish » et « Ghostfish ». Si un collaborateur demande à un agent IA de calculer le taux de conversion financière entre les deux systèmes, l’agent ne peut pas inventer une réponse. Il doit avoir accès à la grille tarifaire interne de Google. Cette grille tarifaire constituant une information d’entreprise hautement sensible, la question n’est plus de savoir si l’IA est suffisamment intelligente. La question est de savoir si l’organisation peut autoriser en toute sécurité l’IA à utiliser ces informations.

Cela modifie la manière dont les dirigeants doivent envisager l’IA d’entreprise. L’avantage concurrentiel ne réside pas uniquement dans le déploiement de modèles linguistiques plus puissants. Il découle de la mise en place d’une gouvernance permettant à ces modèles de fonctionner au sein de l’entreprise sans exposer d’informations confidentielles. La gestion des identités, les autorisations, les pistes d’audit et l’observabilité deviennent des capacités métier plutôt que de simples fonctions techniques. Chaque action effectuée par un agent d’IA doit pouvoir être attribuée, vérifiée et régie conformément à la politique de l’entreprise.

La prochaine étape dans l’adoption de l’IA dépendra moins des performances des modèles que de la confiance au sein de l’organisation. Si la direction n’est pas en mesure d’expliquer qui a accordé à un agent l’accès à des informations sensibles, pourquoi cet accès lui a été accordé et ce qu’il a fait de ces données, un déploiement à grande échelle deviendra difficile, quelles que soient les capacités de l’IA sous-jacente.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme Agent chez Google Cloud, a clairement résumé cette position. Il a déclaré : « Ce n’est qu’en m’appuyant sur l’identité, la gestion des autorisations, l’audit et l’observabilité que je me sentirai suffisamment en confiance pour accorder à mon employé virtuel l’accès à des données sensibles – car c’est ainsi que nous traitons nos véritables employés. »

Les agents d’IA doivent être conçus pour être sécurisés par défaut, grâce à des politiques centralisées qui empêchent toute exfiltration non autorisée de données

La sécurité ne peut pas être ajoutée a posteriori, une fois les agents IA déployés. Elle doit être intégrée dès le départ à chaque couche du système. À mesure que les organisations accordent davantage d’autonomie aux agents IA, elles augmentent également l’impact potentiel des erreurs ou des comportements malveillants. La solution consiste à partir du principe que des erreurs se produiront et à concevoir des systèmes qui empêchent ces erreurs de se transformer en incidents de sécurité.

L’approche de Google Cloud repose sur une gouvernance centralisée. Les administrateurs définissent des politiques à l’échelle de l’organisation qui s’appliquent à chaque agent IA, quelle que soit la tâche qu’il effectue. Cela permet d’assurer une sécurité homogène dans toute l’entreprise, plutôt que de compter sur les développeurs d’applications individuels pour mettre en œuvre leurs propres mesures de protection. Si un agent IA tente d’effectuer une action dépassant ses autorisations approuvées, la politique la bloque automatiquement.

L’architecture de l’entreprise prend cela en charge grâce à plusieurs composants coordonnés, notamment une passerelle d’agents, des registres d’agents dédiés, des bibliothèques de compétences et un registre MCP (Model Context Protocol) . Ces composants créent de multiples points de contrôle avant qu’un agent n’atteigne les systèmes sensibles. Même si un agent met en place un flux de travail incorrect ou reçoit des instructions trompeuses, ce sont les politiques de l’entreprise qui font autorité en dernier ressort quant aux éléments auxquels il peut effectivement accéder.

Cette approche améliore également la cohérence opérationnelle. L’accès aux bases de données sensibles, aux documents financiers confidentiels et aux informations soumises à une réglementation doit toujours s’effectuer via des procédures approuvées. La standardisation de ces interactions réduit le risque opérationnel, simplifie les audits de conformité et facilite la mise à jour des politiques de sécurité à mesure que les déploiements d’IA se généralisent au sein de l’entreprise.

Les dirigeants devraient considérer cela comme un investissement en matière de gouvernance plutôt que comme un simple investissement dans la cybersécurité. À mesure que les agents d’IA s’intègrent aux fonctions financières, opérationnelles, d’ingénierie, de service client et juridiques, la gestion centralisée des politiques devient essentielle pour maintenir le contrôle à l’échelle de l’entreprise. Les organisations qui posent ces bases dès le début seront en mesure d’étendre l’adoption de l’IA avec davantage de confiance et en limitant les perturbations opérationnelles.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme d’agents chez Google Cloud, a souligné cette philosophie en déclarant : « Un employé doit faire preuve de bon sens, et cela signifie qu’un agent doit également faire preuve de bon sens. » Il a ajouté que, si les employés doivent être tenus responsables des tentatives malveillantes d’exfiltration de données, les organisations doivent également faire en sorte qu’il soit « très, très difficile d’exfiltrer des données », même en l’absence d’intention malveillante.

La gouvernance de l’IA doit établir une distinction entre la gestion des identités des travailleurs numériques et celle des identités humaines

De nombreuses organisations décrivent les agents IA comme des « employés numériques ». C’est une façon utile d’en appréhender le rôle, mais cela ne constitue pas une approche pertinente pour gérer les risques qu’ils présentent. Les agents IA et les êtres humains se comportent différemment, fonctionnent à des rythmes différents et posent des défis différents en matière de sécurité. La gouvernance doit tenir compte de ces différences dès le départ.

Un collaborateur humain a des limites naturelles. Ce n’est pas le cas d’un agent d’IA. Celui-ci peut effectuer des milliers de tâches simultanément, interagir avec plusieurs systèmes à la fois et se déployer presque instantanément à l’échelle de l’organisation. Cela modifie l’impact potentiel d’une simple décision d’autorisation. Une autorisation qui semble raisonnable pour une seule tâche pourrait créer un risque inutile lorsqu’elle est multipliée par des centaines, voire des milliers d’activités automatisées.

C’est pourquoi la gestion des accès doit devenir beaucoup plus fine. Au lieu d’accorder à un agent IA un accès étendu au motif qu’il assiste un service particulier, les organisations ne devraient autoriser que les ressources strictement nécessaires à la réalisation d’une tâche spécifique. Un agent peut se voir accorder un accès temporaire à un document confidentiel tout en se voyant refuser l’accès à d’autres fichiers sensibles, même si le responsable humain qui supervise le travail dispose d’une habilitation plus étendue. Cela s’inscrit dans le principe du « privilège minimal », selon lequel les systèmes ne reçoivent que l’accès minimal nécessaire à l’exercice de leurs fonctions.

Les dirigeants d’entreprise doivent également prendre conscience que la gestion des identités par l’IA est en train de devenir une discipline à part entière. Les plateformes existantes de gestion des identités et des accès devront évoluer pour prendre en charge les identités non humaines à l’échelle de l’entreprise. Les politiques doivent définir les modalités de création, d’authentification, de surveillance, de mise à jour et, à terme, de désactivation des agents lorsqu’ils ne sont plus nécessaires. Les cadres de gouvernance conçus uniquement pour les employés n’offriront pas une visibilité ni un contrôle suffisants sur les logiciels autonomes.

Les organisations qui réussiront à mettre en œuvre une IA agentique seront celles qui considéreront les identités des agents IA comme des actifs d’entreprise à part entière. Chaque agent IA doit disposer d’une identité clairement définie, d’autorisations explicites, d’une surveillance continue et d’un historique d’audit complet. Cela garantit la responsabilité tout en permettant aux organisations de développer l’automatisation en toute confiance.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme d’agents chez Google Cloud, a souligné cette distinction en expliquant que les agents sont « évolutifs à l’infini », contrairement aux êtres humains, et qu’ils « n’ont pas peur d’être licenciés ». Il a fait valoir que ces différences obligent les organisations à attribuer les autorisations différemment, car le niveau de jugement attendu des systèmes d’IA est fondamentalement différent de celui attendu des employés.

Une observabilité solide et une surveillance indépendante de la sécurité sont essentielles au bon fonctionnement des agents d’IA dignes de confiance

À mesure que les agents d’IA gagnent en autonomie, les organisations ont besoin d’une visibilité claire sur chacune des décisions importantes qu’ils prennent. Sans cette visibilité, il devient difficile d’analyser les erreurs, de démontrer la conformité ou de comprendre pourquoi un agent a produit un résultat particulier. L’observabilité devient donc une exigence fondamentale pour l’IA d’entreprise.

Google Cloud estime que les organisations devraient consigner l’historique complet des actions d’un agent d’IA. Cela inclut la séquence des actions qu’il a effectuées, les outils qu’il a sélectionnés, les autorisations qu’il a utilisées lors de chaque requête et les informations auxquelles il a accédé. Cet enregistrement détaillé permet aux administrateurs de contrôler les décisions, d’identifier les défaillances et d’améliorer le comportement de l’agent au fil du temps. Il constitue également une preuve à l’appui de la gouvernance interne et des exigences réglementaires externes.

Michael Gerstenhaber s’est appuyé sur son expérience passée au sein de Datadog, une entreprise spécialisée dans l’observabilité, pour expliquer comment les techniques de traçage distribué peuvent être appliquées aux workflows d’IA. Ces techniques permettent aux organisations de reconstituer le chemin d’exécution d’un agent du début à la fin. Il a toutefois souligné que la présentation de ces informations nécessite une conception minutieuse. Les équipes techniques peuvent avoir besoin de traces détaillées, tandis que les dirigeants d’entreprise ont besoin de résumés clairs qui expliquent ce qui s’est passé sans complexité inutile. Une observabilité efficace répond aux besoins de ces deux publics.

Google Cloud dissocie également la surveillance de la sécurité de l’agent lui-même grâce à Model Armor. Selon l’entreprise, Model Armor fonctionne « hors bande », ce qui signifie qu’il surveille les interactions indépendamment des ingénieurs ayant développé l’agent. Il analyse l’activité entre l’interface de programmation d’application (API) qui génère la requête initiale et le processus d’inférence qui produit le résultat final. Cette surveillance indépendante permet de détecter les attaques par injection de requêtes et les contenus toxiques, tout en réduisant le risque que des modifications internes apportées à l’agent puissent affaiblir les contrôles de sécurité.

Pour les dirigeants, la surveillance indépendante doit être considérée comme faisant partie intégrante de la gestion des risques d’entreprise. Les exigences réglementaires en matière de transparence de l’IA se renforcent, et les clients attendent de plus en plus des organisations qu’elles expliquent comment les systèmes d’IA prennent leurs décisions. Une observabilité solide améliore la résilience opérationnelle, soutient les efforts de conformité et renforce la confiance des collaborateurs, des clients et des autorités de régulation. À mesure que l’IA prend en charge davantage de processus stratégiques pour l’entreprise, la capacité à expliquer ses actions deviendra tout aussi importante que la qualité de ses résultats.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme Agent chez Google Cloud, a souligné que les entreprises devaient rendre l’observabilité utile tant pour les utilisateurs métier que pour les équipes techniques, en précisant que « la difficulté consiste à ne pas effrayer la personne qui tente de l’interpréter ».

Les agents d’IA peuvent s’améliorer en continu pendant leur exécution, ce qui réduit le recours aux procédures traditionnelles de mise hors service

La plupart des logiciels d’entreprise suivent un cycle de vie bien connu. Ils sont déployés, mis à jour périodiquement, puis finalement remplacés. Les agents d’IA introduisent un modèle de fonctionnement différent. Plutôt que de mettre un agent hors service lorsque ses performances diminuent, les entreprises peuvent améliorer son comportement en continu tout en le maintenant en production.

Google Cloud fait valoir que le modèle de base qui alimente un agent d’IA reste inchangé après sa mise en service, mais que le comportement opérationnel de l’agent ne doit pas nécessairement rester statique. En collectant des données d’observabilité issues d’interactions réelles, les organisations peuvent identifier les mauvaises décisions, les réponses erronées ou les flux de travail inefficaces. Des évaluateurs humains ou des systèmes d’évaluation automatisés s’appuyant sur de grands modèles linguistiques peuvent alors fournir des retours correctifs qui mettent à jour la mémoire de l’agent et influencent ses décisions futures sans modifier le modèle de base sous-jacent.

Cela crée un cycle d’amélioration continue. Chaque interaction devient une occasion d’affiner les performances, d’accroître la précision et de réduire les erreurs récurrentes. Au lieu d’attendre les nouvelles versions majeures des logiciels ou les cycles de formation, les organisations peuvent améliorer progressivement les compétences de leurs agents à mesure que les besoins métier évoluent. Cela s’avère particulièrement utile dans les environnements où la réglementation, les politiques internes ou les processus opérationnels changent fréquemment.

Pour les dirigeants, cela modifie la manière dont les investissements en IA doivent être gérés. L’accent n’est plus mis sur le remplacement périodique des systèmes, mais sur l’optimisation opérationnelle continue. La réussite dépend de la mise en place d’une gouvernance solide en matière de qualité des retours d’information, de normes d’évaluation et de gestion du changement. Les organisations ont également besoin de processus d’approbation clairs afin de garantir que les améliorations apportées en cours d’exécution restent en adéquation avec les objectifs métier, les exigences de conformité et les politiques organisationnelles.

L’apprentissage continu ne doit pas être interprété comme une auto-adaptation sans limites. Les dirigeants d’entreprise doivent continuer à exercer un contrôle sur les retours d’information pris en compte, sur les personnes habilitées à autoriser des changements de comportement, ainsi que sur la manière dont ces changements sont validés avant d’influencer les décisions futures. Le maintien d’un contrôle humain reste essentiel, en particulier pour les systèmes d’IA utilisés dans des secteurs réglementés ou dans le cadre de processus métier à fort impact.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme d’agents chez Google Cloud, a déclaré : « En réalité, vous n’avez même pas besoin de le mettre hors service. » Il a expliqué que les traces d’observabilité, combinées aux retours d’expérience fournis par des responsables humains ou par des « juges » automatisés basés sur des modèles linguistiques de grande envergure, permettent aux agents d’améliorer leur comportement en exécution, même si « le modèle lui-même est entraîné au sein de la même génération ».

Les agents d’IA autonomes et régulés permettent une « intelligence élastique », transformant ainsi la manière dont les entreprises adaptent leurs capacités opérationnelles

L’objectif à long terme de l’IA d’entreprise ne consiste pas simplement à automatiser des tâches individuelles. Il s’agit d’accroître la capacité de l’organisation à mener à bien des missions complexes sans être limitée par les ressources humaines disponibles. Google Cloud qualifie cette vision d’« intelligence élastique », dans laquelle des agents d’IA régulés peuvent étendre les capacités opérationnelles à mesure que les besoins de l’entreprise évoluent.

Cela implique que les organisations ne se contentent plus de donner des instructions détaillées pour chaque activité. Au contraire, ce sont les collaborateurs qui définissent les objectifs métier, tandis que les agents d’IA déterminent comment mener à bien les tâches approuvées dans le respect des cadres de gouvernance et d’autorisation établis. La qualité de cette approche repose sur la confiance. Les organisations doivent être certaines que les agents agiront dans les limites approuvées avant de leur accorder une plus grande autonomie.

Google Cloud développe actuellement Gemini Spark, un agent d’IA personnel destiné à fonctionner avec un degré d’autonomie accru. Plutôt que de nécessiter une supervision constante, Spark est conçu pour effectuer des tâches en fonction d’objectifs métier plus larges. Cela reflète une tendance générale du secteur, selon laquelle les agents d’IA deviennent des contributeurs permanents aux opérations métier, plutôt que de simples outils ne répondant qu’à des demandes ponctuelles.

Pour les dirigeants, cela représente un changement majeur dans la stratégie de gestion des effectifs. Les agents d’IA ne doivent pas être considérés uniquement comme des outils de productivité visant à réduire la charge de travail manuelle. Ils peuvent s’intégrer au modèle opérationnel de l’organisation et soutenir des fonctions dans les domaines de la finance, du service client, de l’ingénierie, des ventes et des opérations. À mesure que ces capacités gagneront en maturité, les équipes de direction auront besoin de cadres de gouvernance qui abordent les questions de responsabilité, de mesure de la performance, de sécurité et de conformité, parallèlement à la planification traditionnelle des effectifs.

Les organisations qui tireront le meilleur parti de l’IA autonome seront celles qui auront su instaurer un climat de confiance avant de viser la mise à l’échelle. La gouvernance, la gestion des identités, l’observabilité et l’application centralisée des politiques ne constituent pas des freins à l’innovation. Ce sont les fondements qui rendent possible une adoption plus large de l’IA. Sans ces capacités, les organisations auront du mal à confier des tâches de plus en plus complexes à des systèmes autonomes, quel que soit le degré d’avancement des modèles sous-jacents.

Michael Gerstenhaber, vice-président chargé de la gestion des produits pour la plateforme Agent chez Google Cloud, a décrit cette vision en déclarant : « Pour que cela soit possible, il faut accepter de lui accorder des autorisations dès le départ afin qu’elle puisse fonctionner de manière autonome. » Il a ajouté qu’une fois cette confiance établie, les entreprises disposent d’une main-d’œuvre qui « ne s’ennuie jamais, ne dort jamais et peut effectuer en permanence à ma place de nombreuses tâches extrêmement complexes ».

Principaux faits marquants

• Mettez en place une gouvernance avant de déployer l’IA à grande échelle : les agents IA ne peuvent apporter de la valeur ajoutée à l’entreprise que si les organisations leur confient leurs données sensibles en toute confiance. Les dirigeants doivent accorder la priorité à l’identité, aux autorisations, à l’audit et à l’observabilité, qui constituent des capacités essentielles au déploiement de l’IA en entreprise.
• Faites de la sécurité le modèle d’exploitation par défaut : l’IA autonome nécessite des politiques centralisées qui garantissent une application cohérente des contrôles d’accès pour chaque agent. L’intégration de la sécurité au cœur de la plateforme réduit le risque de fuite de données à mesure que l’adoption de l’IA se développe.
• Traitez les identités IA différemment des identités humaines : les agents IA présentent des profils de risque spécifiques, car ils peuvent se multiplier rapidement et fonctionner en continu. Les dirigeants doivent mettre en place des autorisations granulaires, basées sur les tâches, ainsi qu’une gouvernance dédiée aux identités non humaines.
• Investissez dans l’observabilité pour instaurer la confiance : les organisations ont besoin d’une visibilité claire sur la manière dont les agents d’IA prennent leurs décisions et accèdent aux données. Une observabilité solide et une surveillance indépendante améliorent la conformité, simplifient les enquêtes et renforcent la confiance des dirigeants dans les systèmes autonomes.
• Passer du remplacement à l’amélioration continue : les agents d’IA peuvent gagner en efficacité grâce à un retour d’information continu, sans pour autant remplacer le modèle de base sous-jacent. Les dirigeants doivent mettre en place des processus structurés d’évaluation et de gouvernance qui permettent d’améliorer en permanence les performances des agents tout en conservant un contrôle.
• Mettez en œuvre une gouvernance permettant de déployer à grande échelle une IA autonome : la valeur à long terme réside dans le fait de permettre à des agents IA de confiance de mener à bien les objectifs de l’entreprise avec une plus grande autonomie. Les organisations qui posent dès aujourd’hui des bases solides en matière de gouvernance seront mieux placées pour développer leurs opérations pilotées par l’IA de manière sûre et efficace.