L’IA agentique gagne en autonomie sous contrôle humain

L’IA agentique peut retirer aux personnes une partie réelle du travail de cybersécurité avant même qu’une entreprise ne lui fasse pleinement confiance. Cette contradiction apparente change la manière dont les DSI et les RSSI doivent évaluer l’automatisation, car une délégation utile dépend du niveau d’autorité décisionnelle qu’un processus peut recevoir en toute sécurité et de ce qui se passe en cas d’échec. Trois responsables technologiques des Émirats arabes unis abordent cette limite dans des environnements opérationnels différents : ENOC délègue déjà du travail de sécurité, DMCC fait varier la délégation selon les conséquences, et Dubai Islamic Bank entoure l’IA à fort enjeu de vérifications et de contrôles.

L’IA agentique change la question de la délégation

Pour Mohammad Al Rais, senior director of group IT chez ENOC, le point de départ est la continuité avec une automatisation que les entreprises connaissent déjà. « L’automatisation n’est pas quelque chose de nouveau ; nous faisons de l’automatisation depuis des décennies », a-t-il déclaré. « Quand nous parlons d’IA agentique, c’est de l’automatisation avec un cerveau. » Une plus grande agentivité permet à l’automatisation de prendre en charge une plus grande partie d’un processus dans le cadre de règles et d’orientations définies, si bien qu’une entreprise doit décider quelle part de ce processus elle peut déléguer.

Une plus grande autonomie exige malgré tout des limites, car Al Rais voit l’erreur et les comportements inappropriés comme des risques des deux côtés de la relation entre l’humain et l’IA. « C’est un processus de type quasi humain, mais qui a besoin d’être guidé », a-t-il déclaré. « Les humains et l’IA agentique peuvent se ressembler : tous deux peuvent se tromper, et tous deux peuvent dépasser les limites éthiques. Ce qui les guide, ce sont les règles que nous fixons. » À mesure que le système gagne en autorité, les règles prennent davantage d’importance, car une plus grande part du travail peut avancer sans intervention humaine.

Ces règles distinguent la responsabilité humaine de l’exécution humaine permanente. Une entreprise peut déléguer l’analyse ou le travail opérationnel répétitif tout en limitant ce qu’un agent est autorisé à faire et en contrôlant les conséquences de ses actions. ENOC, qui peut accroître sa capacité opérationnelle en transférant du travail de sécurité à l’IA, montre comment cette séparation fonctionne alors même que la confiance est encore en train de se construire.

ENOC déploie l’IA pendant que la confiance se construit

ENOC rend cette distinction concrète, car son équipe de cybersécurité utilise déjà l’IA alors que la confiance dans la technologie est encore en cours de développement. « Nous avons étendu nos capacités en IA à l’équipe cyber », a déclaré Al Rais. Ce déploiement intègre l’IA dans les opérations de sécurité en cours, ce qui permet à ENOC de tester le travail délégué dans le cadre d’un usage réel.

Ce travail délégué comprend des tâches familières aux équipes des opérations de sécurité. « Ils l’utilisent pour le triage des alertes. Ils l’utilisent pour analyser les logs et les menaces », a déclaré Al Rais. L’IA peut prendre en charge le traitement initial des alertes, des logs et des informations sur les menaces, réduisant ainsi l’analyse de routine que les personnes doivent effectuer elles-mêmes.

L’usage opérationnel laisse encore à ENOC la possibilité de faire évoluer sa confiance. Interrogé sur la confiance accordée à l’IA pour ces activités, Al Rais a répondu : « Nous sommes en train d’apprendre à lui faire confiance. » ENOC peut donc lui confier un travail utile, observer le comportement de la technologie et conserver le guidage nécessaire tout en décidant s’il faut déléguer davantage.

Cette confiance graduelle est importante, car le déploiement et l’autorité sans restriction sont deux décisions distinctes. Une confiance totale peut se développer après l’attribution d’un travail utile dans des limites définies, tandis qu’une autorité plus large peut dépendre des preuves issues de cette exploitation. ENOC sépare donc l’autorisation d’exécuter une tâche de l’autorisation d’agir librement dans l’ensemble du processus environnant.

Cette séparation modifie l’implication humaine dans le travail de sécurité au quotidien. Une personne n’a pas besoin d’effectuer chaque triage d’alerte ni d’inspecter chaque log traité par l’IA pour que l’organisation conserve la responsabilité du workflow. Une fois que l’exécution et la responsabilité sont traitées séparément, la question suivante est de savoir quels processus peuvent recevoir davantage d’autorité en toute sécurité.

DMCC fait des conséquences la limite de l’autonomie

ENOC montre comment l’autorité peut s’élargir à mesure que la confiance se développe, mais une organisation a tout de même besoin de critères pour décider où cette extension est appropriée. Abdalla Ahmed Mohammed Al Ali, senior director of IT chez DMCC, part de la nature du service. Il décrit l’IA comme une technologie révolutionnaire avec une valeur et un impact visibles, puis évalue un usage potentiel en fonction du risque et de l’importance du travail concerné.

Cette évaluation favorise les tâches dont les conséquences sont plus faciles à contenir. « Tant que ce service n’est pas risqué, n’est pas trop critique et qu’il est répétitif, alors nous essayons d’utiliser l’IA pour rendre les choses plus simples et plus fluides », a déclaré Al Ali. La répétition crée une opportunité de réduire le travail manuel, tandis qu’un risque et une criticité limités rendent une automatisation plus poussée plus facile à justifier.

La réduction du travail manuel doit aussi produire des résultats de service utiles pour DMCC, qui en bénéficie lorsque l’automatisation facilite les opérations pour les personnes qu’elle sert. « En fin de compte, nous voulons nous assurer que le résultat de cette utilisation est bénéfique pour l’équipe ainsi que pour les membres et les parties prenantes », a déclaré Al Ali. Cette exigence de bénéfice relie l’automatisation au service produit et aux personnes qu’elle affecte.

À mesure que les conséquences potentielles augmentent, DMCC devient plus prudente quant à l’autorité déléguée. « Si vous avez des services critiques qui peuvent avoir un impact sur la réputation de l’organisation, ou un impact financier, alors nous devons être extrêmement vigilants », a déclaré Al Ali. La réputation et l’exposition financière augmentent le coût de l’erreur, tandis que les opérations critiques renforcent la nécessité d’examiner si une action indépendante de l’IA est appropriée.

Ces conséquences deviennent des facteurs de décision explicites dans le framework d’Al Ali. « Cela dépend du ROI [return on investment], de l’impact, de la criticité et de la sévérité. Sur la base de ces facteurs, je déciderai si l’humain doit être dans la boucle ou si cela peut fonctionner sans l’humain. » Un humain « dans la boucle » participe directement à la décision ou à l’action ; DMCC utilise donc l’économie du projet et le préjudice potentiel pour déterminer si cette participation directe est nécessaire.

Ces facteurs produisent délibérément différents niveaux d’autonomie dans l’ensemble de l’organisation. Un service répétitif à risque limité peut fonctionner sans qu’une personne approuve chaque action lorsque sa valeur justifie le déploiement. Un processus ayant des effets financiers, réputationnels ou opérationnels graves peut justifier une participation humaine directe, car une mauvaise décision autonome comporte un risque plus important.

Différents niveaux d’autonomie font de la participation humaine une décision de conception au niveau du processus. DMCC peut réduire fortement l’exécution de routine dans les workflows adaptés tout en conservant une approbation directe là où les conséquences l’exigent. Pour les responsables technologiques qui passent à l’échelle au-delà des projets pilotes, le ROI, l’impact, la criticité et la sévérité fournissent des critères pour établir cette distinction sans imposer le même modèle d’approbation à chaque processus.

Cette approche fondée sur les conséquences crée un autre problème de conception. Une fois qu’une organisation donne à l’IA une plus grande autorité, en particulier dans les tâches critiques, elle a besoin de mécanismes pour détecter les mauvais comportements ou les informations compromises avant que ces problèmes n’atteignent des décisions à fort enjeu. Dubai Islamic Bank traite cette couche de contrôle dans un environnement fortement réglementé.

Dubai Islamic Bank associe une plus grande autonomie à des contrôles renforcés

Là où DMCC fournit des critères pour accorder de l’autonomie, Dubai Islamic Bank montre ce qui peut entourer cette autonomie lorsque les conséquences deviennent sérieuses. Noman Rasheed, DSI de Dubai Islamic Bank, opère dans le secteur bancaire, un secteur fortement réglementé où l’intégrité des modèles, la qualité des données et la sécurité de l’IA soulèvent des préoccupations particulières. La banque a un intérêt opérationnel à tirer de la valeur de l’IA tout en contenant les conséquences financières et réglementaires d’un échec, et Rasheed relie une plus grande indépendance de l’IA à une validation et à un contrôle renforcés.

Ces contrôles maintiennent l’implication humaine dans des rôles qui vont au-delà de l’exécution manuelle de chaque étape automatisée. « Le rôle de l’humain est extrêmement important. Il n’est pas question de confier des processus à l’IA sans contrôle ni validation. C’est là que les humains jouent un rôle », a déclaré Rasheed. Le contrôle définit ce que les systèmes autonomes sont autorisés à faire, tandis que la validation vérifie si leur fonctionnement et leurs résultats restent adaptés à des usages à fort enjeu.

Rasheed applique la même hypothèse de faillibilité aux personnes. « La question a toujours été de savoir si les humains peuvent faire des erreurs. La réponse est oui, mais cela signifie-t-il qu’il faut retirer les humains de la boucle ? La réponse est non : ce qu’il faut faire, c’est déployer des contrôles. » Puisque les erreurs restent possibles, quel que soit l’acteur, humain ou non, le système de contrôle doit prendre en compte à la fois le comportement humain et celui de l’IA.

Pour l’IA autonome, ces contrôles incluent des mécanismes qui contraignent le comportement et le rendent observable. « Nous avons besoin de garde-fous pour protéger et observer ce que font les agents et l’IA. Il n’est pas question que les humains sortent de la boucle. Les humains joueront toujours un rôle, à différents titres, tout au long du parcours », a déclaré Rasheed. Les garde-fous sont des limites et des vérifications autour des comportements autorisés ; les personnes peuvent donc passer de l’exécution de routine à la supervision, à la validation et à la responsabilité de l’intégrité, tandis que les agents prennent en charge une plus grande part du travail sous-jacent.

Dubai Islamic Bank applique la même logique au zero trust, un principe de sécurité selon lequel chaque tentative d’accès à un système ou d’utilisation de celui-ci fait l’objet d’une vérification. Rasheed l’applique de manière symétrique : « Nous avons une règle fondamentale : le zero trust. Il n’y a aucun moyen que nous fassions confiance aux humains. Il n’y a aucun moyen que nous fassions confiance aux machines. Il n’y a aucun moyen que nous fassions confiance à l’IA. » Une action indépendante ne dispense donc pas un agent d’IA de vérification, tout comme l’activité humaine ou machine reste soumise à des contrôles.

Cette vérification devient particulièrement importante lorsque l’IA agentique dispose d’une autorité, car l’intégrité du modèle peut affecter chaque action qui suit. Un modèle peut être altéré, empoisonné ou modifié, ce qui peut compromettre son comportement ou les informations qu’il fournit. « Il y aura toujours une place pour les humains à l’ère de l’IA et de l’IA agentique ; les humains sont responsables de s’assurer que l’IA agentique n’est pas altérée, empoisonnée ou modifiée », a déclaré Rasheed.

Le scénario du DAF de Rasheed rend concret le risque lié à l’intégrité. « Imaginez montrer au DAF de mauvais chiffres parce que le modèle a été empoisonné et qu’il n’y avait aucun humain pour vérifier les données », a-t-il déclaré. Une fois que des informations corrompues parviennent à un décideur financier senior sous la forme d’un résultat jugé fiable, un problème de modèle devient un problème de décision organisationnelle, car l’entreprise peut agir sur la base d’informations fausses.

La conséquence possible explique pourquoi une automatisation plus poussée peut exiger une vérification plus forte. « Toute entité pourrait s’effondrer. Les décisions prises sur la seule base de l’IA seraient totalement erronées », a déclaré Rasheed. La vérification crée un point de contrôle entre une sortie d’IA compromise et une décision dont les effets financiers ou opérationnels peuvent être difficiles à inverser.

Ce chemin d’échec déplace l’attention de la question de savoir si un agent accomplit la tâche qui lui a été assignée vers l’intégrité des informations et du comportement qui la sous-tendent. Un agent peut exécuter correctement son workflow tout en produisant un résultat dangereux si son modèle ou ses entrées ont été empoisonnés ; l’achèvement de la tâche, à lui seul, ne peut donc pas établir que sa sortie peut être utilisée en toute sécurité. Les garde-fous, l’observation et la vérification de l’intégrité permettent à l’organisation d’examiner ces conditions, tandis que la responsabilité humaine préserve l’obligation de rendre des comptes pour les décisions à fort enjeu.

Points clés

• Lier la délégation à des limites définies : L’IA agentique peut prendre en charge du travail de cybersécurité avant qu’une entreprise ne lui fasse pleinement confiance. Les responsables technologiques peuvent séparer l’autorisation d’exécuter une tâche d’une autorité plus large en définissant des règles sur ce que les agents sont autorisés à faire et sur la manière dont les échecs sont contenus.
• Construire la confiance par un déploiement contrôlé : ENOC utilise déjà l’IA pour le triage des alertes et l’analyse des logs et des menaces, tandis que la confiance se développe à travers l’usage opérationnel. Les équipes de sécurité peuvent élargir l’autorité à mesure que les preuves montrent que la technologie fonctionne de manière fiable dans des limites définies.
• Adapter l’autonomie aux conséquences : DMCC utilise le ROI, l’impact, la criticité et la sévérité pour déterminer si l’IA peut fonctionner de manière indépendante ou si elle nécessite une implication humaine directe. Les processus à risque limité et au travail répétitif sont de meilleurs candidats à l’autonomie, tandis que l’exposition financière, réputationnelle et opérationnelle justifie une supervision plus étroite.
• Renforcer les contrôles à mesure que l’autonomie augmente : Dubai Islamic Bank utilise des garde-fous, l’observation, la validation et les principes du zero trust pour gouverner les usages de l’IA à fort enjeu. Les organisations qui accordent aux agents une plus grande autorité ont besoin de contrôles qui vérifient le comportement, l’intégrité du modèle et les données avant que les sorties de l’IA n’éclairent des décisions à fort impact.