Comment évaluer les agents IA au-delà de leur adoption

Les RSSI ont besoin de deux types de preuves. Les preuves d’adoption montrent si les praticiens choisissent d’utiliser des agents. Les preuves de performance montrent si les agents améliorent la rapidité, la qualité, la sécurité ou un autre résultat défini. Les responsables de la sécurité doivent gouverner et évaluer les agents à mesure que les praticiens les intègrent dans leurs workflows.

Le signal le plus fort pour l’IA est l’adoption

Une décision de déploiement exige des preuves qui distinguent la contribution d’un agent des autres facteurs influençant la performance. Les responsables de la sécurité peuvent identifier les workflows dans lesquels les praticiens choisissent d’intégrer des agents IA et examiner des usages similaires au sein de leur organisation. Les affirmations de gains de productivité nécessitent une comparaison distincte qui mesure l’effet incrémental de l’agent.

Les agents IA au sein des équipes de premier plan

Les dirigeants de la sécurité peuvent tirer une conclusion limitée des preuves d’adoption : lorsque des concurrents de premier plan intègrent des agents dans leurs workflows, la gouvernance et l’évaluation interne deviennent pertinentes pour des usages organisationnels similaires. L’adoption seule ne permet pas d’établir si les différences résultent de l’accès, de la politique, des compétences, des préférences ou d’un autre facteur. Elle ne permet pas non plus d’établir l’effet incrémental des agents sur les résultats de l’équipe.

Cette distinction fait émerger deux questions pour les dirigeants. Les praticiens qualifiés choisissent-ils de travailler avec des agents ? Les agents améliorent-ils indépendamment leurs résultats ? Les preuves d’adoption répondent à la première ; la seconde exige des preuves qui isolent la contribution de la technologie.

Les gains de performance n’établissent pas la causalité

De meilleurs résultats mesurés en compétition au fil du temps n’en identifient pas la cause. La composition de l’équipe, la conception des épreuves, les conditions de la compétition, l’usage de l’IA ou d’autres changements peuvent affecter les comparaisons d’une année à l’autre. Isoler la contribution de l’IA exige un dispositif qui sépare son effet de ces facteurs.

Les compétitions ouvertes peuvent montrer un usage volontaire dans des conditions de compétition. L’estimation de la performance incrémentale exige des comparaisons qui contrôlent les différences pertinentes entre le travail assisté et non assisté. Les équipes de sécurité peuvent rendre cette distinction opérationnelle en comparant le travail assisté par agent à une référence définie et en mesurant des résultats tels que le temps, la précision et la sécurité.

Les équipes doivent également consigner les cas où un agent a contribué directement et ceux où une revue humaine a modifié ou rejeté son résultat. Cela crée des preuves liées aux tâches et aux conditions d’exploitation propres à l’organisation. Les dirigeants peuvent alors fonder les décisions de déploiement sur des effets mesurés plutôt que sur la seule adoption.

La capacité émergente consiste à gérer le travail humain-IA

L’usage d’agents crée une exigence de management. Les organisations qui autorisent les agents dans le travail de sécurité courant ont besoin de règles pour les piloter, examiner leurs suggestions et approuver les actions qui affectent les systèmes ou les données. La validation exige un niveau de connaissance technique suffisant pour juger si un résultat est adapté à l’environnement spécifique et aux conditions de menace. La revue humaine devient donc une composante du modèle opérationnel du travail de sécurité assisté par agent.

Les RSSI peuvent transformer cette exigence en décisions de politique : quelles tâches peuvent recourir à des agents, à quels systèmes et données les agents peuvent accéder, dans quels cas une approbation humaine est requise, et qui est responsable des actions qui en résultent. Les contrôles d’accès, l’approbation humaine, la validation technique et les comparaisons mesurées avec des références définies fournissent des garde-fous concrets qui peuvent être évalués dans le cadre des opérations de sécurité existantes.

Points clés

L’adoption est le signal le plus fort : l’usage d’agents IA par des praticiens qualifiés peut identifier des workflows qui méritent d’être évalués, mais les RSSI doivent mesurer les agents par rapport à des références internes définies avant d’avancer des affirmations sur la productivité.
Les équipes de premier plan rendent la gouvernance pertinente : lorsque les meilleures équipes cyber adoptent des agents, les responsables de la sécurité doivent évaluer des usages similaires tout en évitant de supposer que l’adoption explique à elle seule de meilleurs résultats.
Les gains de performance exigent des preuves contrôlées : les RSSI doivent comparer le travail assisté par agent et le travail non assisté selon des mesures telles que le temps, la précision et la sécurité, tout en suivant les cas où la revue humaine modifie ou rejette le résultat de l’agent.
Le travail humain-IA a besoin de contrôles clairs : définissez l’accès des agents, les tâches autorisées, les exigences d’approbation humaine, la validation technique et la responsabilité avant que les agents ne deviennent des composantes courantes des opérations de sécurité.