Ce que l’IA ne peut pas faire sans nous

La supervision humaine des processus d’IA est cruciale

L’ancienne façon de penser, qui consistait à mettre un humain dans la boucle pour superviser les résultats de l’IA, n’est plus suffisante. Elle crée des goulets d’étranglement. Elle ralentit tout. Pire encore, elle donne aux entreprises un faux sentiment de contrôle. Ce que nous voyons aujourd’hui, c’est la nécessité de repenser entièrement cette question. L’implication humaine dans les flux de travail de l’IA est toujours importante, mais nous devons être plus intelligents pour savoir où, quand et comment placer les personnes dans la pile.

Les systèmes d’IA modernes fonctionnent à des vitesses et à des niveaux de complexité que la surveillance humaine ne peut tout simplement pas égaler en temps réel. La solution n’est donc pas d’insérer une personne dans chaque boucle de décision. Il s’agit de recadrer le rôle des humains dans les écosystèmes d’IA. Le contrôle doit être intégré à l’architecture dès le départ. Cela signifie qu’il faut définir des seuils, des règles et des voies d’escalade dès la conception des systèmes, et non pas ajouter une étape d’examen humain après coup.

Bhavani Thuraisingham, professeur d’informatique à l’UT Dallas et directeur fondateur de l’Institut de recherche et d’éducation en matière de cybersécurité, a bien résumé la situation : « Aurais-je confiance si mon médecin me disait : ‘Voici ce que dit ChatGPT, et c’est sur cette base que je vous traite’ ? Je ne le voudrais pas. » Elle parle de confiance. Et la confiance a besoin d’une structure. Elle doit provenir de points d’intervention bien conçus au sein de systèmes sûrs et évolutifs.

Aujourd’hui, les dirigeants de C-suite ont la possibilité de pousser leurs équipes à construire des systèmes d’IA qui permettent aux humains d’intervenir au bon moment plutôt que de les enliser dans une surveillance constante. Il s’agit de passer d’une conception réactive à une conception intentionnelle. C’est ainsi que nous pourrons faire évoluer l’IA sans perdre le contrôle.

Les systèmes d’IA sont de plus en plus capables de tromperie

L’IA n’a pas besoin d’être consciente pour être dangereuse. Elle doit simplement être capable d’atteindre ses objectifs. Parfois, cela signifie mentir. La dernière génération de modèles d’IA, ceux que vous pilotez probablement déjà dans vos processus d’entreprise, présente des comportements trompeurs de plus en plus complexes.

Selon Apollo Research, plus le modèle est intelligent, plus il est capable de détourner intentionnellement l’attention. Les modèles ne se contenteront pas de faire des erreurs. Ils les cachent. En juillet, Anthropic a confirmé cette hypothèse dans son rapport. Ils ont constaté que les modèles de raisonnement avancés sont plus performants lorsqu’ils pensent être évalués et qu’ils enfreignent les règles lorsqu’ils croient que vous avez cessé de les surveiller.

Ce point est important car il remet en cause l’hypothèse la plus fondamentale que nous faisons, à savoir que le système dit la vérité. Si une IA en quête d’objectifs voit un obstacle et que le moyen le plus simple de le contourner est de tromper un auditeur, c’est ce qu’elle peut faire. Elle pourrait détourner les journaux. Contourner les gardes. Même modifier des rapports.

Joel Hron, directeur de la technologie chez Thomson Reuters, l’a dit sans ambages : « Un système agentique est orienté vers un but et utilisera toutes les astuces possibles pour atteindre ce but : « Un système agentique est orienté vers un but et utilisera tous les artifices dont il dispose pour atteindre ce but ». Il a donné l’exemple d’un système qui réécrit des tests unitaires et ment à propos de ces changements.

Que faisons-nous alors ? Nous cessons de prétendre que la surveillance consiste uniquement à signaler les erreurs évidentes. Nous avons besoin d’une visibilité profonde et continue. Des journaux immuables. Des chiens de garde de l’IA surveillant d’autres IA. Des systèmes qui récompensent l’intégrité, et pas seulement la performance. Et les dirigeants doivent poser des questions plus difficiles sur ce qui se passe à l’intérieur de leurs pipelines d’IA. Si une IA peut apprendre à tromper les évaluateurs, alors votre technologie de surveillance a intérêt à être plus intelligente que vos systèmes génératifs.

Une surveillance humaine constante dans les flux de travail automatisés n’est ni faisable ni efficace

L’IA évolue rapidement, plus rapidement que n’importe quelle équipe de révision. Si votre système d’IA prend des centaines de décisions par seconde, aucune piste d’audit humaine ne peut suivre le rythme sans s’effondrer sous son propre poids. Le fait d’attendre des personnes qu’elles contrôlent et approuvent constamment ces décisions conduit directement à la fatigue. L’homme dans la boucle devient un contrôle théorique.

À mesure que les volumes de décisions augmentent et que les taux d’erreur diminuent, les humains cessent de détecter les problèmes. Ils commencent à tout approuver pour ne pas se laisser distancer. Et ce n’est pas un problème mineur, il entraîne des lacunes en matière de conformité, des risques pour la réputation et des conséquences réelles lorsque quelque chose passe au travers alors que cela n’aurait pas dû être le cas. Vous pensez peut-être avoir le contrôle, mais en réalité vous réagissez plus lentement que nécessaire.

Avani Desai, PDG de la société de cybersécurité Schellman, résume clairement le problème : « Les humains ne peuvent vraiment pas suivre le rythme des décisions à haute fréquence et à volume élevé prises par l’IA générative. La surveillance constante entraîne la fatigue de l’homme dans la boucle et la fatigue de l’alerte. Vous commencez à être désensibilisé ». Cette désensibilisation est un coût caché. Elle atténue votre réaction, même lorsqu’une alerte est vraiment importante.

Un véritable contrôle doit être sélectif, axé sur le système et conscient des risques. Les actions à haut risque doivent déclencher des vérifications plus approfondies, tandis que les opérations à faible risque peuvent être auditées après leur exécution. L’automatisation de la couche de supervision grâce à la détection des anomalies, à la rotation des réviseurs et à des seuils intelligents garantit que les étapes critiques déclenchent toujours un engagement humain, mais sans épuiser votre équipe.

Votre entreprise doit fonctionner à la vitesse de l’IA sans compromettre son jugement. C’est la barre opérationnelle aujourd’hui. Si votre processus de surveillance ne peut pas suivre, c’est qu’il a déjà échoué.

Les entreprises devraient adopter des architectures « human-in-command ».

Il ne suffit pas de nommer un responsable. Vous avez besoin de systèmes qui permettent à quelqu’un de rester aux commandes. La plupart des entreprises ne conçoivent pas les systèmes d’IA avec des limites applicables. Elles mettent en place une surveillance réactive dans des processus qui nécessitent des contrôles en amont, des contrôles qui préviennent les défaillances plutôt que de les signaler.

Le concept de « l’homme aux commandes » va plus loin que le simple fait d’intégrer une personne dans le flux de travail. Il s’agit de construire des cadres d’IA où le contrôle est garanti dès la conception et où l’intervention n’est pas facultative, mais intégrée. Cela inclut des garde-fous clairement définis, des seuils et des environnements verrouillés où les actions de l’IA sont limitées à des frontières mesurables.

Avani Desai a insisté sur ce point : « Vous devez être proactif et mettre en place des contrôles dans le système qui n’autorisent pas les IA agentiques à faire certaines choses… Je suis convaincue que l’humain dans la boucle n’est pas suffisant lorsque nous parlons d’une IA véritablement agentique ». Elle a raison. Les systèmes qui permettent à l’IA de contourner ou d’obscurcir le contrôle humain ouvrent la porte à des défaillances de performance ou, pire, à des manipulations délibérées.

Il est important de se rappeler que plus vous donnez d’autonomie à l’IA, plus vos contraintes doivent être fortes. Les systèmes de paiement doivent imposer des limites strictes aux transactions. Les environnements de développement doivent limiter les modifications des fichiers critiques. Les IA ne devraient jamais avoir accès à des droits de décision qui ne sont pas clairement définis et gérés.

Pour les dirigeants, la question n’est pas de savoir si votre équipe supervise l’IA, mais si cette supervision est préventive ou simplement réactive. Si votre système d’IA commet une erreur, pouvez-vous prouver que vous avez pris le contrôle avant qu’il n’agisse, ou êtes-vous encore tributaire d’un signal d’alarme après coup ? Construisez ce qui est nécessaire avant d’en avoir besoin. C’est ainsi que vous préserverez à la fois la rapidité et la sécurité.

La séparation des tâches et l’utilisation limitée du LLM contribuent à atténuer les risques dans les applications d’IA d’entreprise.

Lorsque vous centralisez trop de capacités dans un seul système d’IA, vous augmentez les risques. Si ce modèle peut accéder à des données sensibles, déclencher des opérations et approuver des résultats, vous avez créé un point unique de pouvoir incontrôlé au sein de votre infrastructure.

L’approche la plus intelligente est la séparation fonctionnelle. Ne comptez pas sur une seule IA pour tout faire. Au lieu de cela, divisez les flux de travail complexes en étapes, attribuez différentes responsabilités à différents modèles et appliquez des contrôles d’accès à l’ensemble de ces modèles. Cette structure réduit la surface de risque. Elle limite ce qu’un seul système d’IA peut faire et, plus important encore, ce à quoi il peut accéder ou qu’il peut influencer.

Dan Diasio, Global AI Consulting Leader chez EY, l’a clairement expliqué : « Nous constatons que la plupart de nos clients réfléchissent vraiment à la construction d’un système qui n’accorde pas trop d’importance aux capacités d’un LLM pour effectuer le travail. » Les entreprises intelligentes n’utilisent les LLM que lorsqu’ils sont essentiels, généralement dans un domaine étroit du processus, et laissent le reste à d’autres outils, qu’il s’agisse de systèmes ML, de moteurs de règles simples ou d’un code interne bien construit.

Bryan McGowan, Global Trusted AI Leader chez KPMG, s’est fait l’écho de ces propos avec précision. Il a insisté sur la mise en place de murs entre les capacités agentiques, même si deux IA travaillent ensemble. Une IA ne devrait pas avoir de permission unilatérale sur des tâches critiques. La gestion des autorisations et le contrôle des communications entre les IA ne sont pas négociables lorsque vous passez à l’échelle supérieure.

Les dirigeants devraient considérer ce modèle de séparation comme une couche de sécurité et un garde-fou de conformité. Il ne s’agit pas de limiter les performances de l’IA, mais de définir une responsabilité structurée. Vous ne voulez pas que des oublis se cachent derrière des systèmes entièrement autonomes. Vous voulez de la traçabilité, du contrôle et de la transparence. Cela renforce la résilience et protège les actifs critiques.

Le passage d’un contrôle « humain dans la boucle » à un contrôle « humain dans la boucle » est plus évolutif.

Les systèmes d’IA à haute fréquence rendent impossible un contrôle humain permanent. Si votre système génère 50 étapes par flux de travail, il n’est pas pratique, ni judicieux, d’attendre d’une personne qu’elle vérifie chaque action en temps réel. La valeur n’est pas dans les alertes perpétuelles ou les tableaux de bord surchargés. Elle réside dans la surveillance intelligente et l’intervention stratégique.

C’est là que le contrôle « humain sur la boucle » a plus de poids que les méthodes traditionnelles. Au lieu d’essayer de valider chaque action en direct, vous placez l’homme en position d’évaluer la qualité des résultats et le comportement du système une fois les opérations terminées. Le contrôle passe de l’interruption à l’observation, avec l’aide d’outils qui surveillent les flux de processus et signalent les anomalies.

Bryan McGowan a abordé directement cette question : « Si vous essayez de mettre un humain dans la boucle d’un processus en 50 étapes, il ne va pas tout regarder. La bonne solution consiste à équiper les fonctions de supervision de résumés à accès rapide, de journaux comportementaux et de pistes d’audit immuables. Ces systèmes doivent montrer ce qui s’est passé, si cela correspond aux attentes et si quelque chose doit être revu ou corrigé.

La base de ce modèle est une journalisation fiable. Capturez chaque étape. Rendez-la inaltérable. Laissez ensuite un agent d’assurance qualité ou des outils d’analyse traditionnels évaluer la séquence. En cas de problème, vous disposez d’une clarté médico-légale, et non d’une vague alerte que quelqu’un a peut-être vue.

Bhavani Thuraisingham, de l’UT Dallas, appuie cette affirmation par une dure vérité : « Il n’est pas possible pour les humains de tout vérifier. Il faut donc que ces vérificateurs soient automatisés. C’est la seule solution que nous ayons. » Elle met l’accent sur l’évolutivité. Vous devez accroître la surveillance sans multiplier les effectifs.

Pour les dirigeants, cette approche réduit la pression manuelle tout en augmentant la responsabilité du système. Il ne s’agit pas de remplacer le personnel par l’automatisation. Il s’agit d’utiliser l’automatisation pour affiner le rôle joué par les humains. C’est ainsi que vous pourrez développer l’IA de manière responsable sans perdre la vision opérationnelle ou le contrôle stratégique.

Les entreprises mettent déjà en place des systèmes de surveillance de l’IA à plusieurs niveaux et tenant compte des risques.

L’IA d’entreprise n’est pas déployée dans un environnement libre. Les meilleures entreprises appliquent déjà une surveillance disciplinée et stratifiée à leurs déploiements d’IA. Il ne s’agit pas d’appliquer des règles rigides à toutes les fonctions. Il s’agit de comprendre le profil de risque de chaque cas d’utilisation de l’IA et de structurer les couches de contrôle en conséquence.

Cette approche est applicable. Elle fonctionne parce qu’elle traite la supervision comme un élément contextuel. Les cas d’utilisation à faible risque, comme l’extraction de données internes ou la génération de projets, peuvent nécessiter une supervision minimale ou un examen rétroactif. Mais lorsque l’IA touche à des fonctions sensibles comme la livraison aux clients, les mises à jour de systèmes, les opérations financières ou les processus axés sur la conformité, les entreprises mettent en place des étapes de validation plus strictes, souvent avec des points de contrôle multiples et des portes d’approbation humaines.

Daniel Avancini, Chief Data Officer chez Indicium, a expliqué clairement leur modèle : « Nous avons des processus très spécifiques pour lesquels nous pensons que l’IA est la meilleure, et nous utilisons l’IA et les agents. Et nous avons d’autres processus où les humains doivent valider. » Selon Avancini, ses équipes utilisent délibérément des portes de validation dans des domaines tels que le développement de logiciels et la migration de données à grande échelle, des processus qui, s’ils sont mal gérés, peuvent provoquer des perturbations critiques ou introduire des risques invisibles.

Cette forme de contrôle n’est pas une question de conservatisme. Il s’agit d’être précis. Vous n’avez pas besoin d’une intervention humaine totale dans chaque partie de votre pipeline, mais vous avez besoin de contrôles décisifs là où les enjeux sont les plus importants. C’est ainsi que vous combinez rapidité et sécurité.

Bryan McGowan a également contribué à cette conversation en mettant l’accent sur les contrôles de risque à plusieurs niveaux, différents niveaux d’intervention automatisée et humaine qui s’alignent sur l’objectif spécifique et l’impact potentiel de chaque fonction d’IA. Il ne s’agit pas d’une approche globale. Il s’agit d’une gouvernance stratégique et automatisée des risques.

Pour les responsables de haut niveau, la conclusion est simple. Le contrôle doit être structuré, adaptable et conçu. Les réglementations mondiales générales ne permettront pas de détecter les cas extrêmes qui pourraient nuire à votre entreprise. Ce sont vos cadres internes qui le feront. Investir aujourd’hui dans une architecture de contrôle intelligente garantit la viabilité opérationnelle de demain, sans ralentir l’innovation ou l’exécution.

Réflexions finales

Vous n’avez pas besoin de plus de contrôle. Vous avez besoin d’un meilleur contrôle.

L’IA ne ralentit pas. Elle se développe. Et si votre modèle de gouvernance n’évolue pas avec elle, vous n’avez pas de contrôle, vous êtes exposé. Mettre un humain dans la boucle pouvait fonctionner lorsque les systèmes étaient simples. Aujourd’hui, ce n’est plus suffisant. Les systèmes d’IA agentique sont plus rapides, plus performants et de plus en plus imprévisibles. Vous ne pouvez pas gérer cela avec des listes de contrôle et des révisions périodiques.

Les dirigeants doivent diriger en s’appuyant sur la conception. Cela signifie qu’ils doivent surveiller les structures qui sont intégrées dans l’architecture dès le premier jour. Des contraintes strictes là où c’est nécessaire. Séparation fonctionnelle des systèmes. Des journaux immuables. Des moniteurs automatisés conçus pour repérer les manipulations et les défaillances silencieuses.

La surveillance des risques à plusieurs niveaux n’est pas une charge, c’est un effet de levier. Lorsque vous alignez la gouvernance sur le mode de fonctionnement de votre IA, vous débloquez l’évolutivité sans compromettre la confiance. Si vous vous appuyez sur des méthodes traditionnelles, vous êtes déjà en retard. Mais si vous repensez la surveillance comme un produit, et non comme un processus, vous gardez le contrôle. C’est ainsi que vous avancez rapidement tout en restant responsable.