Quand les humains ont le pouvoir de contester l’IA

Un point de contrôle humain constitue une preuve faible de supervision humaine

Un DRH peut généralement indiquer qui est responsable d’une décision de recrutement influencée par l’IA. Une question plus difficile est de savoir combien de fois, au cours des six derniers mois, un recruteur a formellement annulé la décision de l’outil de présélection et ce qui s’est passé ensuite. La première réponse décrit une organisation ; la seconde fournit une preuve observable qu’une personne peut exercer un jugement indépendant. Un processus de gouvernance de l’IA peut sembler complet tout en laissant à son évaluateur humain nominal très peu de capacité réelle à être en désaccord.

Cet écart compte après la montée en puissance de la gouvernance de 2025 et 2026, lorsque les organisations ont mis en place des comités de supervision de l’IA, des politiques d’usage acceptable et des fonctions de gouvernance de l’IA au niveau de la direction générale. L’enquête 2026 Global Human Capital Trends de Deloitte, menée avec Oxford Economics auprès de plus de 9 000 dirigeants d’entreprise et responsables RH dans 89 pays, a révélé que 64 % considéraient l’IA et la prise de décision comme très importantes pour la réussite actuelle. Pourtant, seuls 5 % estimaient être en tête dans ce domaine. Deloitte, qui a un intérêt commercial à ce que les organisations achètent des conseils sur l’IA, la main-d’œuvre et les évolutions de gouvernance, juge les politiques largement répandues alors que les preuves montrant que l’autorité formelle est réellement exercée restent rares.

L’écart entre ces formes de preuve correspond à la différence entre responsabilité et comportement. La responsabilité est une affirmation déclarée sur qui répond de quoi ; une annulation est un événement observable montrant qu’une personne a évalué une recommandation et est parvenue à une conclusion indépendante. Un système solide peut mériter un niveau élevé d’accord, de sorte qu’une organisation n’a pas besoin d’un taux d’annulation particulier pour prouver que la gouvernance fonctionne. Elle a en revanche besoin de preuves que les personnes responsables de la supervision humaine peuvent être en désaccord lorsque leur jugement l’exige.

La délégation modifie le comportement avant même que la qualité du modèle n’entre en jeu

Cette capacité à être en désaccord se façonne avant même qu’une recommandation de l’IA soit examinée, car la conception de la délégation peut modifier le comportement humain. Des chercheurs dirigés par le Max Planck Institute for Human Development ont testé cela dans une version avec délégation à une machine de l’expérience bien établie en sciences comportementales sur le lancer de dé. Les participants regardaient un dé lancer à l’écran, déclaraient le résultat et gagnaient un centime pour chaque point déclaré sur dix tours. Lorsque les personnes déclaraient pour elles-mêmes, 95 % le faisaient honnêtement.

Les chercheurs ont ensuite maintenu la situation de fond constante tout en modifiant la manière dont les participants donnaient des instructions à une machine. Tout le monde voyait la même séquence fixe de dix lancers, et les incitations financières restaient inchangées. Dans la condition de rédaction de règles, les participants devaient préciser ce que la machine devait déclarer pour chacun des six résultats possibles du dé. Environ 75 % demandaient une déclaration honnête.

Cette baisse a surpris les chercheurs, car ils s’attendaient à ce que la rédaction explicite de règles préserve l’honnêteté. Ils pensaient que spécifier une action malhonnête aurait un poids moral similaire à celui de l’accomplir directement. Au lieu de cela, l’honnêteté a chuté d’environ 20 points de pourcentage même avec des règles explicites. Le fait de déléguer l’acte a modifié le comportement alors même que les événements et les incitations restaient identiques.

Une plus grande latitude d’interprétation a encore davantage modifié le comportement. Dans une condition fondée sur des exemples, les participants sélectionnaient un jeu de données pour montrer à la machine quoi faire, et environ la moitié demandaient l’honnêteté. Dans la condition de définition d’objectif, les participants déplaçaient un curseur entre « maximiser la précision » et « maximiser le profit » et laissaient la mise en œuvre à la machine. L’honnêteté est tombée à 12 % dans la première étude et à 16 % dans un suivi où la délégation elle-même était facultative.

Ces taux signifient que 84 à 88 % des participants dans la condition de définition d’objectif ont demandé à la machine de tricher sans en spécifier explicitement la méthode. Dans toutes les formes testées par les chercheurs, la délégation a réduit l’honnêteté, mais l’ampleur de la réduction dépendait de l’interface. Plus le système disposait de marge pour interpréter l’objectif de l’utilisateur, plus le changement comportemental augmentait.

L’expérience a été menée en ligne via Prolific avec un paiement maximal de 60 centimes, de sorte que la comparaison des interfaces provient de ce protocole précis. La tâche sous-jacente de lancer de dé bénéficie d’un long historique de validation et prédit des comportements réels, notamment la fraude dans les transports et les pratiques commerciales trompeuses. Une étude complémentaire sur l’évasion fiscale, dans laquelle une fausse déclaration réduisait un don à la Croix-Rouge, a reproduit le constat central sur la manière dont les agents machine agissent à partir des instructions que les personnes leur donnent.

Le prompting en langage naturel offre une autre perspective sur ce même effet de délégation. Il se situe plus près de la rédaction explicite de règles que du réglage d’un curseur d’objectif, et pourtant les demandes malhonnêtes atteignaient encore environ 25 % selon le propre décompte des participants et 40 % lorsque des évaluateurs indépendants examinaient les instructions. Cet écart compte pour la gouvernance, car la personne qui donne une instruction et un évaluateur externe peuvent parvenir à des conclusions sensiblement différentes sur ce que l’instruction demande à la machine de faire.

La même ambiguïté apparaît dans des objectifs métier familiers. Un manager peut dire à un agent de maximiser le pipeline qualifié ou de réduire le délai de recrutement, tandis que le système détermine les critères opérationnels et les méthodes permettant d’atteindre l’objectif. Le manager a fourni le résultat souhaité tout en déléguant de nombreux jugements qui relient l’instruction à ses conséquences. Max Planck recommande d’éviter les interfaces qui permettent aux personnes de se distancier de la manière dont les machines interprètent leurs instructions, car plus il y a d’abstraction entre une personne et une conséquence, plus cette conséquence peut devenir facile à tolérer.

Un fort niveau d’accord ne permet pas de savoir si le jugement fonctionne

Une fois la délégation intégrée dans un workflow opérationnel, le nombre d’annulations crée un second problème de mesure, car l’accord est intrinsèquement ambigu. Le système Viogén en Espagne évalue le risque de violences répétées dans les affaires de violences domestiques, et un audit externe a constaté que la police suivait ses recommandations dans 95 % des cas. Le Contrôleur européen de la protection des données a cité cet audit dans une note technique publiée « en septembre dernier » et a observé qu’un tel niveau élevé de concordance pouvait refléter une confiance justifiée. Le même résultat peut aussi susciter des inquiétudes quant au maintien d’un jugement humain indépendant.

Les deux explications produisent le même chiffre agrégé. Un système très précis peut légitimement mériter que presque toutes ses recommandations soient acceptées, tandis qu’un évaluateur qui a cessé d’évaluer les recommandations de manière indépendante peut lui aussi accepter presque toutes les recommandations. Prescrire un taux cible d’annulation créerait une autre distorsion de gouvernance, car le désaccord n’est pas un objectif en soi. Ce qui compte, c’est la capacité démontrée à être en désaccord lorsque le jugement l’exige.

La preuve de cette capacité doit aller au-delà du pourcentage de décisions annulées. Les évaluateurs ont besoin d’une autorité exploitable et d’interfaces adaptées, de voies d’escalade opérationnelles, de compétences suffisantes pour former un jugement indépendant et de la liberté organisationnelle d’agir en conséquence. Les dossiers doivent aussi montrer comment les recommandations ont été évaluées et ce qui s’est passé lorsqu’une personne en a contesté une. En conséquence, zéro annulation devrait déclencher une enquête plutôt qu’un constat automatique d’échec de la supervision.

La Pologne montre comment l’autorité formelle d’annulation devient inutilisable

Une telle enquête peut révéler l’écart entre autorité formelle et autorité pratique, comme le montre le service public de l’emploi en Pologne. De 2014 à 2019, il a utilisé un système algorithmique qui classait les demandeurs d’emploi en trois catégories, la catégorie attribuée déterminant l’accompagnement reçu par chaque personne. Les conseillers clients étaient formellement responsables de la supervision humaine et avaient le pouvoir d’annuler la décision de l’algorithme. Sur un organigramme ou une checklist de gouvernance, le contrôle essentiel semblait donc exister.

Les conditions de travail quotidiennes rendaient toutefois ce contrôle difficile à exercer. Les portefeuilles de dossiers étaient trop lourds, la formation insuffisante, et les conseillers n’avaient pas été correctement informés des cas où une annulation était justifiée ni de la manière de la motiver. Le système affichait également ses résultats d’une façon qui rendait difficile d’évaluer si une classification correspondait au client concerné. La responsabilité formelle existait donc sans le temps, les connaissances et les informations d’interface nécessaires à une décision indépendante.

Ces contraintes de workflow se sont renforcées lorsque le management est entré dans le processus. Certains managers locaux décourageaient les annulations, tandis que d’autres les interdisaient parce qu’une annulation attirait l’attention des niveaux supérieurs de l’organisation. Contester l’algorithme créait un événement qu’un manager devait expliquer. Accepter la classification ne créait aucun événement comparable.

Cette asymétrie a modifié la réponse rationnelle d’un conseiller ayant un portefeuille complet. Annuler imposait du travail supplémentaire et un examen accru, tandis que l’acceptation permettait au dossier d’avancer. Le comportement visible pouvait ressembler à de la confiance dans le modèle, alors qu’il pouvait au contraire refléter un salarié réagissant de manière prévisible aux incitations organisationnelles. Une vérification de la simple permission technique d’annulation ne permet pas de distinguer ces explications.

La condition posée par le CEPD pour qu’une autorité soit réelle découle directement de ce problème d’incitation : les opérateurs doivent pouvoir exercer leur pouvoir sans craindre de conséquences organisationnelles pour l’avoir fait. L’autorité formelle est relativement facile à accorder, car elle peut être inscrite dans un processus. L’autorité pratique dépend de ce que fait l’organisation lorsqu’un salarié l’exerce réellement. Les conseillers polonais avaient la responsabilité, tandis que le comportement managérial sapait leur capacité à l’utiliser.

Cette différence expose particulièrement les employés de première ligne surchargés désignés comme évaluateurs humains. Ces salariés peuvent porter la responsabilité de la décision finale tout en manquant de temps, de formation adéquate, d’informations d’interface utiles, de soutien managérial ou de protection contre un surcroît d’examen. Leur demander de rester « dans la boucle » sert alors à peu de chose lorsque le workflow environnant récompense systématiquement l’acceptation. La supervision humaine existe alors dans la documentation des processus tout en restant peu fiable comme capacité opérationnelle.

Les modèles statiques de droits de décision peuvent renforcer le même problème, car ils décrivent plus facilement qui possède une décision que la manière dont l’autorité fonctionne lorsqu’une décision devient contestée. Deloitte soutient que des outils historiques comme le RACI, qui attribue qui est responsable, comptable, consulté et informé, supposent que l’autorité peut être allouée selon des termes relativement fixes. Les workflows d’IA exigent des droits de décision plus dynamiques, notamment des privilèges d’annulation intégrés au système, des voies d’escalade et des règles de consensus qui déterminent quand les humains et les agents décident. Ces mécanismes gouvernent la manière dont l’autorité se déplace lorsqu’une recommandation est contestée.

L’expérience polonaise met ces mécanismes à l’épreuve du réel. Le service public de l’emploi disposait d’évaluateurs humains et d’un pouvoir formel d’annulation, mais la charge de travail et les incitations managériales poussaient les conseillers à accepter les classifications et à éviter de se créer un problème supplémentaire, pour eux-mêmes ou pour leurs managers. Une revue de gouvernance doit examiner ce qui se passe lorsque la permission est exercée. Sinon, la revue peut valider le contrôle tout en passant à côté du comportement qui le rend inefficace.

L’automatisation peut rendre le jugement humain restant plus difficile et moins pratiqué

Même lorsque les conditions organisationnelles favorisent les annulations, l’automatisation peut affaiblir la pratique nécessaire pour bien les effectuer. Amy Centers, psychologue du travail et fondatrice de SmartWorks Labs, décrit directement le risque : « Plus nous externalisons les décisions difficiles, plus nous risquons de former des dirigeants incapables de diriger sans prompt. » La délégation peut donc modifier la compétence humaine au fil du temps autant que le comportement au moment où une tâche est attribuée.

Ce problème de compétence devient visible lorsque l’accord se prolonge sur une longue période. Prenons le cas d’un manager qui accepte 98 recommandations consécutives du modèle. Le manager a peut-être traité le travail efficacement, mais ces décisions représentent aussi des occasions répétées où le jugement sous-jacent a été laissé au système. Lorsque le modèle finit par produire une erreur assurée mais lourde de conséquences, le manager conserve nominalement l’autorité d’intervenir, alors même que la réponse plausible peut devenir plus difficile à contester après peu de pratique récente dans la formation d’un point de vue indépendant.

Parce que les managers occupent souvent ce point d’intervention, Centers accorde un poids particulier à la qualité du management : « Je commencerais par la responsabilité des managers. La plupart des dysfonctionnements viennent des managers. Ils sont trop souvent insuffisamment soutenus, insuffisamment développés. Ils ne sont pas tenus responsables de leur manière de diriger. Si vous ne corrigez pas cette couche charnière, toutes les autres réformes comme l’engagement, les compétences, l’adoption de l’IA, tout s’effondre. » Elle décrit les managers comme la charnière entre la stratégie et l’expérience humaine. Dans un workflow assisté par l’IA, cette position peut aussi les placer à l’endroit où une recommandation erronée peut être arrêtée avant de se diffuser à grande échelle.

Cette position peut s’accompagner de responsabilités que le rôle n’a jamais été conçu pour assumer. Des managers ont pu être promus pour leur fiabilité opérationnelle sans qu’on leur dise que la validation des résultats de l’IA fait désormais partie de leur travail. Leur donner un contrôle d’annulation suppose qu’ils possèdent le jugement, la confiance, les attentes et le soutien nécessaires pour l’utiliser. Des managers insuffisamment développés ou insuffisamment soutenus peuvent donc sembler assurer une supervision humaine tout en n’ayant pas la capacité pratique qui devrait l’accompagner.

L’exigence de compétence augmente encore lorsque l’automatisation modifie les cas qui parviennent aux personnes. Victoria Pelletier, qui a auparavant dirigé des fonctions people et transformation chez Accenture, IBM et ailleurs, cite l’exemple des centres de contact, où l’automatisation a supprimé les appels de routine pouvant être traités selon des règles établies. Les cas arrivant jusqu’aux personnes devenaient de plus en plus ceux que les règles ne pouvaient pas résoudre. Le volume humain pouvait diminuer alors même que la difficulté de chaque cas restant augmentait.

Ce changement dans la composition des cas exige une évolution correspondante de la conception des rôles. Les descriptions de poste, les programmes de formation et les critères de performance peuvent continuer à décrire le travail précédent alors même que le travail restant, selon les mots de Pelletier, « exige un niveau de maîtrise très différent pour certaines des choses que nous attendons déjà aujourd’hui ». La capacité de supervision s’affaiblit alors dans deux directions : les cas de routine offrent moins de pratique, tandis que les cas résiduels exigent davantage de jugement.

Les organisations peuvent aussi disposer de moins de capacité interne pour cette refonte. Pelletier explique que les fonctions de design organisationnel et d’architecture des postes ont été réduites au cours de la décennie précédente parce qu’elles étaient considérées comme des frais généraux, sur l’hypothèse que les postes n’auraient pas besoin d’être fréquemment repensés. Ce sont pourtant précisément les fonctions nécessaires lorsque l’automatisation modifie la composition du travail. Le changement peut affecter la nature du travail autant que son volume. Pelletier appelle le résultat le « Frankensteinage des postes », où de nouvelles responsabilités s’accumulent sans refonte cohérente de l’autorité, des compétences et des attentes.

L’intervention humaine a sa place aux frontières à conséquences fortes

Préserver l’autorité humaine ne signifie pas faire passer chaque action de l’IA par une personne. Jurgen Appelo qualifie l’excès de revue obligatoire de « piège des humans-in-the-loop » : les personnes deviennent des goulots d’étranglement, les interactions restent limitées par la disponibilité humaine, les systèmes ne peuvent pas communiquer directement et la vitesse opérationnelle tombe au rythme du participant le plus lent. Un programme de gouvernance qui répond à chaque risque en ajoutant une étape d’approbation supplémentaire peut donc nuire au modèle opérationnel qu’il est censé gouverner.

Le CEPD identifie une autre défaillance au niveau des points de contrôle qui subsistent. La présence humaine offre peu de protection lorsque l’autorité, les interfaces et les voies d’escalade n’ont pas été conçues pour rendre l’intervention réellement utilisable. La préoccupation d’Appelo porte sur une contrainte humaine inutile imposée à l’automatisation. Celle du CEPD porte sur la question de savoir si les personnes conservées pour exercer un jugement à conséquences fortes disposent d’une autorité pratique suffisante pour intervenir ; les deux critiques s’appliquent donc à des parties différentes d’un même problème de conception de workflow.

Ce problème de conception partagé fait de la frontière IA-humain une décision de workflow dont les conséquences doivent être explicitement conçues. Kaan Esendemir, architecte d’entreprise qui a construit des workflows assistés par l’IA dans de grandes entreprises, voit cet enjeu dans les assistants virtuels, les accélérateurs de workflow et les systèmes qui recommandent une option pendant qu’une personne prend la décision. Les responsables métier et produit négocient l’endroit où l’IA s’arrête et où le jugement humain commence, avec l’implication de l’ingénierie parce que les ingénieurs comprennent à la fois les capacités des systèmes et leurs modes de défaillance. La frontière qui en résulte doit concentrer une autorité significative là où les conséquences l’exigent.

Concevoir pour le désaccord : quatre actions pour les workflows d’IA à conséquences fortes

Une fois la frontière considérée comme un choix de conception, une refonte pratique commence par la réversibilité. La distinction d’Amazon entre les décisions à sens unique et les décisions à double sens sépare les décisions difficiles à annuler de celles qui peuvent être facilement inversées : les décisions irréversibles font l’objet d’un examen plus poussé et de parcours plus lents, tandis que les décisions réversibles peuvent avancer plus vite. Pour les workflows d’IA, la même logique signifie qu’il faut définir l’autonomie de l’agent en fonction de la difficulté à annuler une décision. Une action qui semble routinière peut malgré tout produire des conséquences durables ; l’apparente routine est donc un mauvais indicateur du niveau d’examen qu’elle mérite.

Une fois que la réversibilité a établi où l’examen doit se concentrer, la deuxième action consiste à identifier comment l’autorité est déléguée. Un workflow doit distinguer la délégation fondée sur des règles, la délégation fondée sur des exemples et la délégation fondée sur des objectifs, car les expériences de Max Planck ont constaté des comportements sensiblement différents selon chaque interface. Le cas le plus ambigu est celui où un humain fixe un résultat et où le système décide des critères opérationnels ou des méthodes. Nommer ce mode de délégation rend explicite la part de jugement qui a été déplacée dans le système.

Une fois le mode de délégation visible, la troisième action consiste à préserver le désaccord comme donnée opérationnelle. Esendemir observe que les organisations sont plus susceptibles de conserver les résultats que les enregistrements montrant où une personne a rejeté une recommandation, ce qui relève selon lui « principalement d’une décision de conception ». Un enregistrement d’annulation doit indiquer qu’une personne a été en désaccord, ce qu’elle a observé et ce qui s’est passé ensuite. Ces champs montrent qu’une personne a évalué la recommandation, a décidé qu’elle était erronée et a agi différemment.

Le même enregistrement crée deux formes de valeur. Une annulation peut devenir un retour d’ingénierie pour améliorer les recommandations futures, tandis que le journal fournit une preuve de gouvernance sur le fonctionnement réel du rôle humain. Aucun de ces usages n’exige de maximiser les annulations ni de les traiter comme un objectif de performance. La fréquence doit être interprétée en parallèle de la qualité du modèle, des types de cas traités et des conditions dans lesquelles les évaluateurs peuvent intervenir.

Parce que ces conditions évoluent, la quatrième action consiste à fixer une date pour reconsidérer la frontière IA-humain. Les capacités changent, les modes de défaillance deviennent plus clairs, les postes évoluent à mesure que l’automatisation supprime le travail de routine, et l’expérience peut révéler qu’un point de contrôle ralentit inutilement le workflow ou n’apporte pas de supervision significative. L’allocation des droits de décision doit donc rester révisable. Une revue planifiée oblige les responsables à reconsidérer la frontière à partir des preuves générées par le workflow lui-même.

Cette revue planifiée peut aussi appliquer à l’échelle de l’organisation la recommandation des chercheurs de Max Planck. La délégation doit être conçue de manière à ce que les personnes restent conscientes de la façon dont les systèmes interprètent leurs instructions, car plus il y a d’abstraction entre l’objectif d’une personne et ses conséquences, plus ces conséquences peuvent devenir faciles à tolérer. La gouvernance a donc besoin d’une visibilité et d’une responsabilité suffisantes pour que la personne qui délègue ou examine une décision comprenne quel jugement a été transféré à la machine.

Six mois constituent un intervalle concret pour tester si cette conception fonctionne dans la pratique. Dans six mois, un COO peut choisir trois workflows dans lesquels l’IA influence une décision à conséquences fortes et examiner les désaccords humains documentés au cours du semestre précédent. Pour chaque désaccord, la revue peut examiner ce que l’évaluateur a observé, s’il pouvait agir différemment et ce qui s’est passé ensuite. Un compte à zéro a deux explications possibles qui méritent d’être examinées : soit personne n’a rencontré de raison d’être en désaccord, soit l’autorité formelle de l’organisation pour être en désaccord est inefficace dans la pratique.

Ce compte à zéro reste un signal diagnostique et ne prouve pas à lui seul un échec. L’affirmation selon laquelle aucun fournisseur ne présente son produit comme étant si bon que les humains ne trouveront aucune raison d’être en désaccord pendant six mois doit être traitée avec prudence. Les politiques, chartes de comité, responsables nommés et validations de formation établissent que des mécanismes de gouvernance ont été créés, tandis que les journaux d’annulation comportant de vraies entrées révèlent comment l’autorité se comporte à l’intérieur du workflow. La preuve utile est l’enregistrement montrant si une personne compétente pouvait être en désaccord avec une recommandation de l’IA, documenter la raison, agir différemment et exercer cette autorité sans subir de sanction structurelle.

En conclusion

Pour les dirigeants, la question centrale de gouvernance n’est pas de savoir si un humain apparaît quelque part dans le processus de décision. Elle est de savoir si cette personne dispose du temps, des informations, des compétences, de l’autorité et du soutien organisationnel nécessaires pour parvenir à une conclusion différente de celle du système. Les politiques et les contrôles d’annulation établissent une responsabilité formelle. Ils n’établissent pas que le jugement indépendant survit dans la pratique.

Cette distinction devrait changer ce que les dirigeants demandent. En plus des métriques de performance des modèles et d’adoption, les workflows d’IA à conséquences fortes devraient produire des preuves sur le désaccord : quand les recommandations ont été contestées, pourquoi les évaluateurs les ont contestées, s’ils pouvaient agir différemment et ce qui s’est passé ensuite. Un faible taux d’annulation peut indiquer un excellent système. Il peut aussi indiquer un environnement dans lequel le désaccord est devenu difficile ou coûteux. Le chiffre seul ne permet pas de trancher cette question.

La responsabilité des dirigeants consiste donc à concevoir un désaccord significatif sans transformer la revue humaine en goulot d’étranglement. Laissez aux décisions réversibles la possibilité d’avancer rapidement. Entourez d’une autorité humaine plus forte les décisions difficiles à annuler. Puis revenez sur ces frontières à mesure que les modèles s’améliorent, que les postes évoluent et que les décisions humaines restantes deviennent plus complexes.

La preuve la plus solide d’une supervision humaine n’est pas que quelqu’un ait la permission d’intervenir. C’est que l’organisation a créé les conditions dans lesquelles une personne compétente peut être en désaccord lorsque c’est nécessaire, agir selon ce jugement et laisser une trace montrant que cette autorité était réelle.