Quand l’IA justifie un rejet, les évaluateurs vérifient moins

Une explication de l’IA peut rendre le rejet d’une idée trop facile

Un système d’IA peut rendre un rejet peu solide plus facile à défendre. Pour les entreprises qui utilisent l’IA pour évaluer des projets proposés, une explication écrite peut donc affaiblir l’examen humain qu’elle est censée aider. Dans une expérience sur les premières revues de propositions, que les chercheurs appellent « early-stage innovation screening », les évaluateurs se sont montrés plus enclins à suivre des recommandations incorrectes lorsque le modèle fournissait une justification. Cela a accru le risque d’écarter des idées que des experts auraient fait avancer.

Écarter une idée prometteuse est l’une des deux erreurs de sélection coûteuses. Un faux négatif rejette une idée qui aurait pu réussir ; les chercheurs illustrent ce risque avec l’arrêt prématuré par Xerox de projets Ethernet et PostScript. Un faux positif fait avancer un projet qui échoue finalement, avec Google Glass et le Fire Phone d’Amazon comme exemples. Ces cas montrent les enjeux business, tandis que l’expérience a évalué les décisions de sélection selon leur concordance avec les experts.

La sélection se fait souvent avec peu de temps et d’informations, ce qui rend l’assistance de l’IA attractive. Les grands modèles de langage, ou LLM, peuvent recommander si une proposition doit avancer et expliquer cette recommandation par écrit. Mais une explication influence aussi le fait qu’un évaluateur approfondisse ou non son examen ; sa valeur dépend donc de la manière dont elle modifie le jugement de l’évaluateur. L’expérience a testé si une justification améliorait ce jugement.

L’expérience a comparé les explications au jugement indépendant

Pour tester l’effet des explications, des chercheurs associés à la Harvard Business School, au MIT et à l’Université de Washington ont recruté 228 évaluateurs expérimentés pour examiner près de 50 candidatures issues d’un challenge du MIT. Un ensemble commun de propositions a permis aux chercheurs de comparer les décisions dans trois conditions. Les évaluateurs travaillaient soit sans IA, soit avec une recommandation d’un LLM accompagnée d’une justification écrite, soit avec une recommandation en boîte noire : une décision binaire de l’IA, sans explication.

Les chercheurs ont évalué ces décisions par rapport aux jugements de quatre experts humains. Le choix d’un évaluateur était considéré comme « correct » lorsqu’il correspondait à l’évaluation positive ou négative des experts. Selon ce critère, un faux positif consistait à faire avancer une candidature que les experts auraient rejetée, tandis qu’un faux négatif consistait à rejeter une candidature qu’ils auraient fait avancer. La justesse signifiait donc l’accord avec les jugements de sélection des experts ; le succès commercial final relevait d’une autre question.

En plus de la qualité des décisions, les chercheurs ont examiné la manière dont les évaluateurs utilisaient les conseils du modèle. Les évaluateurs pouvaient suivre une recommandation ou la passer outre en faisant un choix différent. Un désaccord productif impliquait de vérifier de manière indépendante un résultat du modèle apparemment convaincant avant de décider ; le désaccord à lui seul ne démontrait donc pas un meilleur jugement. La comparaison de ce comportement avec l’accord des experts a aidé à distinguer la propension à accepter les conseils de l’IA des véritables améliorations de la sélection.

Les rejets expliqués ont réduit une erreur tout en en augmentant une autre

Par rapport aux jugements des experts, les recommandations sans explication ont produit le meilleur résultat global. L’assistance en boîte noire a amélioré les décisions des évaluateurs, tandis que l’assistance avec justifications écrites ne l’a pas fait. « Our findings reveal that LLM explanations do not necessarily improve decision-making, » ont écrit les chercheurs. Les évaluateurs ont pris de moins bonnes décisions avec la justification du modèle qu’avec sa seule recommandation.

Malgré cette différence de qualité, les recommandations de l’IA ont suscité un niveau d’adhésion important. Les chercheurs indiquent que les évaluateurs ont accepté les recommandations du LLM dans 67 % des cas. Ils ont également observé un accord avec les décisions du LLM, qu’elles soient en boîte noire ou narratives, dans environ 75 % des cas, contre 54 % pour les décisions humaines. L’influence du modèle s’est étendue aux cas où sa recommandation entrait en conflit avec celle du panel d’experts.

Dans ces cas, les évaluateurs ont suivi les conseils de l’IA dans les deux sens : ils ont rejeté des propositions que les experts soutenaient et approuvé des propositions que les experts jugeaient insuffisantes. Les justifications écrites ont aggravé le problème, car les évaluateurs étaient plus enclins à suivre une recommandation incorrecte lorsqu’elle incluait une explication. Rendre la recommandation plus facile à comprendre l’a donc aussi rendue plus facile à accepter lorsqu’elle était erronée, éloignant davantage les évaluateurs du jugement des experts.

Cet effet était particulièrement marqué lorsque le modèle recommandait le rejet. Les évaluateurs adhéraient de manière disproportionnée aux rejets expliqués, orientant leurs décisions vers l’élimination des propositions. Ce déplacement a réduit les faux positifs, car moins de candidatures rejetées par le panel d’experts ont reçu un soutien. Pour une entreprise qui cherche à éviter de consacrer des ressources à des propositions faibles, c’était un avantage significatif.

Mais les chercheurs indiquent que ce même traitement a « substantiellement » augmenté les faux négatifs. Davantage de candidatures que les experts auraient fait avancer ont été éliminées ; ainsi, le filtrage des propositions les plus faibles a aussi supprimé des options prometteuses. La comparaison globale de qualité résume ce compromis : les explications ont réduit une catégorie d’erreurs sans améliorer l’accord avec les experts sur l’ensemble de la tâche de sélection.

Pour les entreprises qui évaluent de tels systèmes, ce compromis fait du taux d’acceptation une mesure incomplète du succès. Un taux d’acceptation élevé montre que les évaluateurs suivent le modèle, tandis que la qualité des décisions montre si le fait de le suivre les aide à porter de meilleurs jugements. Évaluer les deux, ainsi que la vérification indépendante, peut révéler si une interface améliore la sélection ou si elle rend simplement ses recommandations plus persuasives. La question suivante des chercheurs était de savoir pourquoi les explications rendaient le rejet particulièrement facile à accepter.

Une justification persuasive peut décourager la vérification

Pour expliquer ce schéma, les chercheurs avancent que les récits peuvent « supprimer » les désaccords productifs. Selon eux, une raison convaincante de rejeter une proposition réduit l’incitation de l’évaluateur à vérifier si cette raison tient. Le mécanisme proposé est que l’acceptation de la justification décourage la vérification indépendante nécessaire pour détecter une recommandation erronée.

Une influence possible est le biais de négativité, c’est-à-dire la tendance à accorder plus de poids aux informations négatives qu’aux informations positives. Dans un contexte de sélection, cela pourrait rendre un exposé clair d’un risque d’échec plus influent que le potentiel incertain d’une idée. Les chercheurs estiment que cela aide à expliquer l’accord disproportionné avec les justifications soutenant le rejet. Une présentation fluide du risque peut donner à l’évaluateur une raison immédiate de cesser d’examiner une option.

Le rejet peut aussi combiner un sentiment de responsabilité avec la commodité de laisser inchangés les engagements existants. « Rejection is an active, eliminative decision that feels more consequential and accountable than preserving optionality, » ont écrit les chercheurs. Ils décrivent aussi le rejet comme un maintien du statu quo, évitant le risque et les biais, et ne nécessitant aucun engagement de ressources. Un évaluateur peut donc vivre le rejet comme une décision lourde de conséquences tout en choisissant une issue qui ne demande aucun nouvel investissement.

Une justification écrite peut rendre ce choix plus facile à défendre, car elle fournit ce que les chercheurs appellent des « ready-made justifications ». Les évaluateurs peuvent adopter ces raisons sans les vérifier de manière indépendante, en traitant la fluidité, la cohérence et la crédibilité apparente comme des motifs suffisants d’acceptation. L’explication donne alors aux évaluateurs une position défendable avant même qu’ils aient établi si son raisonnement est solide. Dans cette lecture, le modèle prend en charge une partie de la réflexion que l’examen humain était censé apporter.

Cette clarté apparente peut aussi créer une « illusion de profondeur explicative », dans laquelle une personne a le sentiment de comprendre une décision plus complètement qu’elle ne le fait réellement. Comme l’écrivent les chercheurs, « individuals tend to overestimate their understanding of a decision despite limited insight into its reasoning, » ce qui peut affaiblir le besoin perçu d’un examen plus approfondi. Un langage semblable à celui d’un expert peut donc donner à un évaluateur le sentiment d’être informé tout en décourageant le travail nécessaire pour évaluer la recommandation. Pour la conception des explications, la question devient alors de savoir comment le texte modifie le comportement de l’évaluateur.

Concevoir les explications en fonction de la tâche et du coût des erreurs

Parce que les explications peuvent modifier le comportement d’examen, les chercheurs identifient des « implications claires » pour l’évaluation assistée par l’IA et appellent à la prudence dans les contextes à forts enjeux. « Effective human-AI collaboration requires designs that preserve rather than supplant independent human judgment, » écrivent-ils. Un déploiement doit donc être évalué selon que les évaluateurs conservent la capacité et la motivation de vérifier les recommandations. Les justifications sont utiles lorsqu’elles aident les personnes à examiner la décision.

Pour évaluer cet effet avant le déploiement, les chercheurs recommandent de tester si les explications améliorent la précision, aident les évaluateurs à détecter les erreurs et développent leur compréhension du comportement du modèle. Une meilleure compréhension pourrait aussi accroître l’accord entre l’humain et l’IA en aidant les évaluateurs à reconnaître quand le modèle est fiable. L’accord comme le désaccord doivent être évalués à l’aune de la qualité du choix final, car un taux plus élevé de désaccord productif a peu de valeur à moins que ces désaccords ne reflètent une vérification solide.

Ce qui constitue un choix solide dépend aussi du coût des erreurs propres à la tâche. En contrôle qualité, en sélection de conformité et en détection de fraude, les chercheurs suggèrent que les explications pourraient renforcer une prudence utile. La sélection de l’innovation répond à une exigence différente, car éliminer une proposition peut empêcher l’entreprise de recueillir les informations nécessaires pour l’évaluer plus complètement. Un format d’explication doit donc être testé au regard des conséquences de l’avancement comme du rejet d’une option.

Pour la sélection de l’innovation, le résultat de la boîte noire donne aux entreprises une raison de comparer une interface fondée uniquement sur la recommandation avec une version expliquée. Des recommandations plus simples peuvent laisser aux évaluateurs davantage de marge de manœuvre et de place pour une vérification indépendante. En application de ces résultats, cette comparaison doit examiner si les évaluateurs détectent les approbations et les rejets erronés, et si leurs choix finaux s’améliorent au regard du critère de qualité retenu. La justification elle-même devient un choix de conception dont l’effet doit être évalué.

Pour donner aux évaluateurs davantage d’éléments à examiner, les chercheurs proposent de tester des récits contrastés : des raisons de rejeter une idée aux côtés de raisons de l’accepter. Ils suggèrent aussi de tester des indications d’incertitude fondées sur un seuil fixe plutôt que sur des décisions purement binaires. Ces approches modifieraient les informations disponibles pendant l’examen, mais elles restent des propositions à tester. Leurs effets doivent être évalués à travers les décisions prises par les évaluateurs.

Une autre approche proposée consiste à structurer le système de manière à inviter le désaccord humain tout en permettant l’accord lorsqu’une recommandation résiste à l’examen. L’objectif est de préserver une évaluation indépendante même lorsque le modèle s’exprime avec fluidité et assurance. Les chercheurs formulent directement ce principe de conception : « organizations should treat AI explanations not as universally beneficial transparency tools, but as behavioral interventions whose effects depend on how evaluators process information under uncertainty. »

Les étapes ultérieures de décision peuvent modifier la valeur d’une explication

Parce que l’expérience portait sur la sélection précoce, les chercheurs proposent d’étudier les explications à des étapes ultérieures de la décision. Les évaluateurs à ces étapes peuvent avoir moins d’options, davantage d’informations et des incitations plus fortes à vérifier les résultats et à délibérer. Ces conditions pourraient modifier la valeur d’une justification en donnant aux évaluateurs davantage d’éléments pour l’examiner. Des tests à ces étapes montreraient comment les explications affectent le jugement lorsque les personnes ont plus d’occasions et de raisons de vérifier le raisonnement du modèle.

Points clés

• Mesurer la qualité des décisions par rapport à un benchmark clair : L’expérience a comparé les décisions de sélection de 228 évaluateurs aux jugements de quatre experts. Les équipes innovation qui évaluent des outils d’IA ont besoin d’un critère de qualité défini ; l’accord avec les experts mesure la qualité de la sélection, tandis que le succès commercial exige des preuves distinctes.
• Suivre les deux types d’erreurs de sélection : Les justifications écrites de l’IA ont réduit les approbations de propositions faibles mais augmenté les rejets d’idées soutenues par les experts. Les responsables de l’innovation doivent mettre en balance le coût des opportunités manquées et les ressources économisées en rejetant des propositions.
• Préserver la vérification indépendante : Des explications persuasives peuvent décourager les évaluateurs de vérifier des recommandations incorrectes, en particulier les rejets. Les responsables du processus d’examen peuvent intégrer des étapes explicites de vérification dans le processus de sélection et évaluer si ces contrôles permettent de détecter les erreurs.
• Tester les formats d’explication avant le déploiement : Dans cette expérience, une assistance fondée uniquement sur la recommandation a amélioré les décisions, tandis que les recommandations expliquées ne l’ont pas fait. Les responsables produit IA peuvent comparer les deux formats sur la précision, la détection d’erreurs et les désaccords productifs avant de choisir une interface.
• Valider les explications à chaque étape de décision : Les résultats concernent la sélection précoce, où les informations et le temps sont limités. L’évaluation à des étapes ultérieures justifie des tests distincts, car les évaluateurs peuvent disposer de davantage d’éléments et d’incitations plus fortes pour vérifier le raisonnement du modèle.