Ce que google révèle sur les limites des LLMs

Les LLM présentent une dynamique de confiance volatile

LLMs, grands modèles de langagefaçonnent la façon dont les entreprises interagissent, automatisent et adaptent les tâches basées sur la connaissance. Mais il y a un point essentiel dont peu de gens parlent : ces modèles ne se comportent pas comme des machines logiques. Ils se comportent comme quelque chose de plus proche de l’homme, avec toutes les forces et les faiblesses qui en découlent. L’un des principaux problèmes que nous avons constatés est que les LLM peuvent faire preuve d’une grande confiance dans une réponse, puis l’abandonner complètement lorsqu’ils sont confrontés à de nouvelles informations, éventuellement incorrectes. Cela signifie que si le modèle commence par une réponse correcte, un léger coup de pouce, sous la forme d’un contre-argument, peut encore le faire basculer. Ce comportement n’est pas rare. Il est régulier et affecte directement le fonctionnement des LLM dans les applications du monde réel.

Les décideurs doivent comprendre ce que signifie cette volatilité. Dans les conversations à plusieurs tours, ces interactions prolongées en va-et-vient qui sont courantes dans les robots de service à la clientèle, les outils internes ou l’automatisation des processus d’entreprise, ces changements de confiance peuvent amener le modèle à se contredire. Cela nuit à la confiance des utilisateurs, à la fiabilité du système et, en fin de compte, aux performances de l’entreprise. Il ne s’agit pas d’une simple bizarrerie. Il s’agit d’une faiblesse tangible dont les entreprises doivent tenir compte.

Des chercheurs de Google DeepMind et de l’University College London ont mené une étude contrôlée pour tester la façon dont les LLM réagissent à des données externes après avoir fait un choix initial. La configuration était simple. Le modèle choisit entre deux options, reçoit des conseils d’un deuxième modèle, puis fait un choix final. Si le modèle pouvait voir sa réponse initiale, il était moins enclin à la modifier. Lorsqu’il ne se souvenait pas de sa réponse précédente, sa confiance diminuait et il était beaucoup plus enclin à modifier sa décision, même lorsque le conseil était en contradiction avec la bonne réponse.

Cette tendance confirme que les gestionnaires de programmes d’éducation et de formation tout au long de la vie n’agissent pas de manière isolée ; ils sont fortement influencés par le contexte qui leur est présenté. Leur confiance n’est pas seulement basée sur des faits. Elle repose sur la mémoire, la visibilité et le retour d’information perçu. Cela crée un niveau de fragilité qui doit être pris en compte lors de la conception, en particulier dans les déploiements d’entreprises critiques où la confiance et la cohérence ne sont pas négociables.

Les dirigeants doivent en prendre conscience : Les LLM sont puissants, mais ce ne sont pas des systèmes statiques. Ils apprennent, s’adaptent et changent, mais ils le font sans les instincts de base du jugement humain. Sans un calibrage et une conception appropriés, cette flexibilité se transforme en imprévisibilité. Et lorsque vous misez sur l’IA pour prendre de vraies décisions, cette imprévisibilité peut coûter du temps, de l’argent et de la crédibilité. Pour y remédier, il faut d’abord comprendre comment ces modèles gèrent l’incertitude, et quelle est la part de cette incertitude qui compte lorsque vous mettez l’IA à l’échelle de votre organisation.

Les LLM ont un poids disproportionné dans les avis défavorables

Voici quelque chose de contre-intuitif : les LLM, bien qu’ils soient entraînés à reproduire les réactions humaines à grande échelle, se comportent différemment de nous lorsqu’il s’agit de gérer le retour d’information. Chez l’homme, le biais de confirmation est un phénomène bien documenté. Nous avons tendance à privilégier les informations qui confirment nos croyances existantes. Mais dans le cas des grands modèles de langage, c’est souvent le contraire qui se produit. Les LLM font preuve d’une sensibilité accrue à l’égard des avis contraires, même lorsqu’ils sont incorrects. Ils accordent trop d’importance au désaccord et pas assez à l’affirmation.

Dans le cadre d’une utilisation en entreprise, cette tendance peut entraîner un problème systémique. Imaginez un modèle formé pour répondre à des questions d’ordre juridique, médical ou financier. S’il modifie sa réponse en raison d’informations contradictoires, sans évaluer la crédibilité de ces informations, la confiance dans le système peut s’en trouver ébranlée. Cette sensibilité à la contradiction n’est pas un signe de pensée critique. Il s’agit d’une réaction excessive intégrée à l’architecture du modèle, et vous devrez y remédier au niveau de l’application.

Ce biais en faveur des entrées opposées pourrait provenir de la manière dont ces modèles sont formés, en particulier par l’apprentissage par renforcement à partir du retour d’information humain, ou RLHF. Si le RLHF permet d’aligner les résultats sur les attentes de l’utilisateur, il tend également à promouvoir un modèle de conformité. Il en résulte un comportement flagorneur, où le modèle fait preuve d’une déférence excessive face aux défis, quelle que soit la précision. Il s’agit d’un défaut technique qui a un impact commercial.

L’étude de DeepMind et de l’University College London le confirme. Dans tous les scénarios, que le LLM se souvienne ou non de sa réponse initiale, le modèle a systématiquement accordé plus de poids aux conseils qui contredisaient sa réponse initiale. Les avis favorables ont été largement écartés. Ce genre de déséquilibre n’est pas humain et n’est pas stratégique.

Pour les dirigeants de C-suite, cela est important car cela affecte tout, des systèmes d’aide à la décision aux services d’IA en contact avec les clients. Si vos conseillers en IA sont prompts à céder à la pression, ils imiteront la confiance tout en rejetant un raisonnement solide. Vous obtenez des réponses qui semblent utiles mais qui manquent de résilience factuelle. Pour y remédier, il ne s’agit pas de réécrire l’ensemble du modèle, mais de mettre en place des garde-fous dynamiques sur la manière dont le modèle évalue les données entrantes, en particulier lorsque ces données remettent en cause des conclusions antérieures.

Comme pour tout ce qui concerne l’IA à grande échelle, il s’agit d’une question de gouvernance. Vous ne pouvez pas supposer que le modèle sait intrinsèquement ce qui est important. Il a besoin de règles, d’une structure et d’une surveillance adaptées à votre secteur. Si vous savez que le modèle peut se retourner lorsqu’il est mis au défi, vous construisez des garde-fous afin qu’il ne se retourne pas pour de mauvaises raisons. C’est ainsi que vous passez d’outils génératifs à des systèmes responsables qui résistent dans des contextes opérationnels.

La gestion contrôlable de la mémoire offre des possibilités d’atténuation des biais

L’un des principaux avantages des LLM par rapport aux décideurs humains est la mémoire contrôlable. Vous pouvez définir ce dont le modèle se souvient, ce qu’il oublie et comment l’information est présentée. Ce contexte contrôlé offre une solution stratégique à la volatilité de la confiance et à la susceptibilité aux données contradictoires évoquées plus haut. Si vous gérez correctement la mémoire, vous pouvez réduire l’impact des biais cognitifs et apporter plus de stabilité aux interactions multi-tours.

Les recherches menées par Google DeepMind et l’University College London le montrent clairement. Lors des tests, lorsque le modèle se voyait montrer sa réponse précédente avant de reconsidérer une décision, il était moins susceptible de changer de réponse. Lorsque ce souvenir était caché, le modèle modifiait sa réponse plus fréquemment, ce qui indique un lien direct entre la visibilité de la mémoire et la cohérence de la confiance. Vous ne pouvez pas faire cela avec des boucles de rétroaction humaines. Mais avec les LLM, vous pouvez restructurer le contexte informationnel en cours de dialogue.

Pour les outils d’entreprise qui s’appuient sur plusieurs tours de conversation, les agents d’assistance, les copilotes opérationnels, les systèmes de connaissances internes, c’est important. Si un système peut être poussé à rejeter une réponse correcte simplement parce qu’il est surchargé par de nouvelles données contradictoires, il n’est pas fiable. En revanche, si les développeurs divisent les longues conversations en segments gérables et en résumés neutres, sans identifier qui a dit quoi, vous pouvez réinitialiser le contexte interne du modèle. Cela réduit les préjugés émotionnels ou fondés sur la source et oblige le modèle à raisonner à partir des faits, et non des influences.

Ce que cela signifie pour les dirigeants est simple : vous n’avez pas besoin d’accepter les biais du modèle comme étant fixes. Vous pouvez concevoir votre couche d’application pour les contrer. Il ne s’agit plus d’essayer de réorganiser le modèle lui-même, mais de concevoir l’expérience du produit. Structurer les interactions pour récapituler les résultats, supprimer l’attribution et se protéger contre les biais rampants vous donne le contrôle. Ce niveau d’intervention vous permet de construire des systèmes qui restent précis même après des centaines d’interactions.

Le contrôle intelligent de la mémoire est l’un des rares outils dont nous disposons aujourd’hui et qui nous permet d’intervenir sur le comportement du modèle sans avoir à le réapprendre à partir de zéro. Utilisé correctement, il transforme un aspect vulnérable de l’architecture LLM en une force opérationnelle. Et comme l’IA se développe rapidement dans tous les secteurs, construire avec cette hypothèse intégrée permet d’obtenir de meilleurs résultats à moindre risque.

La confiance imprévisible en l’IA a un impact sur la fiabilité des applications d’entreprise.

Les LLM étant de plus en plus intégrés dans les opérations de l’entreprise, leurs changements imprévisibles de confiance deviennent une considération essentielle en matière de performance. Ces modèles évaluent et révisent leurs réponses en temps réel, et souvent en fonction des dernières données de la fenêtre contextuelle. Cette flexibilité a de la valeur, mais elle crée aussi des risques. En particulier, elle ouvre la voie à des scénarios dans lesquels une réponse correcte, obtenue au début d’une conversation, est ensuite révisée ou rejetée après avoir été exposée à des invites de suivi incohérentes ou incorrectes.

Ce comportement n’est pas théorique. L’étude de DeepMind et de l’UCL a confirmé qu’un avis contraire, qu’il soit exact ou non, peut modifier de manière disproportionnée la décision d’un LLM. Le modèle peut afficher une confiance ferme au départ, puis dégrader cette confiance et inverser sa conclusion après une deuxième entrée. Dans les cas d’utilisation en entreprise, cela crée une dérive de la qualité des résultats au fil du temps, en particulier dans les interactions plus longues, courantes dans les flux de travail d’assistance, les outils d’aide à la vente ou les assistants exécutifs.

La confiance et la cohérence ne sont pas négociables dans les contextes commerciaux. Si un modèle fournit une réponse solide au début d’un échange, mais qu’il revient en arrière par la suite en raison d’informations contradictoires fournies par l’utilisateur, la confiance de ce dernier s’en trouve érodée et sa responsabilité est engagée. Dans les secteurs réglementés ou les environnements à fort enjeu, cette incohérence devient encore plus problématique. Le modèle n’a pas échoué techniquement, il a fonctionné comme prévu, mais le système qui l’entoure n’a pas été conçu pour absorber ce comportement.

Les dirigeants qui construisent ou achètent des produits pilotés par l’IA doivent considérer cela non pas comme un problème de performance, mais comme un défaut de conception qui peut être corrigé. Vous pouvez y remédier par un contrôle stratégique du contexte, une vérification des résultats et des garde-fous à plusieurs niveaux pour les décisions sensibles. L’objectif n’est pas d’éliminer la flexibilité, mais de la canaliser, en veillant à ce que le modèle ne rejette pas des données précises et utiles sur la base de changements de contexte irrationnels.

À long terme, l’IA d’entreprise aura besoin de systèmes de soutien qui surveillent non seulement les résultats, mais aussi les comportements internes des modèles, comme la dérive de la confiance et les inversions de décision. Savoir quand et pourquoi un modèle a changé sa réponse doit être visible et vérifiable, que ce soit par le biais de journaux, de mesures de notation ou de contrôles humains dans la boucle. Cela permet aux propriétaires de produits et aux gestionnaires de risques de s’adapter et de s’améliorer rapidement, plutôt que d’attendre que les points de défaillance se révèlent en aval.

La fiabilité des systèmes d’IA n’est pas seulement le résultat de modèles plus intelligents. Ils sont le fruit d’une mise en œuvre plus intelligente. Vous y parvenez en comprenant comment et quand l’instabilité apparaît, puis en concevant de manière proactive des solutions pour la minimiser avant que les utilisateurs n’en subissent les conséquences.

Faits marquants

• Les LLM changent de réponse en cas d’incertitude : Les LLM peuvent choisir en toute confiance la bonne réponse, puis l’abandonner en cas de légère contradiction, même si le contre-argument est erroné. Les dirigeants qui déploient l’IA dans des systèmes à tours multiples doivent concevoir des garde-fous pour préserver les raisonnements antérieurs corrects.
• Les avis contraires ont trop d’importance : Ces modèles sont plus susceptibles de réviser leurs réponses en cas de désaccord que de maintenir une position correcte. Les équipes doivent calibrer le comportement du LLM afin d’éviter une dépendance excessive à l’égard des commentaires contradictoires et de réduire les modèles de sortie flagorneurs.
• La visibilité de la mémoire modifie le comportement : Les réponses de l’IA sont fortement influencées par ce dont le modèle « se souvient » pendant l’interaction. Les entreprises doivent mettre en œuvre un contrôle structuré de la mémoire, tel que le résumé et la réinitialisation de la mémoire, afin d’atténuer les biais et de stabiliser les résultats.
• Le changement de confiance perturbe la cohérence : Les MFR peuvent s’écarter des réponses exactes au cours d’interactions plus longues, en particulier lorsque de nouvelles données entraînent des changements de confiance. Les responsables doivent intégrer des mécanismes de vérification du contexte et de validation du retour d’information afin de maintenir la fiabilité des dialogues prolongés.