Le vrai défi de l’ingénierie de l’IA n’est plus le code mais la confiance

Le principal obstacle dans le domaine de l’ingénierie de l’IA n’est plus l’écriture du code, mais la confiance dans les résultats qu’il produit

Depuis quelques années, un changement subtil mais profond s’est opéré dans le développement de l’IA. Les équipes n’ont plus de mal à produire du code : les systèmes d’IA et les outils de codage autonomes s’en chargent sans difficulté. Le véritable défi consiste désormais à déterminer si l’on peut faire confiance au travail de l’IA en environnement de production. Lorsqu’un système d’IA écrit du code, génère de la logique ou alimente un produit basé sur un modèle, il supprime une couche de contrôle humain direct. Ce qui reste, c’est un besoin de confiance : confiance dans la précision, la cohérence et le respect des principes éthiques du système.

Au sein des grandes entreprises technologiques, les dirigeants constatent que le facteur limitant a changé. Le directeur technique d’une entreprise technologique américaine l’a clairement résumé : « L’automatisation des tests d’assurance qualité (QA) et des tests d’acceptation utilisateur (UAT), ainsi que la surveillance et l’observabilité de la production, constituent les goulots d’étranglement non résolus. » Cette déclaration reflète parfaitement la situation dans laquelle se trouvent aujourd’hui de nombreuses équipes d’ingénieurs. Elles sont plus légères, plus rapides et davantage automatisées, mais elles risquent d’être prises au dépourvu par des erreurs qui apparaissent trop tard dans le pipeline.

Pour les dirigeants d’entreprise, cette réorientation nécessite un changement de mentalité. Les principaux avantages de l’IA ne viendront pas d’une écriture plus rapide du code. Ils proviendront de l’investissement dans des infrastructures qui garantissent la fiabilité du code et de l’IA qui le sous-tend. Cela implique de mettre en place des systèmes de validation automatisée, de surveillance en temps réel et d’observabilité transparente. Ce sont ces infrastructures qui transforment l’automatisation en un véritable avantage concurrentiel, plutôt qu’en une expérience fragile déployée à grande échelle.

Il est essentiel de définir des critères d’évaluation explicites avant le développement afin de mettre au point des systèmes d’IA fiables

Avant de commencer à coder, il faut que tout soit clair. Dans le cadre d’un projet portant sur un chatbot dédié à la formation dentaire, l’équipe a commencé par rédiger un « cadre d’évaluation ». Ce document ne se contentait pas d’énoncer les objectifs ; il définissait ce que constituait la réussite en termes mesurables et avait été validé par le client. Il répondait à des questions essentielles : que testons-nous, comment allons-nous le tester, et quels comportements permettront de déterminer la réussite ou l’échec ?

Ce niveau de précision a permis de transformer des attentes vagues en normes de qualité concrètes. Par exemple, le chatbot était strictement limité aux documents médicaux internes de son client et il lui était interdit de puiser des informations provenant de sources externes. Il ne pouvait en aucun cas recommander des fabricants, ce qui garantissait la conformité dans un environnement réglementé. Il lui était également interdit de donner des conseils cliniques directs, ce qui lui permettait de rester dans les limites éthiques. Il s’agit là de contraintes de conception intégrées dès la conception du produit.

Pour les dirigeants, cette approche est importante car elle garantit la responsabilisation dès le premier jour. Lorsque la définition de ce qui est « bon » est rédigée, testée et approuvée dès le début, chaque décision technique prise par la suite s’inscrit dans une ligne directrice claire. Cela évite les retouches, garantit la conformité et accélère la mise sur le marché d’un produit auquel les parties prenantes peuvent faire pleinement confiance.

Dans les systèmes d’IA complexes, la structure l’emporte sur l’improvisation. Définir dès le départ des critères d’évaluation permet de maintenir les projets dans le respect des exigences réglementaires et éthiques, de réduire les risques et de poser les bases d’une réussite évolutive et reproductible.

Les ensembles de données de test spécialement conçus sont essentiels pour ancrer une évaluation systématique et spécifique au comportement dans les systèmes d’IA

Les systèmes d’IA robustes reposent sur des ensembles de données précis et soigneusement élaborés. Dans le cadre de ce projet, l’équipe ne s’est pas appuyée sur un échantillonnage aléatoire ni sur des questions ponctuelles. Elle a constitué un ensemble de données ciblées, chacune étant conçue pour tester un comportement spécifique dans des conditions mesurables. L’ensemble de données « Golden Dataset », élaboré en collaboration avec des experts du domaine, a servi de base. Chaque enregistrement associait une question, sa réponse correcte et le document de référence exact dans lequel cette réponse devait figurer. Cela a permis de tester les résultats générés ainsi que le processus de recherche lui-même, garantissant ainsi que le raisonnement du modèle restait ancré dans les sources de données appropriées.

À partir de cette base, plusieurs ensembles de données ciblés ont permis d’élargir les limites du système. L’ensemble de données « Out-of-Scope » a permis de tester la capacité du modèle à rejeter les sujets non pertinents, en vérifiant qu’il ne s’égare pas dans des domaines pour lesquels il n’a pas été formé. L’ensemble de données « No-Manufacturer » a mis à l’épreuve la neutralité du modèle, en l’obligeant à éviter tout parti pris en faveur d’une marque spécifique, même lorsqu’on lui en faisait la demande. L’ensemble de données « No-Direct-Instructions » a vérifié la retenue du modèle dans les contextes médicaux, en s’assurant qu’il ne s’aventurerait pas sur le terrain du diagnostic ou de la prescription. Enfin, l’ensemble de données « Hallucination » a permis de tester l’honnêteté de la réponse du modèle face à des informations manquantes ou inventées.

Pour les dirigeants chargés de superviser les initiatives en matière d’IA, la leçon à retenir est claire. Les ensembles de données spécialement conçus déterminent le comportement du système en situation de stress et d’incertitude. Ils révèlent des vulnérabilités qui n’apparaissent que lorsque l’IA est confrontée à des demandes complexes ou ambiguës. Plus important encore, ces tests évoluent. À mesure que de nouveaux cas limites apparaissent lors de l’utilisation en conditions réelles, ils sont intégrés aux ensembles de données, faisant de chaque défaillance détectée une protection pour l’avenir.

Lorsqu’ils sont élaborés et gérés avec rigueur, les ensembles de données de test constituent la base d’une confiance évolutive. Ils transforment les zones d’ombre du comportement de l’IA en résultats mesurables et reproductibles, ce qui permet aux organisations d’avancer plus rapidement sans perdre confiance dans leurs systèmes.

Des indicateurs d’évaluation automatisés et évolutifs permettent aux équipes d’évaluer quantitativement la fiabilité des résultats générés par l’IA

Une fois les ensembles de données d’évaluation mis en place, le défi suivant consiste à étendre l’évaluation à grande échelle. Les révisions manuelles sont efficaces sur de petits échantillons, mais s’avèrent insuffisantes face au volume des publications continues. Pour remédier à cela, l’équipe a intégré des outils d’évaluation automatisés à l’aide de Promptfoo, ce qui lui a permis de noter des milliers de réponses selon des indicateurs tels que la fidélité au contexte et la pertinence de la réponse. Ces indicateurs permettent de déterminer si la réponse d’un modèle reste fidèle à ses documents de référence et si elle répond effectivement à la question de l’utilisateur.

La « fidélité au contexte » est un indicateur central : elle permet de déterminer si l’IA invente des détails non étayés par le contexte extrait. Dans les environnements de production, cet indicateur sert d’alerte précoce face au risque d’« hallucination ». La « pertinence de la réponse » garantit que même les citations correctes restent centrées sur l’intention de l’utilisateur. Par ailleurs, la précision de l’extraction vérifie que les bonnes sources sont sélectionnées dès le départ. Combinés, ces indicateurs permettent de mesurer et de suivre la précision à chaque itération du système.

Pour les dirigeants d’entreprise, l’évaluation automatisée apporte de la transparence à grande échelle. Elle permet aux équipes produit de suivre les performances des modèles de la même manière que les ingénieurs traditionnels surveillent la stabilité du code. Les résultats peuvent être représentés sous forme de graphiques, vérifiés et partagés entre les différents services, offrant ainsi aux dirigeants une vision claire de la fiabilité du système sans devoir s’en remettre à leur intuition technique.

Une confiance quantifiable confère aux dirigeants un avantage stratégique. Lorsqu’un comportement exemplaire peut être mesuré, il est possible de l’améliorer en continu. Des indicateurs fiables font de la qualité de ce comportement une caractéristique visible et maîtrisable de l’entreprise, plutôt qu’un résultat imprévisible. Cela témoigne de la maturité des opérations d’IA, où les progrès, les risques et la confiance sont tous visibles et mesurés en temps réel.

Une surveillance continue est essentielle pour prévenir toute baisse de qualité et faire face aux risques potentiels d’hallucinations

Au cours du développement du chatbot dentaire, une étape d’optimisation des performances a mis en évidence une faiblesse importante. L’équipe a temporairement désactivé une partie du processus de raisonnement du modèle afin de réduire le temps de réponse. Les résultats semblaient toujours corrects, mais les indicateurs automatisés ont révélé un problème plus profond : les réponses n’étaient plus systématiquement liées aux documents de référence. Le chatbot se livrait à des déductions plutôt qu’à des références directes. Cette perte de fidélité était subtile pour les humains, mais évidente pour les indicateurs automatisés.

Cette découverte a conduit à un retour en arrière immédiat et à la mise en place d’un ensemble de données dédié aux « hallucinations ». Son objectif était simple : détecter dès leur apparition les futurs cas de raisonnement non fondé ou de contenu inventé. Cela a permis à l’équipe de transformer ce qui aurait pu être une faille invisible en une condition pouvant faire l’objet de tests en continu. En associant la qualité du raisonnement à des indicateurs mesurables, ils se sont assurés que les choix d’optimisation ne compromettraient plus jamais la fiabilité.

Pour les dirigeants, la leçon à retenir est celle de la discipline opérationnelle. Les systèmes d’IA peuvent s’écarter discrètement de la ligne directrice lorsqu’ils sont optimisés pour la rapidité ou l’efficacité. Une surveillance continue, qu’elle soit automatisée ou humaine, permet de détecter ces écarts avant qu’ils ne se transforment en véritables défaillances de production. Elle renforce également la responsabilité au niveau du système.

Dans un environnement où les résultats générés par l’IA orientent les décisions ou interagissent avec des données réglementées, la vérification continue de la qualité constitue une norme de résilience. La surveillance du risque d’« hallucinations » devient un mécanisme de contrôle tant pour la confiance que pour la conformité. Ce type de vigilance protège la marque, préserve la confiance des utilisateurs et garantit que le système évolue sans compromettre la précision.

Les tests de charge et de performance sont essentiels pour garantir la fiabilité de la production dans des environnements à forte demande

Avant de lancer publiquement le chatbot, l’équipe a réalisé un test de résistance afin de simuler les conditions d’une conférence. Environ 300 professionnels devaient l’utiliser simultanément, un nombre gérable, mais suffisamment important pour révéler des faiblesses cachées. Sous une charge simultanée, le système a atteint les limites de débit imposées par OpenAI et a présenté des problèmes de latence au niveau de la base de données. L’équipe a réagi rapidement en augmentant la capacité de l’API et en optimisant les requêtes de recherche afin d’accélérer les temps de réponse. Ce qui n’était au départ qu’un test à petite échelle a permis d’éviter des baisses de performances dans les conditions réelles de l’événement.

Le cadre de test a permis de suivre plusieurs indicateurs clés : le délai avant l’obtention du premier jeton, la durée totale de la diffusion en continu, ainsi que les taux d’erreur classés par catégorie (erreurs de limitation de débit, délais d’attente de la base de données et défaillances générales du système). Chaque mesure a été intégrée à une routine de régression automatisée. Cela signifiait que les futures mises à jour du système permettraient de revalider automatiquement les performances sans qu’il soit nécessaire de procéder à des configurations manuelles.

Pour les dirigeants de haut niveau, il s’agit là d’une illustration concrète de la responsabilité en matière de conception. De nombreuses initiatives d’IA échouent non pas en raison d’un raisonnement erroné, mais parce que l’infrastructure n’est pas capable de s’adapter à l’évolution de l’utilisation. La réalisation régulière de tests de charge garantit que les résultats positifs obtenus dans des environnements contrôlés se traduisent par des performances constantes sur le terrain. La planification des coûts et des ressources devient également plus prévisible lorsque les seuils de performance sont identifiés dès le début.

L’intégration des résultats d’évaluation dans un système d’observabilité robuste transforme les tests en un processus d’assurance continu et exploitable

Une fois les tests terminés, la plupart des équipes se concentrent sur le déploiement. Dans ce cadre, les tests ne s’arrêtent jamais vraiment : ils évoluent vers l’observabilité. L’équipe a établi un lien direct entre Promptfoo, qui gère l’évaluation, et Langfuse, qui gère l’observabilité. Chaque exécution de test est automatiquement transmise à l’environnement de suivi de Langfuse. Cela permet de disposer d’un historique continu du comportement du système au fil des mises à jour et des configurations. Chaque résultat est traçable, comparable et stocké de manière permanente.

Cette intégration permet aux ingénieurs d’identifier instantanément les régressions. Si le comportement du système change de manière inattendue après une nouvelle mise à jour des invites ou de la logique de recherche, les équipes peuvent identifier précisément la modification à l’origine de ce changement. Ce processus s’apparente au niveau de contrôle observé dans les environnements d’intégration continue, où les équipes ne déploient pas de nouvelles versions tant que les critères de qualité n’ont pas été vérifiés. Ici, ce même contrôle s’applique aux invites, aux réponses et à la logique de recherche de l’IA.

Pour les dirigeants, cette approche garantit des performances prévisibles à grande échelle. La couche d’observabilité apporte une visibilité sur ce qui se passe en coulisses, permettant ainsi d’aligner les décisions relatives aux performances des modèles sur des données mesurables. Cette transparence revêt un caractère stratégique. Elle permet aux équipes interfonctionnelles — ingénierie, conformité et opérations — d’interpréter les performances de l’IA en utilisant un langage opérationnel commun.

Les équipes de direction qui accordent la priorité à l’observabilité intégrée évitent les imprévus en production. Il s’agit d’un système d’assurance continue qui aligne les performances technologiques sur la responsabilité de l’entreprise. Les dirigeants peuvent agir plus rapidement en sachant que chaque modification est vérifiable et que la confiance est désormais quantifiable tout au long du cycle de vie du système.

Le suivi des métriques en temps réel dans un environnement de production marque la prochaine étape de l’évolution de l’observabilité de l’IA

La prochaine étape de ce cadre va au-delà des tests sur des environnements de pré-production pour passer à la surveillance du trafic en direct. L’objectif est d’appliquer les mêmes indicateurs d’évaluation, notamment la « fidélité au contexte », aux conversations réelles au fur et à mesure qu’elles se déroulent. Chaque réponse générée par le système serait notée automatiquement. Si le score de fidélité baisse ou si la fréquence des « hallucinations » augmente, les administrateurs en seraient informés en temps réel.

Cette configuration transforme la dégradation des performances en un signal observable et exploitable, plutôt qu’en un problème détecté plusieurs semaines plus tard. Les administrateurs peuvent ajuster les messages d’alerte, les outils de récupération ou les configurations dès que les indicateurs commencent à baisser. Concrètement, le système de production devient capable de s’auto-évaluer et de signaler lui-même les problèmes, ce qui permet d’intervenir rapidement avant que les utilisateurs ne constatent une baisse de qualité.

Pour les décideurs, cela représente un changement d’approche proactif. Au lieu de se fier aux réclamations des utilisateurs ou à des cycles d’assurance qualité retardés, l’organisation bénéficie d’une vue en temps réel de l’intégrité de l’IA. Les dirigeants peuvent suivre les indicateurs de stabilité parallèlement aux indicateurs clés de performance opérationnels, faisant ainsi de la qualité des modèles un élément mesurable de la performance de l’entreprise. Ce lien direct entre l’excellence des produits et les données opérationnelles permet d’accélérer les cycles de réponse et de renforcer la confiance des parties prenantes.

L’évaluation continue en temps réel transforme les produits d’IA, qui passent ainsi de systèmes statiques à des infrastructures dynamiques garantissant la responsabilité. Lorsque les dirigeants peuvent consulter les données relatives à la confiance en temps réel, ils sont en mesure de prendre des décisions en matière de performance, de conformité et de fiabilité avec rapidité et précision à l’échelle de l’entreprise.

Un cadre normalisé de lutte contre les hallucinations et d’observabilité constitue la colonne vertébrale opérationnelle de diverses initiatives en matière d’IA

Cette architecture, composée de Promptfoo pour l’évaluation automatisée, de Langfuse pour l’observabilité et d’ensembles de données spécifiques à chaque domaine, a évolué pour devenir un système cohérent appliqué à de nombreux projets clients. Qu’il s’agisse de développer des chatbots pour des prestataires de soins de santé soumis à une réglementation, des outils de traitement des déclarations de sinistres pour les assureurs ou des systèmes d’assistance industrielle, ce cadre garantit que chaque mise en production passe par les mêmes étapes de test et de surveillance. Chaque déploiement réutilise la même structure sous-jacente, tout en étant adapté aux exigences spécifiques de conformité et de performance propres à ce secteur.

Le processus ne se limite pas aux indicateurs automatisés. Les tests exploratoires menés par des humains viennent compléter l’aspect quantitatif, en se concentrant sur les problèmes que les outils automatisés pourraient négliger, tels que les réponses susceptibles d’enfreindre les protocoles de sécurité ou les restrictions légales. Lorsque les couches de sécurité internes d’OpenAI signalent des invites sensibles, des testeurs humains vérifient que l’IA se comporte de manière appropriée et cohérente. Ces contrôles manuels constituent une ligne de défense supplémentaire que l’automatisation ne peut pas encore remplacer.

Pour les dirigeants, la valeur stratégique d’un cadre standardisé réside dans son ampleur et sa cohérence. Il évite la fragmentation entre les équipes et garantit que chaque cas d’utilisation fasse l’objet du même niveau de contrôle avant sa mise en service. Une fois mis en place, ce cadre réduit les délais de mise en œuvre, diminue les risques et permet à l’entreprise d’étendre le déploiement de l’IA sans perdre le contrôle de la gouvernance. Cela rend les opérations d’IA plus prévisibles et bien plus faciles à auditer, en particulier sur les marchés fortement réglementés.

À mesure que les organisations étendent leur utilisation de l’IA, il devient indispensable de disposer d’une base opérationnelle unique. Celle-ci renforce la gouvernance, accélère l’intégration et garantit que l’innovation reste mesurable, fiable et conforme au sein d’un portefeuille de produits en pleine expansion.

La mise en œuvre durable de l’IA exige que l’on investisse autant dans les infrastructures de confiance que dans la génération automatisée de code

L’automatisation par le codage agentique a permis aux équipes d’ingénierie d’accomplir davantage avec moins de personnel. Mais la rapidité à elle seule ne suffit pas à mesurer le progrès. Sans un investissement équivalent dans les cadres d’évaluation, les ensembles de données comportementales et les systèmes d’observabilité, l’avantage de l’automatisation s’érode rapidement en production. Les systèmes d’IA nécessitent une infrastructure de confiance à la hauteur de leur sophistication technique. Lorsque cet investissement est équilibré, les résultats restent fiables, conformes et en adéquation avec les attentes des utilisateurs.

De nombreuses organisations accordent encore une importance excessive à l’accélération du développement des modèles et investissent insuffisamment dans la validation systématique. Ce déséquilibre conduit à des produits d’IA qui affichent d’excellentes performances lors des démonstrations, mais qui échouent dans la pratique. Les équipes qui intègrent les mesures visant à instaurer la confiance dans le processus de développement de leurs produits mettent en œuvre des systèmes capables de résister à la pression, d’évoluer en toute sécurité et de conserver la confiance des utilisateurs.

Pour les cadres supérieurs, cette approche redéfinit ce que signifie le progrès dans les opérations liées à l’IA. L’objectif n’est pas de devancer les concurrents en matière de génération de code, mais de garantir la performance et la fiabilité sur le long terme. La confiance devient alors le facteur différenciant qui assure l’adoption et la pérennité. En répartissant équitablement les ressources entre le développement et la validation, les dirigeants établissent la norme en matière d’excellence opérationnelle au sein des organisations axées sur l’IA.

Le véritable succès de l’ingénierie en IA se mesure à la stabilité dont elle fait preuve face à des charges de travail réelles, au respect des normes éthiques et réglementaires, ainsi qu’à la capacité des utilisateurs et des clients à se fier à chacun de ses résultats. L’investissement dans une infrastructure de confiance transforme l’IA, qui passe d’une technologie prometteuse à un atout opérationnel fiable qui s’améliore continuellement à mesure qu’il est utilisé.

Réflexions finales

L’écart entre ce que l’IA crée et ce en quoi les dirigeants peuvent avoir confiance constitue désormais le principal défi à relever. Ce n’est plus le savoir-faire en programmation qui fait défaut, mais la confiance. N’importe quelle organisation peut automatiser le développement, mais rares sont celles qui peuvent garantir que les solutions issues de leur IA fonctionneront de manière fiable en production, répondront aux exigences de conformité et résisteront à la pression réelle des utilisateurs.

C’est vers cela que les dirigeants doivent désormais orienter leurs efforts. La confiance ne découle pas d’une quantité accrue de code ni de modèles plus volumineux ; elle résulte de tests réguliers, d’une observabilité en temps réel et d’une évaluation rigoureuse. Les équipes qui parviennent à rendre ces systèmes mesurables seront celles qui pourront évoluer en toute sécurité et de manière durable.

Les dirigeants qui considèrent l’infrastructure de confiance comme un investissement essentiel obtiendront des résultats durables. Un cadre d’IA fiable génère de la valeur au fil du temps, accélère tous les processus en aval, préserve la crédibilité de la marque et garantit que l’innovation repose sur des données factuelles.

Les entreprises qui seront à la pointe de la prochaine vague d’adoption de l’IA ne se contenteront pas d’automatiser plus rapidement : elles mettront en place des systèmes sur lesquels elles pourront compter. Dans cette nouvelle ère de l’ingénierie, la confiance n’est pas le résultat accessoire du progrès. C’est le résultat même de celui-ci.