Pourquoi tant de projets d’IA échouent une fois déployés

Faire le lien entre la recherche et la réalité opérationnelle

La plupart des entreprises n’ont pas de problème lié à l’IA. Elles ont un problème de mise en œuvre.

La création d’un prototype est désormais beaucoup plus simple. Les modèles de base modernes permettent de produire des démonstrations impressionnantes en très peu de temps. Mais l’environnement de production est tout autre. Le véritable défi commence lorsque l’IA doit prendre des décisions fiables dans des conditions réelles d’activité, avec des données clients en temps réel, des exigences de performance strictes, des contraintes réglementaires et des systèmes d’entreprise existants.

C’est à ce stade que de nombreux projets ralentissent ou s’arrêtent.

Un modèle qui donne de bons résultats lors des tests peut rencontrer des difficultés dès lors qu’il est exposé au trafic en production. Le comportement des clients évolue. La qualité des données varie. Les systèmes génèrent des retards. Les exigences de sécurité limitent la circulation des informations. Chacun de ces facteurs modifie les performances de l’IA. La réussite dépend moins de ce que le modèle est capable de faire isolément que de la performance globale du système dans des conditions opérationnelles.

C’est pourquoi la recherche ne peut exister indépendamment de la mise en œuvre. Chaque expérience doit apporter une réponse à une question concrète liée à l’activité. Chaque système de production doit générer un retour d’expérience permettant d’améliorer les recherches futures. C’est ce cycle continu qui fait passer l’IA du statut de technologie intéressante à celui de capacité opérationnelle fiable.

Pour les dirigeants, cela modifie la manière dont les investissements dans l’IA doivent être évalués. Le modèle le plus récent constitue rarement un avantage concurrentiel. L’avantage réside dans la capacité à fournir systématiquement des résultats fiables à grande échelle. Les organisations qui conçoivent dès le départ leur IA en tenant compte des réalités opérationnelles évitent ainsi des refontes coûteuses par la suite et réduisent l’écart entre l’expérimentation et la valeur commerciale mesurable.

Les environnements d’entreprise sont, par nature, complexes. L’infrastructure est souvent fragmentée entre les différentes unités opérationnelles. Les exigences en matière de gestion des risques sont élevées. Les piles technologiques évoluent au fil des années. L’IA doit s’adapter à ces contraintes plutôt que de partir du principe d’un environnement idéal. Les entreprises qui prennent conscience de ces réalités dès le début ont plus de chances de faire passer des projets pilotes couronnés de succès en production.

Ce point de vue est celui d’un membre de l’organisation « AI Foundations » de Capital One, qui affirme que c’est une approche rigoureuse en matière de recherche et développement, et non la simple adoption des derniers modèles d’IA, qui permet de transformer des idées prometteuses en systèmes de production sur lesquels les clients peuvent réellement compter.

Concilier la recherche fondamentale et le développement appliqué

La recherche ouvre de nouvelles perspectives. C’est le développement appliqué qui détermine si ces perspectives se concrétisent sous forme de produits.

De nombreuses organisations séparent ces fonctions. Les équipes de recherche s’attachent à réaliser des avancées techniques, tandis que les équipes chargées des produits et de l’ingénierie se concentrent sur la mise en œuvre. Cette structure permet certes de produire d’excellents articles de recherche, mais elle entraîne souvent des retards lorsque ces innovations doivent être intégrées dans des systèmes d’entreprise réels.

La recherche et l’ingénierie appliquée doivent fonctionner comme un système unique et cohérent. Les chercheurs doivent comprendre les objectifs de l’entreprise, les besoins des clients et les contraintes opérationnelles. Les équipes produit et ingénierie doivent quant à elles maîtriser les capacités et les limites des technologies émergentes d’intelligence artificielle. Cela permet un apprentissage plus rapide et une meilleure prise de décision tout au long du processus de développement.

L’avantage est évident. Les contraintes de production sont identifiées plus tôt. Les équipes savent plus rapidement si une idée prometteuse permettra réellement d’améliorer les résultats pour les clients. Les ressources restent concentrées sur les solutions qui créent une valeur mesurable, plutôt que sur des réalisations techniques qui ne peuvent pas être déployées à grande échelle.

Capital One applique ce modèle à plusieurs axes stratégiques, notamment la détection des fraudes, l’expérience client numérique et des solutions d’IA propriétaires spécialement conçues pour le secteur des services financiers.

L’un des exemples évoqués concerne les recherches menées par l’entreprise sur les architectures d’IA multi-agents. Au lieu de s’appuyer sur un seul grand modèle linguistique pour effectuer toutes les tâches, plusieurs agents d’IA spécialisés travaillent ensemble. Un agent peut par exemple collecter des informations sur les clients tandis qu’un autre prépare la documentation, ce qui permet au système de mener à bien des flux de travail plus complexes. L’IA dépasse ainsi le simple stade de la génération de réponses pour s’orienter vers la coordination d’actions entre plusieurs tâches.

Ces travaux de recherche ont contribué au développement de « Chat Concierge », la solution d’achat automobile basée sur l’IA de Capital One. Ce système est conçu pour répondre aux questions des clients, analyser leurs demandes et prendre les mesures appropriées en leur nom. Cela reflète une évolution majeure de l’IA en entreprise, qui passe de la simple recherche d’informations à l’exécution de tâches.

Pour les cadres supérieurs, l’enseignement à en tirer est important. La conception organisationnelle est désormais un choix stratégique en matière d’IA. Les équipes pluridisciplinaires, qui associent des compétences en recherche, en ingénierie, en gestion de produit, en conception, en opérations et en affaires, peuvent raccourcir les cycles de développement tout en réduisant les risques liés au déploiement. Elles créent également des boucles de rétroaction plus solides, permettant ainsi aux nouvelles découvertes d’être mises en production plus rapidement et à l’expérience opérationnelle d’améliorer les recherches futures.

L’expérience décrite par ce membre de l’organisation « AI Foundations » de Capital One suggère que les entreprises qui créent de la valeur durable grâce à l’IA ne sont pas nécessairement celles qui se précipitent sur chaque nouvelle version d’un modèle. Ce sont celles qui mettent en place des systèmes dans lesquels la recherche, le développement de produits et l’exécution opérationnelle se renforcent mutuellement de manière continue.

Une évaluation rigoureuse en plusieurs étapes, de la conception à la production

Une erreur courante dans le domaine de l’IA consiste à penser qu’une démonstration réussie suffit à justifier la mise en œuvre. Ce n’est pas le cas.

Toute initiative en matière d’IA doit mériter le droit d’aller de l’avant. Cela implique de l’évaluer au moyen d’un processus structuré, dans lequel chaque étape comporte des objectifs clairs et des résultats mesurables. Ce processus comporte trois étapes importantes : la validation de principe, la phase pilote et la mise en production. Chacune d’entre elles répond à un objectif différent, et le fait d’en ignorer une augmente à la fois les risques techniques et les risques commerciaux.

Une démonstration de faisabilité doit prouver que la technologie est capable de résoudre un problème spécifique. Il ne s’agit ni d’une simple présentation ni d’un ensemble d’idées prometteuses. Il doit s’agir d’un système opérationnel produisant des résultats mesurables. Même si son champ d’application est limité, il faut disposer de preuves objectives démontrant que la solution mérite un investissement supplémentaire.

L’étape suivante est la phase pilote. C’est à ce stade que les organisations vérifient si la solution fonctionne correctement dans des conditions d’exploitation plus réalistes. La phase pilote doit impliquer des utilisateurs réels, des processus opérationnels et des indicateurs de performance pertinents. Son objectif n’est pas de confirmer que le projet doit se poursuivre, mais de déterminer si la solution apporte suffisamment de valeur pour justifier un déploiement à plus grande échelle.

Un projet pilote dont les résultats sont négatifs n’en reste pas moins utile. Il a permis d’éviter un investissement inutile dans une solution qui n’aurait peut-être pas répondu aux besoins de l’entreprise. Si chaque projet pilote débouchait automatiquement sur une mise en production, le processus d’évaluation perdrait alors tout son intérêt.

La mise en production ajoute un niveau supplémentaire de complexité. À ce stade, la réussite ne dépend plus uniquement de la qualité du modèle. Les ingénieurs logiciels, les data scientists, les chefs de produit, les concepteurs, les responsables techniques de programme, les équipes opérationnelles, les spécialistes de la sécurité et les parties prenantes métier contribuent tous au résultat final. L’IA s’intègre alors dans un système d’entreprise plus vaste qui doit rester fiable, sécurisé, facile à maintenir et conforme aux réglementations.

Pour les dirigeants, cela signifie que la gouvernance doit se concentrer sur des progrès mesurables plutôt que sur l’optimisme. Chaque étape doit être assortie de critères de réussite prédéfinis, d’une responsabilité clairement établie et de points d’évaluation objectifs. Cela permet de prendre des décisions d’investissement rigoureuses et de réduire le risque de déployer à grande échelle une technologie dont la valeur commerciale n’a pas encore été démontrée.

Les organisations qui évaluent systématiquement l’IA de cette manière sont mieux à même d’allouer efficacement leurs ressources, d’améliorer les taux de réussite des déploiements et de renforcer la confiance au sein des équipes de direction. Un processus d’évaluation structuré permet également d’identifier plus facilement les projets qui méritent des ressources supplémentaires et ceux qui devraient être repensés ou abandonnés.

La mesure continue et le suivi des performances : la clé de l’amélioration

On ne peut pas améliorer ce que l’on ne mesure pas.

Ce principe revêt une importance encore plus grande dans le domaine de l’IA, car les performances des modèles ne sont pas immuables. Le comportement des clients évolue. Les données changent. Les priorités de l’entreprise varient. Un système qui fonctionne bien aujourd’hui peut produire des résultats différents six mois plus tard s’il ne fait pas l’objet d’un suivi continu.

La mesure doit rester un élément central du cycle de vie de l’IA, depuis les premières phases de développement jusqu’à la mise en production à grande échelle. Chez Capital One, les résultats obtenus par les clients constituent le retour sur investissement ultime, tandis que des indicateurs opérationnels tels que la précision et la latence sont utilisés pour évaluer si les systèmes d’IA continuent de répondre aux attentes en matière de performances.

La précision permet de déterminer si l’IA produit des résultats corrects. La latence mesure la rapidité avec laquelle ces résultats sont fournis. Ces deux aspects sont importants. Des systèmes très précis perdent de leur valeur si les clients subissent des délais inacceptables, tandis que des réponses rapides n’apportent que peu d’avantages si les informations ne sont pas fiables. Les organisations doivent disposer d’une visibilité sur ces deux dimensions pour comprendre les performances réelles de leur activité.

L’évaluation des performances doit également aller au-delà des indicateurs techniques. Les dirigeants d’entreprise doivent suivre des indicateurs tels que la satisfaction client, l’efficacité opérationnelle, la productivité des collaborateurs, les taux d’adoption et l’impact financier. Ces indicateurs permettent de déterminer si l’IA génère des résultats commerciaux significatifs, plutôt que de se contenter d’atteindre des objectifs techniques.

La surveillance continue contribue également à une gouvernance responsable de l’IA. Des analyses régulières des performances permettent de détecter une baisse de la qualité des modèles, des comportements inattendus ou l’évolution des tendances des données avant que ceux-ci n’aient des répercussions sur les clients ou les opérations de l’entreprise. Cette détection précoce permet aux organisations de réentraîner les modèles, d’ajuster les flux de travail ou de renforcer les contrôles avant que les problèmes ne s’aggravent.

Pour les équipes de direction, l’évaluation des résultats doit s’inscrire dans le cadre de la gestion courante de l’entreprise plutôt que de constituer un simple exercice technique. Les initiatives en matière d’IA doivent être examinées avec la même rigueur que celle appliquée aux autres investissements stratégiques. Des indicateurs de performance clairs favorisent la transparence, permettent une meilleure allocation des ressources et garantissent que les investissements dans l’IA continuent de générer de la valeur au fil du temps.

Les organisations parviennent à réaliser des progrès durables en matière d’IA en privilégiant les données objectives plutôt que les apparences. Une évaluation continue fournit les informations nécessaires pour améliorer les systèmes, renforcer l’expérience client et prendre de meilleures décisions concernant les futurs investissements dans l’IA.

Favoriser une culture d’innovation responsable et d’apprentissage continu

La technologie à elle seule ne déterminera pas le succès d’une stratégie en matière d’IA. La culture de l’entreprise a tout autant d’influence sur le résultat.

Le développement de l’IA comporte son lot d’incertitudes. Les nouvelles idées ne produiront pas toujours les résultats escomptés, et tous les concepts prometteurs ne méritent pas nécessairement de devenir des systèmes opérationnels. Les organisations qui prennent conscience de cette réalité prennent de meilleures décisions, car elles encouragent leurs équipes à évaluer les résultats en toute honnêteté, plutôt que de chercher à préserver les investissements existants.

Une innovation responsable passe par la mise en place d’un environnement dans lequel les équipes peuvent tester des idées ambitieuses tout en restant tenues de rendre compte de résultats mesurables. Cet équilibre est essentiel. L’expérimentation sans obligation de rendre compte se traduit par un gaspillage des investissements. L’obligation de rendre compte sans expérimentation freine l’innovation. Un progrès durable nécessite les deux.

L’un des messages les plus forts est que les organisations doivent banaliser les ajustements de cap. Si les équipes pensent que le fait d’admettre qu’un projet n’atteint pas les résultats escomptés risque de nuire à leur carrière ou à leur réputation, les problèmes sont souvent identifiés trop tard. À l’inverse, lorsque les dirigeants encouragent la prise de décisions fondées sur des données concrètes, les équipes sont plus disposées à affiner, à recentrer, voire à mettre fin aux initiatives qui n’apportent pas suffisamment de valeur.

Cette approche permet également d’améliorer la qualité des décisions d’investissement. Les ressources peuvent ainsi être réorientées vers des projets présentant un potentiel commercial plus solide, au lieu d’être immobilisées dans des initiatives qui se poursuivent simplement parce qu’un investissement en temps ou en moyens financiers important a déjà été engagé. À terme, cela permet de constituer un portefeuille d’innovation plus efficace et augmente les chances que les projets couronnés de succès bénéficient du soutien nécessaire à leur développement à grande échelle.

Un projet pilote doit permettre de déterminer si la solution est prête à être mise en œuvre, si elle nécessite d’être repensée ou s’il convient d’y renoncer. Cette décision doit reposer sur des données mesurables plutôt que sur des attentes ou sur une pression interne visant à démontrer la réussite du projet.

Pour les dirigeants, la culture d’entreprise n’est pas une considération secondaire. Le comportement des dirigeants influence directement le fonctionnement des programmes d’IA. Lorsque les dirigeants valorisent la transparence, encouragent la prise de risques éclairée et exigent des évaluations objectives des performances, ils créent un environnement dans lequel les équipes se concentrent sur la résolution des problèmes opérationnels plutôt que sur la défense de décisions antérieures.

Une innovation responsable en matière d’IA nécessite également une collaboration entre les différentes fonctions de l’entreprise. Les équipes techniques, les responsables produit, les services juridiques, de conformité, de gestion des risques, des opérations ainsi que la direction générale contribuent tous à garantir que les systèmes d’IA soient utiles, fiables et en adéquation avec les objectifs de l’organisation. Cette responsabilité partagée revêt une importance croissante à mesure que les capacités de l’IA se développent et que les exigences réglementaires continuent d’évoluer.

Le point de vue présenté par ce membre de l’organisation « AI Foundations » de Capital One reflète cette philosophie. Capital One encourage ses équipes à poursuivre des idées ambitieuses, à tirer rapidement les leçons des résultats obtenus et à développer des systèmes d’IA utiles, fiables et sûrs. Le message général est clair : les organisations qui allient une exécution rigoureuse à une culture d’apprentissage continu seront mieux placées pour déployer l’IA de manière responsable et générer une valeur commerciale durable.

Principaux enseignements pour les dirigeants

• Relier la recherche en IA aux résultats commerciaux : l’IA ne crée de la valeur que lorsque la recherche s’articule autour de besoins opérationnels concrets. Les dirigeants doivent veiller à ce qu’il y ait une interaction continue entre la phase d’expérimentation et la phase de production, afin que les modèles évoluent en fonction des contraintes métier, des attentes des clients et des données en temps réel.
• Constituez des équipes IA intégrées : le fait de réunir des chercheurs, des ingénieurs, des responsables produit, des concepteurs et des équipes opérationnelles permet de raccourcir le chemin menant de l’innovation au déploiement. La collaboration interfonctionnelle permet d’identifier plus tôt les défis liés à la mise en production et augmente les chances de réussite de la mise à l’échelle des solutions d’IA.
• Considérez chaque étape de développement comme un moment décisif : les études de faisabilité, les projets pilotes et la mise en production doivent chacun répondre à des critères de réussite clairs, étayés par des résultats mesurables. Les dirigeants doivent être prêts à interrompre ou à repenser les projets qui ne parviennent pas à démontrer une valeur commerciale significative, plutôt que de les faire avancer par défaut.
• Mesurez en permanence ce qui compte : les performances de l’IA doivent être suivies à l’aide d’indicateurs techniques, tels que la précision et la latence, ainsi que de résultats commerciaux, comme la satisfaction client et l’efficacité opérationnelle. Une mesure cohérente permet une amélioration continue et garantit que les investissements dans l’IA continuent de générer de la valeur au fil du temps.
• Instaurer une culture qui valorise l’apprentissage et la responsabilité : l’innovation durable en matière d’IA repose sur la capacité des dirigeants à encourager une évaluation honnête, une prise de risque éclairée et des ajustements fondés sur des données concrètes. Les organisations qui considèrent les revers comme des opportunités d’amélioration prennent de meilleures décisions d’investissement et déploient l’IA de manière plus responsable.