Comment maîtriser le coût des agents IA à chaque étape

Des tokens moins chers ne garantissent pas des workflows d’agents IA moins coûteux

Une entreprise peut dépenser davantage pour des agents IA même lorsque le traitement des modèles devient moins cher. Gartner prévoit que le coût des tokens baissera de 95 % d’ici 2030, tandis que les coûts d’inférence, c’est-à-dire les coûts d’exécution des modèles entraînés, pour les workflows agentiques augmenteront de plus de cinq fois sur ce que ses prévisions appellent « les deux prochaines années ». Ces prévisions mesurent des choses différentes : le prix du traitement et la dépense totale nécessaire pour des tâches de plus en plus exigeantes.

Pour comprendre cette dépense, il faut partir du workflow terminé : chaque action nécessaire pour produire le résultat attendu. Les grands modèles de langage, ou LLM, traitent l’information en unités appelées tokens, et les agents IA utilisent ces modèles pour exécuter des tâches au moyen de séquences d’actions. À mesure que les agents effectuent davantage d’actions et mobilisent des capacités plus avancées, leur consommation peut augmenter au point de compenser la baisse du prix des tokens.

Gartner appelle cela le « paradoxe de l’inférence ». Ses analystes et coauteurs du rapport, Will Sommer et Sabine Zimmerhansl, soutiennent que « le rythme de l’innovation dépasse la courbe des coûts ». Gartner a un intérêt commercial dans la demande des entreprises pour la recherche et le conseil en technologie ; ses avertissements servent donc aussi une activité qui aide les acheteurs à évaluer ces décisions. L’avertissement central des analystes est qu’une feuille de route peut devenir plus coûteuse à mesure que le travail confié aux agents évolue.

L’exécution autonome ajoute du travail avant qu’une réponse n’arrive

Le travail supplémentaire commence après qu’un utilisateur a soumis une demande. Un chatbot de base interprète la demande et génère une réponse, tandis qu’un agent avancé peut diviser le problème en tâches plus petites, examiner les résultats intermédiaires et essayer une autre approche après un échec. Chaque étape peut nécessiter un nouvel appel au modèle ou un modèle plus performant. Sommer et Zimmerhansl indiquent que les agents de raisonnement avancé peuvent déjà coûter jusqu’à 150 fois plus que des chatbots IA de base pour une seule tâche.

La vérification du travail ajoute du traitement, car un système autonome doit évaluer si son résultat est acceptable. « Ils doivent être capables de valider l’exactitude de leurs résultats sans nécessairement avoir un humain dans la boucle », écrivent Sommer et Zimmerhansl. Si un agent détecte une erreur, sa correction peut nécessiter un autre cycle d’appels au modèle et de vérifications. Le système consomme donc des ressources à la fois pour produire un résultat et pour déterminer s’il accomplit bien la tâche.

Ces vérifications peuvent aussi impliquer d’autres agents. « Ils doivent parler à d’autres agents », ajoutent Sommer et Zimmerhansl, en décrivant des systèmes dont les agents s’appellent entre eux et échangent des informations. Une action peut déclencher davantage d’actions ailleurs, augmentant le traitement facturé à la demande initiale. Gartner décrit la consommation de tokens issue de ces interactions autonomes comme augmentant de façon exponentielle à mesure que les interactions se multiplient.

Comme ces interactions peuvent s’exécuter en arrière-plan, les conversations d’un utilisateur ne révèlent qu’une partie de l’activité. Des agents sophistiqués peuvent continuer à vérifier les résultats et à répondre à d’autres agents entre des demandes directes d’utilisateurs. Les dépenses peuvent donc s’accumuler alors qu’aucune personne n’attend de réponse. Un budget fondé sur les conversations visibles passera à côté d’une partie de ce travail.

Les comparaisons de Gartner montrent plusieurs sources de coûts distinctes. Il indique que les agents consomment de cinq à 30 fois plus de tokens que les chatbots pour des tâches équivalentes, tandis que le coût matériel de l’entraînement de modèles agentiques de taille moyenne avec raisonnement avancé est 2,5 fois supérieur à celui de l’entraînement de chatbots simples de taille comparable. Dans une comparaison distincte de l’exécution de modèles entraînés, Gartner estime les coûts d’inférence des agents à cinq fois ceux des chatbots. Ces ratios mesurent séparément la consommation, l’entraînement et l’exploitation ; ce ne sont pas des facteurs à multiplier automatiquement dans la comparaison du coût par tâche.

La fréquence d’exécution détermine à quelle fréquence une entreprise supporte ces coûts. Sommer et Zimmerhansl illustrent l’ampleur potentielle avec des centaines d’agents exécutant chacun des dizaines ou des centaines de tâches par heure. La division répétée des tâches, la validation et la communication d’agent à agent peuvent alors générer des dépenses substantielles. Leur exemple décrit une activité possible à grande échelle plutôt qu’un déploiement précis en entreprise.

Le type de travail peut encore accroître les dépenses. Gartner cite des agents traitant des données multimodales, c’est-à-dire des informations sous différentes formes, et faisant appel à des modèles plus performants lorsqu’ils divisent les problèmes en tâches plus petites. Ces choix influent à la fois sur la quantité de traitement et sur les capacités utilisées. L’économie d’un workflow dépend donc du coût de ses tokens autant que de leur nombre.

Des workflows plus performants peuvent aussi utiliser des tokens plus coûteux

Gartner examine ces différences liées aux capacités à travers son modèle Tokenomics, qui estime l’économie de l’entraînement et de l’inférence selon différents scénarios. Le modèle combine des choix de conception avec des améliorations technologiques, des spécifications matérielles et des dépenses en données, infrastructure, énergie et main-d’œuvre. À partir de ces éléments, Gartner peut comparer le coût de production des résultats pour différents types de travail.

Les choix de conception incluent le nombre de couches de traitement, les approches LLM-as-a-judge et mixture-of-experts. Un LLM-as-a-judge utilise un modèle de langage pour évaluer les résultats, tandis qu’une conception mixture-of-experts affecte les entrées à des composants spécialisés du modèle. Chaque approche modifie la manière dont le calcul produit ou évalue un résultat. Gartner a exécuté 12 types de modèles d’IA avec différentes capacités et comparé les coûts selon les catégories de workflows.

Ces chiffres décrivent des coûts fournisseurs modélisés par token ; les prix d’achat pour les entreprises dépendent des conditions dans lesquelles les acheteurs obtiennent ces capacités. Gartner indique que la planification et l’apprentissage représentent un coût fournisseur par token huit à 10 fois supérieur à celui des workflows de base. Pour les équipes achats, cela distingue l’économie de la fourniture d’une capacité du montant qu’une entreprise paiera pour l’utiliser.

Pour les responsables produit, ces différences font de la sélection des capacités une décision à prendre pour chaque étape d’un workflow. Récupérer des informations, les résumer et choisir une action imposent des exigences différentes à un modèle. Attribuer des capacités avancées à l’ensemble de ces étapes accroît l’exposition à leurs coûts ; le business case doit donc expliquer ce que cette capacité supplémentaire apporte au résultat.

Des réponses plus rapides démontrent une valeur opérationnelle

Des dépenses plus élevées peuvent être justifiées lorsque l’exécution autonome améliore le service. Gartner a observé des agents de customer success réduisant les temps de réponse de 99 %, donnant aux entreprises une raison opérationnelle concrète de les envisager. Sommer et Zimmerhansl affirment également que l’IA peut exécuter de nombreuses tâches routinières plus rapidement et plus efficacement que les personnes. Ils ajoutent que les agents peuvent repérer plus vite des schémas à travers des systèmes distincts.

Ces améliorations exigent toujours une évaluation économique du travail qui les sous-tend. Des réponses plus rapides peuvent créer de la valeur, mais la rentabilité dépend de la comparaison entre cette valeur et la dépense totale du workflow. « Les coûts vont inévitablement augmenter et, à mesure qu’ils augmentent, rien ne garantit que la valeur progressera dans les mêmes proportions », écrivent Sommer et Zimmerhansl. Ils décrivent le retour sur investissement, ou ROI, comme « tout à fait possible », tout en avertissant que « le ROI de chaque nouvelle génération de technologie sera difficile à obtenir ».

Gérez les capacités, les dépenses et le succès au niveau du workflow

Pour rentabiliser cet investissement, Gartner recommande de construire et de maintenir des systèmes multimodaux complexes avec de l’orchestration, c’est-à-dire la coordination des modèles, des agents et de leurs actions, afin de maîtriser les coûts et les performances. Cela exige des capacités d’ingénierie pour choisir les capacités et coordonner leur utilisation à mesure que les tâches évoluent. Gartner avertit également que les systèmes et workflows existants doivent être adaptés, ce qui fait de la maintenance continue une composante de l’économie du déploiement.

Sans cette adaptation, l’autonomie peut créer des dépenses incontrôlées. « S’en remettre par défaut à une intelligence autonome générique entraînera des coûts illimités, d’un ordre de grandeur bien supérieur à ceux d’écosystèmes produits optimisés », avertissent Sommer et Zimmerhansl. Leur recommandation fait de l’usage sélectif de l’intelligence une responsabilité d’ingénierie : les équipes doivent déterminer quelles capacités chaque tâche requiert et limiter la manière dont le système les invoque.

Le routage des modèles offre un moyen de contrôler cet usage. Gartner recommande d’envoyer les requêtes vers le modèle le plus rentable et d’empêcher que des tâches simples n’appellent par défaut des frontier models, c’est-à-dire des modèles à la pointe des capacités. Il appelle « inference tiering » l’attribution de différents niveaux de traitement par modèle à différents besoins. Dans un workflow combinant une récupération simple avec un raisonnement exigeant, les équipes peuvent faire ce choix à chaque étape.

Les modalités d’achat doivent refléter ces différences de demande. Gartner conseille d’adopter une tarification basée sur l’usage et de remplacer les frais de calcul forfaitaires par des offres à paliers qui évoluent selon les besoins. L’effet financier d’une offre dépend du travail qui lui est affecté ; les acheteurs doivent donc calculer comment le volume de tâches attendu et les choix de capacités se traduisent en frais dans chaque configuration.

Comme les capacités et les prix évoluent, la sélection des modèles doit aussi être revue régulièrement. Sommer et Zimmerhansl suggèrent d’envisager des cycles obligatoires et continus de renouvellement des modèles, soutenus par le fine-tuning des données, qui adapte un modèle à l’aide de données d’entraînement supplémentaires, et par des boucles de feedback auto-apprenantes, qui utilisent les résultats pour améliorer le comportement ultérieur. Ces processus créent une obligation de maintenance continue. Les équipes doivent réexaminer les choix de modèles et les hypothèses de coûts retenus lors de la conception initiale du workflow.

Cette obligation devrait faire partie de l’approbation du déploiement. Gartner recommande de définir des seuils de réussite d’exécution, c’est-à-dire des normes explicites de réalisation acceptable des tâches, ainsi que des contrôles des risques et le coût du respect des exigences de conformité. « Refusez d’approuver les déploiements tant que les scénarios n’ont pas été soumis à des stress tests face aux variations du prix des tokens et aux dépenses de conformité », conseillent Sommer et Zimmerhansl. L’approbation exige donc d’examiner comment les changements de ces conditions affectent l’économie du workflow.

Après le déploiement, ces mêmes critères de réussite doivent relier les dépenses aux résultats métier. Gartner recommande d’inclure la valeur par résultat dans la planification produit et d’exiger que chaque fonctionnalité IA prévoie et suive les dépenses par rapport à une mesure définie. Le nombre de tâches automatisées et le nombre de cas clôturés avec succès en sont deux exemples. Ces mesures permettent aux équipes produit et ingénierie d’évaluer le travail utile que le système accomplit au regard de son coût d’exploitation.

Les données de dépenses et de résultats ainsi obtenues doivent aussi déterminer si un workflow doit continuer sous sa forme actuelle. Gartner conseille d’utiliser ces données pour identifier les workflows qui doivent être améliorés ou retirés. L’amélioration peut signifier modifier le routage des modèles, réviser l’exécution ou reconsidérer le rôle du workflow dans le produit. Le retrait devient une décision produit lorsque les résultats mesurés ne justifient plus la dépense.

Principaux points à retenir pour les dirigeants

• Budgétisez le coût total des workflows : Gartner prévoit que le coût des tokens baissera de 95 % d’ici 2030, tandis que les dépenses d’inférence agentique augmenteront de plus de cinq fois sur sa période de prévision de deux ans. Les équipes finance et les responsables produit ont besoin de prévisions de dépenses qui tiennent compte du volume de tâches, des choix de capacités et de la fréquence d’exécution.
• Tenez compte de l’activité autonome : La validation, les nouvelles tentatives et la communication d’agent à agent ajoutent du traitement au-delà des demandes visibles des utilisateurs. Les équipes d’ingénierie doivent suivre l’activité en arrière-plan et limiter l’exécution pour maîtriser les dépenses.
• Adaptez la capacité du modèle à la tâche : La modélisation de Gartner situe les coûts fournisseurs de la planification et de l’apprentissage à huit à 10 fois ceux des workflows de base. Les équipes plateforme peuvent utiliser le routage des modèles pour réserver les capacités avancées aux étapes qui en ont besoin.
• Mesurez la valeur d’un service plus rapide : Gartner a observé des agents de customer success réduisant les temps de réponse de 99 %, mais la rentabilité dépend du coût total du workflow. Les responsables produit doivent relier les améliorations de service à des résultats métier mesurables.
• Faites de l’approbation du déploiement une décision économique : Les critères d’approbation doivent inclure des seuils de réussite d’exécution, des contrôles des risques et des stress tests pour les variations du prix des tokens et les dépenses de conformité. Après le lancement, les responsables produit ont besoin de données de coût par résultat pour décider quels workflows améliorer ou retirer.