Comment les entreprises réduisent leurs coûts dans la ruée vers les jetons d’IA

L’essor de l’utilisation de l’IA générative entraîne une consommation et des coûts de jetons sans précédent

L’IA générative est aujourd’hui l’une des technologies qui connaît la croissance la plus rapide dans le monde de l’entreprise. Des entreprises de tous les secteurs l’intègrent dans leurs produits, leurs flux de travail et leurs systèmes de prise de décision. Mais cette adoption s’accompagne d’une augmentation de l’échelle et des coûts. Les « tokens », ces petites unités de données que les modèles d’IA utilisent pour traiter le langage et le raisonnement, permettent de mesurer à la fois l’ampleur et le coût de cette révolution. Chaque instruction, document ou commande génère des milliers, voire des millions, de ces tokens. Il en résulte une hausse spectaculaire des dépenses d’infrastructure à laquelle de nombreux dirigeants ne s’attendaient pas.

Sundar Pichai, PDG de Google, a décrit les « tokens » comme les « unités fondamentales de données traitées par nos modèles ». Google traite désormais environ 3,2 quadrillions de « tokens » par mois. Il s’agit là d’une charge opérationnelle colossale, même pour l’un des systèmes d’infrastructure d’IA les plus performants au monde. Pour les entreprises qui en sont encore au stade de l’expérimentation de l’IA, une telle ampleur se traduit rapidement par une pression sur le budget. Certaines organisations ont déjà dû faire face à des factures de jetons s’élevant à plusieurs centaines de millions de dollars, simplement parce que l’utilisation n’était pas étroitement surveillée au sein des différentes équipes. Cette tendance montre que la maîtrise des coûts liés à l’IA dépend désormais autant de l’architecture et des processus que de l’innovation.

Les dirigeants doivent prendre conscience que la gestion des jetons constitue un enjeu stratégique majeur. Si rien n’est fait, la consommation de jetons augmente de manière exponentielle à mesure que les employés, les partenaires et les systèmes s’appuient davantage sur le raisonnement automatisé. Les entreprises qui allouent des ressources à l’IA doivent investir dans la visibilité de l’utilisation, l’efficacité des modèles et les outils de budgétisation prédictive. Réduire au minimum la génération inutile de jetons devient tout aussi crucial que la gestion du stockage dans le cloud ou de la bande passante. Celles qui comprendront et optimiseront cette couche dès le début maîtriseront bien mieux l’économie de l’IA à mesure que la concurrence s’intensifie.

Le passage à des modèles d’IA moins coûteux peut permettre de réaliser des économies substantielles sans compromettre les performances

Toutes les entreprises souhaitent bénéficier de performances d’IA de pointe, mais tous les cas d’utilisation n’en ont pas nécessairement besoin. La complexité de la tâche doit correspondre aux capacités du modèle. Les dirigeants prennent conscience que la différence entre un modèle haut de gamme et un modèle optimisé en termes de coûts réside souvent dans une précision marginale, alors que les écarts de coût peuvent être considérables. Le choix du modèle adapté à chaque application est devenu un levier stratégique pour l’efficacité opérationnelle.

Sundar Pichai l’a clairement expliqué lors de la présentation de Gemini 3.5 Flash, un modèle moins onéreux qui offre des performances proches de la pointe de la technologie à un prix inférieur de plus de moitié à celui des systèmes phares de Google. Les entreprises peuvent associer Flash à des modèles plus avancés selon leurs besoins, ce qui leur permet de bénéficier de performances constantes tout en réduisant considérablement leurs dépenses. Deepak Seth, analyste senior chez Gartner, a fait remarquer que les organisations utilisent souvent des modèles entraînés sur de vastes ensembles de données textuelles alors qu’un modèle plus simple pourrait parfaitement remplir la tâche. Ce type de surdimensionnement entraîne un gaspillage de ressources informatiques et d’argent.

Steven Dickens, analyste principal chez Hyperframe Research, a illustré cette évolution à partir de son expérience personnelle. Il utilise « Quick », le modèle à bas coût d’Amazon, pour ses tâches quotidiennes, et décrit cet abonnement comme un « excellent retour sur investissement personnel ». En s’appuyant sur des modèles plus légers pour les tâches courantes et sur des systèmes plus puissants uniquement lorsque des opérations complexes de raisonnement ou de synthèse sont nécessaires, les entreprises peuvent réduire leurs coûts liés à l’IA tout en conservant, voire en améliorant, leur agilité.

Pour les dirigeants, la leçon à retenir ici concerne l’allocation stratégique des ressources. L’IA n’est pas une solution universelle. Tout comme pour les sources d’énergie ou les outils de fabrication, choisir le bon modèle pour la tâche à accomplir peut considérablement améliorer le retour sur investissement. Des modèles rentables tels que Gemini Flash ou Amazon Quick constituent une voie plus durable pour déployer l’IA à grande échelle tout en maîtrisant les budgets. Les systèmes d’IA les plus efficaces de la prochaine décennie ne seront pas les plus imposants, mais ceux qui seront les mieux adaptés à leur objectif.

L’amélioration de l’infrastructure grâce à l’optimisation matérielle et à la mise en cache peut réduire considérablement la charge liée aux jetons

La prochaine étape dans la maîtrise des coûts liés à l’IA va au-delà de la sélection des modèles : il s’agit d’optimiser les systèmes qui les prennent en charge. Les jetons ne sont pas seulement consommés par le modèle lui-même, mais aussi par chaque interaction de données entre les applications, les API et les systèmes d’entreprise. Les entreprises constatent qu’un flux de données inefficace entraîne une augmentation considérable de la consommation de jetons. L’optimisation de l’infrastructure afin de réduire les redondances et de rationaliser les accès peut réduire considérablement les dépenses globales sans nuire à la qualité des résultats.

Dheeraj Pandey, PDG de DevRev, a expliqué que ce défi reflète les premières étapes de l’adoption du cloud, où une évolutivité incontrôlée a entraîné des dépenses chaotiques avant que la normalisation ne stabilise les coûts. L’approche de DevRev vise à résoudre ce problème en insérant une couche mémoire entre les agents d’IA et les systèmes d’entreprise tels que Salesforce et les bases de données ERP. Cette couche stocke les données issues des requêtes à haute fréquence et les gère à l’aide de processeurs (CPU) moins coûteux plutôt que de processeurs graphiques (GPU) onéreux. Il en résulte une réduction significative du nombre de jetons générés lors des opérations courantes.

Song Pang, directeur technique de NetBrain, a décrit une approche similaire en matière de gestion de réseau. Son équipe utilise des méthodes informatiques traditionnelles pour cartographier au préalable la structure du réseau avant d’envoyer des segments de données spécifiques à un modèle d’IA. Cette alimentation sélective en données garantit que seules les tâches de raisonnement essentielles reposent sur l’IA, ce qui permet de réduire au minimum la charge de calcul superflue.

Pour les dirigeants, cela se traduit par une stratégie claire : optimiser à la base. La mise en cache, la gestion intelligente de la mémoire et les flux de travail hybrides réduisent le gaspillage de cycles de traitement. La vague actuelle d’IA générative ne pourra se développer de manière durable que si les entreprises investissent dans une infrastructure plus intelligente, capable de traiter les données avec précision plutôt que par la force brute. À ce niveau, l’efficacité se traduit directement par une budgétisation prévisible et maîtrisée de l’IA, une préoccupation à laquelle tous les conseils d’administration sont désormais confrontés.

L’amélioration de l’efficacité des invites est un facteur clé pour réduire la consommation de jetons

L’optimisation de la conception des prompts est l’un des moyens les plus simples, mais aussi les plus efficaces, de réduire les coûts liés à l’IA. Chaque fois qu’un collaborateur interagit avec un modèle d’IA générative, la formulation, la clarté et la précision de ce prompt déterminent directement le nombre de tokens que le modèle consomme pour générer une réponse utile. Plus la consigne est inefficace, plus le coût et la puissance de calcul nécessaires pour obtenir un résultat sont élevés. Former les équipes à rédiger des consignes ciblées et structurées est désormais une compétence essentielle pour toute entreprise utilisant l’IA à grande échelle.

ManpowerGroup en est un excellent exemple. Max Leaming, responsable des solutions de science des données et d’IA au sein de l’entreprise, a indiqué que leur outil interne d’IA dédié au marché du travail nécessitait initialement une dizaine de questions complémentaires pour chaque requête afin d’obtenir des réponses satisfaisantes. Après des efforts concertés visant à former les utilisateurs à l’optimisation des requêtes, ce nombre est tombé à quatre en moyenne. Il en a résulté une productivité accrue, des temps de réponse plus courts et une réduction spectaculaire du nombre de tokens consommés par interaction.

Pour les dirigeants, cela représente une opportunité qui ne nécessite pas d’investissements massifs dans les infrastructures. Une formation rapide et une formation en interne peuvent permettre de réduire considérablement les coûts. À mesure que l’IA s’intègre davantage dans les flux de travail quotidiens, les collaborateurs qui savent communiquer clairement avec les modèles auront un impact direct sur l’efficacité opérationnelle.

Les dirigeants de haut niveau devraient considérer l’efficacité des messages comme une forme d’optimisation des processus métier. Une meilleure conception des messages permet de réduire les frictions, de diminuer les dépenses et d’accroître la valeur de chaque interaction avec l’IA. Dans un environnement où la consommation de jetons correspond à un coût réel, l’efficacité commence par la manière dont les humains communiquent avec les machines.

Le recours à des solutions d’IA locales et sur site peut contribuer à atténuer la hausse des coûts liés aux jetons basés sur le Cloud

Face à l’augmentation du coût des services d’IA basés sur le Cloud, les entreprises explorent des approches locales et sur site afin de reprendre le contrôle de leurs ressources de calcul, de leurs données et de leurs dépenses. En déployant des modèles d’IA directement sur du matériel local ou dans leurs propres centres de données, les organisations peuvent réduire leur dépendance vis-à-vis des infrastructures cloud tierces et éviter la facturation au compteur des services basés sur des jetons. Cette évolution offre des avantages tant en termes de coûts que de sécurité, en particulier dans les secteurs traitant des données sensibles ou soumises à une réglementation.

Les développements récents montrent la direction que prend cette transformation. Lors de la conférence GTC de Taipei, NVIDIA et Microsoft ont annoncé RTX Spark, un système d’IA de bureau capable d’exécuter localement des modèles de 120 milliards de paramètres sur des appareils Windows. L’objectif, comme l’a déclaré Satya Nadella, PDG de Microsoft, est d’offrir « une intelligence illimitée dans chaque foyer et sur chaque bureau ». L’exécution locale des modèles de cette manière permet d’éliminer de nombreux frais par token, ce qui se traduit par une structure de coûts plus prévisible et des réponses plus rapides du système.

Parallèlement, les principaux fournisseurs de matériel, tels que HPE et Dell, développent des solutions d’IA sur site que les entreprises peuvent installer dans leurs propres locaux ou dans des centres de données régionaux. Cette tendance est renforcée par les préoccupations croissantes concernant la souveraineté des données et l’instabilité géopolitique dans certaines régions. Cependant, Max Goss, analyste senior chez Gartner, souligne que, si les déploiements d’IA localisés et multi-fournisseurs peuvent atténuer les risques financiers et opérationnels, ils ne permettent pas d’éliminer complètement l’exposition aux perturbations de la chaîne d’approvisionnement mondiale et des infrastructures.

Pour les dirigeants, la décision de localiser l’IA doit reposer sur un équilibre entre la prévisibilité des coûts, le contrôle opérationnel et la conformité réglementaire. Le traitement sur site permet aux entreprises de mieux maîtriser leurs flux de travail d’IA et de développer leurs capacités à leur propre rythme. Bien que l’investissement initial soit important, les économies à long terme et l’indépendance vis-à-vis des fluctuations des tarifs du cloud en font un enjeu stratégique pour les organisations qui déploient l’IA à grande échelle.

Les équipes d’ingénierie déployées sur le terrain sont indispensables pour intégrer la rentabilité dans les architectures d’IA

Une gestion efficace des aspects économiques de l’IA nécessite une expertise technique au niveau opérationnel. Les ingénieurs déployés sur site (FDE) occupent désormais une place centrale dans ce cadre. Basés au sein même des environnements des clients, ces ingénieurs conçoivent et optimisent des systèmes d’IA qui répondent aux objectifs en matière de coûts, de performances et d’activité. Leur rôle consiste à s’assurer que les charges de travail liées à l’IA sont architecturées de manière à minimiser la consommation inutile de jetons sans pour autant limiter les capacités.

Taimur Rashid, directeur général du Centre d’innovation en IA générative d’AWS, a expliqué que les FDE jouent un rôle essentiel pour aider les clients à concevoir des systèmes intégrant une prise en compte des coûts. Ces équipes adaptent les cas d’utilisation et le choix des modèles au budget et à la structure de revenus spécifiques de l’organisation. M. Rashid a également souligné que, même si la consommation de jetons peut être élevée dans certains scénarios métier, elle devient acceptable lorsque la valeur générée par l’IA compense cette dépense. La clé réside dans une conception réfléchie, consistant à savoir quand dépenser et quand optimiser.

Pour les dirigeants, l’importance croissante des FDE marque le passage d’une adoption réactive de l’IA à une gestion proactive des coûts. Plutôt que d’attendre que l’utilisation génère des rapports de dépenses, les organisations peuvent intégrer dès le départ une expertise technique dans leur cycle de déploiement. Cette approche garantit la responsabilité, la durabilité et l’alignement sur les objectifs commerciaux plus larges.

Les entreprises qui donnent les moyens d’agir à leurs équipes d’ingénieurs déployées sur le terrain seront mieux à même de déployer l’IA à grande échelle de manière efficace. Grâce à ces équipes qui orientent les décisions architecturales, les dirigeants d’entreprise peuvent s’assurer que l’innovation en matière d’IA génère des retombées mesurables.

Le fait de faire évoluer les indicateurs de réussite, en passant du simple décompte de jetons aux résultats commerciaux, témoigne de la maturité d’une stratégie de gestion des coûts de l’IA

À mesure que les entreprises comprennent mieux l’impact de l’IA générative sur leurs budgets et leur productivité, l’accent est de moins en moins mis sur les simples indicateurs d’utilisation pour se concentrer davantage sur les résultats commerciaux mesurables. Le comptage des tokens peut certes offrir une certaine transparence, mais il ne rend pas compte de la valeur plus large que l’IA crée grâce à l’automatisation, à l’innovation ou à l’engagement client. Les entreprises les plus avant-gardistes commencent à évaluer les performances de l’IA en fonction des résultats, de la rapidité, de la qualité, de la précision et de l’impact sur le chiffre d’affaires, plutôt qu’en comptant les unités de traitement impliquées.

Deepak Seth, analyste et directeur senior chez Gartner, a mis en avant cette évolution, soulignant que les entreprises commencent à adopter une tarification basée sur les résultats plutôt qu’une facturation au nombre de jetons. Ce modèle permet aux dirigeants d’évaluer le succès à l’aune d’indicateurs de performance concrets, tels que le gain de temps, l’amélioration de la satisfaction client ou l’augmentation de la productivité. À mesure que les entreprises prennent conscience des coûts cachés liés à des opérations faisant largement appel aux jetons, la transition vers une tarification axée sur les résultats devient non seulement stratégique, mais également nécessaire pour garantir un échange de valeur équitable entre les fournisseurs d’IA et les entreprises.

Pour les dirigeants de haut niveau, cette évolution constitue une étape cruciale vers la maturité en matière d’IA. L’efficacité en termes de coûts reste importante pour la maîtrise des dépenses, mais c’est l’efficacité en termes de résultats qui définit l’avantage concurrentiel. Les organisations qui évaluent leurs investissements dans l’IA à l’aune des résultats commerciaux peuvent aligner leurs dépenses technologiques sur des retours tangibles. Cette approche favorise une planification financière plus stable et donne la priorité aux systèmes qui contribuent directement à la réalisation des objectifs opérationnels.

Dans la pratique, le passage à une évaluation axée sur les résultats modifie la manière dont les déploiements d’IA sont conçus et gérés. Cela favorise une collaboration plus étroite entre les équipes techniques et métier afin de définir des critères de réussite clairs avant la mise en œuvre. Les entreprises qui articulent leurs stratégies d’IA autour d’un impact mesurable, plutôt que d’un volume de calcul, généreront de meilleures marges et obtiendront des performances plus prévisibles dans l’ensemble de leurs opérations numériques.

En conclusion

L’IA générative évolue à un rythme effréné, et le coût nécessaire pour suivre le mouvement devient impossible à ignorer. L’efficacité des jetons s’impose désormais comme le nouveau défi majeur de la stratégie en matière d’IA. Les entreprises les plus avisées prennent conscience que l’efficacité n’est pas seulement un indicateur technique, mais un enjeu de gestion qui influe sur les marges, l’agilité et l’évolutivité à long terme.

Pour les décideurs, la voie à suivre passe par un équilibre entre innovation et discipline financière. Cela implique de choisir des modèles en fonction de leur adéquation avec l’activité, et non en fonction de l’engouement médiatique. Cela implique d’investir dans des infrastructures qui réduisent le gaspillage, de former les équipes à formuler des demandes avec précision, et de donner aux responsables techniques les moyens de concevoir des architectures en tenant compte des coûts. Et surtout, cela implique de mesurer le succès de l’IA à l’aune des résultats qu’elle génère, et non à celle des jetons qu’elle consomme.

Ceux qui agissent dès maintenant établiront les normes en matière d’exploitation durable de l’IA. Les autres seront contraints de s’adapter sous la pression. Au cours de cette prochaine phase d’adoption de l’IA, ce sont le contrôle, la clarté et l’orientation vers les résultats qui distingueront ceux qui mènent la transformation de ceux qui se contentent d’y réagir.