L’inférence par l’IA n’est pas rentable en raison des coûts opérationnels élevés.
Nous sommes actuellement confrontés à un véritable problème dans le domaine de l’IA. Le coût de l’inférence, qui consiste à faire en sorte qu’un modèle d’apprentissage automatique formé génère des résultats utiles en temps réel, est beaucoup trop élevé. Il est 10 à 100 fois plus élevé qu’il ne devrait l’être. Ce n’est pas viable. C’est la principale raison pour laquelle la plupart des entreprises sont
L’inférence de l’IA touche toutes les modalités : texte, image, vidéo, audio et, de plus en plus, les interactions multimodales. Mais l’obstacle au déploiement réel et utile de ces modèles est le coût des jetons. Si nous ne parvenons pas à réduire ce coût, le déploiement à grande échelle n’aura tout simplement pas lieu. Les entreprises continueront à brûler des liquidités sans atteindre la rentabilité ou une part de marché significative dans les offres d’IA.
Cela signifie qu’il faut repenser l’infrastructure, le silicium, les réseaux et les logiciels en même temps. L’objectif est simple : traiter plus de jetons à travers plus de modèles pour moins d’argent, plus rapidement. C’est ainsi que nous libérons la valeur réelle de l’IA, à l’échelle de l’entreprise, dans la production et non dans les laboratoires de recherche et développement.
Le secteur est déjà sous pression. Le marché de l’inférence de l’IA devrait croître à un taux de croissance annuel composé de 19,2 % jusqu’en 2030. Ce type de croissance représente un défi pour les infrastructures, tant en termes de coûts que de performances. Si vous êtes en charge des budgets technologiques ou de la planification des produits à long terme, il ne s’agit pas d’une question théorique. Il s’agit d’un problème opérationnel critique qui doit être résolu maintenant, sinon quelqu’un d’autre le fera mieux et moins cher.
Une approche complète est nécessaire pour obtenir des performances efficaces et rentables en matière d’intelligence artificielle.
Aucune percée unique ne permettra d’améliorer l’infrastructure de l’IA. Vous ne pouvez pas vous contenter d’ajouter des GPU au problème et espérer obtenir de meilleurs résultats. Le matériel seul ne suffit pas. Une refonte complète de la pile est nécessaire. Cela signifie qu’il faut aligner le silicium, les logiciels et les systèmes à partir de la base pour qu’ils fonctionnent comme un tout.
À l’heure actuelle, les GPU et autres microprocesseurs d’IA, les XPU, évoluent rapidement. Les performances s’améliorent tous les 12 à 18 mois. C’est ce que nous appelons la loi de Huang. Mais la plupart des entreprises connectent encore ces microprocesseurs rapides à des chaînes d’outils construites pour l’informatique générale. C’est comme si vous chargiez un moteur à grande vitesse dans un système qui limite sa vitesse de réaction. Les performances sont là, mais le reste du système ne peut pas suivre et vous obtenez des goulots d’étranglement.
Ce qu’il faut en fait, c’est une évolution synchronisée. Des techniques logicielles plus intelligentes, telles que l’élagage ou la distillation, permettent de réduire la taille des modèles et de les rendre plus rapides sans dégrader les résultats. Ces méthodes réduisent la quantité de calcul par jeton tout en maintenant des performances élevées. Du côté des réseaux, nous observons des progrès dans les cartes d’interface réseau optimisées pour l’IA, qui gèrent le mouvement des données bien mieux que les composants traditionnels. Ces nouveaux composants contournent l’unité centrale lorsqu’ils le peuvent et gèrent les changements de protocole nécessaires dans les pipelines de données plus rapides.
Nous voyons également émerger des microprocesseurs spécialisés qui vont au-delà des GPU et sont conçus pour gérer le calcul et la mise en réseau en tandem. Elles permettent d’obtenir des systèmes plus réactifs, capables de répondre aux exigences des charges de travail modernes en matière d’IA, sans gaspiller des cycles de calcul coûteux alors que les données se déplacent de manière inefficace.
Les dirigeants doivent le savoir : l’IA rentable exige des changements au niveau du système. Il ne s’agit pas d’ajustements, mais d’alignement. Les logiciels, le matériel, les protocoles et les flux de données doivent être synchronisés. Si vous voulez réduire les coûts de manière significative, comme un coût marginal proche de zéro par jeton d’IA, c’est la voie à suivre. Il n’y a pas de raccourci ni de solution à fournisseur unique. Vous devez concevoir une architecture efficace à tous les niveaux ou prendre du retard.
Les anciennes architectures de serveurs limitent les performances de l’IA et conduisent à une sous-utilisation des ressources.
Nous avons exécuté des charges de travail d’IA sur des systèmes qui n’ont jamais été conçus pour elles. La plupart des serveurs d’IA reposent encore sur des unités centrales de commande basées sur des processeurs x86. Ces processeurs ont été conçus pour l’informatique générale, les feuilles de calcul, les opérations système et la gestion des applications de base, et non pour les besoins d’inférence à grande vitesse de l’IA. Résultat ? Des goulets d’étranglement. Les GPU et les accélérateurs coûteux restent inactifs, attendant la coordination lente et le flux de données des CPU qui ne peuvent pas suivre.
Cette inadéquation a un impact direct sur le retour sur investissement. Vous achetez du matériel d’IA de pointe et vous n’obtenez qu’une fraction des performances que vous avez payées parce que les systèmes d’appui ne sont pas à la hauteur. À mesure que les modèles gagnent en taille et en complexité, ils nécessitent plus d’itérations, plus de données et des boucles de rétroaction plus étroites. L’utilisation d’un seul GPU ne suffit plus. Les exigences de performance requièrent désormais des réseaux coordonnés de GPU travaillant ensemble. Cette évolution accroît la dépendance à l’égard du réseau et de la vitesse à laquelle les données se déplacent entre les unités. Lorsque cette connectivité s’interrompt ou prend du retard, votre vitesse d’inférence s’en ressent.
Les charges de travail d’IA n’ont pas seulement besoin d’une puissance de calcul brute. Elles ont besoin de systèmes conçus pour un traitement coordonné et à haut débit. Cela va au-delà des microprocesseurs eux-mêmes et concerne la façon dont vos systèmes sont reliés entre eux, si votre nœud principal dispose d’une bande passante pour alimenter les GPU, et si ces GPU peuvent communiquer et évoluer efficacement.
Si vous prenez des décisions en matière d’infrastructure aujourd’hui, concentrez-vous sur la réduction des disparités architecturales. Les GPU de pointe ne sont utiles que dans la mesure où les systèmes supportent leur débit. Investir dans du matériel à forte capacité de calcul tout en laissant de côté les sous-systèmes de distribution et de contrôle n’est pas une stratégie de réduction des coûts, c’est une perte de valeur. Vous n’obtiendrez pas la pleine utilisation de votre budget matériel si tout ce qui se trouve dans votre pipeline se déplace à la vitesse de votre charge d’inférence.
L’adoption de nouveaux matériels au niveau du système, tels que les microprocesseurs optimisés pour l’IA et les cartes réseau avancées, est essentielle pour libérer tout le potentiel de l’IA
On assiste aujourd’hui à une évolution vers de véritables systèmes optimisés pour l’IA, du matériel conçu dès le départ pour gérer les calculs et les flux de données propres à l’intelligence artificielle. Il ne s’agit pas seulement de meilleurs GPU. Nous parlons de nouvelles classes de microprocesseurs et de composants de réseau qui traitent l’information différemment. Ils sont conçus en fonction de ce que fait réellement l’intelligence artificielle, et non en fonction de priorités de conception antérieures.
Prenons l’exemple de la mise en réseau. Les données doivent circuler rapidement entre les différents processeurs dans les configurations multi-GPU. Les cartes d’interface réseau traditionnelles n’ont pas été conçues pour cela. Elles introduisent un temps de latence. Les nouvelles cartes d’interface réseau optimisées pour l’IA prennent en charge une bande passante plus large, une latence plus faible et sont de plus en plus conçues pour gérer elles-mêmes certaines tâches de calcul. Ces cartes peuvent contourner le processeur lors de certaines étapes du transfert de données, ce qui permet aux GPU d’être constamment alimentés avec les données dont ils ont besoin.
Les protocoles évoluent également. Nous commençons à voir des piles conçues spécifiquement pour l’IA et le HPC, telles que nCCL et xCCL. À l’avenir, des protocoles tels que l’ultra ethernet pourraient remodeler la façon dont les grappes d’IA sont construites, en introduisant des options plus adaptatives et évolutives pour des performances extrêmes.
Ce changement n’est pas facultatif. Si les GPU progressent tous les 12 à 18 mois en raison de la loi de Huang, votre réseau et votre architecture système ne peuvent pas rester immobiles. Sans coévolution de l’infrastructure, votre pile d’IA restera goulot d’étranglement, incapable d’exploiter tout le débit des microprocesseurs les plus récents.
Pour les équipes dirigeantes qui planifient les feuilles de route de l’infrastructure d’IA, il ne s’agit pas d’un cas particulier ou d’une considération secondaire. La transition d’un réseau polyvalent vers des systèmes optimisés pour l’IA est déjà en cours, et ceux qui construisent avec ces piles à l’esprit contrôleront les performances, les coûts et l’échelle. Les systèmes spécialisés sont en train de devenir la référence, et non plus un bonus.
Il est essentiel de parvenir à un coût marginal proche de zéro pour la génération de jetons d’IA afin d’assurer l’évolutivité et la viabilité économique de l’IA.
La mise à l’échelle de l’IA ne consiste pas seulement à augmenter les performances, mais aussi à réduire le coût par unité de production. Pour l’IA, cette unité est le jeton. À l’heure actuelle, le coût marginal de la génération de jetons, en particulier au moment de l’inférence, est encore élevé. C’est le goulot d’étranglement qui ralentit l’expansion du marché et limite le retour sur investissement. Si le coût ne tend pas vers zéro, les services basés sur l’IA ne pourront pas s’étendre économiquement, quelle que soit l’avancée du modèle.
D’importants investissements sont réalisés pour soutenir les charges de travail d’inférence, mais beaucoup de ces systèmes fonctionnent avec des marges négatives. Cela s’explique par le fait qu’ils sont construits sur une infrastructure coûteuse qui n’est pas optimisée pour la génération rapide et peu coûteuse de jetons. Ces architectures ont souvent été tirées du cloud ou de systèmes existants d’entreprises qui n’ont jamais été conçus pour l’inférence d’IA à haute fréquence.
La solution consiste à réduire les inefficacités architecturales. Au niveau matériel, la loi de Huang maintient les performances des GPU sur une courbe ascendante. Ces accélérateurs doublent les performances de l’IA environ tous les 12 à 18 mois. En revanche, la loi de Moore, qui a guidé le développement des processeurs, permet aujourd’hui des gains plus lents. Cet écart de performance entre l’accélération des GPU et les capacités plus larges des systèmes constitue un frein à la rentabilité.
Pour que l’inférence de l’IA soit économiquement viable, l’ensemble de la pile, le matériel, la mémoire, le logiciel, le réseau, doit évoluer de manière coordonnée. Le coût marginal diminue lorsque les systèmes éliminent les cycles gaspillés et réduisent le temps d’attente entre les étapes de traitement. Cela vous permet d’augmenter l’utilisation sans augmenter le coût de façon linéaire.
Pour les chefs d’entreprise, il s’agit d’une question fondamentale. L’IA ne deviendra commercialement viable à grande échelle que lorsque la génération de jetons sera répétable, rapide et bon marché. Les décisions prises aujourd’hui en matière d’infrastructure, qu’il s’agisse d’optimiser les XPU, de mettre à niveau l’architecture de votre mémoire ou de réorganiser votre réseau, auront un impact direct sur votre courbe de coûts à long terme. Les entreprises qui s’attaquent rapidement à ces inefficacités seront en mesure d’avancer plus vite, d’élargir leur échelle et d’opérer avec une rentabilité que les autres n’atteindront pas.
Pour dominer la course aux plateformes d’IA, il est essentiel de surmonter les infrastructures obsolètes et les hypothèses héritées du passé.
De nombreuses entreprises continuent de se baser sur des hypothèses dépassées, en réutilisant des infrastructures et des environnements logiciels conçus pour des charges de travail antérieures à l’IA. Il ne s’agit pas d’un problème d’ingénierie. C’est un problème stratégique. Si votre architecture de base ne reflète pas la vitesse, le volume et la complexité actuels des tâches d’IA, vous allez manquer de performance et de rentabilité.
Aujourd’hui, la compétitivité dans l’espace de l’IA dépend de votre capacité à fournir des jetons plus rapidement, à moindre coût et avec plus de fiabilité que vos concurrents. Cela ne vient pas seulement de meilleurs algorithmes, mais aussi d’une optimisation complète. Les systèmes d’IA modernes sont composés de matériel et de logiciels étroitement intégrés, conçus spécifiquement pour gérer des tâches de calcul parallélisées et à haut débit.
Pour gagner dans cet environnement, il faut abandonner l’architecture de fortune et investir dans une conception orientée vers l’objectif. Cela inclut des composants informatiques capables d’une grande simultanéité, des cartes réseau avancées pour une transmission de paquets sans latence, des protocoles d’interconnexion optimisés, des temps d’accès à la mémoire réduits et un logiciel d’orchestration léger conçu pour les charges de travail de l’IA, et non pour les processus informatiques de l’entreprise.
Il n’y a plus d’efficacité à extraire des anciens outils d’entreprise. Si vous continuez à vous y fier, vous vous exposez à des désavantages structurels en termes de coûts d’inférence, de latence et de débit. Si vos choix d’infrastructure dépendent encore de processeurs polyvalents et de systèmes adaptés, vous êtes à la traîne. Et vous resterez à la traîne lorsque d’autres adopteront des architectures de systèmes spécialement conçues pour cette ère.
Les dirigeants de la suite devraient donner la priorité à ces décisions tournées vers l’avenir dès maintenant. La refonte complète de l’IA n’est plus optionnelle, elle est fondamentale pour tout ce qui va au-delà d’un succès pilote localisé. Les organisations qui agissent aujourd’hui fonctionneront avec une courbe d’efficacité plus élevée et gagneront des parts de marché à mesure que les interfaces basées sur des jetons et les agents en temps réel se généraliseront.
Principaux enseignements pour les dirigeants
- Les coûts d’inférence de l’IA restent élevés de manière insoutenable : Les dirigeants devraient donner la priorité à la réduction des coûts d’inférence au niveau des jetons dans toutes les modalités de l’IA afin de dépasser les déploiements pilotes et de débloquer un véritable retour sur investissement.
- La coordination de l’ensemble de la pile est essentielle pour la mise à l’échelle : Pour maximiser l’efficacité de l’IA, il faut aligner les logiciels, le matériel et l’infrastructure ; les mises à niveau fragmentaires ne permettront pas d’atteindre les objectifs de performance ou de coût.
- Les anciens processeurs sont un goulot d’étranglement pour les performances : Les dirigeants devraient remplacer les architectures x86 obsolètes par des solutions optimisées pour l’IA afin d’éviter la sous-utilisation de GPU coûteux et d’améliorer le débit.
- Le matériel spécialisé n’est plus optionnel : il est essentiel d’investir dans des microprocesseurs spécifiques à l’IA et des cartes réseau de nouvelle génération pour éliminer la latence, prendre en charge d’importantes charges de modèles et assurer la réactivité de l’IA en temps réel.
- Le coût marginal doit tendre vers zéro : Pour mettre en place des services d’IA évolutifs et rentables, les organisations doivent concevoir des systèmes qui minimisent les coûts par jeton et fonctionnent avec une répétabilité économique.
- Le leadership passe obligatoirement par le dépassement de la pensée traditionnelle : Pour gagner dans le domaine de l’IA, il faut abandonner les infrastructures polyvalentes et réadaptées et concevoir des piles spécialement conçues pour les charges de travail d’IA à haute performance.
