Le véritable risque derrière l’utilisation de plusieurs modèles d’IA

Les entreprises surestiment les avantages liés à la combinaison de plusieurs modèles d’IA

De nombreuses entreprises partent du principe que la combinaison de plusieurs modèles d’IA produira naturellement de meilleurs résultats. Ce raisonnement semble logique. Un modèle est doué pour le codage, un autre pour le raisonnement, un autre encore pour la culture générale. Si chaque modèle possède des atouts différents, alors, ensemble, ils devraient compenser leurs faiblesses respectives.

Les dernières recherches suggèrent que cette hypothèse est incomplète.

La véritable limite ne réside pas dans la fréquence à laquelle les modèles commettent des erreurs différentes, mais dans la fréquence à laquelle ils commettent tous la même erreur face à une même consigne. Les chercheurs appellent cela le « plafond de co-échec ». Dès lors que tous les modèles d’un ensemble parviennent ensemble à une réponse erronée, aucun routeur, système de vote ou couche d’orchestration ne peut rétablir la réponse correcte. Cet échec commun devient alors la précision maximale possible pour l’ensemble du système.

Cela modifie la manière dont les dirigeants doivent envisager les investissements dans l’IA. De nombreuses entreprises consacrent d’importants efforts d’ingénierie à la mise en place de plateformes de routage, car elles s’attendent à ce que la diversité des modèles génère des gains significatifs. Or, ces gains risquent de ne jamais se concrétiser si les modèles sous-jacents présentent les mêmes lacunes.

Cette étude a porté sur 67 modèles de pointe proposés par 21 fournisseurs d’IA. En utilisant la corrélation d’erreurs par paires traditionnelle, les chercheurs avaient prédit que tous les modèles échoueraient simultanément sur seulement 2,3 % des questions du benchmark MATH-500. Le taux réel d’échecs simultanés s’est élevé à 5,2 %. En d’autres termes, les indicateurs conventionnels ont sous-estimé les échecs simultanés d’un facteur d’environ 2,25.

Cette différence est importante. Elle signifie que de nombreuses organisations conçoivent leurs architectures d’IA en se basant sur des hypothèses optimistes plutôt que sur des limites mesurables.

Josef Chen, auteur de cet article de recherche, affirme que la véritable contrainte réside dans l’échec commun à tous les modèles plutôt que dans la diversité des modèles elle-même. Il explique que les méthodes d’évaluation existantes ne permettent pas de détecter un sous-ensemble de requêtes difficiles face auxquelles pratiquement tous les modèles de pointe échouent simultanément. Ce schéma d’échec caché crée un plafond que l’orchestration seule ne peut surmonter.

Pour les dirigeants, la conclusion est claire. Avant d’investir dans des modèles supplémentaires, posez-vous une question plus fondamentale : ces modèles échouent-ils réellement de manière différente, ou échouent-ils tous ensemble ? Si la réponse est la seconde, ajouter davantage de modèles ne fait qu’accroître la complexité sans changer le résultat.

Cela modifie également la manière dont les performances de l’IA doivent être évaluées. Les tests de performance traditionnels se concentrent souvent sur la précision moyenne de chaque modèle pris individuellement. Dans le cadre des déploiements en entreprise, il convient également de mesurer la fréquence à laquelle chaque modèle candidat échoue dans l’exécution des mêmes tâches stratégiques pour l’entreprise. Cela permet d’obtenir une bien meilleure estimation de la valeur maximale que l’orchestration peut apporter.

Les perspectives restent importantes. Les modèles d’IA continuent de s’améliorer rapidement, et les taux d’échec observés pourraient diminuer avec le temps. Toutefois, les décisions doivent reposer sur des données mesurables, et non sur l’hypothèse selon laquelle la diversité produirait automatiquement de meilleurs résultats.

L’orchestration multimodèle entraîne des coûts opérationnels importants qui peuvent l’emporter sur ses avantages

Chaque modèle d’IA supplémentaire ne se résume pas à un simple appel d’API. Il accroît la complexité opérationnelle à tous les niveaux de la pile technologique.

La plupart des stratégies d’orchestration d’entreprise se répartissent en trois catégories. Les routeurs de modèles déterminent quel modèle doit recevoir chaque requête. Les systèmes en cascade commencent par un modèle moins coûteux et ne passent à un modèle plus performant que lorsque le niveau de confiance est faible. Les systèmes de type « mélange d’agents » (MoA) posent la même question à plusieurs modèles et combinent leurs réponses pour aboutir à une réponse finale.

Chaque approche a un coût réel.

La latence augmente car les requêtes passent par davantage d’étapes de traitement. La maintenance de l’infrastructure devient plus complexe, car il faut assurer la synchronisation entre plusieurs fournisseurs, API et versions de modèles. La sécurité et la gouvernance deviennent plus exigeantes, car les données sensibles peuvent transiter par plusieurs plateformes externes au lieu d’une seule. La surveillance s’avère également plus difficile, car les défaillances peuvent provenir du système de routage, des modèles eux-mêmes ou de l’interaction entre ces derniers.

Ces coûts apparaissent rarement dans les simples calculs de coût par jeton, mais ils ont une incidence directe sur la fiabilité, l’efficacité opérationnelle et le coût total de possession.

De nombreuses organisations justifient cette complexité supplémentaire en mesurant la corrélation des erreurs par paires. Si deux modèles échouent généralement sur des questions différentes, on part du principe que leur combinaison améliorera les performances globales.

Cette étude remet en cause cette hypothèse.

Une faible corrélation entre les modèles n’entraîne pas nécessairement une meilleure précision du système. Si les modèles continuent d’échouer ensemble face aux requêtes les plus complexes, l’avantage escompté de l’orchestration disparaît en grande partie. Les organisations risquent alors de devoir supporter les coûts opérationnels tout en ne bénéficiant que d’améliorations marginales en production.

Josef Chen a mis en avant cette question dans des commentaires adressés à VentureBeat. Il a fait remarquer que les équipes acceptent souvent une latence plus élevée, une plus grande complexité de l’infrastructure et des coûts opérationnels liés à la gestion de plusieurs fournisseurs, car elles espèrent en tirer un « dividende de la diversité » par la suite. Selon cette étude, ce dividende ne se concrétise généralement pas, car les principaux modèles d’IA actuels parviennent souvent à un consensus et échouent également face à bon nombre des mêmes questions difficiles.

Pour les dirigeants, il s’agit autant d’une question d’affectation des capitaux que d’une question technique.

La mise en place de plateformes d’orchestration nécessite des ressources techniques, une maintenance continue, la gestion des fournisseurs, des audits de sécurité, un contrôle de la conformité ainsi qu’une évaluation permanente à mesure que de nouveaux modèles sont lancés. Ces investissements ne devraient être réalisés que si des améliorations mesurables des performances justifient la charge opérationnelle supplémentaire qu’ils entraînent.

Dans de nombreux environnements d’entreprise, investir ces mêmes ressources dans le déploiement d’un modèle de pointe plus performant, l’amélioration des ensembles de données d’évaluation, le renforcement de la gouvernance ou la refonte des flux de travail afin d’y intégrer la vérification pourrait générer un meilleur retour sur investissement.

La leçon générale à en tirer est simple. Il ne faut introduire de la complexité que lorsqu’elle génère une valeur commerciale mesurable. Il en va de même pour l’architecture d’IA. Un plus grand nombre de modèles ne garantit pas automatiquement de meilleurs résultats. Dans certains cas, cela se traduit simplement par un système plus coûteux.

La combinaison de modèles de qualité inégale peut réduire la précision au lieu de l’améliorer

De nombreuses équipes spécialisées dans l’IA partent du principe que l’ajout de modèles supplémentaires permettra d’améliorer la précision. Cette hypothèse ne se vérifie que si les modèles apportent une expertise utile et comparable. Lorsqu’il existe un écart important de qualité entre les modèles, l’effet inverse peut se produire.

L’étude a révélé que le vote à la majorité simple peut nuire à l’efficacité d’un système. Si des modèles moins performants sont systématiquement plus nombreux qu’un modèle plus performant, ils peuvent l’emporter sur la réponse correcte. Il en résulte une précision globale moindre, même si un plus grand nombre de modèles participent à l’élaboration de la réponse.

Il s’agit là d’une conclusion importante, car le vote à la majorité est l’une des approches les plus simples et les plus courantes pour les systèmes multimodèles. Elle est facile à mettre en œuvre et semble offrir une plus grande fiabilité. Cette étude montre que cette confiance est souvent mal placée lorsque la qualité des modèles est inégale.

Les chercheurs recommandent de ne combiner que des modèles fonctionnant dans une fourchette de qualité similaire. Lorsque cela n’est pas possible, ils suggèrent de choisir le modèle individuel le plus performant plutôt que de constituer un ensemble avec des alternatives moins performantes.

Leurs expériences corroborent cette conclusion. Selon cette étude, le vote majoritaire « naïf » appliqué à des modèles de qualité inégale a entraîné une perte moyenne d’environ 10 points de pourcentage sur un ensemble d’évaluation exigeant. Loin d’améliorer les performances, l’ensemble de modèles les a systématiquement réduites.

Josef Chen, auteur de l’article, a résumé le problème sans détour. Il a déclaré à VentureBeat que « le vote à la majorité naïf entre des modèles inégaux présentait un gain moyen négatif (moins 10 points sur notre mélange complexe) : les membres diversifiés mais plus faibles l’emportent sur le plus performant ». Sa recommandation était tout aussi directe : les organisations devraient « ne combiner que des modèles appartenant à une même fourchette de qualité ». Si cela n’est pas possible, le meilleur investissement consiste généralement à retenir le modèle unique le plus performant disponible.

Pour les dirigeants, cela a des implications immédiates en matière d’achats.

De nombreuses entreprises évaluent les fournisseurs d’IA de manière indépendante, en sélectionnant le modèle le plus performant dans chaque catégorie spécialisée. Ce processus ne garantit pas pour autant que ces modèles fonctionneront bien ensemble. Un ensemble de modèles doit être évalué comme un système complet plutôt que comme un ensemble de produits performants pris individuellement.

Cela modifie également la manière dont les organisations envisagent l’optimisation des coûts. Remplacer un modèle haut de gamme par plusieurs modèles moins coûteux peut réduire les dépenses d’infrastructure sur le papier, mais ces économies peuvent s’évaporer si la précision diminue et si le recours à la vérification humaine augmente. Des résultats de moindre qualité entraînent souvent des coûts opérationnels supplémentaires liés à la vérification manuelle, à l’insatisfaction des clients ou à des défaillances dans les processus en aval.

La meilleure stratégie consiste à évaluer la performance globale de l’entreprise plutôt que le prix de chaque modèle pris individuellement. Dans de nombreux cas, un seul modèle de pointe très performant offre des résultats plus prévisibles qu’un ensemble plus vaste d’alternatives de qualité variable.

Des ensembles de modèles variés peuvent donner de meilleurs résultats que l’utilisation répétée d’un même modèle, mais uniquement dans des conditions appropriées

Cette étude met toutefois en évidence un cas où la diversité des modèles génère une valeur mesurable.

De nombreuses organisations ont recours à une technique appelée « Self-MoA », ou « Self Mixture-of-Agents ». Au lieu de consulter différents modèles d’IA, le système interroge plusieurs fois le même modèle de référence et combine les réponses pour obtenir une réponse finale. Cette approche introduit de la variation grâce à un échantillonnage répété, tout en s’appuyant sur un seul modèle.

Les chercheurs ont constaté qu’un ensemble de modèles soigneusement sélectionnés peut donner de meilleurs résultats que cette approche, mais uniquement lorsque deux conditions importantes sont remplies.

Premièrement, les modèles doivent présenter des capacités globales similaires. Deuxièmement, ils doivent commettre des erreurs différentes plutôt que de reproduire les mêmes erreurs. Lorsque ces deux conditions sont remplies, la diversité devient un atout, car chaque modèle apporte des informations que les autres ne fournissent pas nécessairement.

Il s’agit là d’une exigence plus stricte que le simple fait de sélectionner des modèles proposés par différents prestataires ou spécialisés dans des domaines différents. La véritable diversité réside dans la complémentarité des atouts, associée à une qualité comparable. Sans ces deux éléments, les gains escomptés s’en trouvent considérablement réduits.

Il est également important de distinguer ce résultat des conclusions plus générales de l’article. Un ensemble plus performant n’élimine pas le « plafond de défaillance conjointe » évoqué ailleurs dans cette étude. Même un ensemble bien conçu reste limité par les invites qui provoquent la défaillance simultanée de tous les modèles participants.

Josef Chen a souligné que l’équilibre de la qualité constituait l’exigence essentielle. D’après les recherches, lorsque la qualité est équilibrée, un ensemble diversifié présentant une faible corrélation des erreurs par paires offre de meilleures performances qu’une configuration Self-MoA à forte corrélation. Ce constat plaide en faveur d’une utilisation sélective des ensembles plutôt que d’une adoption généralisée à toutes les charges de travail.

Pour les chefs d’entreprise, le message est davantage axé sur la rigueur que sur l’expansion.

Un ensemble efficace ne se crée pas simplement en augmentant le nombre de modèles. Il nécessite une évaluation minutieuse, des tests continus et la preuve que chaque modèle supplémentaire apporte une valeur ajoutée unique. Chaque modèle ajouté à l’environnement de production doit justifier son coût d’exploitation par des améliorations mesurables en termes de précision, de fiabilité ou de résultats commerciaux.

Cela suggère également que l’architecture de l’IA doit rester flexible. À mesure que les modèles de pointe continuent de s’améliorer, un ensemble hétérogène qui donne de bons résultats aujourd’hui pourrait ne plus offrir d’avantages significatifs demain si l’un des modèles prend une avance considérable sur les autres. Une évaluation régulière devrait donc faire partie intégrante de la gouvernance de l’IA, afin de garantir que les décisions relatives à l’architecture continuent de refléter les performances actuelles des modèles plutôt que des hypothèses historiques.

Pour les entreprises qui mettent en œuvre des stratégies multimodèles, la réussite dépend moins du nombre de modèles que d’une sélection rigoureuse, d’un suivi continu et d’une compréhension claire des domaines dans lesquels la diversité génère une véritable valeur ajoutée pour l’entreprise.

Le « plafond de co-défaillance » constitue une limite fondamentale à la précision des systèmes d’IA multimodèles

La principale contribution de cette étude réside dans l’introduction du « plafond de co-défaillance » comme moyen pratique de mesurer les limites des systèmes d’IA multimodèles.

La plupart des organisations évaluent les modèles en examinant leur précision individuelle ou la corrélation des erreurs par paires. Ces indicateurs sont utiles, mais ils ne répondent pas à la question opérationnelle la plus importante : à quelle fréquence tous les modèles disponibles échouent-ils face à la même requête ?

Ce taux d’échec commun détermine la précision maximale qu’un système d’orchestration peut atteindre. Peu importe le degré de sophistication de l’algorithme de routage ou le nombre de modèles impliqués. Si chaque modèle produit une réponse erronée, le système ne dispose d’aucun chemin menant à un résultat correct.

Cela vaut tout particulièrement pour les charges de travail d’entreprise impliquant des raisonnements complexes, des calculs mathématiques complexes ou des prises de décision ouvertes. Ces tâches mettent souvent en évidence des limites de capacité qui sont communes à l’ensemble des modèles de pointe actuels, plutôt que propres à un seul fournisseur.

Les chercheurs ont mis en évidence cet écart à l’aide du test de référence MATH-500, une évaluation mathématique à réponse ouverte. Les méthodes statistiques standard, fondées sur la corrélation des erreurs par paires, prédisaient que tous les modèles échoueraient simultanément sur seulement 2,3 % des questions. Le taux d’échec simultané observé s’élevait à 5,2 %.

Cette différence est significative. Les méthodes d’évaluation traditionnelles sous-estimaient les défaillances simultanées d’un facteur d’environ 2,25. Pour les organisations qui prennent des décisions en matière d’infrastructure sur la base de ces estimations, le retour attendu de l’orchestration pourrait être considérablement surévalué.

Cette étude a évalué 67 modèles de pointe proposés par 21 fournisseurs, parmi lesquels GPT-5.5, Claude Opus 4.8 et Gemini 3.1 Pro. La cohérence des résultats obtenus sur un ensemble aussi large de modèles de pointe suggère qu’il ne s’agit pas d’un problème touchant un seul fournisseur ou une seule architecture.

Josef Chen a identifié la source de cette limitation comme étant ce que les chercheurs appellent un « atome en mode commun ». Il a expliqué à VentureBeat que cela correspondait à « un sous-ensemble de requêtes sur lesquelles l’ensemble du marché échoue simultanément, ce qu’aucune statistique par paires ne peut détecter ». Il a ajouté que « l’ajout d’un vingtième modèle à votre pool ne permet pas de couvrir la queue de distribution. La queue est partagée. »

Cette conclusion a des implications stratégiques pour les dirigeants.

De nombreuses feuilles de route en matière d’IA partent du principe que l’ajout de nouveaux modèles permet de réduire progressivement les risques. Les recherches indiquent que cette relation atteint finalement une limite. Au-delà de ce seuil, les modèles supplémentaires ne font qu’accroître la complexité opérationnelle sans améliorer de manière significative la fiabilité face aux problèmes les plus difficiles.

Les organisations doivent donc distinguer deux questions distinctes. Premièrement, quel est le niveau de précision de chaque modèle pris individuellement ? Deuxièmement, en quoi ces modèles présentent-ils des lacunes lorsqu’ils sont utilisés conjointement ? La deuxième question revêt souvent une plus grande importance lors de la conception de systèmes d’IA d’entreprise, car elle détermine le plafond pratique des performances en production.

Cette perspective souligne également l’importance d’améliorer les capacités au niveau des modèles de base. Les stratégies de routage et les cadres d’orchestration peuvent optimiser les performances existantes, mais ils ne peuvent pas surmonter les limites communes en matière de capacités qui existent sur l’ensemble du marché.

La conception des tâches a un impact majeur sur la fiabilité de l’IA, et les tâches structurées permettent de réduire les défaillances communes

Cette étude montre que la manière dont une tâche est présentée à un modèle d’IA peut influencer de manière significative la fiabilité globale du système.

La génération ouverte offre davantage de possibilités aux modèles de produire des réponses erronées variées ou d’échouer tous ensemble. En l’absence de moyen objectif de vérifier l’exactitude des réponses, les systèmes de routage disposent de peu d’informations pour déterminer quelle réponse est fiable.

Les chercheurs ont constaté que le fait de modifier le format d’une épreuve pouvait modifier considérablement les taux d’échecs simultanés. Lorsque les questions scientifiques de niveau universitaire issues du référentiel GPQA ont été converties du format à choix multiples au format à réponse libre, le taux d’échecs simultanés est passé à 12,7 %.

Ce résultat montre que l’évaluation ne se limite pas à la capacité du modèle. Elle dépend également de la conception de la tâche.

Josef Chen a fait valoir que les organisations devraient, dans la mesure du possible, transformer les problèmes de génération en problèmes de vérification. Selon ses propres termes : « Partout où vous pouvez transformer la génération en vérification ou en sélection contrainte (sorties structurées, réponses vérifiables, tests d’exécution), vous repoussez les limites. »

Cette recommandation a des implications importantes pour les déploiements d’IA en entreprise.

De nombreux processus métier disposent déjà de définitions objectives de la réussite. Les requêtes SQL s’exécutent correctement ou non. Les résultats au format JSON sont conformes au schéma requis ou échouent à la validation. Les calculs financiers peuvent être vérifiés automatiquement. Le code logiciel peut être testé. L’extraction de données peut être comparée à des valeurs connues.

En concevant des processus autour de ces résultats mesurables, les organisations peuvent améliorer la fiabilité sans attendre la prochaine génération de modèles de base. La validation automatisée réduit également le volume de vérifications manuelles nécessaires, ce qui permet aux équipes d’identifier les erreurs avant qu’elles n’atteignent les clients ou les systèmes en aval.

Les dirigeants devraient considérer la conception des flux de travail comme un élément essentiel de leur stratégie en matière d’IA, plutôt que de se concentrer exclusivement sur le choix des modèles. Deux organisations utilisant le même modèle de pointe peuvent obtenir des résultats commerciaux très différents selon la manière dont elles structurent les consignes, définissent les résultats attendus et valident les réponses.

Cette conclusion vient également étayer un principe de gouvernance plus général. Les systèmes d’IA doivent être évalués dans le contexte du processus métier qu’ils soutiennent, et non en tant que technologies isolées. Un modèle qui donne de bons résultats lors d’un test de performance sans contrainte peut produire des résultats incohérents en production si le flux de travail qui l’entoure ne fait pas l’objet d’une vérification. À l’inverse, un processus soigneusement conçu, avec des résultats structurés et des contrôles automatisés, peut améliorer considérablement la fiabilité, même en utilisant le même modèle sous-jacent.

Les opportunités concrètes sont évidentes. Les organisations ne peuvent pas toujours contrôler la rapidité avec laquelle les modèles de pointe s’améliorent, mais elles peuvent contrôler la manière dont l’IA est intégrée dans leurs opérations métier. Des flux de travail bien conçus, une validation objective et des résultats structurés restent aujourd’hui parmi les moyens les plus efficaces d’améliorer les performances de l’IA en entreprise.

Les entreprises peuvent évaluer la valeur de l’orchestration multimodèle avant son déploiement à l’aide d’un test statistique simple

L’une des conclusions les plus concrètes de cette étude est que les organisations n’ont pas besoin de mettre en place un système multimodèle avant de déterminer si cet investissement en vaut la peine.

Les chercheurs recommandent d’utiliser la borne de Clopper-Pearson, une méthode statistique bien établie, pour estimer la précision maximale atteignable d’un ensemble de modèles à partir de son taux de défaillance conjointe observé. Plutôt que de prédire une performance moyenne, cette méthode fournit une estimation prudente des limites pratiques du système lorsque seul un ensemble de données d’évaluation limité est disponible.

Cela permet aux équipes d’ingénierie de répondre à une question stratégique cruciale dès les premières étapes du processus de développement : l’amélioration attendue est-elle suffisamment importante pour justifier le surcoût et la complexité opérationnelle supplémentaires ?

Le processus est relativement simple. Les organisations commencent par créer un ensemble de données d’évaluation représentatif à partir de tâches métier réelles. Chaque modèle candidat est ensuite testé sur le même ensemble de consignes, et l’équipe recense les cas où chaque modèle réussit et ceux où tous les modèles échouent. À partir de ces résultats, le calcul de Clopper-Pearson permet d’estimer la limite supérieure des performances du système sans que l’organisation ait à mettre en place une logique de routage ni à mener des expériences de production coûteuses.

Supposons qu’une équipe évalue cinq modèles d’IA sur 50 requêtes représentatives et constate que les cinq modèles échouent tous ensemble sur seulement deux questions. À première vue, cela semble indiquer que le système est capable d’atteindre une précision d’environ 96 %. La borne de Clopper-Pearson fournit une estimation plus prudente, indiquant que, l’échantillon d’évaluation étant relativement petit, le taux réel d’échecs simultanés pourrait tout de même atteindre 12 %.

Cette distinction est importante car les dirigeants prennent souvent des décisions d’investissement en s’appuyant sur des projections optimistes issues de tests limités. La confiance statistique revêt une importance particulière lorsque les systèmes d’IA soutiennent des opérations stratégiques pour l’entreprise, où même de faibles taux d’erreur peuvent entraîner des conséquences financières ou réglementaires significatives.

Les chercheurs soulignent également que la mise en œuvre de cette évaluation ne nécessite que très peu d’efforts techniques supplémentaires.

Josef Chen a expliqué que l’intégration est « très simple : il s’agit d’un travail de comptage sur les journaux d’évaluation que les équipes produisent déjà ; elle s’exécute donc au cours de la même étape d’intégration continue que la suite d’évaluation et se déclenche à nouveau dès que le pool de modèles ou la charge de travail change. »

Pour les organisations qui disposent déjà de processus d’évaluation de l’IA, cela signifie que cette évaluation peut s’inscrire dans le cadre d’une gouvernance standard plutôt que de constituer un projet distinct.

Cette approche favorise également une prise de décision continue plutôt que des évaluations ponctuelles. À mesure que de nouveaux modèles de pointe deviennent disponibles, les entreprises peuvent répéter la même évaluation en utilisant des charges de travail actualisées et vérifier si les taux de défaillance communs s’améliorent. Cela permet de mettre en place un processus fondé sur des données factuelles pour décider quand étendre, remplacer ou simplifier les architectures d’IA.

Pour les dirigeants, l’enseignement à tirer va au-delà de cette méthode statistique spécifique. Les investissements majeurs dans les infrastructures doivent s’appuyer sur des données mesurables avant que des ressources ne soient engagées. L’orchestration de l’IA doit être considérée comme un investissement commercial assorti de seuils de performance bien définis, plutôt que comme une hypothèse selon laquelle un plus grand nombre de modèles générerait automatiquement davantage de valeur.

Pour de nombreuses tâches d’entreprise, un modèle « frontier » unique et performant apporte une plus grande valeur ajoutée qu’une architecture multimodèle complexe

Cette étude aboutit à une conclusion qui remet en cause une idée reçue courante concernant la stratégie d’IA en entreprise.

Pour les tâches dont les réponses sont objectives et vérifiables, les organisations obtiennent souvent de meilleurs résultats en déployant le modèle de pointe le plus performant disponible plutôt qu’en coordonnant plusieurs modèles moins coûteux via des systèmes de routage.

Ce constat s’applique tout particulièrement aux charges de travail pour lesquelles l’exactitude peut être mesurée avec précision. Citons, à titre d’exemple, la génération de requêtes SQL qui doivent s’exécuter avec succès, l’extraction de valeurs spécifiques à partir de documents métier, la production de données JSON structurées conformes à des schémas stricts, ou encore la réalisation d’autres tâches dont les résultats peuvent être vérifiés automatiquement.

Dans ces situations, une orchestration supplémentaire apporte souvent davantage de complexité que de valeur ajoutée.

Une architecture multimodèle augmente le nombre de systèmes qu’il faut gérer, surveiller, sécuriser et évaluer. Si la couche de routage n’est pas en mesure d’identifier de manière fiable quel modèle produira la réponse correcte pour chaque requête, la charge opérationnelle persiste tandis que les gains de performances escomptés s’avèrent minimes.

Les chercheurs concluent que, pour obtenir des améliorations significatives par rapport au meilleur modèle pris isolément, il faut généralement disposer d’un signal de routage au niveau de la requête exceptionnellement fort. Dans la pratique, de tels signaux de routage sont difficiles à mettre au point, car les questions les plus complexes ne fournissent souvent que peu d’indications permettant de déterminer quel modèle de la frontière, le cas échéant, produira la réponse correcte.

Cela vaut tout particulièrement pour les organisations qui évaluent l’IA principalement sur la base de comparaisons de coûts.

Opter pour plusieurs modèles moins coûteux plutôt que pour un seul modèle haut de gamme peut sembler financièrement intéressant au moment de l’acquisition. Cependant, le coût total de possession inclut les efforts d’ingénierie, la gouvernance, la maintenance, la surveillance, la gestion des fournisseurs, les tests, ainsi que l’impact commercial de résultats erronés. Si l’orchestration n’apporte que des gains de précision marginaux, ces coûts indirects peuvent l’emporter sur les économies réalisées au niveau de l’inférence.

Cette étude pose également une limite importante à ses conclusions. Les chercheurs ont évalué des critères objectivement vérifiables plutôt que des tâches créatives subjectives. Ils soulignent donc qu’il reste à déterminer si ces résultats s’appliquent de la même manière à des domaines tels que le contenu marketing, l’écriture créative ou d’autres types de travail où il peut exister plusieurs réponses valables.

Cette distinction est importante pour la prise de décision au niveau de la direction. Une stratégie en matière d’IA ne doit pas partir du principe qu’une seule architecture convient à toutes les charges de travail. Les organisations devraient plutôt classer les cas d’utilisation en fonction de la possibilité de valider objectivement les résultats. Cette classification devrait influencer à la fois le choix des technologies et les priorités d’investissement.

Josef Chen a réaffirmé cette perspective à long terme en abordant la manière dont les organisations devraient évaluer les futurs systèmes d’IA. Il a souligné que « cette mesure ne coûte rien ; ainsi, n’importe quelle équipe peut suivre son propre taux de défaillance conjointe d’une génération de modèles à l’autre et observer si l’écart se réduit ». Il a conclu en affirmant que « le levier dont disposent les acheteurs réside dans l’hétérogénéité des modes de défaillance et la rotation du marché, et non dans le nombre de modèles ».

Pour les dirigeants d’entreprise, le message est clair. La réussite en matière d’IA d’entreprise dépend moins du nombre de modèles déployés que d’une évaluation rigoureuse, d’une fiabilité mesurable et d’une adéquation entre l’architecture choisie et le problème métier à résoudre. À mesure que les modèles de pointe continuent de s’améliorer, les organisations qui s’appuient sur des données factuelles plutôt que sur des hypothèses seront mieux placées pour générer de la valeur tout en évitant toute complexité inutile.

Dernières réflexions

L’IA d’entreprise entre dans une phase plus rigoureuse. Le débat ne porte plus sur le nombre de modèles qu’une entreprise peut déployer, mais sur la valeur mesurable que ces modèles génèrent réellement.

Cette étude remet en cause l’une des hypothèses les plus répandues dans le secteur. La diversité des modèles ne constitue pas à elle seule une stratégie fiable pour améliorer les performances. Si plusieurs modèles présentent les mêmes modes de défaillance, leur multiplication ne fait qu’accroître la complexité opérationnelle sans modifier le résultat là où cela compte le plus.

Pour les dirigeants, cela vient renforcer un principe important. Les investissements dans l’IA doivent être évalués avec le même niveau de rigueur que tout autre investissement technologique. Les nouvelles infrastructures, les nouveaux fournisseurs et les architectures plus sophistiquées ne doivent être adoptés que s’ils apportent des améliorations mesurables en termes de résultats commerciaux.

La bonne nouvelle, c’est que les organisations disposent dès aujourd’hui de moyens concrets pour prendre de meilleures décisions. Mesurer les taux d’échec conjoints, constituer des ensembles de données d’évaluation représentatifs et valider l’IA par rapport à des flux de travail réels permettent d’obtenir une image bien plus précise des performances attendues que des hypothèses fondées uniquement sur la diversité des modèles. Il s’agit là de pratiques relativement peu coûteuses qui peuvent éviter de futures décisions architecturales onéreuses.

Cette étude met également en évidence une autre opportunité. Bon nombre des progrès en matière d’IA d’entreprise proviendront non seulement de modèles de base plus performants, mais aussi d’une meilleure conception des systèmes. Des flux de travail structurés, une validation objective et une évaluation continue permettent souvent d’améliorer la fiabilité sans accroître la complexité architecturale.

Cela ne doit toutefois pas être interprété comme un argument contre l’IA multimodèle dans son ensemble. Il existera toujours des cas de figure où des ensembles soigneusement sélectionnés créeront une valeur significative, en particulier lorsque les modèles présentent des capacités comparables et des atouts véritablement complémentaires. L’essentiel est de démontrer cette valeur par des preuves plutôt que de supposer qu’elle existe.

À mesure que les modèles d’IA de pointe continuent d’évoluer, les conclusions d’aujourd’hui évolueront elles aussi. Les organisations qui mesurent en permanence leurs performances, réévaluent leurs architectures et s’adaptent à mesure que les capacités s’améliorent seront les mieux placées pour tirer parti de cette valeur. Celles qui se fient uniquement à des hypothèses ou aux tendances du secteur risquent de mettre en place des systèmes de plus en plus complexes offrant des rendements décroissants.

Il est peu probable que le prochain avantage concurrentiel en matière d’IA d’entreprise résulte du déploiement d’un plus grand nombre de modèles. Il découlera d’une compréhension précise des domaines dans lesquels l’IA réussit et de ceux où elle échoue, ainsi que de la prise de décisions d’investissement fondées sur ces données factuelles.