La mesure des performances de l’IA générative est complexe mais de plus en plus importante
Mesurer les performances de l’IA générative n’est pas évident. Lorsque vous installez un nouveau processeur, vous pouvez immédiatement évaluer la vitesse, la charge thermique et l’efficacité. Avec l’IA, en particulier les modèles génératifs tels que les les grands modèles de langage (LLM)il s’agit de savoir dans quelle mesure ils comprennent le contexte, génèrent des résultats utilisables et résolvent des problèmes commerciaux à grande échelle. Cela rend les choses plus difficiles à mesurer, mais pas impossibles. Et pour quiconque dirige une entreprise, en particulier au niveau C, c’est quelque chose que vous allez devoir comprendre rapidement.
Le fait est que l’IA n’est plus théorique. Elle est opérationnelle. Les directeurs financiers veulent un retour sur investissement. Les directeurs techniques veulent des chiffres de déploiement. Les CMO veulent des améliorations du coût par action. Mais le retour sur investissement de l’IA n’est pas linéaire, et les rapports de performance restent imprécis. De nombreux fournisseurs proposent des « améliorations » qui se résument à une intuition. Ce n’est pas suffisant. Si vous dirigez une entreprise, vous ne pouvez pas vous fier à votre intuition et à des diapositives marketing. Vous avez besoin de chiffres concrets, ou au moins de mesures reproductibles, pour justifier les coûts et orienter la stratégie.
C’est pourquoi l’action de l’Institut Vecteur pour l’Intelligence Artificielle est importante. Il travaille sur des modèles d’analyse comparative indépendants pour aider les entreprises à évaluer l’IA générative sur la base de paramètres réels et cohérents. C’est le genre de travail qui transforme les performances de l’IA d’un jeu de devinettes en un cadre comparatif. À terme, nous disposerons de normes convenues qui vous permettront de poser la question suivante : à quoi ressemble le succès dans ce cas ? Ce modèle a-t-il permis d’augmenter les recettes ou de réduire les délais de mise sur le marché de manière mesurable ?
Il est indéniable que l’IA générative sera au cœur de tous les secteurs d’activité au cours des dix prochaines années. Mais les dirigeants devront soumettre les performances de l’IA aux mêmes normes que celles qui s’appliquent à toute autre fonction opérationnelle. Si vous ne pouvez pas la mesurer, vous ne pouvez pas la gérer. Et si vous ne pouvez pas la gérer, elle vous coûtera sans que vous le sachiez, ou pire, elle vous mènera dans la mauvaise direction.
L’IA générative alimente la demande de développeurs supplémentaires
On croit souvent à tort que l’IA générative éliminera le besoin de développeurs. Ce n’est pas le cas. C’est le contraire qui est vrai. Les outils d’IA ne remplacent pas les ingénieurs en informatique, ils les rendent plus efficaces. Cette efficacité pousse les entreprises à prendre davantage d’initiatives en matière de logiciels. Et avec plus de projets, vous avez besoin de plus de personnes pour obtenir des résultats.
Ce que nous observons aujourd’hui, c’est un multiplicateur de productivité. Les outils d’IA générative, comme GitHub Copilot et d’autres assistants de codage, accélèrent les tâches de programmation de routine, ce qui permet aux développeurs de se concentrer davantage sur la résolution de problèmes plus importants. Cela signifie que les responsables de l’ingénierie lancent davantage de produits et de fonctionnalités en moins de temps. Mais pour augmenter la production, il faut augmenter les équipes. C’est là que se produit l’évolution de la demande.
Les données le confirment. Les premières recherches montrent que les assistants d’IA réduisent le temps de codage et simplifient la résolution des problèmes. Les délais de publication se réduisent. Les entreprises ne sont plus limitées de la même manière par la bande passante des développeurs, et elles revoient donc leurs ambitions à la hausse : carnets de commandes plus importants, cycles plus rapides, nouvelles plateformes. Et une fois que l’IA augmente la productivité, les capacités humaines doivent suivre.
Pour quiconque dirige la technologie ou les opérations, cela modifie la façon dont la structure de l’équipe doit évoluer. Les développeurs qui utilisent l’IA ne sont pas en train de s’automatiser eux-mêmes. Ils deviennent plus précieux, en particulier ceux qui comprennent comment orchestrer les flux de travail de l’IA et vérifier le code généré par l’IA. Le rôle évolue de contributeur individuel à résolveur de problèmes à fort impact. C’est une bonne nouvelle si vous envisagez la prochaine étape de votre croissance.
Si vous devez prendre une décision d’embauche, gardez ceci à l’esprit : les entreprises qui gagnent avec l’IA investissent dans des talents qui peuvent faire évoluer la production du système. Concrètement, cela signifie qu’il faut augmenter le nombre de développeurs, et non le réduire. Ignorez le bruit des pertes d’emploi, cela ne se produit pas dans l’ingénierie logicielle. Pas maintenant, et probablement pas plus tard.
Des bases de données solides sont essentielles pour que l’IA générative fonctionne de manière fiable
Si vos opérations de données, vos systèmes de gouvernance et vos protocoles de sécurité ne sont pas solides, vous n’obtiendrez pas de résultats fiables de l’IA générative. De nombreux dirigeants se concentrent sur la couche de modèle et oublient les systèmes en amont qui ont un impact direct sur ses performances. C’est une erreur qui coûte du temps, de l’argent et de la crédibilité.
Pour qu’un système d’IA générative produise des résultats précis, limités par des biais ou conformes à la réglementation, votre données doit être propre, contrôlé et sécurisé.contrôlé et sécurisé. Cela signifie qu’il faut vérifier comment vos données circulent dans les systèmes, qui y a accès et si vos données d’entrée sont réellement utiles pour répondre aux questions auxquelles vous voulez que vos modèles répondent. La plupart des entreprises ont encore des opérations de données fragmentées, des processus manuels, des lignées manquantes ou des contrôles d’accès faibles. Cela ralentit le développement et introduit des risques.
La gouvernance entre en jeu très tôt. Si vous ne gérez pas vos métadonnées, vos versions et vos journaux d’accès, vous ne pourrez pas prouver comment votre IA est parvenue à un résultat spécifique. Cela devient un problème lorsque les régulateurs posent des questions ou lorsque les résultats entraînent des conséquences négatives dans les processus d’entreprise. Les données non contrôlées introduisent un caractère aléatoire dans les résultats du modèle, ce qui entraîne des conséquences en aval que vous ne pouvez pas facilement expliquer aux parties prenantes, aux utilisateurs ou aux conseils d’administration.
La sécurité est un autre élément clé. Les modèles d’IA qui ingèrent des données sensibles, non protégées ou non classifiées héritent de ce risque. Si votre système d’IA puise dans des sources non approuvées ou mal sécurisées, vous ne pouvez pas garantir la confidentialité et, pire encore, vous exposez l’entreprise à des violations ou à des manquements à la conformité. Une faible sécurité des données nuit à tout, à la stratégie, à la confiance et à l’évolutivité.
Si vous êtes un décideur, évitez de considérer le déploiement de l’IA comme un outil de niveau supérieur. L’infrastructure sous-jacente est plus importante que ne le pensent la plupart des équipes dirigeantes. Investissez dans des dataops robustes. Appliquez les normes de gouvernance des données. Renforcez votre posture de sécurité avant de brancher l’IA sur des systèmes critiques.
Aucune stratégie d’IA n’évoluera sans une exécution disciplinée des données. Vous obtenez ce que vous avez investi.
Une clarté juridique et stratégique est nécessaire avant de déployer de grands modèles linguistiques (LLM)
Avant d’intégrer de grands modèles de langage dans le flux de travail de votre organisation, vous devez répondre à des questions juridiques et stratégiques fondamentales. Ces systèmes apprennent à partir de vastes corpus de données publiques et privées, ce qui crée un risque à plusieurs niveaux. Si vous allez de l’avant sans une évaluation claire des risques, vous vous exposez à des complications que vous pourriez éviter.
Sur le plan juridique, la propriété intellectuelle est le premier élément à prendre en compte. Si un MLD génère un contenu qui ressemble à du matériel de tiers, en particulier du texte, du code ou des médias, votre entreprise peut être tenue pour responsable si ce contenu viole les lois sur les droits d’auteur. Et il n’est pas toujours évident de savoir où se situent ces limites. Les tribunaux sont encore en train d’analyser ce que signifie le terme « original » lorsque l’IA est impliquée. Jusqu’à ce que les choses soient plus claires, vous devez faire preuve de prudence.
La conformité réglementaire est un autre élément à prendre en compte. Pour les industries qui traitent des informations sensibles, la finance, la santé, le juridique, vous devez prendre en compte la façon dont l’IA interagit avec les données protégées. Si un modèle traite ou génère des sorties basées sur des enregistrements de clients ou des données internes, vous devez mettre en place des mesures pour assurer la conformité avec des cadres tels que GDPR, HIPAA, ou des normes sectorielles spécifiques.
Sur le plan stratégique, pensez à l’alignement interne. Les équipes techniques, juridiques et exécutives travaillent-elles sur la même base lorsqu’il s’agit de déployer des LLM ? Si ce n’est pas le cas, vous risquez de créer des inefficacités ou d’entrer involontairement dans des zones grises juridiques. Avant le déploiement, établissez les droits de décision, les politiques d’utilisation et les limites de risque. Votre équipe de direction doit être unie sur ce que l’IA est autorisée à faire, où la valeur est attendue et comment l’exposition est gérée.
Les organisations les plus intelligentes font leurs devoirs en matière d’IA dès le départ. Cela signifie qu’elles font appel à un conseiller juridique dès le début, qu’elles mettent en place des cadres de gouvernance interne pour l’utilisation de l’IA et qu’elles savent où se situent les limites. Aller vite ne signifie pas sauter des questions clés. Cela signifie qu’il faut poser les bonnes questions dès le départ, avant le déploiement, avant l’exposition des clients, avant que le risque ne se cristallise en responsabilité.
Le déploiement de l’IA à grande échelle ne se limite pas à un simple feu vert technique. Il exige une préparation opérationnelle et juridique claire. Si vous vous trompez, vous ne pourrez pas passer à l’échelle en toute confiance. Si vous le faites correctement, vous posez les bases d’une innovation durable et défendable.
Faits marquants
- Mesurer l’impact de l’IA générative nécessite des critères de performance clairs : Les mesures traditionnelles ne permettent pas de saisir la valeur de l’IA générative. Les dirigeants devraient soutenir le développement de critères de référence internes ou adopter des normes émergentes telles que celles de l’Institut Vector pour mesurer le retour sur investissement et justifier l’investissement.
- L’IA augmente la demande des développeurs, elle ne la réduit pas : Les outils génératifs accélèrent les flux de travail, ce qui permet de multiplier les projets, et non de les réduire. Les dirigeants devraient faire évoluer les équipes de développeurs parallèlement au déploiement de l’IA pour profiter pleinement des gains de productivité.
- Une infrastructure de données solide est à la base d’une GenAI fiable : des données, une gouvernance ou une sécurité médiocres limiteront l’efficacité de l’IA et augmenteront les risques. Les dirigeants doivent renforcer les systèmes de données pour garantir l’adoption d’une IA évolutive et fiable.
- L’alignement juridique est une condition préalable au déploiement de la GenAI : Les LLM soulèvent des questions complexes en matière de propriété intellectuelle, de conformité et de responsabilité. Les entreprises devraient impliquer très tôt les parties prenantes juridiques, techniques et de conformité afin de définir des politiques claires et d’éviter les risques réglementaires.
