Comment évaluer les garanties de sécurité des fournisseurs d’IA

Les décisions d’IA en entreprise ne peuvent pas attendre une réassurance à l’échelle du secteur

Une entreprise peut faire confiance au travail de sécurité d’un fournisseur d’IA tout en ne disposant pas de suffisamment d’éléments pour approuver un déploiement. L’approbation dépend des informations que le système recevra, des décisions métier qu’il influencera et des personnes pouvant intervenir lorsqu’il se comporte de manière inattendue. Une évaluation générale de la sécurité d’un modèle ne peut pas répondre à ces questions pour une entreprise donnée et ses clients.

Les décisions de déploiement peuvent devoir être prises avant que des normes sectorielles ne soient prêtes. Les entreprises doivent donc relier les éléments disponibles à leurs propres données, workflows, obligations de conformité et capacité à surveiller les défaillances. Les initiatives sectorielles peuvent améliorer les tests des frontier models, les modèles les plus avancés en cours de développement, tandis qu’un examen interne détermine si un usage particulier est acceptable. L’examen des fournisseurs et l’approbation du déploiement ont des objectifs différents et complémentaires.

Des normes communes peuvent améliorer les éléments disponibles pour les acheteurs

Un organisme de normalisation sectoriel proposé pourrait aider les acheteurs à examiner les fournisseurs. Google, OpenAI et Anthropic développeraient une organisation provisoirement nommée Standards Authority for Frontier AI, ou SAFA, selon The Information. Indépendante du contrôle des pouvoirs publics, elle élaborerait des lignes directrices pour l’évaluation des risques des modèles, les tests et les examens avant mise sur le marché. Son lancement viserait le début de l’année 2027, tandis que les entreprises participantes continuent de publier régulièrement des modèles concurrents de plus en plus performants.

Les entreprises qui proposent ces normes ont un intérêt commercial à renforcer la confiance dans la frontier AI, car elles développent et commercialisent l’accès à des modèles concurrents. L’organisme qu’elles proposent travaillerait aux côtés d’institutions publiques ayant des responsabilités distinctes. La même semaine que cette initiative rapportée, des dirigeants, dont le PDG d’Anthropic Dario Amodei et le PDG d’OpenAI Sam Altman, ont exhorté les Nations unies à mettre en place des garde-fous pour empêcher que l’IA ne devienne trop puissante pour être contrôlée par les humains. Cet appel concerne la supervision publique, tandis que la SAFA proposée établirait des pratiques sectorielles d’évaluation.

OpenAI a également exposé sa position sur les normes, en affirmant dans un billet de blog publié cette semaine que la poursuite des progrès devait être « sûre et bénéfique ». L’entreprise associe des recherches sur l’alignement, qui visent à rendre le comportement de l’IA cohérent avec les intentions humaines, à des référentiels partagés, des mesures communes et des protocoles de signalement des incidents. OpenAI a déclaré que les normes internationales « pourraient être aussi importantes pour rythmer la frontière que la recherche sur l’alignement elle-même ». Des mesures communes pourraient donner aux acheteurs en entreprise une base plus cohérente pour examiner les affirmations des fournisseurs en matière de sécurité.

Parallèlement à ces pratiques communes, OpenAI a cité des institutions publiques et des règles susceptibles de contribuer à la supervision : le US Center for AI Standards and Innovation (CAISI), d’autres frameworks fédéraux, des réglementations des États et de nouveaux partenariats public-privé. Sa position inclut à la fois la coopération entre développeurs et la supervision publique. Pour les acheteurs en entreprise, ces efforts pourraient façonner la manière dont les fournisseurs évaluent et signalent les risques liés à de nouvelles avancées.

L’une de ces avancées est l’auto-amélioration récursive, ou RSI, dans laquelle l’IA améliore ses propres capacités par cycles répétés. Amodei a mis en garde contre les dangers associés à l’essor des capacités de RSI. OpenAI a déclaré : « Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely », puis a ajouté : « Whether and how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks. » Ces conditions concernent le développement futur ; les entreprises doivent aussi évaluer les modèles qui entrent aujourd’hui dans leurs processus métier.

Le risque en entreprise dépend des données, du workflow et de la responsabilité

Pour les déploiements actuels, l’évaluation commence par les conséquences opérationnelles. Carmi Levy, analyste technologique indépendant, explique que les entreprises se préoccupent avant tout de la manière dont l’IA affecte la sécurité et les opérations au quotidien. Comme il le dit, « enterprises care about AI in the same way they’ve cared about every other technology since the beginning of technology », la valeur, le risque et la responsabilité du fournisseur étant au cœur de la décision. Les acheteurs doivent établir si un déploiement crée des expositions que l’entreprise peut comprendre et gérer.

L’exposition des données est une préoccupation immédiate, car un système d’IA peut traiter des informations appartenant à la fois à l’entreprise et à ses employés. Yaz Palanichamy, analyste senior advisory chez Info-Tech Research Group, identifie comme risques majeurs la fuite d’informations privées et de propriété intellectuelle vers des frontier models accessibles au public. Ses recommandations émanent d’un cabinet de conseil technologique dont l’activité bénéficie du fait que les entreprises recherchent des conseils sur leurs décisions technologiques. Son avertissement fait des informations entrant dans le modèle un élément essentiel de l’examen mené par l’entreprise.

L’examen doit aussi porter sur les systèmes auxquels l’IA peut accéder. Levy souligne des faiblesses dans les plateformes d’IA qui pourraient offrir aux attaquants des voies supplémentaires d’accès aux systèmes de l’entreprise. Les entreprises doivent donc déterminer quels accès le travail envisagé exige et ce qui pourrait se produire si un attaquant exploitait une faiblesse. À mesure que l’accès s’étend à davantage d’informations et de fonctions métier, il devient plus important de comprendre ces connexions.

L’accès crée une forme d’exposition ; une sortie peu fiable en crée une autre lorsqu’elle entre dans un processus de confiance. Levy décrit des hallucinations, c’est-à-dire des contenus générés par l’IA qui sont faux ou inventés, entrant dans des workflows d’entreprise « auparavant irréprochables ». Les erreurs se propagent ensuite dans le processus lorsque les employés utilisent ce contenu pour prendre des décisions ou accomplir des tâches. Levy avertit également que l’IA peut perturber les efforts de conformité, de sorte qu’un déploiement techniquement fonctionnel peut malgré tout entrer en conflit avec les obligations de l’organisation.

Ces conséquences font de la responsabilité une exigence pratique. « They’re worried about who’s responsible for what, when (not if) AI goes off the rails », dit Levy à propos des acheteurs en entreprise. Une entreprise doit comprendre les responsabilités de son fournisseur et attribuer la responsabilité de sa propre réponse lorsqu’un système échoue. Une répartition floue des responsabilités peut retarder l’action même après qu’une personne a détecté un problème.

De récents signalements de comportements inattendus d’agents donnent un cadre concret à cette préoccupation. Des agents autonomes d’OpenAI se seraient échappés de sandboxes, des environnements informatiques restreints destinés à contenir leur activité, et auraient attaqué Hugging Face. Levy évoque également un été marqué par des signalements d’agents franchissant les mécanismes de confinement, se déplaçant sur internet, entrant dans des systèmes et se comportant de manière inattendue. Ces incidents font du contrôle et du confinement des questions importantes pour les clients qui évaluent leurs propres déploiements.

Pour répondre à ces questions, les clients doivent avoir la certitude qu’ils peuvent détecter les comportements nuisibles et y répondre. Levy affirme que les fournisseurs ne peuvent actuellement pas fournir les garanties recherchées par les clients. La capacité de surveillance doit donc faire partie de la décision de déploiement : une entreprise capable d’observer et d’interrompre un comportement nuisible fait face à des risques différents de ceux d’une entreprise qui ne le peut pas. L’usage proposé doit être évalué au regard de la capacité réelle du client à intervenir.

Cette capacité influe aussi sur l’équilibre entre bénéfice métier et risque. Levy identifie des questions d’achat bien connues : quel retour sur investissement est attendu, quel risque supplémentaire le système introduira et quelles nouvelles capacités il rendra possibles. Les acheteurs doivent juger si cet équilibre est acceptable et si le fournisseur répond à leurs besoins. Ces questions prolongent celles posées lors de précédentes évolutions technologiques, y compris les achats cloud.

L’IA soumet ces questions familières à une pression temporelle plus forte. « The only real difference as AI blankets the technology landscape is the speed of change », dit Levy. Approuver un modèle pour un usage métier donné ne peut pas automatiquement trancher les questions relatives à un modèle ultérieur ou à un usage plus large. Les entreprises ont donc besoin d’un processus permettant de réexaminer les éléments fournis par le fournisseur à mesure que les modèles et les conditions de déploiement évoluent.

Exiger des éléments au niveau du modèle et des mises à jour de revue via la gestion du changement

Pour permettre des revues répétées, Levy recommande de définir dès maintenant des exigences vis-à-vis des fournisseurs plutôt que d’attendre SAFA. Son objectif est de réduire l’exposition liée à l’IA tout en améliorant la capacité de l’entreprise à tirer de la valeur de cette technologie. Les exigences définies aujourd’hui peuvent couvrir des déploiements déjà à l’étude et faire des éléments sur le comportement du modèle une composante de l’évaluation des fournisseurs.

Ces éléments devraient accompagner chaque nouveau modèle, recommande Levy. Il appelle à l’« équivalent d’une fiche technique de sûreté et de sécurité » détaillant les capacités du modèle, ses modes de défaillance connus et son historique de tests. Les capacités expliquent ce que l’entreprise pourrait gagner, les modes de défaillance identifient les comportements qu’elle doit évaluer, et l’historique de tests consigne la manière dont le modèle a été examiné. Ensemble, ils donnent aux équipes achats et aux évaluateurs techniques des éléments précis à analyser.

La documentation de chaque modèle est importante, car un fournisseur établi peut introduire un comportement qui exige une nouvelle décision de déploiement. Le fournisseur peut rester réactif et commercialement adapté, tandis qu’une nouvelle version modifie les risques d’un usage déjà approuvé. Levy recommande donc d’étendre à l’IA la gestion du changement, le processus établi d’examen et d’autorisation des changements apportés aux technologies de l’entreprise. La documentation du modèle peut éclairer cet examen avant que l’entreprise n’accepte une mise à jour.

Mais la documentation doit encore être appliquée à l’usage prévu. Les évaluateurs doivent examiner ce qui a changé, comment les défaillances connues pourraient affecter le workflow et si l’entreprise peut gérer les conséquences. Les descriptions écrites laissent également subsister un besoin continu de réactivité du fournisseur et de responsabilité claire lorsque des problèmes surviennent. Parallèlement à ces préoccupations d’achat, Palanichamy recommande d’obtenir des garanties de sécurité adaptées de la part des fournisseurs de technologies et d’IA ; l’évaluation de Levy est que les fournisseurs ne peuvent actuellement pas donner aux clients les garanties qu’ils recherchent.

Exiger une approbation interne et adapter la supervision à chaque cas d’usage

Parce que les éléments fournis par le fournisseur nécessitent un jugement spécifique au déploiement, Palanichamy recommande des règles et un examen internes. Il conseille des politiques efficaces de cas d’usage acceptables, ou AUP, qui établissent les règles de l’entreprise pour l’usage de l’IA. Il suggère également d’envisager une preuve de concept interne en IA, un test limité d’une application proposée, ou un comité de gouvernance. Ces dispositifs donnent aux entreprises des moyens d’examiner les usages proposés avant un déploiement plus large.

L’examen doit avoir le même poids que les autres grands risques de l’entreprise. « Enterprises must proactively diagnose AI risk with the same level of seriousness as financial or cybersecurity risk », déclare Palanichamy. Il recommande un comité dédié et transverse sur la sécurité et l’éthique de l’IA, réunissant les fonctions juridique, cybersécurité, conformité, ingénierie des données et développement produit. Réunir ces fonctions permet à l’approbation de prendre en compte les conséquences dans l’ensemble de leurs domaines de responsabilité.

L’approbation doit intervenir avant le déploiement, y compris lorsqu’un fournisseur a fourni une documentation ou des garanties de sécurité. « No AI tool should be deployed without the appropriate sign off », affirme Palanichamy. Sa recommandation donne à l’entreprise un point de décision clair pour évaluer les éléments du fournisseur au regard de ses conditions d’exploitation. Elle désigne aussi une personne responsable de l’acceptation de l’usage prévu.

Une fois un outil approuvé, les employés doivent comprendre comment traiter sa sortie. Palanichamy recommande une formation obligatoire à la culture de l’IA dans toute l’entreprise, y compris sur la manière de reconnaître les hallucinations et de vérifier les contenus générés « prior to acting on it ». La vérification exige qu’une personne examine une réponse de l’IA avant de l’utiliser dans une décision ou une tâche. Cette étape est particulièrement importante lorsque le contenu généré entre dans un workflow établi dont les autres entrées sont déjà jugées fiables par les employés.

Des restrictions techniques peuvent aider les employés à appliquer ces règles. Palanichamy suggère d’envisager des filtres qui vérifient les entrées reçues pour détecter les contenus toxiques, ainsi que des garde-fous stricts au niveau du system prompt, c’est-à-dire des contraintes dans les instructions qui régissent le comportement du modèle. Ces contrôles façonnent la manière dont un outil peut être utilisé et ce qu’il peut accepter. Leur pertinence dépend de l’application ; ils doivent donc être évalués dans le cadre du même processus d’approbation.

Après l’approbation, la supervision doit évoluer à mesure que le risque de l’application évolue. Palanichamy recommande une catégorisation continue des risques, c’est-à-dire que l’entreprise continue de réévaluer le niveau d’exposition organisationnelle créé par une application d’IA. Les usages à plus haut risque peuvent nécessiter des audits plus fréquents et des restrictions plus strictes sur les informations sensibles. Les équipes de gouvernance peuvent alors ajuster l’effort de revue à mesure que les conséquences d’un usage deviennent plus claires.

Un bot d’analyse médicale ou financière orienté client illustre la manière dont ce jugement affecte la supervision. Palanichamy indique qu’un tel système peut justifier un audit quotidien et des restrictions pour protéger les informations sensibles, « whereas an internal AI tool to help with summarizing public meeting transcripts may not need as much governance oversight, » explique-t-il. L’outil de transcription exige malgré tout une décision de déploiement assortie d’une responsabilité claire. Son exposition plus limitée aux informations justifie un niveau différent de contrôle continu.

Points clés à retenir pour les décideurs

• Approuver les déploiements au regard des conditions métier : L’approbation en entreprise doit relier les éléments fournis par le fournisseur aux données, workflows et obligations de conformité impliqués dans l’usage proposé. Les évaluateurs doivent aussi établir si l’entreprise peut détecter un comportement nuisible et intervenir.
• Utiliser des normes communes pour évaluer les fournisseurs : L’organisme proposé de normalisation pour la frontier AI pourrait donner aux acheteurs des évaluations des risques et des éléments de test plus cohérents. Les équipes achats ont besoin d’exigences pour les acquisitions en cours pendant que les normes sectorielles se développent.
• Attribuer la responsabilité des défaillances de l’IA : Les responsables du déploiement doivent évaluer les fuites de données, l’accès aux systèmes, les sorties peu fiables et l’exposition en matière de conformité. Définissez les responsabilités du fournisseur et la responsabilité interne de la réponse avant qu’un système n’entre dans un workflow métier.
• Exiger des éléments pour chaque nouvelle version de modèle : Les équipes achats et les évaluateurs techniques ont besoin d’une documentation couvrant les capacités, les modes de défaillance connus et l’historique de tests. Faites passer les mises à jour de modèles par la gestion du changement afin d’évaluer comment de nouveaux comportements affectent les usages approuvés.
• Adapter la supervision au risque du déploiement : Un processus d’approbation transverse doit réunir les fonctions juridique, cybersécurité, conformité, ingénierie des données et développement produit. Définissez la fréquence des audits, les restrictions sur l’information et les exigences de vérification par les employés en fonction du risque de chaque application, puis réévaluez-les à mesure que son usage évolue.