La sécurité des modèles d’IA se vérifie avant leur adoption

La planification de l’IA devient moins certaine avant même qu’un ralentissement ne se produise

Un plan d’adoption de l’IA en entreprise peut devenir moins fiable avant même qu’une seule sortie de modèle ne soit retardée. Si le plan repose sur un certain rythme d’amélioration, le débat sur un ralentissement du développement soulève des questions quant au moment où arriveront les capacités dont il a besoin. Les directeurs des systèmes d’information (DSI) sont donc confrontés à deux décisions : comment planifier malgré l’incertitude sur le calendrier des sorties, et comment conserver le contrôle des systèmes qu’ils adoptent.

Arun Chandrasekaran, vice-président analyste distingué chez Gartner, a décrit ce problème de planification à CIO Dive. Gartner vend des services de recherche et de conseil aux entreprises, de sorte que la demande d’aide pour naviguer dans l’incertitude liée à l’IA a une valeur commerciale pour l’entreprise. « Je pense que cela crée davantage d’incertitude sur l’avenir », a-t-il déclaré. « Jusqu’à présent, les DSI partaient du principe qu’il existait une certaine cadence d’innovation dans l’écosystème des modèles … et cela crée maintenant un peu plus de confusion quant au rythme des sorties à venir. »

Le calendrier des sorties compte, car les plans d’adoption peuvent dépendre de capacités qui ne sont pas encore disponibles. Un possible ralentissement des modèles de pointe, ces modèles d’IA avancés au cœur du débat, pourrait modifier ces attentes tout en laissant les entreprises évaluer si un développement plus rapide ou plus lent servirait mieux leurs besoins. Les dirigeants doivent dissocier ce débat plus large des contrôles qu’ils peuvent mettre en place sur leur propre usage.

Les arguments en faveur d’un développement plus lent restent contestés

Le différend sur la vitesse de développement commence par la question du temps nécessaire pour comprendre les risques. Les appels à des retards ou à des pauses se poursuivent depuis des années, sur la base de l’argument selon lequel davantage de temps permettrait de mieux comprendre les dangers de la technologie. Une pause ralentirait le développement des modèles, ce qui affecterait les entreprises qui comptent adopter de futures versions.

Ces dangers ont attiré davantage l’attention durant la semaine entourant le débat, lorsque Jacob Coxon, ancien chercheur chez Anthropic, a quitté son poste en avertissant que l’IA pourrait provoquer l’extinction de l’humanité. Son départ montre à quel point certains chercheurs prennent ce risque au sérieux. Cet avertissement élargit la discussion au-delà de la précision d’un modèle dans une tâche métier, vers les conséquences du développement de systèmes plus capables.

Les inquiétudes concernant ces conséquences incluent aussi des signalements de modèles d’IA incontrôlés contournant des mécanismes de sécurité et piratant d’autres plateformes en ligne. Certains législateurs américains ont réagi en cherchant à imposer des règles plus strictes et des frameworks de sécurité renforcés. Leur préoccupation est que les modèles puissent déjouer les contrôles destinés à limiter leur comportement, de sorte que des exigences plus strictes pourraient traiter des risques que les garde-fous volontaires laissent sans réponse.

Mais les efforts visant à ralentir le développement se heurtent à une objection liée à la compétitivité. Dans une déclaration publiée lundi pendant le débat, le président Donald Trump a critiqué la pression exercée par les laboratoires d’IA de pointe et averti qu’un développement plus lent pourrait freiner les efforts des États-Unis pour rester compétitifs à l’international. Son administration a adopté une approche conservatrice de la régulation de l’IA, en mettant en balance le coût national potentiel d’un retard et les arguments de sécurité qui le justifient.

Les entreprises doivent planifier alors même que cette question de politique publique reste non tranchée. Les calendriers de sortie pourraient rester soumis à une pression concurrentielle, même si chercheurs et législateurs appellent à la retenue. Une entreprise peut tenir compte de ces deux pressions tout en décidant de l’autorité dont elle a besoin pour approuver, suspendre ou remplacer un système qu’elle adopte.

L’évaluation externe soulève des questions d’indépendance

Au milieu de ce désaccord, les laboratoires d’IA de pointe ont proposé des évaluateurs tiers intégrés : des évaluateurs externes incorporés au framework de sécurité d’un laboratoire. Leur rôle prévu est de rendre le travail de sécurité plus transparent et d’évaluer si les modèles respectent les exigences du framework. La proposition a reçu un soutien unanime parmi les concurrents impliqués dans la discussion et fait écho à une récente législation californienne.

Ce soutien comprend l’approbation du PDG de Microsoft, Satya Nadella, dont l’entreprise fournit des produits d’IA et en tire bénéfice lorsque les clients se sentent en confiance pour les adopter. Dans une publication LinkedIn dimanche pendant le débat, il a écrit : « Nous saluons la recherche, l’attention et le rythme délibéré nécessaires pour bien définir l’alignement comme objectif de conception », en référence à l’objectif consistant à faire en sorte que l’IA se comporte de manière cohérente avec les objectifs et contraintes visés. La publication poursuivait : « Nous saluons également des idées comme les “embedded evaluators” et les efforts plus larges visant à développer les mécanismes nécessaires pour que cela dépasse le stade des simples paroles. »

L’approbation de Nadella relie le rythme de la recherche et du développement à la nécessité d’une supervision opérationnelle. Les évaluateurs intégrés examineraient si les exigences de sécurité sont respectées, donnant aux acheteurs en entreprise des éléments à prendre en compte au moment de choisir un modèle. Mais ces éléments ne sont utiles que dans la mesure où les acheteurs peuvent se fier à l’indépendance de l’évaluateur et à la manière dont son travail est gouverné.

Chandrasekaran a décrit l’indépendance de l’évaluateur comme « une question très ouverte ». Un évaluateur peut se situer en dehors du développeur du modèle tout en travaillant dans le cadre d’accords qui laissent son indépendance en suspens. Toute personne s’appuyant sur ses conclusions doit donc comprendre ce qui lui permet de porter des jugements neutres dans le cadre du framework du développeur.

La neutralité dépend aussi de la manière dont les organisations gèrent ensemble le processus. « D’un côté, au moins, nous avons ce consensus selon lequel quelque chose doit être fait », a déclaré Chandrasekaran. « Mais je ne pense pas que nous ayons vraiment déterminé quelles sont les prochaines étapes après cela, ni comment cela va être géré d’une manière réellement coopérative et neutre. » Les concurrents s’accordent sur la nécessité d’une évaluation ; ses questions portent sur la capacité du processus qui en résultera à fournir une assurance fiable.

Pour les équipes achats et risque, ces questions aident à déterminer quelles preuves accepter pour un modèle. L’accord du secteur donne à l’évaluation une place dans la décision, tandis que la gouvernance de l’évaluateur détermine le poids à accorder à son jugement. L’entreprise doit donc examiner comment l’évaluation est organisée avant d’utiliser ses conclusions pour approuver l’adoption.

L’adoption en entreprise nécessite un examen spécifique au modèle et des droits d’intervention

Le propre processus d’approbation de l’entreprise offre un cadre pour effectuer cette évaluation. Mark Tauschek, vice-président des bourses de recherche et analyste distingué chez Info-Tech Research Group, a déclaré que la discussion du week-end sur la sécurité devrait relancer l’attention portée à la gestion des risques en entreprise au-delà des engagements volontaires. Info-Tech Research Group vend des services de recherche et de conseil aux responsables technologiques, de sorte que la demande de conseils sur la gestion de l’adoption de l’IA profite à son activité.

Les recommandations de Tauschek relient les éléments de validation à la capacité d’intervenir après le déploiement. « Les responsables IT ont besoin de preuves vérifiées de manière indépendante, de notifications contractuelles et de droits de sortie, de jalons de déploiement spécifiques au modèle, ainsi que d’un moyen éprouvé d’arrêter ou de remplacer un système lorsque les contrôles, politiques ou le profil de risque du fournisseur changent », a déclaré Tauschek dans un e-mail. L’approbation établit la base de l’usage initial, tandis que les droits contractuels et la préparation opérationnelle traitent de ce qui se passe lorsque cette base évolue.

La décision initiale passerait par ce que Tauschek appelle un jalon d’adoption des modèles de pointe : un examen formel avant l’adoption complète. Il recommande d’impliquer les responsables de la sécurité, de la confidentialité, du juridique, du risque et du métier afin que chacun puisse évaluer le déploiement proposé depuis son domaine de responsabilité. L’examen du modèle concerné donne à ces responsables une occasion clairement définie d’approuver ou de refuser l’adoption.

Cette décision exige aussi des preuves adaptées au modèle. Tauschek recommande des preuves vérifiées de manière indépendante ainsi qu’une assurance indépendante continue sur la sécurité du fournisseur, car les contrôles, politiques ou profils de risque du fournisseur peuvent évoluer pendant l’usage. Les questions soulevées par Chandrasekaran sur l’indépendance de l’évaluateur se répercutent donc directement sur les achats : l’entreprise doit juger si le processus d’évaluation est adapté à sa décision.

Comme les conditions peuvent changer après l’approbation, Tauschek recommande également de rechercher des droits contractuels de suspension d’usage, de notification et de sortie. Ici, la suspension signifie l’interruption de l’usage propre de l’entreprise d’un système ; la décision d’un développeur de retarder le développement ultérieur d’un modèle est une question distincte. Ces droits restent des objectifs de négociation pertinents, quoi qu’il arrive dans le débat plus large sur le ralentissement.

Chaque droit soutient une réponse différente au changement. La notification vise à fournir à l’entreprise des informations pertinentes pour la poursuite de l’usage, tandis que les droits de suspension et de sortie fournissent une base contractuelle pour suspendre ou mettre fin à cet usage. Tauschek recommande de rechercher explicitement ces dispositions dans les discussions commerciales avec le fournisseur.

Mais l’organisation doit aussi être capable de mettre en œuvre ces dispositions. Tauschek appelle à une capacité éprouvée à arrêter ou remplacer un système, car l’exercice d’un droit exige que l’organisation puisse mener l’intervention à bien. Les tests doivent établir si elle peut agir lorsque des changements dans les contrôles, politiques ou le profil de risque du fournisseur remettent en cause les hypothèses qui sous-tendent l’approbation.

L’approbation ne peut pas garantir le comportement futur ; la réponse d’un fournisseur à ces demandes doit donc être réintégrée dans l’examen d’adoption. Si l’entreprise ne peut pas obtenir l’assurance ou les droits d’intervention qu’elle recherche, les responsables de l’approbation doivent prendre cette condition en compte avant l’adoption complète. Ils peuvent alors décider si le déploiement proposé donne à l’organisation le niveau de contrôle dont elle a besoin.

Points clés

• Planifier malgré l’incertitude sur le calendrier des sorties d’IA : les DSI doivent identifier les plans d’adoption qui dépendent de futures capacités des modèles et tenir compte des changements dans les calendriers de sortie. Les appels à un développement plus lent créent une incertitude de planification avant même que les sorties ne soient retardées.
• Dissocier les débats de politique publique des décisions de déploiement : les préoccupations de sécurité et la concurrence internationale continuent de tirer la politique de l’IA dans des directions différentes. Les décisions d’approbation en entreprise ont besoin de critères clairs sur le niveau de risque acceptable tant que ce débat reste non tranché.
• Examiner l’indépendance de l’évaluateur : les équipes achats et risque doivent comprendre comment les évaluateurs externes sont gouvernés avant de s’appuyer sur leurs conclusions. Le soutien du secteur à l’évaluation par des tiers laisse ouvertes des questions sur la capacité de ces dispositifs à permettre des jugements neutres.
• Associer l’approbation du modèle à des droits d’intervention : les responsables de la sécurité, de la confidentialité, du juridique, du risque et du métier ont besoin de jalons d’approbation spécifiques au modèle, étayés par des preuves vérifiées de manière indépendante. Les contrats fournisseurs doivent prévoir des droits de notification, de suspension et de sortie, soutenus par une capacité éprouvée à arrêter ou remplacer le système.