Pourquoi ChatGPT et Claude peinent à accéder à certains sites

Les dépenses liées à la visibilité dans l’IA peuvent entrer en conflit avec la politique d’accès au site web

Une organisation a engagé 350 000 £ pour devenir plus facile à trouver et à citer dans les réponses de l’IA alors que les outils d’IA concernés ne pouvaient pas accéder pleinement à ses sites web et autres actifs numériques. L’enquêteur non nommé qui a constaté cet engagement a décrit deux décisions qui se contredisaient : payer pour une plus grande visibilité tout en limitant l’accès aux informations nécessaires pour la soutenir. Ce cas montre un défaut de coordination entre les décisions de dépense et les contrôles d’accès.

Ce conflit est important à mesure que les consommateurs utilisent de plus en plus ChatGPT et Claude pour effectuer des recherches sur le web. Pour une entreprise, l’accès désigne la capacité de ces outils à récupérer ses informations actuelles et faisant autorité. L’enquêteur décrit une préparation insuffisante, même parmi les grandes marques qui maintiennent leurs sites web et investissent dans la visibilité. Lorsque ces entreprises bloquent les crawlers d’IA, des systèmes automatisés qui récupèrent le contenu des sites web, elles peuvent réduire leur influence sur les réponses de l’IA alors même que ces réponses continuent d’apparaître.

Comme l’accès influe sur les informations que les outils d’IA peuvent récupérer, les restrictions appliquées aux sites web ont des conséquences commerciales en plus de leur finalité technique. Le marketing peut vouloir rendre les informations actuelles disponibles, tandis que l’ingénierie et la sécurité appliquent des contrôles qui limitent l’accès automatisé. Ces décisions nécessitent une politique commune afin que les dépenses de visibilité et la protection du site web servent un objectif métier convenu.

Les informations disponibles façonnent la manière dont l’IA décrit une marque

Un service d’IA peut parler d’une entreprise même lorsqu’il ne peut pas récupérer les propres pages de cette entreprise. Une restriction délibérée, une erreur de configuration ou un problème empêchant le contenu des pages d’être lisible par des outils automatisés peut rendre les informations actuelles indisponibles, de sorte que le service peut se tourner vers des contenus qu’il peut atteindre ailleurs. Ces contenus peuvent inclure une couverture médiatique, des pages historiques accessibles, des documents archivés republiés sur un autre site web et des copies obsolètes d’informations sur l’entreprise.

Ces récits alternatifs peuvent décrire un produit antérieur, contenir des faits dépassés ou présenter l’entreprise différemment de son positionnement actuel. Une réponse fondée sur eux peut donc comporter des erreurs factuelles ou déformer la marque. Restreindre le contenu détenu par l’entreprise laisse ces récits externes disponibles tout en supprimant une possibilité pour l’entreprise de fournir sa version actuelle.

Les pages externes jouent déjà un rôle important dans les mentions de marque. Une étude d’AirOps a révélé que 85 % des mentions de marque dans les réponses de l’IA provenaient de pages tierces plutôt que de domaines appartenant aux marques. AirOps a un intérêt commercial dans la demande de travaux liés à la visibilité dans l’IA. Son chiffre décrit l’origine des mentions ; il ne mesure ni la désinformation ni la part de dépendance à des tiers causée par les restrictions imposées aux crawlers.

Le rôle des pages externes limite aussi ce que l’ouverture de l’accès peut permettre d’obtenir. Les reportages des médias et d’autres contenus tiers peuvent être utiles et actuels, et un outil d’IA peut sélectionner ces pages ou combiner plusieurs récits même lorsque le site web d’une entreprise est disponible. Une entreprise peut améliorer les informations qu’elle contrôle, mais c’est le service d’IA qui décide comment les sélectionner, les interpréter et les présenter.

L’amélioration de ces informations exige une maintenance du contenu autant que l’accès. Un contenu de site web obsolète, contradictoire ou erroné peut rester disponible puis être cité avec assurance par un système d’IA. Un PDF mal préparé crée un autre problème : le document peut être accessible, mais le système peut mal l’interpréter et produire des informations incorrectes. Les contrôles d’accès, l’exactitude du contenu et la préparation des documents nécessitent donc des vérifications distinctes.

Les entreprises effectuent déjà une évaluation commerciale connexe via l’optimisation pour les moteurs de recherche, ou SEO, qui vise à améliorer la visibilité dans les résultats de recherche. Empêcher Google d’indexer les pages d’une entreprise, c’est-à-dire de les ajouter à sa collection consultable, risquerait de réduire la visibilité dans la recherche, de diminuer le trafic et d’avoir d’éventuels effets sur les ventes et le chiffre d’affaires. Ces conséquences sont hypothétiques ici, et l’accès de l’IA nécessite sa propre évaluation, car les résultats des moteurs de recherche ne se transfèrent pas directement aux réponses de l’IA.

Les vérifications humaines d’un site web peuvent manquer des défaillances d’accès pour l’IA

Une évaluation de l’accès doit examiner les règles appliquées aux visiteurs automatisés. Une étude de US Tech Automations a révélé que 19,1 % des 100 000 sites web les mieux classés bloquaient au moins un des 21 principaux crawlers d’IA via robots.txt, le fichier utilisé pour indiquer les règles d’accès des crawlers. Les crawlers d’OpenAI étaient ceux qui faisaient le plus souvent face à des restrictions. Ainsi, près d’un site web sur cinq dans l’échantillon publiait au moins une exclusion explicite via ces règles.

Les recherches de l’entreprise attirent aussi l’attention commerciale sur les problèmes d’accès de l’IA. Sa mesure couvre les restrictions explicites dans robots.txt, mais les contrôles de sécurité et les barrières techniques peuvent provoquer d’autres échecs de récupération. Le constat laisse aussi ouverte l’intention derrière chaque exclusion : une règle publiée peut refléter une décision approuvée ou un paramétrage involontaire.

Pour examiner les défaillances au-delà des règles publiées, l’enquêteur non nommé a utilisé 24 agents pour évaluer l’accès impliquant 15 outils d’IA clés. Les tests vérifiaient si les outils pouvaient atteindre des informations qu’une organisation considérait comme actuelles et faisant autorité. L’accès humain a été testé parallèlement aux parcours liés à l’IA, les chemins par lesquels les outils automatisés tentaient de récupérer des informations, afin que les résultats puissent révéler des différences entre les deux. Ces observations montrent des schémas de défaillance plutôt que leur prévalence sur l’ensemble des sites web.

Le premier schéma a montré comment ces différences peuvent échapper à une vérification ordinaire d’un site web. Tous les parcours humains testés fonctionnaient, tandis que plusieurs parcours liés à l’IA étaient indisponibles. Une personne visitant le site web pouvait donc voir des pages fonctionnelles alors que les outils automatisés ne pouvaient pas récupérer les mêmes informations. Une visite humaine réussie établit seulement que le parcours humain testé fonctionne.

Le deuxième schéma a montré un écart plus large entre l’accès humain et l’accès automatisé. Tout l’accès humain fonctionnait, mais une majorité des outils liés à l’IA se voyaient refuser l’accès, rendant ainsi une grande partie de l’accès IA testé indisponible alors que les vérifications orientées client pouvaient toujours être validées. Dans l’ensemble des observations rapportées, certains sites web excluaient presque tous les outils d’IA examinés.

Le troisième schéma nécessitait un diagnostic différent parce que 14 parcours liés à l’IA n’ont reçu aucune réponse. Un seul parcours IA se situait hors de ce groupe, et un parcours humain était également bloqué. Une absence de réponse et un refus explicite sont deux résultats de test différents, de sorte que traiter les deux comme un blocage délibéré reviendrait à attribuer une intention que l’observation n’établit pas.

Le quatrième schéma a montré pourquoi les services familiers fournissent une vérification incomplète. Les parcours Google et Microsoft restaient disponibles tandis que d’autres parcours IA se voyaient refuser l’accès. Une équipe qui ne vérifierait que ces services familiers pourrait donc manquer des restrictions ailleurs. La question utile est de savoir quels outils peuvent récupérer quelles informations, l’accès humain et chaque parcours automatisé pertinent étant évalués séparément.

Les restrictions liées à l’IA nécessitent une justification métier délibérée

Identifier un parcours indisponible déclenche une revue de politique, car certaines restrictions servent des finalités légitimes. On estimait que les bots, scrapers et crawlers représenteraient 53 % du trafic internet en 2025, ce qui donne aux organisations un volume important d’activité automatisée à gérer. Les crawlers d’IA représentent une partie de ce trafic. Cette estimation explique la pression à l’origine des contrôles de protection, même si chaque restriction nécessite toujours une justification métier.

Une justification concerne la manière dont le contenu peut être utilisé après sa récupération. Une entreprise peut restreindre l’accès pour empêcher l’entraînement des modèles lorsque l’exposition au droit d’auteur ou des préoccupations éthiques rendent cet usage inacceptable. Elle peut aussi protéger la valeur commerciale de contenus payants ou sous licence. Ces préoccupations peuvent justifier l’acceptation d’un accès réduit à des informations qui pourraient autrement améliorer la manière dont l’entreprise apparaît dans les réponses de l’IA.

Les obligations opérationnelles et juridiques peuvent également justifier des restrictions. Des requêtes excessives peuvent consommer de la bande passante ou perturber le fonctionnement du site web, tandis que les exigences de sécurité et de conformité peuvent imposer des contrôles sur les informations, en particulier les données personnelles qui ne doivent pas être fournies pour l’entraînement des modèles. Une politique de sécurité plus large peut exclure des agents automatisés dont l’accès crée un risque inacceptable. Les décisions de visibilité nécessitent donc l’apport des personnes responsables de ces protections.

Une barrière involontaire appelle une réponse différente, car son effet commercial n’a peut-être jamais été approuvé. D’anciens filtres anti-bot et anti-scraping peuvent continuer à intercepter les crawlers d’IA, tandis que des paramètres trop restrictifs dans un réseau de diffusion de contenu, ou CDN, un service qui distribue le contenu d’un site web, peuvent exclure des agents d’IA. D’autres services de sécurité peuvent imposer des restrictions similaires. Les équipes doivent suivre la requête en échec à travers ces contrôles pour identifier quel paramètre a provoqué l’échec.

Une requête peut aussi atteindre un site web sans produire de contenu lisible. Certains sites dépendent de JavaScript, un code utilisé pour générer ou modifier le contenu des pages, que certains crawlers ne peuvent pas transformer en pages lisibles ; l’enquêteur décrit cette limite comme courante. Des erreurs dans robots.txt ou dans des paramètres associés peuvent, séparément, exclure l’accès prévu. Ces mécanismes nécessitent des correctifs différents, car un échec de rendu concerne ce que le crawler peut lire, tandis qu’une règle d’accès détermine s’il peut récupérer la page.

D’autres barrières peuvent provenir de l’infrastructure et des logiciels installés. Les règles d’adresse de protocole Internet, ou IP, et les restrictions géographiques peuvent exclure involontairement des outils d’IA, tandis que des plug-ins tiers peuvent ajouter des restrictions pour les visiteurs automatisés. Des balises meta passées inaperçues, des instructions intégrées dans le code des pages, peuvent imposer des restrictions liées à l’IA sur l’ensemble d’un site web. L’authentification, les paywalls, les vérifications CAPTCHA qui demandent aux visiteurs de démontrer qu’ils sont humains, et les limites de fréquence des requêtes peuvent également empêcher la récupération ou rejeter une activité légitime d’agents d’IA.

La présence d’un seul de ces mécanismes n’établit pas si le résultat est accidentel. Un paywall peut protéger délibérément un contenu sous licence, tandis qu’une règle passée inaperçue peut faire obstacle à des informations destinées à être découvertes publiquement. Le diagnostic doit donc établir à la fois ce qui s’est passé et si cela correspond à une politique approuvée.

Attribuez à l’accès de l’IA un responsable commun et une revue reproductible

La première étape consiste à diagnostiquer quels parcours liés à l’IA ne peuvent pas récupérer des informations actuelles et faisant autorité, puis à rechercher pourquoi. Les tests automatisés, y compris les plateformes d’évaluation à distance alimentées par l’IA, peuvent aider à identifier les outils concernés et à distinguer les restrictions intentionnelles des défaillances involontaires. Ces tests doivent examiner la récupération réelle en parallèle des vérifications d’accès humain. Les schémas de parcours de l’enquêteur montrent pourquoi des pages fonctionnelles dans un navigateur fournissent une évaluation incomplète.

Une fois la cause comprise, la deuxième étape consiste à corriger les restrictions accidentelles et à traiter ce qui les a produites. Selon le diagnostic, cela peut signifier modifier d’anciennes règles pour bots, des paramètres de sécurité, des plug-ins, des instructions de page, des limites de requêtes ou le comportement de rendu. L’objectif est de rétablir l’accès voulu par l’organisation et de réduire le risque de récurrence. La disponibilité crée une possibilité d’utiliser des informations faisant autorité ; la citation et le retour commercial restent des résultats distincts.

Une fois les défaillances accidentelles traitées, la troisième étape consiste à revoir les restrictions délibérées avec les parties prenantes qui en sont responsables. Établissez pourquoi chaque restriction existe, ce qu’elle protège et si cette justification tient toujours à mesure que davantage de personnes utilisent la recherche d’informations fondée sur l’IA. Certaines politiques peuvent justifier un revirement à mesure que les conséquences commerciales évoluent. D’autres doivent être maintenues lorsque les obligations liées au droit d’auteur, aux licences, à la bande passante, à la sécurité ou à la conformité justifient un accès réduit.

Ces décisions ont besoin d’une personne responsable de rapprocher les intérêts commerciaux et techniques, ce qui constitue la quatrième étape. La responsabilité doit incomber à une partie prenante chargée de la visibilité et du chiffre d’affaires, avec le soutien de l’expertise de l’ingénierie et de la sécurité. L’ingénierie et la sécurité restent essentielles parce qu’elles gèrent de nombreux contrôles et comprennent les protections qu’ils apportent. Pour une organisation qui finance la visibilité dans l’IA, cette responsabilité relie la décision de dépense à la politique d’accès tout en préservant l’autorité sur les protections légitimes.

Lorsque des problèmes d’accès ont été identifiés, cette coordination mérite d’être prioritaire à mesure que les préoccupations concernant la visibilité dans l’IA et la désinformation augmentent. La remédiation doit distinguer les défaillances involontaires des restrictions approuvées afin que les équipes corrigent les premières et réexaminent la justification des secondes. Le responsable désigné doit également vérifier que les paramètres mis en œuvre reflètent bien ces décisions. Sinon, une revue de politique peut laisser en place le conflit technique initial.

Maintenir l’alignement entre la mise en œuvre et la politique exige la cinquième étape : répéter les tests et revoir périodiquement les restrictions. Les outils d’IA et le comportement des crawlers évoluent, tandis que les équipes web modifient les logiciels, les paramètres et les contrôles de sécurité, de sorte qu’un accès qui fonctionne après une correction peut échouer plus tard. Des vérifications continues doivent détecter ces changements et renvoyer les défaillances ou restrictions importantes vers les parties prenantes responsables. Une exclusion auparavant justifiée peut alors nécessiter une nouvelle décision sur la protection qu’elle apporte et sur les informations faisant autorité qu’elle rend indisponibles.

Points clés à retenir pour les dirigeants

• Diagnostiquer les défaillances d’accès de l’IA : Les équipes d’ingénierie et de sécurité doivent tester si les outils d’IA pertinents peuvent récupérer des informations actuelles et faisant autorité. Comparez la récupération automatisée avec l’accès humain et rattachez les défaillances aux règles d’accès, aux contrôles de sécurité ou à un contenu illisible.
• Corriger les barrières involontaires : Les responsables des sites web doivent corriger les restrictions accidentelles dans les filtres de bots, les paramètres de sécurité, les plug-ins et le rendu des pages. Vérifiez que chaque changement rétablit l’accès prévu ; la seule disponibilité ne garantit pas la citation ni le retour commercial.
• Revoir les restrictions délibérées : Les parties prenantes du marketing, du juridique et de la sécurité doivent mettre en balance les bénéfices de visibilité avec les exigences liées au droit d’auteur, aux licences, à la bande passante et à la conformité. Conservez les restrictions qui ont une justification métier claire et reconsidérez celles dont les coûts dépassent la protection qu’elles apportent.
• Attribuer une responsabilité partagée : Confiez à une partie prenante responsable de la visibilité et du chiffre d’affaires la propriété de la politique d’accès de l’IA, avec le soutien de l’expertise de l’ingénierie et de la sécurité. Cela relie les dépenses de visibilité aux contrôles qui déterminent si les outils d’IA peuvent récupérer les informations de l’entreprise.
• Répéter les tests d’accès : Les équipes web et sécurité doivent effectuer des vérifications récurrentes de récupération, en particulier après des changements de logiciel ou de configuration. Faites remonter les nouvelles défaillances et réexaminez les restrictions approuvées à mesure que les outils d’IA, le comportement des crawlers et les priorités métier évoluent.