Crawlers IA : comment contrôler GPTBot, ClaudeBot, OAI-SearchBot et les autres

En bref : les crawlers IA se divisent en trois types. Les crawlers de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) décident si ChatGPT, Claude et Perplexity peuvent trouver et citer vos pages. Les crawlers d'entraînement (GPTBot, ClaudeBot, CCBot) et les jetons de contrôle (Google-Extended, Applebot-Extended) décident si votre contenu peut servir à entraîner les futurs modèles. Les fetchers utilisateur (ChatGPT-User, Claude-User, Perplexity-User) visitent une page parce qu'une personne l'a demandée. Autorisez les crawlers de recherche si vous voulez apparaître dans les réponses IA, décidez de l'entraînement séparément, et vérifiez votre pare-feu : une règle de CDN peut tous les bloquer alors que le robots.txt indique « allow ».

Un propriétaire de site ajoute Disallow: / pour GPTBot afin de rester hors des données d'entraînement et pense que le travail est terminé. Pendant ce temps, la protection anti-bots du CDN répond 403 à chaque user agent IA : ChatGPT search, Claude et Perplexity ne voient donc jamais le site. Ou l'inverse : le robots.txt bloque tout ce qui touche à l'IA, y compris les crawlers de recherche qui auraient cité l'entreprise dans leurs réponses.

Ces deux erreurs viennent du fait de considérer les « crawlers IA » comme un tout. Ce n'est pas le cas, et chaque fournisseur documente ses bots séparément. Ce guide présente le rôle de chaque crawler, les trois couches qui déterminent si un crawler accède réellement à votre contenu, la façon dont notre vérificateur de crawlers IA gratuit les teste, et comment corriger chaque problème qu'il peut signaler.

Les trois types de crawlers IA

Tous les grands fournisseurs d'IA séparent désormais leurs bots par finalité. Le tableau ci-dessous suit la documentation de chaque fournisseur à octobre 2026.

Sources : OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.

Trois détails de cette documentation changent la façon d'écrire vos règles :

• Les fonctionnalités IA de Google reposent sur Googlebot. AI Overviews et AI Mode utilisent l'index normal de Search. Google indique qu'une page doit être indexée et éligible à l'affichage avec un extrait, sans exigence technique supplémentaire (AI features and your website). Google-Extended « n'a aucun impact sur l'inclusion d'un site dans Google Search et n'est pas utilisé comme signal de classement ». Le bloquer relève d'une décision sur l'entraînement et le grounding de Gemini, pas sur Search.
• Applebot se rabat sur les règles de Googlebot. Apple précise que si votre robots.txt ne mentionne pas Applebot mais mentionne Googlebot, Applebot suit les instructions de Googlebot. Un blocage visant uniquement Googlebot vous masque donc aussi de Siri, Spotlight et des suggestions de Safari.
• Les changements ne sont pas instantanés. OpenAI indique qu'il faut environ 24 heures après une mise à jour du robots.txt pour qu'OAI-SearchBot s'adapte, et Perplexity annonce jusqu'à 24 heures.

Pourquoi l'accès des crawlers IA compte

Un assistant ne peut citer qu'une page qu'il a pu lire. Si OAI-SearchBot ne peut pas récupérer votre page de tarifs, ChatGPT search répondra à « combien coûte X » à partir de la page de quelqu'un d'autre parlant de vous : un revendeur, un ancien avis ou le comparatif d'un concurrent. Il en va de même pour Claude et Perplexity.

L'entraînement est une question distincte, sans bonne réponse unique. Certains éditeurs bloquent les crawlers d'entraînement pour protéger du contenu payant ; de nombreux éditeurs de logiciels les autorisent parce qu'ils veulent que les futurs modèles connaissent leur produit. L'essentiel est que la décision soit délibérée et qu'elle n'entraîne pas avec elle les crawlers de recherche. Notre guide sur le generative engine optimization traite de ce qui se passe après l'accès : comment les assistants choisissent et citent leurs sources.

Trois couches décident si un crawler accède à votre contenu

1. robots.txt

Le robots.txt est la première chose que lit un crawler bien élevé. Selon la RFC 9309, un crawler cherche le groupe dont le User-agent correspond à son jeton de produit (sans distinction de casse), combine tous les groupes correspondants, et ne se rabat sur le groupe * que si aucun groupe ne le nomme. La règle la plus spécifique, celle dont le chemin correspondant est le plus long, l'emporte, et à spécificité égale entre une règle allow et une règle disallow, c'est allow qui doit s'appliquer.

C'est ce repli qui cause la plupart des surprises. Un fichier contenant uniquement ceci :

User-agent: *
Disallow: /

bloque ensemble tous les crawlers IA, Googlebot et Bingbot. Un fichier avec un groupe GPTBot et un groupe * ne donne à GPTBot que son propre groupe ; il ignore totalement les règles de *, ce qui compte si vous y avez placé des disallow importants.

2. Le pare-feu, le CDN ou l'hébergeur

Une requête peut être refusée avant même que le robots.txt soit consulté. Les produits de protection anti-bots, les pare-feu applicatifs (WAF) et certains hébergeurs filtrent les user agents et répondent 403, affichent une page de challenge ou limitent le débit avec un 429. Google note que les réponses 429 et 5xx font ralentir ses crawlers (HTTP status codes and Google Search), et les crawlers IA se heurtent aux mêmes murs.

Cloudflare est le cas le plus courant. Son ancien réglage « Block AI bots », dont la documentation de Cloudflare annonce la fin le 15 septembre 2026, bloquait les bots vérifiés classés comme explorant le web pour l'entraînement IA. Il a été remplacé par des politiques de trafic des bots IA avec trois préréglages, Search, Agent et Training, chacun pouvant être autorisé, bloqué sur toutes les pages, ou bloqué uniquement sur les pages qui affichent des publicités (Cloudflare changelog). Pour les nouveaux domaines à partir du 15 septembre 2026, les paramètres par défaut de Cloudflare bloquent les bots Training et Agent sur les pages affichant des publicités tandis que Search reste autorisé, et Cloudflare précise que les crawlers multi-usages qui combinent recherche et entraînement sont touchés par le blocage de l'entraînement. Les exemples de Cloudflare pour le préréglage Agent incluent les bots de fetch de chat : vérifiez donc ce réglage si vous voulez que les fetchs demandés par l'utilisateur, comme ChatGPT-User, fonctionnent.

3. Le rendu

Même quand un crawler reçoit une réponse 200, il n'exécute pas forcément votre JavaScript. Vercel a analysé le trafic des crawlers IA sur son réseau en décembre 2024 et a indiqué qu'« aucun des principaux crawlers IA n'exécute actuellement le JavaScript », en citant GPTBot, ClaudeBot et PerplexityBot (The rise of the AI crawler). Si votre texte est injecté par une application côté client, ces crawlers reçoivent une coquille vide.

Comment fonctionne le vérificateur de crawlers IA de Searvia

Le vérificateur de crawlers IA utilise le même moteur que notre vérificateur SEO de site web : vous saisissez un domaine ou l'adresse d'une page, il lit cette page et les fichiers du site qui l'entourent, et exécute 38 contrôles en une vingtaine de secondes. Les trois contrôles qui concernent cet outil apparaissent en premier dans un encadré mis en avant, le premier étant déplié. Tout ce qui suit décrit ce que fait réellement le code.

Quelle page. Le vérificateur audite l'adresse exacte que vous saisissez, ou la page d'accueil si vous ne saisissez qu'un domaine ; le robots.txt et les autres fichiers du site sont toujours lus à la racine du domaine. Il essaie d'abord https:// puis se replie sur http://, suit jusqu'à six redirections, et s'identifie comme SearviaBot/1.0 pour la visite normale.

Accès des crawlers IA (priorité haute). Il télécharge /robots.txt depuis l'hôte final. Un 404 ou un autre 4xx signifie qu'il n'y a pas de fichier, donc tout est autorisé. Un 5xx, un 429 ou une erreur de connexion signifie que le fichier est inaccessible : chaque jeton affiche alors « Unknown » et le contrôle échoue, car la RFC 9309 demande aux crawlers de traiter le site comme entièrement bloqué. Un 200 qui renvoie une page HTML n'est pas un robots.txt valide. Pour chacun des 10 jetons de crawler et des 2 jetons de désactivation de l'entraînement, il choisit le groupe qui nomme le jeton, ou le groupe * à défaut, et pose une seule question : ce jeton peut-il récupérer le chemin de la page saisie (/ pour la page d'accueil) ? Il applique la règle de la correspondance la plus longue, avec priorité à allow en cas d'égalité, comprend les jokers * et $, les commentaires, plusieurs lignes User-agent partageant un même ensemble de règles, et les groupes répétés pour un même jeton.

Googlebot et Bingbot figurent dans la colonne recherche parce que les fonctionnalités IA de Google reposent sur Googlebot et que Microsoft Copilot fonde ses réponses sur Bing. Google-Extended et Applebot-Extended ne visitent jamais votre site ; une règle qui les vise contrôle seulement si un contenu déjà exploré par Googlebot ou Applebot peut servir à l'entraînement IA. Chaque ligne affiche Allowed, Blocked ou Unknown.

Le test du pare-feu. Ensuite, le vérificateur demande la même page une fois de plus avec le user agent qu'OpenAI documente pour GPTBot (GPTBot/1.4), sans suivre les redirections. Si la visite normale a réussi (statut inférieur à 400) mais que cette requête reçoit un 401, 403, 429 ou 503, le rapport avertit que les requêtes s'identifiant comme GPTBot ont été refusées. La requête ne provient pas des adresses IP d'OpenAI : le vrai crawler peut donc être traité différemment.

Contenu sans JavaScript (priorité moyenne). Il compte les mots du texte principal dans le HTML brut, hors menus et pieds de page. S'il y a moins de 80 mots et que la page contient soit un conteneur d'application vide (<div id="root">, app, __next, __nuxt ou svelte), soit trois scripts externes ou plus, il avertit que les crawlers qui n'exécutent pas le JavaScript peuvent voir une page vide.

robots.txt (priorité moyenne). Le troisième contrôle ciblé indique si un robots.txt existe, s'il répond par une erreur serveur ou une page HTML, et s'il bloque Googlebot sur la page d'accueil ou sur la page saisie. Notre guide du robots.txt traite ce fichier en détail.

Règles de statut. L'accès des crawlers IA échoue si l'un des sept jetons de recherche est bloqué ou si le robots.txt est inaccessible. Un test de pare-feu refusé donne un avertissement. Les crawlers d'entraînement et les jetons de désactivation bloqués sont listés, mais le contrôle est tout de même réussi, car c'est un choix légitime.

Ce que le vérificateur ne teste pas

Connaître ces limites évite de surinterpréter un résultat vert :

• Un seul chemin par analyse. Seul le chemin de la page saisie est testé (/ pour un domaine seul). Une règle comme Disallow: /pricing/ pour OAI-SearchBot n'est détectée que si vous saisissez cette page. Lisez votre fichier pour repérer les blocages au niveau d'une rubrique.
• Le test du pare-feu utilise un seul user agent depuis nos serveurs. Il envoie le nom de GPTBot, pas celui d'OAI-SearchBot, et ne provient pas des adresses IP d'OpenAI. Un pare-feu qui vérifie les bots par IP peut bloquer notre requête comme celle d'un imposteur tout en laissant passer le vrai GPTBot, et un pare-feu qui bloque les plages IP d'OpenAI mais pas le user agent passe notre test. Considérez un avertissement de pare-feu comme un « vérifiez vos réglages anti-bots », puis confirmez dans les logs.
• Les jetons absents de la liste, comme Perplexity-User ou OAI-AdsBot, ne sont pas testés.

Lire le résultat

Le tableau sous la ligne des crawlers IA affiche chaque jeton comme Allowed, Blocked ou Unknown, avec son étiquette. La note globale de A+ à F couvre les 38 contrôles, pondérés par priorité : les contrôles de priorité haute valent 10 points, moyenne 5 et basse 2, un avertissement rapporte la moitié, et les résultats informatifs sont exclus. « Fix these first » liste jusqu'à huit problèmes, priorité haute en premier. Chaque ligne indique aussi la part des sites audités qui réussissent le même contrôle, ce qui permet de savoir si un problème est rare ou courant.

Comment corriger chaque problème signalé

1. Le robots.txt bloque les crawlers de recherche IA

Ouvrez https://yourdomain.com/robots.txt et trouvez le groupe qui s'applique à chaque jeton bloqué : un groupe qui le nomme, sinon *. Définissez ensuite votre politique et écrivez-la explicitement. Ce fichier autorise la recherche IA et les fetchs utilisateur, bloque l'entraînement et conserve les règles habituelles pour tous les autres :

# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Étape par étape :

1. Supprimez tout User-agent: * accompagné de Disallow: / hérité d'un site de préproduction. Cette seule paire bloque tout.
2. Si le groupe de recherche IA doit respecter les mêmes règles de zones privées que les autres, recopiez-les. Un groupe nommé n'hérite pas des règles de *.
3. Si un plugin ou une fonction de CDN écrit le robots.txt à votre place, modifiez-le là ; une modification manuelle du fichier est écrasée au prochain déploiement.
4. Enregistrez, rechargez le fichier en ligne dans une fenêtre privée et relancez le vérificateur de crawlers IA.
5. Comptez un jour avant que le changement soit pris en compte côté OpenAI et Perplexity.

2. Le pare-feu a refoulé le crawler

1. Trouvez la règle. Dans le journal d'événements de votre CDN ou pare-feu, filtrez les user agents contenant GPTBot, OAI-SearchBot, ClaudeBot ou PerplexityBot et notez quelle règle a agi : protection anti-bots, jeu de règles géré, limitation de débit ou blocage par pays.
2. Sur Cloudflare, ouvrez AI Crawl Control : il liste chaque crawler IA avec Allow ou Block, ce qui permet d'autoriser les crawlers de recherche IA tout en bloquant ceux d'entraînement. Examinez aussi les politiques de trafic des bots IA dans les paramètres de sécurité de votre zone. Réglez Search sur autoriser si vous voulez être cité. Décidez de Training et Agent selon leurs mérites propres, et rappelez-vous que « bloquer sur les pages avec publicités » ne s'applique qu'aux pages que Cloudflare détecte comme affichant des publicités.
3. Sur les autres WAF, ajoutez une règle d'autorisation pour les bots souhaités, fondée sur le user agent et sur les plages IP publiées par le fournisseur, comme le recommande Perplexity. OpenAI publie searchbot.json, gptbot.json et chatgpt-user.json, Perplexity perplexitybot.json et perplexity-user.json, Anthropic claude.com/crawling/bots.json, et Common Crawl ccbot.json. Donnez à la règle d'autorisation une priorité supérieure aux règles de blocage et actualisez régulièrement les plages, car elles changent.
4. Limites de débit. Si la sonde a reçu un 429, votre limite est plus stricte que le rythme d'un crawler. Relevez-la pour les bots vérifiés plutôt que de la désactiver.
5. Ne bloquez pas par IP pour refuser l'entraînement. Anthropic prévient que bloquer ses adresses IP peut ne pas garantir la désactivation, car ses bots ne peuvent alors plus lire votre robots.txt. Utilisez le robots.txt pour la politique et le pare-feu pour les abus.

Si vous êtes certain que votre pare-feu vérifie les bots par IP et que l'avertissement vient de notre requête non vérifiée, confirmez avec les logs : les vraies requêtes issues des plages d'OpenAI devraient recevoir un 200.

3. Les crawlers d'entraînement sont bloqués

C'est signalé mais non compté comme un échec. Vérifiez deux choses. D'abord, que le blocage correspond à ce que vous voulez : bloquer Google-Extended retire aussi votre contenu du grounding dans les applications Gemini, et bloquer Applebot-Extended n'affecte que l'entraînement, pas les fonctions de recherche d'Apple. Ensuite, que le blocage se trouve dans un groupe nommé et non dans *, où il toucherait aussi les crawlers de recherche.

4. Seuls quelques mots sont visibles avant l'exécution du JavaScript

1. Affichez le code source (pas l'inspecteur) de votre page d'accueil et de vos pages clés. Si le texte principal n'y figure pas, les crawlers qui n'exécutent pas le JavaScript ne voient rien.
2. Rendez les gabarits clés côté serveur : rendu côté serveur, génération statique ou pré-rendu. Dans Next.js, par exemple, utilisez les Server Components ou la génération statique plutôt que de récupérer le texte dans le navigateur.
3. Assurez-vous que l'essentiel figure dans le HTML : description du produit, tarifs, formules et réponses de la FAQ. Les widgets interactifs peuvent rester côté client.
4. Relancez le vérificateur ; le nombre de mots indiqué dans le message devrait augmenter.

5. Le robots.txt est absent ou bloque Google

Le vérificateur distingue les cas. « No robots.txt file was found » correspond à un 404 ou un autre 4xx, ce qui est sans gravité : les crawlers le traitent comme « aucune restriction ». « robots.txt answers with status N » ou « could not be reached » correspond à un 5xx, un 429 ou un délai dépassé, ce qui est grave : la RFC 9309 indique qu'un crawler doit alors présumer un disallow total, et Google cesse d'explorer pendant les 12 premières heures (spécification robots.txt de Google). Corrigez le serveur pour que /robots.txt réponde 200 avec du texte brut, ou 404 si vous n'avez besoin d'aucune règle, et confirmez avec curl -I https://yourdomain.com/robots.txt. Un robots.txt qui renvoie une page HTML est également signalé. Si le robots.txt bloque Googlebot sur /, corrigez cela en premier : cela bloque aussi les fonctionnalités IA de Google et, via le repli d'Apple, Applebot.

Vérifier les crawlers dans vos logs

N'importe qui peut envoyer une requête qui se dit « GPTBot ». Avant d'autoriser un bot dans un pare-feu ou de lui reprocher une charge, vérifiez-le :

• OpenAI, Anthropic, Perplexity, Common Crawl : comparez l'IP avec les listes JSON ci-dessus.
• Google : effectuez une recherche DNS inverse sur l'IP, vérifiez que le nom se termine par googlebot.com, google.com ou googleusercontent.com, puis faites une recherche directe et confirmez qu'elle renvoie la même IP (Verifying Googlebot). Google publie aussi des listes JSON comme common-crawlers.json et user-triggered-fetchers.json.
• Common Crawl note que certains crawlers se font passer à tort pour CCBot, c'est pourquoi il publie ses plages avec DNS inverse.

Exemple concret (hypothétique)

L'exemple suivant est hypothétique, il ne s'agit pas de données réelles. Larkspur Analytics, un outil de tableaux de bord B2B inventé, constate que ChatGPT décrit ses tarifs à partir d'un site d'avis de 2024. Le vérificateur de crawlers IA indique :

Le robots.txt était correct ; l'équipe avait bloqué l'entraînement volontairement. Le 403 venait d'une règle de protection anti-bots activée par un prestataire lors d'un incident de scraping, qui ciblait tous les user agents contenant « bot ». Les correctifs :

1. Remplacement de la règle trop large par une limitation de débit, et ajout de règles d'autorisation pour OAI-SearchBot, Claude-SearchBot et PerplexityBot, fondées sur le user agent et les plages IP publiées.
2. Passage des pages de tarifs et de fonctionnalités en génération statique, pour que le HTML contienne le texte complet.
3. Nouvelle analyse : l'accès des crawlers IA est réussi et le nombre de mots visibles passe à 1 180.
4. Deux semaines plus tard, les logs serveur montraient des requêtes vérifiées d'OAI-SearchBot et de PerplexityBot sur la page de tarifs, et les nouvelles réponses de ChatGPT la citaient.

Une checklist crawlers IA en 20 minutes

1. Lancez le vérificateur de crawlers IA gratuit sur votre domaine.
2. Notez votre politique : recherche autorisée, entraînement autorisé ou bloqué, fetchs utilisateur autorisés.
3. Exprimez-la dans des groupes nommés du robots.txt, jamais uniquement dans *.
4. Vérifiez les réglages anti-bots du pare-feu ou du CDN, y compris AI Crawl Control de Cloudflare.
5. Affichez le code source de vos pages clés et confirmez que le texte principal est dans le HTML.
6. Une semaine plus tard, confirmez dans les logs que les crawlers de recherche vérifiés reçoivent un 200.

Comment Searvia vous aide avec les crawlers IA

Le vérificateur de crawlers IA gratuit vous donne en une seule analyse l'état du robots.txt pour 10 crawlers IA et de recherche et 2 jetons de désactivation de l'entraînement, un test de pare-feu et le contrôle JavaScript, avec un rapport partageable. Le vérificateur de préparation à la recherche IA, plus large, ajoute llms.txt, le balisage d'identité, le contenu question-réponse et la fraîcheur. Si votre site tourne sur Cloudflare, connectez Cloudflare avec un jeton en lecture seule : l'onglet des crawlers IA de votre projet de site web montre quels crawlers IA visitent réellement votre site, à quelle fréquence et quelles pages ils lisent, les faux crawlers étant filtrés. L'accès n'est que la première étape ; le suivi de la visibilité IA vérifie ensuite chaque semaine si des assistants comme ChatGPT, Gemini et Perplexity vous mentionnent et vous citent réellement. Commencez avec l'offre gratuite sur la page des tarifs.