Robots.txt : fonctionnement, exemples et comment le tester

En bref : le robots.txt est un fichier texte brut situé à l'adresse /robots.txt, qui indique aux robots d'exploration quelles URL ils peuvent récupérer. Les règles sont regroupées par User-agent ; un robot utilise le groupe qui le nomme, ou le groupe * si aucun ne le nomme, et le chemin Allow ou Disallow correspondant le plus long l'emporte. Il contrôle l'exploration, pas l'indexation : pour garder une page hors de Google, utilisez noindex. Un code 404 signifie « explorez tout », un code 5xx signifie « arrêtez-vous ». La plupart des dégâts viennent d'une seule ligne, Disallow: /, oubliée depuis un site de préproduction.

Le robots.txt est le fichier le plus court de la plupart des sites web, et celui dont l'impact potentiel est le plus large. Un simple Disallow: / sous User-agent: * masque tout le site à Google, Bing, Apple et à chaque robot d'exploration des moteurs de recherche IA. Une barre oblique manquante, une règle placée dans le mauvais groupe ou une erreur serveur sur le fichier lui-même peuvent faire presque autant de dégâts, sans que rien ne semble cassé sur le site visible.

Ce guide explique comment les robots lisent le fichier selon la RFC 9309 et la spécification de Google, propose des exemples prêts à copier, montre comment notre testeur de robots.txt gratuit analyse votre fichier, et comment corriger chaque problème détecté.

Ce que fait le robots.txt, et ce qu'il ne fait pas

L'introduction de Google le dit clairement : un fichier robots.txt « indique aux robots des moteurs de recherche quelles URL ils peuvent consulter sur votre site », et sa fonction principale est de gérer le trafic des robots. Ce n'est « pas un mécanisme pour empêcher une page web d'apparaître dans Google ». Une URL interdite peut tout de même être indexée « si elle fait l'objet de liens depuis d'autres endroits du web », généralement affichée sans description.

Trois autres limites issues des mêmes sources :

• C'est une demande, pas un verrou. La RFC 9309 indique que les règles « ne constituent pas une forme d'autorisation d'accès ». Les robots respectables obéissent ; d'autres peuvent l'ignorer. Protégez les contenus privés par une authentification.
• Il s'applique par hôte, protocole et port. https://www.example.com/robots.txt ne couvre ni https://shop.example.com ni http://www.example.com. Chacun a besoin de son propre fichier, et Google ne cherche pas de fichiers robots.txt dans les sous-répertoires.
• Les robots n'interprètent pas tous la syntaxe de la même façon. Tenez-vous aux champs standard et à des motifs simples, et tous les grands robots les liront de la même manière.

La syntaxe

Un fichier robots.txt est une liste de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow. Les lignes Sitemap peuvent apparaître n'importe où.

# Comments start with a hash
User-agent: Googlebot
User-agent: Bingbot
Disallow: /cart/
Disallow: /search
Allow: /search/help

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Les noms de champs ne sont pas sensibles à la casse ; les chemins le sont, donc Disallow: /Admin/ ne bloque pas /admin/. Deux caractères spéciaux sont pris en charge : * correspond à n'importe quelle suite de caractères, et $ marque la fin de l'URL. Disallow: /*.pdf$ bloque toutes les URL se terminant par .pdf ; Disallow: /*? bloque toutes les URL contenant une chaîne de requête.

Quel groupe s'applique à un robot

C'est la règle que l'on se trompe le plus souvent. Selon Google, « un seul groupe est valide pour un robot donné » : le groupe dont le user-agent correspond le plus précisément. Les groupes qui nomment le même agent sont fusionnés, mais un groupe nommé n'est pas combiné avec le groupe *. La RFC 9309 dit la même chose : les robots font correspondre leur jeton de produit sans tenir compte de la casse, combinent les groupes correspondants et ne se rabattent sur * que « si aucun groupe correspondant n'existe ».

Ainsi, dans le fichier ci-dessus, Googlebot ne suit que son propre groupe. Il peut explorer /admin/, car le groupe * ne s'applique pas à lui. Si une règle doit s'appliquer à tout le monde, répétez-la dans chaque groupe nommé.

Deux détails propres à certains robots méritent d'être connus. Le jeton Googlebot de Google couvre Search, Discover, Images, Video et News ; des jetons plus spécifiques comme Googlebot-Image permettent de contrôler un seul produit (robots d'exploration courants de Google). Et Apple indique que si le robots.txt ne mentionne pas Applebot mais mentionne Googlebot, Applebot suit les instructions destinées à Googlebot (About Applebot).

Quelle règle l'emporte

Au sein d'un groupe, la règle la plus spécifique s'applique, c'est-à-dire celle dont le chemin correspondant est le plus long. Lorsqu'une règle allow et une règle disallow correspondent à égalité, la moins restrictive, allow, l'emporte. L'ordre dans le fichier n'a pas d'importance.

Comment les codes HTTP changent tout

Les robots demandent /robots.txt avant toute autre chose, et son statut HTTP compte autant que son contenu. D'après la spécification de Google et la RFC 9309 :

Conséquence pratique : un 404 sur le robots.txt est sans danger, mais un pare-feu ou un serveur qui répond 500 ou 503 pour le fichier peut stopper l'exploration de tout le site. Google déconseille aussi d'utiliser les codes 401 ou 403 pour limiter la fréquence d'exploration.

Deux limites complètent le tableau : Google met le fichier en cache jusqu'à 24 heures, les modifications ne sont donc pas instantanées, et il ignore le contenu au-delà de 500 Kio. Le fichier doit être en UTF-8.

robots.txt vs noindex

La documentation de Google sur noindex décrit le piège : si le robots.txt bloque une page, le robot ne voit jamais sa règle noindex, et la page peut quand même apparaître dans les résultats. Le bon outil dépend de l'objectif :

Exemples de robots.txt prêts à copier

Tout autoriser et indiquer le sitemap (le bon fichier pour la plupart des petits sites) :

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Une boutique en ligne typique :

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=

Sitemap: https://www.example.com/sitemap.xml

Un site de préproduction (et uniquement un site de préproduction ; protégez-le aussi par un mot de passe) :

User-agent: *
Disallow: /

Recherche IA autorisée, entraînement des IA bloqué :

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Bloquer Google-Extended n'affecte pas Google Search ; Google précise que ce jeton « n'a pas d'incidence sur l'inclusion d'un site dans Google Search et n'est pas utilisé comme signal de classement ». Les AI Overviews et le mode IA reposent sur Googlebot (AI features and your website). OpenAI indique que refuser OAI-SearchBot vous exclut des réponses de la recherche ChatGPT : ne le bloquez donc pas, sauf si c'est ce que vous voulez (OpenAI crawlers). Notre guide des robots d'IA couvre tous les jetons d'IA.

Ne bloquez pas les CSS, le JavaScript ou les images nécessaires à l'affichage des pages. Google indique que l'on peut bloquer les ressources peu importantes si les pages « ne sont pas significativement affectées par leur absence », mais bloquer des fichiers qui portent votre contenu ou votre mise en page empêche Google de comprendre la page.

Comment fonctionne le testeur de robots.txt de Searvia

Le testeur de robots.txt utilise le même moteur que notre outil d'audit SEO de site web : saisissez un domaine ou l'adresse d'une page, et il lit cette page (votre page d'accueil si vous ne saisissez qu'un domaine) ainsi que les fichiers du site qui l'entourent, exécute 38 vérifications en une vingtaine de secondes, et affiche en premier les quatre vérifications qui concernent cet outil. Voici ce que fait chacune.

robots.txt (priorité moyenne). L'outil suit la page jusqu'à son adresse finale, puis demande /robots.txt sur ce même hôte, en suivant les redirections. Il interprète le code de statut comme dans le tableau ci-dessus : un 404 ou un autre 4xx signifie l'absence de fichier, un 5xx, un 429 ou l'absence de réponse signifie que le fichier est inaccessible, et un 200 qui renvoie une page HTML n'est pas un robots.txt valide. Il analyse le fichier comme le décrit la RFC 9309 : groupes User-agent (plusieurs lignes peuvent partager un même ensemble de règles), groupes en double fusionnés, repli sur *, Allow et Disallow avec les jokers * et $, commentaires, correspondance la plus longue avec égalité tranchée en faveur d'allow, et lignes Sitemap. Il vérifie ensuite si Googlebot peut récupérer le chemin de la page d'accueil / et, si vous avez saisi une page interne, le chemin de cette page.

• Réussite : le fichier existe et Googlebot peut explorer / et la page saisie.
• Échec : le fichier bloque Googlebot sur / (en pratique, tout le site) ou sur la page saisie, ou le robots.txt est inaccessible.
• Avertissement : aucun fichier trouvé (un 4xx), ou le fichier est une page HTML.

Accès des robots d'IA (priorité haute). Le même analyseur s'exécute pour 10 jetons de robots : OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot et Bingbot (étiquetés recherche IA), et GPTBot, ClaudeBot et CCBot (étiquetés entraînement IA), plus Google-Extended et Applebot-Extended, étiquetés comme jetons de désactivation de l'entraînement IA car ce ne sont pas des robots d'exploration. L'outil envoie aussi une requête qui s'identifie comme GPTBot pour voir si un pare-feu la refuse avec un 401, 403, 429 ou 503 ; comme la requête ne provient pas des adresses d'OpenAI, un refus est un avertissement, pas une preuve. La vérification échoue si un jeton de recherche est bloqué ou si le robots.txt est inaccessible ; les jetons d'entraînement bloqués sont listés mais considérés comme votre choix.

Sitemap XML (priorité moyenne). L'outil essaie chaque ligne Sitemap: de votre robots.txt, puis /sitemap.xml et /sitemap_index.xml (jusqu'à quatre adresses), et valide dès la première qui répond 200 avec un <urlset> ou un <sitemapindex>, en affichant le nombre d'URL.

Indexation autorisée (priorité haute). L'outil cherche noindex dans une balise meta robots ou googlebot de la page et dans l'en-tête de réponse X-Robots-Tag. L'un ou l'autre fait échouer la vérification, car il garde la page hors des résultats quoi que dise le robots.txt.

Ce qu'il ne teste pas

• Une page par analyse. Googlebot est testé pour / et pour la page que vous saisissez. Une règle comme Disallow: /blog/ n'est signalée que si vous saisissez une page sous /blog/. Lisez le fichier pour les règles au niveau d'une section, ou testez des URL précises dans l'inspection d'URL de la Search Console.
• Les règles d'autres hôtes. Seul le robots.txt de l'hôte sur lequel aboutit votre page est lu.

Lire le résultat

Le rapport attribue une note de A+ à F pour l'ensemble des 38 vérifications, pondérées par priorité (haute 10, moyenne 5, basse 2 ; les avertissements valent la moitié), une liste « Fix these first » et un lien partageable. Chaque vérification indique aussi la part des sites audités qui la réussissent.

Comment corriger chaque problème signalé par le testeur

robots.txt blocks Google from the whole site

1. Ouvrez le fichier en ligne et trouvez le groupe qui s'applique à Googlebot : un groupe User-agent: Googlebot s'il en existe un, sinon User-agent: *.
2. Cherchez Disallow: / ou un motif comme Disallow: /* dans ce groupe. Supprimez-le, ou remplacez-le par les chemins précis que vous vouliez bloquer.
3. Avant de modifier, trouvez d'où vient le fichier : un fichier statique, un réglage du CMS, un plugin SEO, une règle de CDN ou un script de déploiement. Sur Shopify, modifiez le modèle de thème robots.txt.liquid.
4. Chargez https://yourdomain.com/robots.txt dans une fenêtre privée pour confirmer que la modification est en ligne, puis relancez le testeur de robots.txt.
5. Dans la Search Console, ouvrez le rapport robots.txt et choisissez Request a recrawl pour le fichier. Sinon, Google le garde en cache jusqu'à 24 heures.
6. Surveillez dans les jours qui suivent le rapport d'indexation des pages : le nombre de pages « Blocked by robots.txt » doit baisser.

robots.txt is missing, unreachable or an HTML page

Le message vous indique de quel cas il s'agit ; confirmez le code de statut avec :

curl -I https://yourdomain.com/robots.txt

• 404 : sans danger, mais publiez quand même un fichier simple pour pouvoir y indiquer votre sitemap. Utilisez l'exemple « tout autoriser » ci-dessus.
• 200 avec Content-Type: text/html : votre application renvoie une page web pour les URL inconnues. Servez un vrai fichier texte avant la route fourre-tout de l'application.
• 403 : une règle de sécurité bloque le fichier. Autorisez /robots.txt pour tout le monde.
• 5xx ou délai dépassé : à corriger en priorité. Google arrête l'exploration pendant 12 heures à chaque fois qu'il le constate, et la RFC 9309 demande aux robots de supposer que tout le site est interdit.

robots.txt blocks AI search crawlers

Trouvez le groupe qu'utilise chaque jeton bloqué (le sien, ou *) et décidez de votre politique jeton par jeton. Autorisez OAI-SearchBot, Claude-SearchBot et PerplexityBot si vous voulez être cité dans les réponses de ChatGPT, Claude et Perplexity ; bloquez séparément les jetons d'entraînement si vous le souhaitez. N'oubliez pas qu'un groupe nommé n'hérite pas des règles de *. Si le test du pare-feu a renvoyé un avertissement, la correction se trouve dans les réglages de votre CDN ou de votre WAF, pas dans le robots.txt ; consultez le guide des robots d'IA.

No XML sitemap was found

1. Générez un sitemap de vos URL canoniques et indexables. La plupart des CMS le font : le cœur de WordPress sert /wp-sitemap.xml, et Yoast SEO et Rank Math servent /sitemap_index.xml ; dans Next.js, ajoutez app/sitemap.ts.
2. Ajoutez l'URL absolue au robots.txt : Sitemap: https://www.example.com/sitemap.xml.
3. Soumettez-le dans Google Search Console et Bing Webmaster Tools.
4. Respectez les limites de Google de 50 000 URL ou 50 Mo non compressés par fichier (Build and submit a sitemap) ; pour les sites plus volumineux, découpez avec un index de sitemaps.

A noindex tag or X-Robots-Tag header blocks indexing

1. Affichez le code source de la page et cherchez noindex. S'il se trouve dans une balise meta, repérez le réglage qui l'ajoute : une option par page d'un plugin SEO, un réglage du thème ou un indicateur de préproduction. Dans WordPress, vérifiez Réglages › Lecture › Visibilité pour les moteurs de recherche, souvent laissé activé après un lancement.
2. Si le code source est propre, vérifiez les en-têtes avec curl -I https://yourdomain.com/. Un en-tête X-Robots-Tag: noindex provient généralement du serveur, d'une règle de CDN ou d'un mode « préproduction » de l'hébergeur.
3. Supprimez-le, puis demandez l'indexation de la page d'accueil dans l'inspection d'URL de la Search Console.

Exemple pratique (hypothétique)

L'exemple suivant est hypothétique, il ne repose sur aucune donnée réelle. Oakridge Dental, un cabinet inventé, relance son site et perd la majeure partie de son trafic Google en deux semaines. Le testeur de robots.txt indique :

Le fichier ne contient que User-agent: * et Disallow: /, copiés depuis le serveur de préproduction par le script de déploiement. La correction a pris dix minutes : l'équipe a remplacé le fichier par l'exemple « tout autoriser » accompagné de la ligne sitemap, exclu le robots.txt de la synchronisation de préproduction, demandé une réexploration dans la Search Console et relancé le testeur, qui a validé le fichier. Comme le fichier bloquait aussi Bingbot et les robots de recherche IA, la même correction a rétabli l'éligibilité du cabinet sur Bing, Copilot et dans les réponses IA.

Une checklist robots.txt en 15 minutes

1. Lancez le testeur de robots.txt gratuit et notez chaque vérification en échec.
2. Confirmez que /robots.txt répond 200 en texte brut, et non en 5xx ou en HTML.
3. Lisez chaque groupe : quel robot il nomme, et s'il bloque par erreur / ou des sections clés.
4. Répétez les règles importantes dans chaque groupe nommé ; ils n'héritent pas de *.
5. Indiquez votre sitemap avec une URL absolue.
6. Assurez-vous que rien de ce que vous voulez exclure de la recherche ne repose sur le robots.txt au lieu de noindex.
7. Après les modifications, demandez une réexploration dans la Search Console et revérifiez.

Comment Searvia vous aide

Le testeur de robots.txt gratuit analyse votre fichier pour Googlebot, 9 autres robots d'IA et de recherche et 2 jetons de désactivation de l'entraînement IA, trouve votre sitemap et vérifie les signaux noindex dans un seul rapport partageable. Pour le reste du site, l'audit de site d'un compte Searvia explore vos pages comme le fait un moteur de recherche, respecte votre robots.txt, et signale chaque semaine les pages noindex présentes dans le sitemap, les pages cassées et les redirections : un mauvais déploiement est ainsi repéré en quelques jours plutôt qu'après une chute de trafic. Connectez la Search Console pour voir les pages « Blocked by robots.txt » et les tendances d'indexation à côté de l'audit, et lisez notre guide de l'audit SEO technique pour savoir où se situe le robots.txt dans la checklist complète.