Robots.txt: So funktioniert die Datei, Beispiele und wie du sie testest

Kurz gesagt: Die robots.txt ist eine reine Textdatei unter /robots.txt, die Crawlern sagt, welche URLs sie abrufen dürfen. Die Regeln sind nach User-agent gruppiert; ein Crawler nutzt die Gruppe, die ihn nennt, oder die *-Gruppe, falls keine passt, und der längste passende Allow- oder Disallow-Pfad gewinnt. Die Datei steuert das Crawling, nicht die Indexierung: Um eine Seite aus Google herauszuhalten, nutze noindex. Ein 404 bedeutet „alles crawlen“, ein 5xx bedeutet „stopp“. Die meisten Schäden entstehen durch eine einzige Zeile, Disallow: /, die von einer Staging-Seite übrig geblieben ist.

Die robots.txt ist die kürzeste Datei auf den meisten Websites und hat die größte Wirkung. Ein einziges Disallow: / unter User-agent: * versteckt die ganze Website vor Google, Bing, Apple und jedem KI-Suchcrawler. Ein fehlender Schrägstrich, eine Regel in der falschen Gruppe oder ein Serverfehler bei der Datei selbst können fast genauso viel Schaden anrichten, und auf der sichtbaren Website wirkt nichts kaputt.

Dieser Leitfaden behandelt, wie Crawler die Datei nach RFC 9309 und der Spezifikation von Google lesen, Beispiele zum Kopieren, wie unser kostenloser robots.txt-Checker deine Datei testet und wie du jedes gemeldete Problem behebst.

Was die robots.txt leistet und was nicht

Die Einführung von Google bringt es auf den Punkt: Eine robots.txt-Datei „teilt Suchmaschinen-Crawlern mit, auf welche URLs der Crawler auf deiner Website zugreifen kann“, und ihre Hauptaufgabe ist das Steuern des Crawler-Traffics. Sie ist „kein Mechanismus, um eine Webseite aus Google herauszuhalten“. Eine gesperrte URL kann dennoch indexiert werden, „wenn sie von anderen Stellen im Web verlinkt wird“, meist ohne Beschreibung angezeigt.

Drei weitere Einschränkungen aus denselben Quellen:

• Sie ist eine Bitte, kein Schloss. RFC 9309 sagt, die Regeln „sind keine Form der Zugriffsautorisierung“. Seriöse Crawler halten sich daran, andere vielleicht nicht. Schütze private Inhalte mit Authentifizierung.
• Sie gilt pro Host, Protokoll und Port. https://www.example.com/robots.txt deckt weder https://shop.example.com noch http://www.example.com ab. Jede Variante braucht eine eigene Datei, und Google sucht nicht nach robots.txt-Dateien in Unterverzeichnissen.
• Verschiedene Crawler interpretieren die Syntax unterschiedlich. Halte dich an die Standardfelder und einfache Muster, dann lesen alle großen Crawler sie gleich.

Die Syntax

Eine robots.txt-Datei ist eine Liste von Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln. Sitemap-Zeilen können überall stehen.

# Kommentare beginnen mit einer Raute
User-agent: Googlebot
User-agent: Bingbot
Disallow: /cart/
Disallow: /search
Allow: /search/help

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Feldnamen sind nicht von der Groß- und Kleinschreibung abhängig; Pfade schon, daher sperrt Disallow: /Admin/ nicht /admin/. Zwei Sonderzeichen werden unterstützt: * steht für eine beliebige Zeichenfolge, $ markiert das Ende der URL. Disallow: /*.pdf$ sperrt jede URL, die auf .pdf endet; Disallow: /*? sperrt jede URL mit Query-String.

Welche Gruppe für einen Crawler gilt

Hier passieren die meisten Fehler. Laut Google gilt „nur eine Gruppe für einen bestimmten Crawler“: die Gruppe mit dem spezifischsten passenden User-Agent. Gruppen, die denselben Agent nennen, werden zusammengeführt, aber eine benannte Gruppe wird nicht mit der *-Gruppe kombiniert. RFC 9309 sagt dasselbe: Crawler gleichen ihr Product Token ohne Beachtung der Groß- und Kleinschreibung ab, kombinieren passende Gruppen und greifen nur auf * zurück, „wenn keine passende Gruppe existiert“.

In der obigen Datei folgt Googlebot also nur seiner eigenen Gruppe. Er darf /admin/ crawlen, weil die *-Gruppe für ihn nicht gilt. Soll eine Regel für alle gelten, wiederhole sie in jeder benannten Gruppe.

Zwei crawlerspezifische Details sind gut zu wissen. Das Token Googlebot von Google deckt Search, Discover, Bilder, Video und News ab; spezifischere Tokens wie Googlebot-Image erlauben die Steuerung eines einzelnen Produkts (Googles gängige Crawler). Und Apple sagt: Wenn die robots.txt Applebot nicht erwähnt, aber Googlebot, folgt Applebot den Anweisungen für Googlebot (About Applebot).

Welche Regel gewinnt

Innerhalb einer Gruppe gilt die spezifischste Regel, also die mit dem längsten passenden Pfad. Passen eine Allow- und eine Disallow-Regel gleich gut, gewinnt die weniger restriktive, also Allow. Die Reihenfolge in der Datei spielt keine Rolle.

Wie Statuscodes alles verändern

Crawler rufen /robots.txt vor allem anderen ab, und der HTTP-Status zählt ebenso viel wie der Inhalt. Aus der Spezifikation von Google und RFC 9309:

Die praktische Folge: Ein 404 bei der robots.txt ist harmlos, aber eine Firewall oder ein Server, der für die Datei 500 oder 503 liefert, kann das Crawling der gesamten Website stoppen. Google warnt außerdem davor, 401 oder 403 zur Begrenzung der Crawling-Rate zu verwenden.

Zwei Grenzen runden das Bild ab: Google speichert die Datei bis zu 24 Stunden im Cache, Änderungen wirken also nicht sofort, und ignoriert Inhalt nach 500 KiB. Die Datei muss UTF-8 sein.

robots.txt vs. noindex

Die noindex-Dokumentation von Google beschreibt die Falle: Wenn die robots.txt eine Seite sperrt, sieht der Crawler ihre noindex-Regel nie, und die Seite kann trotzdem in den Ergebnissen erscheinen. Das richtige Werkzeug hängt vom Ziel ab:

robots.txt-Beispiele zum Kopieren

Alles erlauben und die Sitemap angeben (die richtige Datei für die meisten kleinen Websites):

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Ein typischer Onlineshop:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=

Sitemap: https://www.example.com/sitemap.xml

Eine Staging-Seite (und nur eine Staging-Seite; schütze sie zusätzlich mit einem Passwort):

User-agent: *
Disallow: /

KI-Suche erlaubt, KI-Training gesperrt:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Das Sperren von Google-Extended hat keine Auswirkung auf die Google-Suche; Google sagt, es „hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche und wird auch nicht als Ranking-Signal verwendet“. AI Overviews und AI Mode laufen über Googlebot (AI features and your website). OpenAI sagt, wer OAI-SearchBot ausschließt, taucht nicht in den Antworten der ChatGPT-Suche auf, sperre ihn also nur, wenn du das willst (OpenAI crawlers). Unser Leitfaden zu KI-Crawlern behandelt jedes KI-Token.

Sperre kein CSS, JavaScript oder keine Bilder, die Seiten zum Rendern brauchen. Google sagt, du kannst unwichtige Ressourcen sperren, wenn Seiten „durch den Verlust nicht wesentlich beeinträchtigt werden“, aber das Sperren von Dateien, die Inhalt oder Layout tragen, hindert Google daran, die Seite zu verstehen.

So funktioniert der robots.txt-Checker von Searvia

Der robots.txt-Checker nutzt dieselbe Engine wie unser Website-SEO-Checker: Gib eine Domain oder eine Seitenadresse ein, und er liest diese Seite (bei nur einer Domain deine Startseite) und die Dateien der Website drumherum, führt in etwa 20 Sekunden 38 Checks aus und zeigt zuerst die vier Checks, um die es in diesem Tool geht. So funktioniert jeder davon.

robots.txt (mittlere Priorität). Der Checker folgt der Seite bis zu ihrer endgültigen Adresse und fordert dann /robots.txt auf demselben Host an, wobei er Weiterleitungen folgt. Den Statuscode liest er wie in der Tabelle oben: Ein 404 oder ein anderer 4xx bedeutet keine Datei, ein 5xx, ein 429 oder keine Antwort bedeutet, dass die Datei nicht erreichbar ist, und ein 200 mit einer HTML-Seite ist keine gültige robots.txt. Er parst die Datei, wie RFC 9309 es beschreibt: User-agent-Gruppen (mehrere Zeilen können sich einen Regelsatz teilen), zusammengeführte doppelte Gruppen, den *-Fallback, Allow und Disallow mit den Wildcards * und $, Kommentare, längster Treffer, wobei bei Gleichstand Allow gewinnt, und Sitemap-Zeilen. Dann prüft er, ob Googlebot den Pfad der Startseite / abrufen darf und, falls du eine Unterseite eingegeben hast, den Pfad dieser Seite.

• Bestanden: Die Datei existiert und Googlebot darf / und die eingegebene Seite crawlen.
• Fehlgeschlagen: Die Datei sperrt Googlebot für / (praktisch die ganze Website) oder für die eingegebene Seite, oder die robots.txt ist nicht erreichbar.
• Warnung: Es wurde keine Datei gefunden (ein 4xx), oder die Datei ist eine HTML-Seite.

Zugriff für KI-Crawler (hohe Priorität). Derselbe Parser läuft für 10 Crawler-Tokens: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot und Bingbot (als KI-Suche gekennzeichnet) sowie GPTBot, ClaudeBot und CCBot (als KI-Training gekennzeichnet), dazu Google-Extended und Applebot-Extended, die als Opt-out-Tokens für KI-Training gekennzeichnet sind, weil sie keine Crawler sind. Außerdem sendet er eine Anfrage, die sich als GPTBot ausgibt, um zu sehen, ob eine Firewall sie mit 401, 403, 429 oder 503 abweist; da die Anfrage nicht von den Adressen von OpenAI kommt, ist eine Abweisung eine Warnung und kein Beweis. Der Check schlägt fehl, wenn ein Such-Token gesperrt ist oder die robots.txt nicht erreichbar ist; gesperrte Training-Tokens werden aufgelistet, aber als deine Entscheidung behandelt.

XML-Sitemap (mittlere Priorität). Er probiert jede Sitemap:-Zeile in deiner robots.txt aus, dann /sitemap.xml und /sitemap_index.xml (bis zu vier Adressen), und besteht bei der ersten, die mit 200 und einem <urlset> oder <sitemapindex> antwortet, und zeigt die Anzahl der URLs.

Indexierung erlaubt (hohe Priorität). Er sucht nach noindex in einem robots- oder googlebot-Meta-Tag der Seite und im X-Robots-Tag-Response-Header. Beides lässt den Check fehlschlagen, weil es die Seite unabhängig von der robots.txt aus den Ergebnissen heraushält.

Was er nicht testet

• Eine Seite pro Durchlauf. Googlebot wird für / und die eingegebene Seite getestet. Eine Regel wie Disallow: /blog/ wird nur markiert, wenn du eine Seite unter /blog/ eingibst. Lies die Datei für Regeln auf Bereichsebene oder teste einzelne URLs in der URL-Prüfung der Search Console.
• Regeln für andere Hosts. Gelesen wird nur die robots.txt des Hosts, auf dem deine Seite landet.

Das Ergebnis lesen

Der Bericht vergibt für alle 38 Checks eine Note von A+ bis F, gewichtet nach Priorität (hoch 10, mittel 5, niedrig 2; Warnungen zählen halb), dazu eine Liste „Fix these first“ und einen teilbaren Link. Jeder Check zeigt außerdem, welcher Anteil der geprüften Websites ihn besteht.

So behebst du jedes Problem, das der Checker meldet

robots.txt blockiert Google für die ganze Website

1. Öffne die Live-Datei und finde die Gruppe, die für Googlebot gilt: eine Gruppe User-agent: Googlebot, falls vorhanden, sonst User-agent: *.
2. Suche in dieser Gruppe nach Disallow: / oder einem Muster wie Disallow: /*. Entferne es oder ersetze es durch die konkreten Pfade, die du sperren wolltest.
3. Finde vor dem Bearbeiten heraus, woher die Datei stammt: eine statische Datei, eine CMS-Einstellung, ein SEO-Plugin, eine CDN-Regel oder ein Deploy-Skript. In Shopify bearbeitest du das Theme-Template robots.txt.liquid.
4. Lade https://yourdomain.com/robots.txt in einem privaten Fenster, um zu bestätigen, dass die Änderung live ist, und führe dann den robots.txt-Checker erneut aus.
5. Öffne in der Search Console den robots.txt-Bericht und wähle für die Datei Neu crawlen anfordern (Request a recrawl). Sonst speichert Google sie bis zu 24 Stunden im Cache.
6. Prüfe in den folgenden Tagen im Bericht zur Seitenindexierung, ob die Zahlen für „Durch robots.txt blockiert“ sinken.

robots.txt fehlt, ist nicht erreichbar oder eine HTML-Seite

Die Meldung zeigt dir, welcher Fall vorliegt; bestätige den Statuscode mit:

curl -I https://yourdomain.com/robots.txt

• 404: harmlos, aber veröffentliche trotzdem eine einfache Datei, damit du deine Sitemap angeben kannst. Nutze das Beispiel „Alles erlauben“ oben.
• 200 mit Content-Type: text/html: Deine App liefert für unbekannte URLs eine Webseite aus. Liefere eine echte Textdatei vor der Catch-all-Route der App aus.
• 403: Eine Sicherheitsregel blockiert die Datei. Erlaube /robots.txt für alle.
• 5xx oder Timeout: Behebe das zuerst. Google stoppt das Crawling jedes Mal für 12 Stunden, wenn es das sieht, und RFC 9309 weist Crawler an, von einer komplett gesperrten Website auszugehen.

robots.txt blockiert KI-Suchcrawler

Finde die Gruppe, die jedes gesperrte Token nutzt (seine eigene oder *), und lege deine Richtlinie pro Token fest. Erlaube OAI-SearchBot, Claude-SearchBot und PerplexityBot, wenn du in Antworten von ChatGPT, Claude und Perplexity zitiert werden möchtest; sperre Training-Tokens bei Bedarf separat. Denk daran, dass eine benannte Gruppe die *-Regeln nicht erbt. Wenn der Firewall-Test stattdessen eine Warnung ergab, liegt die Lösung in den Einstellungen deines CDN oder deiner WAF, nicht in der robots.txt; siehe den Leitfaden zu KI-Crawlern.

Keine XML-Sitemap gefunden

1. Erzeuge eine Sitemap deiner kanonischen, indexierbaren URLs. Die meisten CMS erledigen das: WordPress Core liefert /wp-sitemap.xml, Yoast SEO und Rank Math liefern /sitemap_index.xml; in Next.js fügst du app/sitemap.ts hinzu.
2. Füge die absolute URL in die robots.txt ein: Sitemap: https://www.example.com/sitemap.xml.
3. Reiche sie in der Google Search Console und in den Bing Webmaster Tools ein.
4. Halte sie unter den Google-Limits von 50.000 URLs oder 50 MB unkomprimiert pro Datei (Build and submit a sitemap); teile größere Websites mit einem Sitemap-Index auf.

Ein noindex-Tag oder X-Robots-Tag-Header blockiert die Indexierung

1. Sieh dir den Seitenquelltext an und suche nach noindex. Steht es in einem Meta-Tag, finde die Einstellung, die es hinzufügt: eine Option pro Seite in einem SEO-Plugin, eine Theme-Einstellung oder ein Staging-Flag. Prüfe in WordPress Einstellungen › Lesen › Sichtbarkeit für Suchmaschinen, die nach einem Launch oft aktiviert bleibt.
2. Ist der Quelltext sauber, prüfe die Header mit curl -I https://yourdomain.com/. Ein X-Robots-Tag: noindex-Header kommt meist vom Server, von einer CDN-Regel oder von einem „Staging“-Modus des Hostings.
3. Entferne ihn und beantrage dann in der URL-Prüfung der Search Console die Indexierung der Startseite.

Praxisbeispiel (hypothetisch)

Das Folgende ist ein hypothetisches Beispiel, keine echten Daten. Oakridge Dental, eine erfundene Zahnarztpraxis, startet ihre Website neu und verliert innerhalb von zwei Wochen den Großteil ihres Google-Traffics. Der robots.txt-Checker meldet:

Die Datei enthält nur User-agent: * und Disallow: /, vom Deploy-Skript vom Staging-Server kopiert. Die Lösung dauerte zehn Minuten: Das Team ersetzte die Datei durch das Beispiel „Alles erlauben“ plus die Sitemap-Zeile, nahm die robots.txt aus der Staging-Synchronisierung aus, forderte in der Search Console einen neuen Crawl an und führte den Checker erneut aus, der bestanden wurde. Da die Datei auch Bingbot und die KI-Suchcrawler gesperrt hatte, stellte dieselbe Korrektur die Berechtigung der Praxis für Bing, Copilot und KI-Antworten wieder her.

Eine 15-Minuten-Checkliste für die robots.txt

1. Führe den kostenlosen robots.txt-Checker aus und notiere jeden fehlgeschlagenen Check.
2. Bestätige, dass /robots.txt mit 200 als reiner Text antwortet, nicht mit 5xx oder HTML.
3. Lies jede Gruppe: welchen Crawler sie nennt und ob sie versehentlich / oder wichtige Bereiche sperrt.
4. Wiederhole wichtige Regeln in jeder benannten Gruppe; sie erben nichts von *.
5. Gib deine Sitemap mit einer absoluten URL an.
6. Stelle sicher, dass nichts, das aus der Suche heraus soll, sich statt auf noindex auf die robots.txt verlässt.
7. Fordere nach Änderungen einen neuen Crawl in der Search Console an und prüfe erneut.

So hilft Searvia

Der kostenlose robots.txt-Checker testet deine Datei für Googlebot, 9 weitere KI- und Suchcrawler und 2 Opt-out-Tokens für KI-Training, findet deine Sitemap und prüft die noindex-Signale in einem teilbaren Bericht. Für den Rest der Website crawlt das Site-Audit in einem Searvia-Konto deine Seiten wie eine Suchmaschine, respektiert deine robots.txt und markiert jede Woche noindex-Seiten in der Sitemap, defekte Seiten und Weiterleitungen, sodass ein fehlerhaftes Deployment innerhalb weniger Tage auffällt statt erst nach einem Traffic-Einbruch. Verbinde die Search Console, um „Durch robots.txt blockiert“ und Indexierungstrends neben dem Audit zu sehen, und lies unseren Leitfaden zum technischen SEO-Audit, um zu erfahren, wo die robots.txt in die vollständige Checkliste passt.