KI-Crawler steuern: GPTBot, ClaudeBot, OAI-SearchBot und Co. im Griff
KI-Crawler gibt es in drei Arten: Such-Crawler, die entscheiden, ob Assistenten Sie zitieren können, Trainings-Crawler, die Daten für künftige Modelle sammeln, und Fetcher, die für einen einzelnen Nutzer handeln. So liest jeder die robots.txt, warum Firewalls sie unbemerkt aussperren und wie Sie jedes Zugriffsproblem beheben.
Searvia · 24.10.2026 · Lesezeit: 17 Min.
Kurz gesagt: KI-Crawler gibt es in drei Arten. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) entscheiden, ob ChatGPT, Claude und Perplexity Ihre Seiten finden und zitieren können. Trainings-Crawler (GPTBot, ClaudeBot, CCBot) und Steuer-Tokens (Google-Extended, Applebot-Extended) entscheiden, ob Ihre Inhalte künftige Modelle trainieren dürfen. Nutzer-Fetcher (ChatGPT-User, Claude-User, Perplexity-User) rufen eine Seite auf, weil eine Person danach gefragt hat. Erlauben Sie die Such-Crawler, wenn Sie in KI-Antworten erscheinen möchten, entscheiden Sie über das Training getrennt und prüfen Sie Ihre Firewall – denn eine CDN-Regel kann alle aussperren, während die robots.txt „allow“ sagt.
Ein Website-Betreiber trägt für GPTBot Disallow: / ein, um aus den Trainingsdaten herauszubleiben, und hält die Sache für erledigt. Gleichzeitig beantwortet der Bot-Schutz des CDN jeden KI-User-Agent mit einem 403, sodass ChatGPT-Suche, Claude und Perplexity die Website gar nicht erst sehen. Oder genau umgekehrt: Die robots.txt sperrt alles, was mit KI zu tun hat, auch die Such-Crawler, die das Unternehmen in Antworten zitiert hätten.
Beide Fehler entstehen, weil „KI-Crawler“ als ein einziges Ding behandelt werden. Das sind sie nicht, und jeder Anbieter dokumentiert seine Bots getrennt. Dieser Leitfaden zeigt, welcher Crawler was tut, welche drei Ebenen entscheiden, ob ein Crawler Ihre Inhalte tatsächlich bekommt, wie unser kostenloser KI-Crawler-Checker sie testet und wie Sie jedes Problem beheben, das er melden kann.
Die drei Arten von KI-Crawlern
Jeder große KI-Anbieter trennt seine Bots mittlerweile nach Zweck. Die folgende Tabelle folgt der jeweils eigenen Dokumentation der Anbieter, Stand Oktober 2026.
| Anbieter | robots.txt-Token | Art | Was der Anbieter angibt | robots.txt |
|---|---|---|---|---|
| OpenAI | OAI-SearchBot | Suche | Zeigt Websites in der ChatGPT-Suche an | Wird befolgt; ausgeschlossene Websites „werden nicht in ChatGPT-Suchantworten angezeigt“ |
| OpenAI | GPTBot | Training | Crawlt Inhalte, die zum Training von Foundation Models verwendet werden können | Wird befolgt |
| OpenAI | ChatGPT-User | Nutzer-Abruf | Ruft eine Seite auf, wenn die Frage eines ChatGPT-Nutzers sie erfordert | „robots.txt-Regeln gelten möglicherweise nicht“ |
| Anthropic | Claude-SearchBot | Suche | Durchsucht das Web, um die Qualität der Suchergebnisse zu verbessern | Wird befolgt |
| Anthropic | ClaudeBot | Training | Sammelt Inhalte, die zum Training beitragen könnten | Wird befolgt |
| Anthropic | Claude-User | Nutzer-Abruf | Ruft Seiten ab, wenn ein Claude-Nutzer eine Frage stellt | Wird befolgt; ist er deaktiviert, wird der Abruf für Nutzeranfragen eingestellt |
| Perplexity | PerplexityBot | Suche | Zeigt Websites in der Perplexity-Suche an und verlinkt sie; nicht für Training genutzt | Wird befolgt |
| Perplexity | Perplexity-User | Nutzer-Abruf | Ruft eine Seite für die Frage eines Nutzers ab | „Ignoriert robots.txt-Regeln in der Regel“ |
Google-Extended | Steuer-Token | Gemini-Training und Grounding; kein eigener User-Agent | Wird von Googles bestehenden Crawlern gelesen | |
| Apple | Applebot-Extended | Steuer-Token | Training der Foundation Models von Apple; „crawlt keine Webseiten“ | Wird von Applebot gelesen |
| Common Crawl | CCBot | Training (offenes Archiv) | Offene Webcrawl-Daten, die in Forschung und Datensätzen breit genutzt werden | Sperrung über eine robots.txt-Gruppe |
Quellen: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.
Drei Details in dieser Dokumentation verändern, wie Sie Regeln schreiben sollten:
- Googles KI-Funktionen laufen über Googlebot. KI-Übersichten und der KI-Modus nutzen den normalen Suchindex. Google sagt, eine Seite müsse indexiert und für die Anzeige mit Snippet geeignet sein, weitere technische Anforderungen gebe es nicht (AI features and your website).
Google-Extended„hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche und wird nicht als Ranking-Signal verwendet“. Es zu sperren, ist eine Entscheidung über Training und Gemini-Grounding, nicht über die Suche. - Applebot greift auf die Googlebot-Regeln zurück. Apple erklärt: Erwähnt Ihre robots.txt Applebot nicht, aber Googlebot, befolgt Applebot die Googlebot-Anweisungen. Eine reine Googlebot-Sperre blendet Sie daher auch bei Siri, Spotlight und den Safari-Vorschlägen aus.
- Änderungen wirken nicht sofort. OpenAI gibt an, dass OAI-SearchBot nach einer robots.txt-Änderung etwa 24 Stunden brauchen kann, um sich anzupassen; Perplexity nennt bis zu 24 Stunden.
Warum der Zugriff für KI-Crawler wichtig ist
Ein Assistent kann nur eine Seite zitieren, die er lesen konnte. Wenn OAI-SearchBot Ihre Preisseite nicht abrufen kann, beantwortet die ChatGPT-Suche die Frage „Was kostet X?“ mit der Seite eines anderen über Sie – etwa eines Resellers, einer alten Bewertung oder des Vergleichs eines Wettbewerbers. Dasselbe gilt für Claude und Perplexity.
Training ist eine eigene Frage, auf die es keine allgemeingültige Antwort gibt. Manche Verlage sperren Trainings-Crawler, um kostenpflichtige Inhalte zu schützen; viele Softwareunternehmen erlauben sie, weil künftige Modelle ihr Produkt kennen sollen. Entscheidend ist, dass die Entscheidung bewusst fällt und die Such-Crawler nicht mitreißt. Unser Leitfaden zur Generative Engine Optimization behandelt, was nach dem Zugriff passiert: wie Assistenten Quellen auswählen und zitieren.
Drei Ebenen entscheiden, ob ein Crawler Ihre Inhalte bekommt
1. robots.txt
Die robots.txt ist das Erste, was ein wohlerzogener Crawler liest. Nach RFC 9309 sucht ein Crawler die Gruppe, deren User-agent zu seinem Produkt-Token passt (ohne Beachtung der Groß- und Kleinschreibung), fasst alle passenden Gruppen zusammen und fällt nur dann auf die Gruppe * zurück, wenn keine Gruppe ihn nennt. Es gewinnt die spezifischste Regel, also die mit dem längsten passenden Pfad; sind Allow- und Disallow-Regel gleich spezifisch, soll Allow gelten.
Genau dieser Rückfall ist die Quelle der meisten Überraschungen. Eine Datei mit nur diesem Inhalt:
User-agent: *
Disallow: /
sperrt alle KI-Crawler, Googlebot und Bingbot gemeinsam. Eine Datei mit einer GPTBot-Gruppe und einer *-Gruppe gibt GPTBot nur seine eigene Gruppe; die *-Regeln ignoriert er vollständig, was wichtig ist, wenn Sie dort wichtige Disallows eingetragen haben.
2. Firewall, CDN oder Hoster
Eine Anfrage kann abgewiesen werden, bevor die robots.txt überhaupt gelesen wird. Bot-Schutzprodukte, Web Application Firewalls und manche Hoster prüfen User-Agents und antworten mit 403, zeigen eine Challenge-Seite oder drosseln per 429. Google weist darauf hin, dass 429- und 5xx-Antworten seine Crawler bremsen (HTTP status codes and Google Search); KI-Crawler stoßen auf dieselben Hürden.
Am häufigsten ist Cloudflare. Die ursprüngliche Einstellung „Block AI bots“, die laut Cloudflare-Dokumentation am 15. September 2026 ausläuft, sperrte verifizierte Bots, die als Crawler für KI-Training eingestuft sind. Sie wurde durch KI-Bot-Traffic-Richtlinien mit drei Voreinstellungen ersetzt: Search, Agent und Training. Jede lässt sich erlauben, auf allen Seiten sperren oder nur auf Seiten sperren, die Werbung zeigen (Cloudflare changelog). Für neue Domains ab dem 15. September 2026 sperren Cloudflares Standardwerte Training- und Agent-Bots auf Seiten mit Werbung, während Search erlaubt bleibt; zudem weist Cloudflare darauf hin, dass Mehrzweck-Crawler, die Suche und Training verbinden, von der Training-Sperre betroffen sind. Cloudflares Beispiele für die Agent-Voreinstellung umfassen Chat-Fetch-Bots – prüfen Sie diese Einstellung also, wenn nutzerausgelöste Abrufe wie ChatGPT-User funktionieren sollen.
3. Rendering
Selbst wenn ein Crawler eine 200-Antwort erhält, führt er Ihr JavaScript womöglich nicht aus. Vercel analysierte im Dezember 2024 den KI-Crawler-Traffic in seinem Netzwerk und berichtete, dass „derzeit keiner der großen KI-Crawler JavaScript rendert“; genannt wurden GPTBot, ClaudeBot und PerplexityBot (The rise of the AI crawler). Wird Ihr Text von einer clientseitigen App eingefügt, erhalten diese Crawler eine leere Hülle.
So funktioniert der Searvia KI-Crawler-Checker
Der KI-Crawler-Checker nutzt dieselbe Engine wie unser Website-SEO-Checker: Sie geben eine Domain oder eine Seitenadresse ein, er liest diese Seite und die Dateien der Website drumherum und führt in etwa 20 Sekunden 38 Prüfungen durch. Die drei Prüfungen, um die es in diesem Tool geht, stehen zuerst in einem hervorgehobenen Kasten, die erste ist aufgeklappt. Alles Folgende beschreibt, was der Code tatsächlich tut.
Welche Seite. Der Checker prüft genau die eingegebene Adresse oder die Startseite, wenn Sie nur eine Domain eingeben; robots.txt und andere Site-Dateien werden immer von der Domain gelesen. Er versucht zuerst https:// und fällt auf http:// zurück, folgt bis zu sechs Weiterleitungen und identifiziert sich beim normalen Aufruf als SearviaBot/1.0.
Zugriff für KI-Crawler (hohe Priorität). Er lädt /robots.txt vom endgültigen Host herunter. Ein 404 oder ein anderer 4xx bedeutet, dass es keine Datei gibt, also ist alles erlaubt. Ein 5xx, ein 429 oder ein Verbindungsfehler bedeutet, dass die Datei nicht erreichbar ist: Dann steht jedes Token auf „Unbekannt“ und die Prüfung schlägt fehl, weil RFC 9309 Crawler anweist, die Website als vollständig gesperrt zu behandeln. Ein 200, das eine HTML-Seite liefert, ist keine gültige robots.txt. Für jedes von 10 Crawler-Tokens und 2 Trainings-Opt-out-Tokens wählt er die Gruppe, die das Token nennt, oder die Gruppe *, falls keine es tut, und stellt eine Frage: Darf dieses Token den Pfad der eingegebenen Seite abrufen (/ für die Startseite)? Er nutzt die Regel des längsten Treffers, bei Gleichstand gewinnt Allow, und versteht die Wildcards * und $, Kommentare, mehrere User-agent-Zeilen mit gemeinsamem Regelsatz sowie wiederholte Gruppen für dasselbe Token.
| Im Bericht als „KI-Suche“ bezeichnet | Im Bericht als „KI-Training“ bezeichnet | Als Opt-out-Token bezeichnet, kein Crawler |
|---|---|---|
| OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot, Bingbot | GPTBot, ClaudeBot, CCBot | Google-Extended, Applebot-Extended |
Googlebot und Bingbot stehen in der Such-Spalte, weil Googles KI-Funktionen über Googlebot laufen und Microsoft Copilot seine Antworten auf Bing stützt. Google-Extended und Applebot-Extended besuchen Ihre Website nie; eine Regel für sie steuert nur, ob Inhalte, die Googlebot oder Applebot bereits gecrawlt haben, für KI-Training verwendet werden dürfen. Jede Zeile zeigt Erlaubt, Gesperrt oder Unbekannt.
Der Firewall-Test. Danach ruft der Checker dieselbe Seite noch einmal mit dem User-Agent auf, den OpenAI für GPTBot dokumentiert (GPTBot/1.4), ohne Weiterleitungen zu folgen. War der normale Aufruf erfolgreich (Status unter 400), diese Anfrage aber wird mit 401, 403, 429 oder 503 beantwortet, warnt der Bericht, dass Anfragen, die sich als GPTBot ausgeben, abgewiesen wurden. Die Anfrage stammt nicht von OpenAIs IP-Adressen, daher kann der echte Crawler anders behandelt werden.
Inhalt ohne JavaScript (mittlere Priorität). Er zählt die Wörter des Haupttexts im rohen HTML, ohne Menüs und Footer. Sind es weniger als 80 Wörter und hat die Seite entweder einen leeren App-Container (<div id="root">, app, __next, __nuxt oder svelte) oder lädt drei oder mehr externe Skripte, warnt er, dass Crawler ohne JavaScript-Ausführung eine leere Seite sehen könnten.
robots.txt (mittlere Priorität). Die dritte fokussierte Prüfung meldet, ob eine robots.txt existiert, ob sie mit einem Serverfehler oder einer HTML-Seite antwortet und ob sie Googlebot von der Startseite oder von der eingegebenen Seite aussperrt. Unser robots.txt-Leitfaden behandelt diese Datei ausführlich.
Statusregeln. Der Zugriff für KI-Crawler schlägt fehl, wenn eines der sieben Such-Tokens gesperrt ist oder die robots.txt nicht erreichbar ist. Ein abgewiesener Firewall-Test ergibt eine Warnung. Gesperrte Trainings-Crawler und Opt-out-Tokens werden aufgelistet, die Prüfung gilt aber weiterhin als bestanden, weil das eine legitime Entscheidung ist.
Was der Checker nicht testet
Wer die Grenzen kennt, interpretiert ein grünes Ergebnis nicht über:
- Ein Pfad pro Durchlauf. Getestet wird nur der Pfad der eingegebenen Seite (
/bei einer reinen Domain). Eine Regel wieDisallow: /pricing/für OAI-SearchBot fällt nur auf, wenn Sie genau diese Seite eingeben. Lesen Sie Ihre Datei auf Sperren einzelner Bereiche durch. - Der Firewall-Test nutzt einen User-Agent von unseren Servern. Er sendet den Namen von GPTBot, nicht den von OAI-SearchBot, und kommt nicht von OpenAIs IP-Adressen. Eine Firewall, die Bots per IP verifiziert, kann unsere Anfrage als Betrüger blockieren und den echten GPTBot durchlassen; eine Firewall, die OpenAIs IP-Bereiche sperrt, aber nicht den User-Agent, besteht unseren Test. Behandeln Sie eine Firewall-Warnung als „Bot-Einstellungen prüfen“ und bestätigen Sie es dann in den Logs.
- Tokens, die nicht in der Liste stehen, etwa Perplexity-User oder OAI-AdsBot, werden nicht getestet.
Das Ergebnis lesen
| Meldung im Bericht | Bedeutung | Was zu tun ist |
|---|---|---|
| Alle KI-Crawler sind erlaubt. | Für die Seite ist kein Such- oder Trainings-Token gesperrt, und der Firewall-Test wurde bestanden | Nichts, es sei denn, Sie möchten dem Training widersprechen |
| KI-Such-Crawler sind erlaubt; N KI-Trainings-Crawler oder Opt-out-Tokens sind gesperrt (Ihre Entscheidung). | Der Suchzugriff ist in Ordnung; das Training ist eingeschränkt | Bestätigen, dass die Trainingssperre gewollt ist |
| robots.txt sperrt N KI-Such-Crawler. | Mindestens ein Such- oder Nutzer-Abruf-Token kann die Seite nicht lesen | robots.txt-Gruppen korrigieren (Schritt 1 unten) |
| robots.txt konnte nicht gelesen werden, daher behandeln Crawler die ganze Website als gesperrt. | Die robots.txt antwortete mit 5xx oder 429 oder gar nicht | Serverantwort der Datei korrigieren (Schritt 5) |
| Anfragen, die sich als GPTBot ausgeben, wurden mit Status 403 abgewiesen. … | Die als GPTBot benannte Anfrage wurde abgewiesen, ein normaler Aufruf funktionierte; ein starker Hinweis, kein Beweis | Bot-Schutz und WAF-Regeln prüfen (Schritt 2) |
| Vor der Ausführung von JavaScript sind nur N Wörter sichtbar. | Das rohe HTML ist fast leer | Wichtige Seiten serverseitig rendern (Schritt 4) |
Die Tabelle unter der Zeile zum KI-Crawler zeigt jedes Token als Erlaubt, Gesperrt oder Unbekannt, jeweils mit seiner Bezeichnung. Die Gesamtnote von A+ bis F umfasst alle 38 Prüfungen, gewichtet nach Priorität: Prüfungen mit hoher Priorität zählen 10 Punkte, mittlere 5 und niedrige 2, eine Warnung bringt die Hälfte, rein informative Ergebnisse bleiben außen vor. „Zuerst beheben“ listet bis zu acht Probleme auf, die mit hoher Priorität zuerst. Jede Zeile zeigt außerdem, welcher Anteil der geprüften Websites dieselbe Prüfung besteht – daran erkennen Sie, ob ein Problem selten oder verbreitet ist.
So beheben Sie jedes vom Checker gemeldete Problem
1. robots.txt sperrt KI-Such-Crawler
Öffnen Sie https://yourdomain.com/robots.txt und finden Sie für jedes gesperrte Token die Gruppe, die gilt: eine Gruppe, die es nennt, sonst *. Legen Sie dann Ihre Richtlinie fest und schreiben Sie sie ausdrücklich auf. Diese Datei erlaubt KI-Suche und Nutzer-Abrufe, sperrt das Training und behält die üblichen Regeln für alle anderen bei:
# KI-Suche und nutzerausgelöste Abrufe
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Modelltraining
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
# Alle anderen, einschließlich Googlebot und Bingbot
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml
Schritt für Schritt:
- Entfernen Sie jedes
User-agent: *mitDisallow: /, das von einer Staging-Website übrig geblieben ist. Dieses eine Paar sperrt alles. - Braucht die KI-Such-Gruppe dieselben Regeln für private Bereiche wie alle anderen, kopieren Sie sie hinein. Eine benannte Gruppe erbt die
*-Regeln nicht. - Wenn ein Plugin oder CDN-Feature die robots.txt für Sie schreibt, ändern Sie sie dort; von Hand bearbeitete Dateien werden beim nächsten Deployment überschrieben.
- Speichern, die Live-Datei in einem privaten Fenster neu laden und den KI-Crawler-Checker erneut ausführen.
- Planen Sie einen Tag ein, bis die Änderung bei OpenAI und Perplexity greift.
2. Die Firewall hat den Crawler abgewiesen
- Die Regel finden. Filtern Sie im Ereignislog Ihres CDN oder Ihrer Firewall nach User-Agents, die
GPTBot,OAI-SearchBot,ClaudeBotoderPerplexityBotenthalten, und notieren Sie, welche Regel gegriffen hat: Bot-Schutz, ein verwaltetes Regelwerk, ein Rate-Limit oder eine Ländersperre. - Bei Cloudflare öffnen Sie AI Crawl Control: Dort ist jeder KI-Crawler mit Allow oder Block aufgeführt, sodass Sie KI-Such-Crawler erlauben und Trainings-Crawler trotzdem sperren können. Prüfen Sie außerdem die KI-Bot-Traffic-Richtlinien in den Sicherheitseinstellungen Ihrer Zone. Stellen Sie Search auf Erlauben, wenn Sie zitiert werden möchten. Entscheiden Sie Training und Agent jeweils für sich, und denken Sie daran, dass „auf Seiten mit Werbung sperren“ nur für Seiten gilt, bei denen Cloudflare Werbung erkennt.
- Bei anderen WAFs legen Sie eine Allow-Regel für die gewünschten Bots an, abgeglichen mit dem User-Agent und den veröffentlichten IP-Bereichen des Anbieters, wie Perplexity es empfiehlt. OpenAI veröffentlicht
searchbot.json,gptbot.jsonundchatgpt-user.json, Perplexityperplexitybot.jsonundperplexity-user.json, Anthropicclaude.com/crawling/bots.jsonund Common Crawlccbot.json. Geben Sie der Allow-Regel eine höhere Priorität als den Sperrregeln und aktualisieren Sie die Bereiche regelmäßig, denn sie ändern sich. - Rate-Limits. Hat der Test ein 429 erhalten, ist Ihr Rate-Limit strenger als das Tempo eines Crawlers. Erhöhen Sie es für verifizierte Bots, statt es abzuschalten.
- Sperren Sie nicht per IP, um dem Training zu widersprechen. Anthropic warnt, dass das Sperren seiner IP-Adressen den Opt-out womöglich nicht zuverlässig bewirkt, weil seine Bots dann Ihre robots.txt nicht lesen können. Nutzen Sie die robots.txt für die Richtlinie und die Firewall gegen Missbrauch.
Sind Sie sicher, dass Ihre Firewall Bots per IP verifiziert und die Warnung von unserer nicht verifizierten Anfrage stammt, bestätigen Sie es anhand der Logs: Echte Anfragen aus OpenAIs Bereichen sollten ein 200 erhalten.
3. Trainings-Crawler sind gesperrt
Das wird gemeldet, aber nicht als Fehler gezählt. Prüfen Sie zwei Dinge. Erstens, dass die Sperre Ihrem Willen entspricht: Das Sperren von Google-Extended nimmt Ihre Inhalte auch aus dem Grounding in den Gemini-Apps, und das Sperren von Applebot-Extended betrifft nur das Training, nicht Apples Suchfunktionen. Zweitens, dass die Sperre in einer benannten Gruppe steht und nicht in *, wo sie auch Such-Crawler träfe.
4. Vor der Ausführung von JavaScript sind nur wenige Wörter sichtbar
- Sehen Sie sich den Seitenquelltext (nicht den Inspektor) Ihrer Startseite und wichtiger Seiten an. Fehlt dort der Haupttext, sehen Crawler ohne JavaScript-Rendering nichts.
- Rendern Sie wichtige Templates auf dem Server: Server-Side Rendering, statische Generierung oder Pre-Rendering. In Next.js nutzen Sie zum Beispiel Server Components oder statische Generierung, statt den Text im Browser abzurufen.
- Stellen Sie sicher, dass das Wesentliche im HTML steht: Produktbeschreibung, Preise, Tarife und FAQ-Antworten. Interaktive Widgets können clientseitig bleiben.
- Führen Sie den Checker erneut aus; die Wortzahl in der Meldung sollte steigen.
5. robots.txt fehlt oder sperrt Google
Der Checker unterscheidet die Fälle. „Es wurde keine robots.txt-Datei gefunden“ bedeutet ein 404 oder einen anderen 4xx und ist harmlos: Crawler behandeln das als „keine Einschränkungen“. „robots.txt antwortet mit Status N“ oder „konnte nicht erreicht werden“ bedeutet ein 5xx, ein 429 oder einen Timeout und ist ernst: Nach RFC 9309 muss ein Crawler dann von einem vollständigen Disallow ausgehen, und Google stellt das Crawling für die ersten 12 Stunden ein (Googles robots.txt-Spezifikation). Korrigieren Sie den Server, sodass /robots.txt mit 200 und reinem Text antwortet, oder mit 404, wenn Sie keine Regeln brauchen, und bestätigen Sie es mit curl -I https://yourdomain.com/robots.txt. Auch eine robots.txt, die eine HTML-Seite liefert, wird markiert. Sperrt die robots.txt Googlebot von /, beheben Sie das zuerst: Es sperrt auch Googles KI-Funktionen und über Apples Rückfall auch Applebot.
Crawler in den Logs verifizieren
Jeder kann eine Anfrage senden, die „GPTBot“ sagt. Bevor Sie einen Bot durch die Firewall lassen oder ihm Last anlasten, verifizieren Sie ihn:
- OpenAI, Anthropic, Perplexity, Common Crawl: Vergleichen Sie die IP mit den oben genannten JSON-Listen.
- Google: Führen Sie einen Reverse-DNS-Lookup der IP durch, prüfen Sie, dass der Name auf
googlebot.com,google.comodergoogleusercontent.comendet, und führen Sie dann einen Forward-Lookup durch, der dieselbe IP liefern muss (Verifying Googlebot). Google veröffentlicht außerdem JSON-Listen wiecommon-crawlers.jsonunduser-triggered-fetchers.json. - Common Crawl weist darauf hin, dass sich manche Crawler fälschlich als CCBot ausgeben; deshalb veröffentlicht es seine Bereiche mit Reverse-DNS.
Praxisbeispiel (hypothetisch)
Das Folgende ist ein hypothetisches Beispiel, keine echten Daten. Larkspur Analytics, ein erfundenes B2B-Dashboard-Tool, stellt fest, dass ChatGPT seine Preise anhand einer Bewertungsseite von 2024 beschreibt. Der KI-Crawler-Checker meldet:
| Prüfung | Ergebnis |
|---|---|
| Zugriff für KI-Crawler | Warnung: „Anfragen, die sich als GPTBot ausgeben, wurden mit Status 403 abgewiesen“ |
| KI-Crawler-Zeilen | GPTBot, ClaudeBot, CCBot gesperrt (Training); alle Such-Tokens erlaubt |
| Inhalt ohne JavaScript | Warnung: 41 Wörter vor der Ausführung von JavaScript sichtbar |
| robots.txt | Bestanden |
Die robots.txt war in Ordnung; das Team hatte das Training absichtlich gesperrt. Das 403 stammte von einer Bot-Schutz-Regel, die ein Dienstleister während eines Scraping-Vorfalls aktiviert hatte und die auf jeden User-Agent mit „bot“ passte. Die Korrekturen:
- Die pauschale Regel wurde durch ein Rate-Limit ersetzt, dazu kamen Allow-Regeln für OAI-SearchBot, Claude-SearchBot und PerplexityBot, abgeglichen mit User-Agent und veröffentlichten IP-Bereichen.
- Die Preis- und Funktionsseiten wurden auf statische Generierung umgestellt, sodass das HTML den vollständigen Text enthält.
- Der Checker lief erneut: Der Zugriff für KI-Crawler wurde bestanden, und die Zahl der sichtbaren Wörter stieg auf 1.180.
- Zwei Wochen später zeigten die Server-Logs verifizierte Anfragen von OAI-SearchBot und PerplexityBot auf die Preisseite, und neue ChatGPT-Antworten zitierten sie.
Eine 20-Minuten-Checkliste für KI-Crawler
- Führen Sie den kostenlosen KI-Crawler-Checker für Ihre Domain aus.
- Halten Sie Ihre Richtlinie fest: Suche erlaubt, Training erlaubt oder gesperrt, Nutzer-Abrufe erlaubt.
- Bilden Sie sie in benannten robots.txt-Gruppen ab, niemals nur in
*. - Prüfen Sie die Bot-Einstellungen von Firewall oder CDN, einschließlich Cloudflares AI Crawl Control.
- Sehen Sie sich den Quelltext Ihrer wichtigen Seiten an und bestätigen Sie, dass der Haupttext im HTML steht.
- Bestätigen Sie eine Woche später in den Logs, dass verifizierte Such-Crawler ein 200 erhalten.
So hilft Searvia bei KI-Crawlern
Der kostenlose KI-Crawler-Checker liefert in einem Durchlauf das robots.txt-Bild für 10 KI- und Such-Crawler und 2 Trainings-Opt-out-Tokens, einen Firewall-Test und die JavaScript-Prüfung, dazu einen teilbaren Bericht. Der umfassendere Checker für KI-Suchbereitschaft ergänzt llms.txt, Identitäts-Markup, Frage-Antwort-Inhalte und Aktualität. Läuft Ihre Website auf Cloudflare, verbinden Sie Cloudflare mit einem schreibgeschützten Token: Der Tab „KI-Crawler“ Ihres Website-Projekts zeigt, welche KI-Crawler wirklich zu Besuch kommen, wie oft und welche Seiten sie lesen – gefälschte Crawler sind herausgefiltert. Zugriff ist nur der erste Schritt; das Tracking der KI-Sichtbarkeit prüft anschließend jede Woche, ob Assistenten wie ChatGPT, Gemini und Perplexity Sie tatsächlich erwähnen und zitieren. Starten Sie mit dem kostenlosen Tarif auf der Preisseite.
Häufig gestellte Fragen
- Was sind KI-Crawler?
- KI-Crawler sind automatisierte Clients von KI-Unternehmen, die Webseiten abrufen. Manche indexieren Seiten, damit Assistenten sie in Antworten zitieren können (OAI-SearchBot, Claude-SearchBot, PerplexityBot), manche sammeln Text, der künftige Modelle trainieren kann (GPTBot, ClaudeBot, CCBot), und manche rufen eine Seite nur ab, wenn ein Nutzer eine Frage stellt (ChatGPT-User, Claude-User, Perplexity-User). Jeder hat ein eigenes User-Agent-Token, das Sie in der robots.txt ansprechen können.
- Entfernt das Sperren von GPTBot meine Website aus der ChatGPT-Suche?
- Nein. OpenAI setzt getrennte Crawler ein: GPTBot sammelt Inhalte, die zum Training seiner Modelle verwendet werden können, während OAI-SearchBot Websites in der ChatGPT-Suche anzeigt. Laut OpenAI werden Websites, die OAI-SearchBot ausgeschlossen haben, nicht in ChatGPT-Suchantworten angezeigt; das alleinige Sperren von GPTBot ist dagegen eine Trainingsentscheidung und hat keine Auswirkung auf die Suche.
- Sollte ich ClaudeBot sperren?
- Das hängt davon ab, ob Ihre öffentlichen Inhalte für das Training verwendet werden dürfen. Anthropic gibt an, dass ClaudeBot Inhalte sammelt, die zum Training beitragen könnten, und dass das Sperren Ihre künftigen Materialien von Trainingsdatensätzen ausschließt. Die Sichtbarkeit in der Claude-Suche hängt von Claude-SearchBot und Claude-User ab, die Sie in der robots.txt getrennt erlauben können.
- Beachten KI-Crawler die robots.txt?
- Die Such- und Trainings-Crawler von OpenAI, Anthropic, Perplexity und Common Crawl sind dokumentiert so, dass sie der robots.txt folgen. Nutzerausgelöste Fetcher sind anders: OpenAI sagt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, und Perplexity sagt, dass Perplexity-User die robots.txt in der Regel ignoriert, weil ein Nutzer die Seite angefordert hat. Anthropic sagt, dass Claude-User in der robots.txt deaktiviert werden kann. Die robots.txt ist eine Bitte, keine Zugriffskontrolle.
- Woher weiß ich, ob meine Firewall KI-Crawler sperrt?
- Schauen Sie, was die Crawler tatsächlich erhalten. Unser kostenloser KI-Crawler-Checker sendet eine Anfrage, die sich als GPTBot ausgibt, und warnt bei einer Antwort mit 401, 403, 429 oder 503; da diese Anfrage nicht von OpenAIs Adressen kommt, ist sie ein starker Hinweis, aber kein Beweis. Für einen Beweis prüfen Sie Ihre Server- oder CDN-Logs auf verifizierte Anfragen aus den veröffentlichten IP-Bereichen der Anbieter oder verbinden Cloudflare mit Searvia, um zu sehen, welche KI-Crawler zu Besuch kommen und welche Seiten sie lesen.
Quellen
- Overview of OpenAI Crawlers – OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Center
- Perplexity Crawlers – Perplexity
- Google's common crawlers – Google Search Central
- About Applebot – Apple Support
- CCBot – Common Crawl
- AI features and your website – Google Search Central
- RFC 9309: Robots Exclusion Protocol – IETF
- How Google interprets the robots.txt specification – Google Search Central
- Verifying Googlebot and other Google crawlers – Google Search Central
- Block AI bots – Cloudflare Docs
- New options to manage AI traffic – Cloudflare changelog
- The rise of the AI crawler – Vercel
- How HTTP status codes, and network and DNS errors affect Google Search – Google Search Central