Blog · KI-Suche

KI-Crawler steuern: GPTBot, ClaudeBot, OAI-SearchBot und Co. im Griff

KI-Crawler gibt es in drei Arten: Such-Crawler, die entscheiden, ob Assistenten Sie zitieren können, Trainings-Crawler, die Daten für künftige Modelle sammeln, und Fetcher, die für einen einzelnen Nutzer handeln. So liest jeder die robots.txt, warum Firewalls sie unbemerkt aussperren und wie Sie jedes Zugriffsproblem beheben.

Searvia · 24.10.2026 · Lesezeit: 17 Min.

Kurz gesagt: KI-Crawler gibt es in drei Arten. Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) entscheiden, ob ChatGPT, Claude und Perplexity Ihre Seiten finden und zitieren können. Trainings-Crawler (GPTBot, ClaudeBot, CCBot) und Steuer-Tokens (Google-Extended, Applebot-Extended) entscheiden, ob Ihre Inhalte künftige Modelle trainieren dürfen. Nutzer-Fetcher (ChatGPT-User, Claude-User, Perplexity-User) rufen eine Seite auf, weil eine Person danach gefragt hat. Erlauben Sie die Such-Crawler, wenn Sie in KI-Antworten erscheinen möchten, entscheiden Sie über das Training getrennt und prüfen Sie Ihre Firewall – denn eine CDN-Regel kann alle aussperren, während die robots.txt „allow“ sagt.

Ein Website-Betreiber trägt für GPTBot Disallow: / ein, um aus den Trainingsdaten herauszubleiben, und hält die Sache für erledigt. Gleichzeitig beantwortet der Bot-Schutz des CDN jeden KI-User-Agent mit einem 403, sodass ChatGPT-Suche, Claude und Perplexity die Website gar nicht erst sehen. Oder genau umgekehrt: Die robots.txt sperrt alles, was mit KI zu tun hat, auch die Such-Crawler, die das Unternehmen in Antworten zitiert hätten.

Beide Fehler entstehen, weil „KI-Crawler“ als ein einziges Ding behandelt werden. Das sind sie nicht, und jeder Anbieter dokumentiert seine Bots getrennt. Dieser Leitfaden zeigt, welcher Crawler was tut, welche drei Ebenen entscheiden, ob ein Crawler Ihre Inhalte tatsächlich bekommt, wie unser kostenloser KI-Crawler-Checker sie testet und wie Sie jedes Problem beheben, das er melden kann.

Die drei Arten von KI-Crawlern

Jeder große KI-Anbieter trennt seine Bots mittlerweile nach Zweck. Die folgende Tabelle folgt der jeweils eigenen Dokumentation der Anbieter, Stand Oktober 2026.

Anbieterrobots.txt-TokenArtWas der Anbieter angibtrobots.txt
OpenAIOAI-SearchBotSucheZeigt Websites in der ChatGPT-Suche anWird befolgt; ausgeschlossene Websites „werden nicht in ChatGPT-Suchantworten angezeigt“
OpenAIGPTBotTrainingCrawlt Inhalte, die zum Training von Foundation Models verwendet werden könnenWird befolgt
OpenAIChatGPT-UserNutzer-AbrufRuft eine Seite auf, wenn die Frage eines ChatGPT-Nutzers sie erfordert„robots.txt-Regeln gelten möglicherweise nicht“
AnthropicClaude-SearchBotSucheDurchsucht das Web, um die Qualität der Suchergebnisse zu verbessernWird befolgt
AnthropicClaudeBotTrainingSammelt Inhalte, die zum Training beitragen könntenWird befolgt
AnthropicClaude-UserNutzer-AbrufRuft Seiten ab, wenn ein Claude-Nutzer eine Frage stelltWird befolgt; ist er deaktiviert, wird der Abruf für Nutzeranfragen eingestellt
PerplexityPerplexityBotSucheZeigt Websites in der Perplexity-Suche an und verlinkt sie; nicht für Training genutztWird befolgt
PerplexityPerplexity-UserNutzer-AbrufRuft eine Seite für die Frage eines Nutzers ab„Ignoriert robots.txt-Regeln in der Regel“
GoogleGoogle-ExtendedSteuer-TokenGemini-Training und Grounding; kein eigener User-AgentWird von Googles bestehenden Crawlern gelesen
AppleApplebot-ExtendedSteuer-TokenTraining der Foundation Models von Apple; „crawlt keine Webseiten“Wird von Applebot gelesen
Common CrawlCCBotTraining (offenes Archiv)Offene Webcrawl-Daten, die in Forschung und Datensätzen breit genutzt werdenSperrung über eine robots.txt-Gruppe

Quellen: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.

Drei Details in dieser Dokumentation verändern, wie Sie Regeln schreiben sollten:

Warum der Zugriff für KI-Crawler wichtig ist

Ein Assistent kann nur eine Seite zitieren, die er lesen konnte. Wenn OAI-SearchBot Ihre Preisseite nicht abrufen kann, beantwortet die ChatGPT-Suche die Frage „Was kostet X?“ mit der Seite eines anderen über Sie – etwa eines Resellers, einer alten Bewertung oder des Vergleichs eines Wettbewerbers. Dasselbe gilt für Claude und Perplexity.

Training ist eine eigene Frage, auf die es keine allgemeingültige Antwort gibt. Manche Verlage sperren Trainings-Crawler, um kostenpflichtige Inhalte zu schützen; viele Softwareunternehmen erlauben sie, weil künftige Modelle ihr Produkt kennen sollen. Entscheidend ist, dass die Entscheidung bewusst fällt und die Such-Crawler nicht mitreißt. Unser Leitfaden zur Generative Engine Optimization behandelt, was nach dem Zugriff passiert: wie Assistenten Quellen auswählen und zitieren.

Drei Ebenen entscheiden, ob ein Crawler Ihre Inhalte bekommt

1. robots.txt

Die robots.txt ist das Erste, was ein wohlerzogener Crawler liest. Nach RFC 9309 sucht ein Crawler die Gruppe, deren User-agent zu seinem Produkt-Token passt (ohne Beachtung der Groß- und Kleinschreibung), fasst alle passenden Gruppen zusammen und fällt nur dann auf die Gruppe * zurück, wenn keine Gruppe ihn nennt. Es gewinnt die spezifischste Regel, also die mit dem längsten passenden Pfad; sind Allow- und Disallow-Regel gleich spezifisch, soll Allow gelten.

Genau dieser Rückfall ist die Quelle der meisten Überraschungen. Eine Datei mit nur diesem Inhalt:

User-agent: *
Disallow: /

sperrt alle KI-Crawler, Googlebot und Bingbot gemeinsam. Eine Datei mit einer GPTBot-Gruppe und einer *-Gruppe gibt GPTBot nur seine eigene Gruppe; die *-Regeln ignoriert er vollständig, was wichtig ist, wenn Sie dort wichtige Disallows eingetragen haben.

2. Firewall, CDN oder Hoster

Eine Anfrage kann abgewiesen werden, bevor die robots.txt überhaupt gelesen wird. Bot-Schutzprodukte, Web Application Firewalls und manche Hoster prüfen User-Agents und antworten mit 403, zeigen eine Challenge-Seite oder drosseln per 429. Google weist darauf hin, dass 429- und 5xx-Antworten seine Crawler bremsen (HTTP status codes and Google Search); KI-Crawler stoßen auf dieselben Hürden.

Am häufigsten ist Cloudflare. Die ursprüngliche Einstellung „Block AI bots“, die laut Cloudflare-Dokumentation am 15. September 2026 ausläuft, sperrte verifizierte Bots, die als Crawler für KI-Training eingestuft sind. Sie wurde durch KI-Bot-Traffic-Richtlinien mit drei Voreinstellungen ersetzt: Search, Agent und Training. Jede lässt sich erlauben, auf allen Seiten sperren oder nur auf Seiten sperren, die Werbung zeigen (Cloudflare changelog). Für neue Domains ab dem 15. September 2026 sperren Cloudflares Standardwerte Training- und Agent-Bots auf Seiten mit Werbung, während Search erlaubt bleibt; zudem weist Cloudflare darauf hin, dass Mehrzweck-Crawler, die Suche und Training verbinden, von der Training-Sperre betroffen sind. Cloudflares Beispiele für die Agent-Voreinstellung umfassen Chat-Fetch-Bots – prüfen Sie diese Einstellung also, wenn nutzerausgelöste Abrufe wie ChatGPT-User funktionieren sollen.

3. Rendering

Selbst wenn ein Crawler eine 200-Antwort erhält, führt er Ihr JavaScript womöglich nicht aus. Vercel analysierte im Dezember 2024 den KI-Crawler-Traffic in seinem Netzwerk und berichtete, dass „derzeit keiner der großen KI-Crawler JavaScript rendert“; genannt wurden GPTBot, ClaudeBot und PerplexityBot (The rise of the AI crawler). Wird Ihr Text von einer clientseitigen App eingefügt, erhalten diese Crawler eine leere Hülle.

So funktioniert der Searvia KI-Crawler-Checker

Der KI-Crawler-Checker nutzt dieselbe Engine wie unser Website-SEO-Checker: Sie geben eine Domain oder eine Seitenadresse ein, er liest diese Seite und die Dateien der Website drumherum und führt in etwa 20 Sekunden 38 Prüfungen durch. Die drei Prüfungen, um die es in diesem Tool geht, stehen zuerst in einem hervorgehobenen Kasten, die erste ist aufgeklappt. Alles Folgende beschreibt, was der Code tatsächlich tut.

Welche Seite. Der Checker prüft genau die eingegebene Adresse oder die Startseite, wenn Sie nur eine Domain eingeben; robots.txt und andere Site-Dateien werden immer von der Domain gelesen. Er versucht zuerst https:// und fällt auf http:// zurück, folgt bis zu sechs Weiterleitungen und identifiziert sich beim normalen Aufruf als SearviaBot/1.0.

Zugriff für KI-Crawler (hohe Priorität). Er lädt /robots.txt vom endgültigen Host herunter. Ein 404 oder ein anderer 4xx bedeutet, dass es keine Datei gibt, also ist alles erlaubt. Ein 5xx, ein 429 oder ein Verbindungsfehler bedeutet, dass die Datei nicht erreichbar ist: Dann steht jedes Token auf „Unbekannt“ und die Prüfung schlägt fehl, weil RFC 9309 Crawler anweist, die Website als vollständig gesperrt zu behandeln. Ein 200, das eine HTML-Seite liefert, ist keine gültige robots.txt. Für jedes von 10 Crawler-Tokens und 2 Trainings-Opt-out-Tokens wählt er die Gruppe, die das Token nennt, oder die Gruppe *, falls keine es tut, und stellt eine Frage: Darf dieses Token den Pfad der eingegebenen Seite abrufen (/ für die Startseite)? Er nutzt die Regel des längsten Treffers, bei Gleichstand gewinnt Allow, und versteht die Wildcards * und $, Kommentare, mehrere User-agent-Zeilen mit gemeinsamem Regelsatz sowie wiederholte Gruppen für dasselbe Token.

Im Bericht als „KI-Suche“ bezeichnetIm Bericht als „KI-Training“ bezeichnetAls Opt-out-Token bezeichnet, kein Crawler
OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot, BingbotGPTBot, ClaudeBot, CCBotGoogle-Extended, Applebot-Extended

Googlebot und Bingbot stehen in der Such-Spalte, weil Googles KI-Funktionen über Googlebot laufen und Microsoft Copilot seine Antworten auf Bing stützt. Google-Extended und Applebot-Extended besuchen Ihre Website nie; eine Regel für sie steuert nur, ob Inhalte, die Googlebot oder Applebot bereits gecrawlt haben, für KI-Training verwendet werden dürfen. Jede Zeile zeigt Erlaubt, Gesperrt oder Unbekannt.

Der Firewall-Test. Danach ruft der Checker dieselbe Seite noch einmal mit dem User-Agent auf, den OpenAI für GPTBot dokumentiert (GPTBot/1.4), ohne Weiterleitungen zu folgen. War der normale Aufruf erfolgreich (Status unter 400), diese Anfrage aber wird mit 401, 403, 429 oder 503 beantwortet, warnt der Bericht, dass Anfragen, die sich als GPTBot ausgeben, abgewiesen wurden. Die Anfrage stammt nicht von OpenAIs IP-Adressen, daher kann der echte Crawler anders behandelt werden.

Inhalt ohne JavaScript (mittlere Priorität). Er zählt die Wörter des Haupttexts im rohen HTML, ohne Menüs und Footer. Sind es weniger als 80 Wörter und hat die Seite entweder einen leeren App-Container (<div id="root">, app, __next, __nuxt oder svelte) oder lädt drei oder mehr externe Skripte, warnt er, dass Crawler ohne JavaScript-Ausführung eine leere Seite sehen könnten.

robots.txt (mittlere Priorität). Die dritte fokussierte Prüfung meldet, ob eine robots.txt existiert, ob sie mit einem Serverfehler oder einer HTML-Seite antwortet und ob sie Googlebot von der Startseite oder von der eingegebenen Seite aussperrt. Unser robots.txt-Leitfaden behandelt diese Datei ausführlich.

Statusregeln. Der Zugriff für KI-Crawler schlägt fehl, wenn eines der sieben Such-Tokens gesperrt ist oder die robots.txt nicht erreichbar ist. Ein abgewiesener Firewall-Test ergibt eine Warnung. Gesperrte Trainings-Crawler und Opt-out-Tokens werden aufgelistet, die Prüfung gilt aber weiterhin als bestanden, weil das eine legitime Entscheidung ist.

Was der Checker nicht testet

Wer die Grenzen kennt, interpretiert ein grünes Ergebnis nicht über:

Das Ergebnis lesen

Meldung im BerichtBedeutungWas zu tun ist
Alle KI-Crawler sind erlaubt.Für die Seite ist kein Such- oder Trainings-Token gesperrt, und der Firewall-Test wurde bestandenNichts, es sei denn, Sie möchten dem Training widersprechen
KI-Such-Crawler sind erlaubt; N KI-Trainings-Crawler oder Opt-out-Tokens sind gesperrt (Ihre Entscheidung).Der Suchzugriff ist in Ordnung; das Training ist eingeschränktBestätigen, dass die Trainingssperre gewollt ist
robots.txt sperrt N KI-Such-Crawler.Mindestens ein Such- oder Nutzer-Abruf-Token kann die Seite nicht lesenrobots.txt-Gruppen korrigieren (Schritt 1 unten)
robots.txt konnte nicht gelesen werden, daher behandeln Crawler die ganze Website als gesperrt.Die robots.txt antwortete mit 5xx oder 429 oder gar nichtServerantwort der Datei korrigieren (Schritt 5)
Anfragen, die sich als GPTBot ausgeben, wurden mit Status 403 abgewiesen. …Die als GPTBot benannte Anfrage wurde abgewiesen, ein normaler Aufruf funktionierte; ein starker Hinweis, kein BeweisBot-Schutz und WAF-Regeln prüfen (Schritt 2)
Vor der Ausführung von JavaScript sind nur N Wörter sichtbar.Das rohe HTML ist fast leerWichtige Seiten serverseitig rendern (Schritt 4)

Die Tabelle unter der Zeile zum KI-Crawler zeigt jedes Token als Erlaubt, Gesperrt oder Unbekannt, jeweils mit seiner Bezeichnung. Die Gesamtnote von A+ bis F umfasst alle 38 Prüfungen, gewichtet nach Priorität: Prüfungen mit hoher Priorität zählen 10 Punkte, mittlere 5 und niedrige 2, eine Warnung bringt die Hälfte, rein informative Ergebnisse bleiben außen vor. „Zuerst beheben“ listet bis zu acht Probleme auf, die mit hoher Priorität zuerst. Jede Zeile zeigt außerdem, welcher Anteil der geprüften Websites dieselbe Prüfung besteht – daran erkennen Sie, ob ein Problem selten oder verbreitet ist.

So beheben Sie jedes vom Checker gemeldete Problem

1. robots.txt sperrt KI-Such-Crawler

Öffnen Sie https://yourdomain.com/robots.txt und finden Sie für jedes gesperrte Token die Gruppe, die gilt: eine Gruppe, die es nennt, sonst *. Legen Sie dann Ihre Richtlinie fest und schreiben Sie sie ausdrücklich auf. Diese Datei erlaubt KI-Suche und Nutzer-Abrufe, sperrt das Training und behält die üblichen Regeln für alle anderen bei:

# KI-Suche und nutzerausgelöste Abrufe
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Modelltraining
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Alle anderen, einschließlich Googlebot und Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Schritt für Schritt:

2. Die Firewall hat den Crawler abgewiesen

Sind Sie sicher, dass Ihre Firewall Bots per IP verifiziert und die Warnung von unserer nicht verifizierten Anfrage stammt, bestätigen Sie es anhand der Logs: Echte Anfragen aus OpenAIs Bereichen sollten ein 200 erhalten.

3. Trainings-Crawler sind gesperrt

Das wird gemeldet, aber nicht als Fehler gezählt. Prüfen Sie zwei Dinge. Erstens, dass die Sperre Ihrem Willen entspricht: Das Sperren von Google-Extended nimmt Ihre Inhalte auch aus dem Grounding in den Gemini-Apps, und das Sperren von Applebot-Extended betrifft nur das Training, nicht Apples Suchfunktionen. Zweitens, dass die Sperre in einer benannten Gruppe steht und nicht in *, wo sie auch Such-Crawler träfe.

4. Vor der Ausführung von JavaScript sind nur wenige Wörter sichtbar

5. robots.txt fehlt oder sperrt Google

Der Checker unterscheidet die Fälle. „Es wurde keine robots.txt-Datei gefunden“ bedeutet ein 404 oder einen anderen 4xx und ist harmlos: Crawler behandeln das als „keine Einschränkungen“. „robots.txt antwortet mit Status N“ oder „konnte nicht erreicht werden“ bedeutet ein 5xx, ein 429 oder einen Timeout und ist ernst: Nach RFC 9309 muss ein Crawler dann von einem vollständigen Disallow ausgehen, und Google stellt das Crawling für die ersten 12 Stunden ein (Googles robots.txt-Spezifikation). Korrigieren Sie den Server, sodass /robots.txt mit 200 und reinem Text antwortet, oder mit 404, wenn Sie keine Regeln brauchen, und bestätigen Sie es mit curl -I https://yourdomain.com/robots.txt. Auch eine robots.txt, die eine HTML-Seite liefert, wird markiert. Sperrt die robots.txt Googlebot von /, beheben Sie das zuerst: Es sperrt auch Googles KI-Funktionen und über Apples Rückfall auch Applebot.

Crawler in den Logs verifizieren

Jeder kann eine Anfrage senden, die „GPTBot“ sagt. Bevor Sie einen Bot durch die Firewall lassen oder ihm Last anlasten, verifizieren Sie ihn:

Praxisbeispiel (hypothetisch)

Das Folgende ist ein hypothetisches Beispiel, keine echten Daten. Larkspur Analytics, ein erfundenes B2B-Dashboard-Tool, stellt fest, dass ChatGPT seine Preise anhand einer Bewertungsseite von 2024 beschreibt. Der KI-Crawler-Checker meldet:

PrüfungErgebnis
Zugriff für KI-CrawlerWarnung: „Anfragen, die sich als GPTBot ausgeben, wurden mit Status 403 abgewiesen“
KI-Crawler-ZeilenGPTBot, ClaudeBot, CCBot gesperrt (Training); alle Such-Tokens erlaubt
Inhalt ohne JavaScriptWarnung: 41 Wörter vor der Ausführung von JavaScript sichtbar
robots.txtBestanden

Die robots.txt war in Ordnung; das Team hatte das Training absichtlich gesperrt. Das 403 stammte von einer Bot-Schutz-Regel, die ein Dienstleister während eines Scraping-Vorfalls aktiviert hatte und die auf jeden User-Agent mit „bot“ passte. Die Korrekturen:

Eine 20-Minuten-Checkliste für KI-Crawler

So hilft Searvia bei KI-Crawlern

Der kostenlose KI-Crawler-Checker liefert in einem Durchlauf das robots.txt-Bild für 10 KI- und Such-Crawler und 2 Trainings-Opt-out-Tokens, einen Firewall-Test und die JavaScript-Prüfung, dazu einen teilbaren Bericht. Der umfassendere Checker für KI-Suchbereitschaft ergänzt llms.txt, Identitäts-Markup, Frage-Antwort-Inhalte und Aktualität. Läuft Ihre Website auf Cloudflare, verbinden Sie Cloudflare mit einem schreibgeschützten Token: Der Tab „KI-Crawler“ Ihres Website-Projekts zeigt, welche KI-Crawler wirklich zu Besuch kommen, wie oft und welche Seiten sie lesen – gefälschte Crawler sind herausgefiltert. Zugriff ist nur der erste Schritt; das Tracking der KI-Sichtbarkeit prüft anschließend jede Woche, ob Assistenten wie ChatGPT, Gemini und Perplexity Sie tatsächlich erwähnen und zitieren. Starten Sie mit dem kostenlosen Tarif auf der Preisseite.

Häufig gestellte Fragen

Was sind KI-Crawler?
KI-Crawler sind automatisierte Clients von KI-Unternehmen, die Webseiten abrufen. Manche indexieren Seiten, damit Assistenten sie in Antworten zitieren können (OAI-SearchBot, Claude-SearchBot, PerplexityBot), manche sammeln Text, der künftige Modelle trainieren kann (GPTBot, ClaudeBot, CCBot), und manche rufen eine Seite nur ab, wenn ein Nutzer eine Frage stellt (ChatGPT-User, Claude-User, Perplexity-User). Jeder hat ein eigenes User-Agent-Token, das Sie in der robots.txt ansprechen können.
Entfernt das Sperren von GPTBot meine Website aus der ChatGPT-Suche?
Nein. OpenAI setzt getrennte Crawler ein: GPTBot sammelt Inhalte, die zum Training seiner Modelle verwendet werden können, während OAI-SearchBot Websites in der ChatGPT-Suche anzeigt. Laut OpenAI werden Websites, die OAI-SearchBot ausgeschlossen haben, nicht in ChatGPT-Suchantworten angezeigt; das alleinige Sperren von GPTBot ist dagegen eine Trainingsentscheidung und hat keine Auswirkung auf die Suche.
Sollte ich ClaudeBot sperren?
Das hängt davon ab, ob Ihre öffentlichen Inhalte für das Training verwendet werden dürfen. Anthropic gibt an, dass ClaudeBot Inhalte sammelt, die zum Training beitragen könnten, und dass das Sperren Ihre künftigen Materialien von Trainingsdatensätzen ausschließt. Die Sichtbarkeit in der Claude-Suche hängt von Claude-SearchBot und Claude-User ab, die Sie in der robots.txt getrennt erlauben können.
Beachten KI-Crawler die robots.txt?
Die Such- und Trainings-Crawler von OpenAI, Anthropic, Perplexity und Common Crawl sind dokumentiert so, dass sie der robots.txt folgen. Nutzerausgelöste Fetcher sind anders: OpenAI sagt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, und Perplexity sagt, dass Perplexity-User die robots.txt in der Regel ignoriert, weil ein Nutzer die Seite angefordert hat. Anthropic sagt, dass Claude-User in der robots.txt deaktiviert werden kann. Die robots.txt ist eine Bitte, keine Zugriffskontrolle.
Woher weiß ich, ob meine Firewall KI-Crawler sperrt?
Schauen Sie, was die Crawler tatsächlich erhalten. Unser kostenloser KI-Crawler-Checker sendet eine Anfrage, die sich als GPTBot ausgibt, und warnt bei einer Antwort mit 401, 403, 429 oder 503; da diese Anfrage nicht von OpenAIs Adressen kommt, ist sie ein starker Hinweis, aber kein Beweis. Für einen Beweis prüfen Sie Ihre Server- oder CDN-Logs auf verifizierte Anfragen aus den veröffentlichten IP-Bereichen der Anbieter oder verbinden Cloudflare mit Searvia, um zu sehen, welche KI-Crawler zu Besuch kommen und welche Seiten sie lesen.

Quellen

  1. Overview of OpenAI Crawlers – OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Center
  3. Perplexity Crawlers – Perplexity
  4. Google's common crawlers – Google Search Central
  5. About Applebot – Apple Support
  6. CCBot – Common Crawl
  7. AI features and your website – Google Search Central
  8. RFC 9309: Robots Exclusion Protocol – IETF
  9. How Google interprets the robots.txt specification – Google Search Central
  10. Verifying Googlebot and other Google crawlers – Google Search Central
  11. Block AI bots – Cloudflare Docs
  12. New options to manage AI traffic – Cloudflare changelog
  13. The rise of the AI crawler – Vercel
  14. How HTTP status codes, and network and DNS errors affect Google Search – Google Search Central

Weiterlesen