Blog · Yapay Zekâ Araması

Yapay Zeka Tarayıcıları: GPTBot, ClaudeBot, OAI-SearchBot ve Diğerleri Nasıl Kontrol Edilir

Yapay zeka tarayıcıları üç türdür: asistanların sizi kaynak gösterip gösteremeyeceğini belirleyen arama tarayıcıları, gelecekteki modeller için veri toplayan eğitim tarayıcıları ve tek bir kullanıcı adına çalışan getiriciler. Her birinin robots.txt'yi nasıl okuduğunu, güvenlik duvarlarının neden sessizce engellediğini ve her erişim sorununu nasıl çözeceğinizi anlatıyoruz.

Searvia · 24.10.2026 · 19 dk okuma

Kısaca: Yapay zeka tarayıcıları üç türdür. Arama tarayıcıları (OAI-SearchBot, Claude-SearchBot, PerplexityBot), ChatGPT, Claude ve Perplexity'nin sayfalarınızı bulup bulamayacağını ve kaynak gösterip gösteremeyeceğini belirler. Eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot) ile kontrol token'ları (Google-Extended, Applebot-Extended) içeriğinizin gelecekteki modellerin eğitiminde kullanılıp kullanılamayacağına karar verir. Kullanıcı getiricileri (ChatGPT-User, Claude-User, Perplexity-User) ise bir kişi o sayfayı sorduğu için ziyaret eder. Yapay zeka yanıtlarında yer almak istiyorsanız arama tarayıcılarına izin verin, eğitim kararını ayrıca verin ve güvenlik duvarınızı kontrol edin; çünkü robots.txt "allow" derken bir CDN kuralı hepsini engelleyebilir.

Bir site sahibi eğitim verilerinin dışında kalmak için GPTBot'a Disallow: / ekler ve işin bittiğini düşünür. Oysa CDN'in bot korumasi tüm yapay zeka user agent'larına 403 döndürür; böylece ChatGPT arama, Claude ve Perplexity siteyi hiç göremez. Ya da tam tersi: robots.txt yapay zekayla ilgili her şeyi engeller ve şirketi yanıtlarda kaynak gösterecek arama tarayıcılarını da dışarıda bırakır.

İki hata da "yapay zeka tarayıcılarını" tek bir şey sanmaktan doğar. Oysa öyle değiller ve her sağlayıcı botlarını ayrı ayrı belgeliyor. Bu rehberde hangi tarayıcının ne yaptığını, bir tarayıcının içeriğinize gerçekten ulaşıp ulaşmayacağını belirleyen üç katmanı, ücretsiz AI crawler checker aracımızın bunları nasıl test ettiğini ve raporlanabilecek her sorunu nasıl çözeceğinizi anlatıyoruz.

Üç tür yapay zeka tarayıcısı

Büyük yapay zeka sağlayıcılarının hepsi artık botlarını amaçlarına göre ayırıyor. Aşağıdaki tablo, Ekim 2026 itibarıyla her sağlayıcının kendi belgelerini izler.

Sağlayıcırobots.txt token'ıTürSağlayıcıya göre ne yaparrobots.txt
OpenAIOAI-SearchBotAramaWeb sitelerini ChatGPT aramasında gösterirUyar; vazgeçen siteler "ChatGPT arama yanıtlarında gösterilmez"
OpenAIGPTBotEğitimTemel modellerin eğitiminde kullanılabilecek içeriği tararUyar
OpenAIChatGPT-UserKullanıcı getiriciBir ChatGPT kullanıcısının sorusu gerektirdiğinde sayfayı ziyaret eder"robots.txt kuralları geçerli olmayabilir"
AnthropicClaude-SearchBotAramaArama sonucu kalitesini artırmak için web'de gezinirUyar
AnthropicClaudeBotEğitimEğitime katkıda bulunabilecek içeriği toplarUyar
AnthropicClaude-UserKullanıcı getiriciBir Claude kullanıcısı soru sorduğunda sayfaları getirirUyar; devre dışı bırakmak kullanıcı sorguları için getirmeyi durdurur
PerplexityPerplexityBotAramaWeb sitelerini Perplexity aramasında gösterir ve bağlantılar; eğitim için kullanılmazUyar
PerplexityPerplexity-UserKullanıcı getiriciKullanıcının sorusu için sayfayı getirir"Genellikle robots.txt kurallarını yok sayar"
GoogleGoogle-ExtendedKontrol token'ıGemini eğitimi ve grounding; ayrı user agent yokGoogle'ın mevcut tarayıcıları üzerinden okunur
AppleApplebot-ExtendedKontrol token'ıApple'ın temel modellerinin eğitimi; "web sayfalarını taramaz"Applebot tarafından okunur
Common CrawlCCBotEğitim (açık arşiv)Araştırma ve veri setlerinde yaygın kullanılan açık web tarama verisiBir robots.txt grubuyla engellenir

Kaynaklar: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.

Bu belgelerdeki üç ayrıntı, kural yazma biçiminizi değiştirmeli:

Yapay zeka tarayıcı erişimi neden önemli?

Bir asistan ancak okuyabildiği sayfayı kaynak gösterebilir. OAI-SearchBot fiyat sayfanızı getiremezse ChatGPT arama, "X ne kadar?" sorusunu sizinle ilgili başkasının sayfasından yanıtlar; bu bir bayi, eski bir inceleme ya da rakibin karşılaştırması olabilir. Aynısı Claude ve Perplexity için de geçerli.

Eğitim ise tek bir doğru yanıtı olmayan ayrı bir sorudur. Bazı yayıncılar ücretli içeriği korumak için eğitim tarayıcılarını engeller; birçok yazılım şirketi ise gelecekteki modellerin ürünlerini tanımasını istediği için izin verir. Önemli olan kararın bilinçli olması ve arama tarayıcılarını da beraberinde götürmemesidir. Generative engine optimization rehberimiz erişimden sonra olanları, yani asistanların kaynakları nasıl seçip alıntıladığını anlatıyor.

Bir tarayıcının içeriğinize ulaşıp ulaşmayacağını üç katman belirler

1. robots.txt

robots.txt, düzgün davranan bir tarayıcının okuduğu ilk şeydir. RFC 9309 uyarınca tarayıcı, User-agent değeri kendi ürün token'ıyla eşleşen grubu (büyük/küçük harfe duyarsız) arar, eşleşen tüm grupları birleştirir ve hiçbir grup onu adıyla anmıyorsa yalnızca * grubuna döner. En belirgin kural, yani en uzun eşleşen yola sahip olan kazanır; izin ve engelleme kuralı eşit derecede belirginse izin kullanılmalıdır.

Sürprizlerin çoğu bu geri dönüşten çıkar. Sadece şunu içeren bir dosya:

User-agent: *
Disallow: /

tüm yapay zeka tarayıcılarını, Googlebot'u ve Bingbot'u birlikte engeller. Bir GPTBot grubu ve bir * grubu olan dosyada GPTBot yalnızca kendi grubunu alır; * kurallarını tamamen yok sayar. Önemli engellemeleri orada tuttuysanız bu çok önemlidir.

2. Güvenlik duvarı, CDN veya hosting

Bir istek, robots.txt'ye bakılmadan önce reddedilebilir. Bot koruma ürünleri, web uygulaması güvenlik duvarları (WAF) ve bazı hosting sağlayıcıları user agent'ları eşleştirip 403 döndürür, doğrulama sayfası gösterir ya da 429 ile hız sınırı uygular. Google, 429 ve 5xx yanıtlarının tarayıcılarını yavaşlattığını belirtiyor (HTTP status codes and Google Search); yapay zeka tarayıcıları da aynı duvarlarla karşılaşır.

En yaygın örnek Cloudflare'dir. Cloudflare belgelerinin 15 Eylül 2026'da kullanımdan kalkacağını belirttiği orijinal "Block AI bots" ayarı, yapay zeka eğitimi için tarama yapan olarak sınıflandırılan doğrulanmış botları engelliyordu. Yerini üç hazır ayarlı AI bot trafik politikaları aldı: Search, Agent ve Training. Her biri izin verilebilir, tüm sayfalarda engellenebilir ya da yalnızca reklam gösteren sayfalarda engellenebilir (Cloudflare changelog). 15 Eylül 2026'dan itibaren yeni alan adlarında Cloudflare'in varsayılanları, reklam gösteren sayfalarda Training ve Agent botlarını engellerken Search'e izin verir; Cloudflare ayrıca arama ve eğitimi birleştiren çok amaçlı tarayıcıların eğitim engelinden etkilendiğini belirtiyor. Cloudflare'in Agent ön ayarı örnekleri arasında sohbet getirici botlar da var; bu yüzden ChatGPT-User gibi kullanıcı kaynaklı getirmelerin çalışmasını istiyorsanız bu ayarı kontrol edin.

3. Render (JavaScript işleme)

Bir tarayıcı 200 yanıtı alsa bile JavaScript'inizi çalıştırmayabilir. Vercel, Aralık 2024'te ağındaki yapay zeka tarayıcı trafiğini analiz etti ve GPTBot, ClaudeBot ve PerplexityBot'u sayarak "büyük yapay zeka tarayıcılarının hiçbiri şu anda JavaScript render etmiyor" sonucunu bildirdi (The rise of the AI crawler). Metniniz istemci tarafı bir uygulamayla enjekte ediliyorsa bu tarayıcılar boş bir kabuk alır.

Searvia AI crawler checker nasıl çalışır?

AI crawler checker, website SEO checker aracımızla aynı motoru çalıştırır: bir alan adı ya da sayfa adresi girersiniz, araç o sayfayı ve çevresindeki site dosyalarını okur ve yaklaşık 20 saniyede 38 kontrol yapar. Bu aracın konusu olan üç kontrol, ilki açık olacak şekilde öne çıkarılmış bir kutuda en üstte yer alır. Aşağıda anlatılanların hepsi kodun gerçekte yaptığı şeydir.

Hangi sayfa. Denetleyici, girdiğiniz adresi ya da yalnızca alan adı girdiyseniz ana sayfayı denetler; robots.txt ve diğer site dosyaları her zaman alan adından okunur. Önce https:// dener, olmazsa http://'ye döner, en fazla altı yönlendirmeyi izler ve normal ziyarette kendini SearviaBot/1.0 olarak tanıtır.

AI crawler erişimi (yüksek öncelik). Son hosttan /robots.txt dosyasını indirir. 404 ya da başka bir 4xx, dosya olmadığı anlamına gelir; yani her şeye izin verilir. 5xx, 429 ya da bağlantı hatası dosyaya ulaşılamadığı anlamına gelir: bu durumda tüm token'lar "Unknown" görünür ve kontrol başarısız olur, çünkü RFC 9309 tarayıcılara siteyi tamamen engellenmiş saymalarını söyler. HTML sayfası döndüren bir 200 geçerli bir robots.txt değildir. 10 tarayıcı token'ı ve 2 eğitim opt-out token'ı için, token'ı adıyla anan grubu, yoksa * grubunu seçer ve tek bir soru sorar: bu token, girdiğiniz sayfanın yolunu (ana sayfa için /) getirebilir mi? En uzun eşleşme kuralını kullanır, eşitlikte izin kazanır; * ve $ joker karakterlerini, yorumları, aynı kural setini paylaşan birden fazla User-agent satırını ve aynı token için tekrarlanan grupları anlar.

Raporda "AI search" etiketliRaporda "AI training" etiketliTarayıcı değil, opt-out token'ı olarak etiketli
OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot, BingbotGPTBot, ClaudeBot, CCBotGoogle-Extended, Applebot-Extended

Googlebot ve Bingbot arama sütunundadır, çünkü Google'ın yapay zeka özellikleri Googlebot üzerinde çalışır ve Microsoft Copilot yanıtlarını Bing'e dayandırır. Google-Extended ve Applebot-Extended sitenizi hiç ziyaret etmez; onlara yazılan kural yalnızca Googlebot ya da Applebot'un zaten taradığı içeriğin yapay zeka eğitiminde kullanılıp kullanılamayacağını denetler. Her satır Allowed, Blocked veya Unknown gösterir.

Güvenlik duvarı testi. Ardından denetleyici aynı sayfayı bir kez daha, OpenAI'ın GPTBot için belgelediği user agent ile (GPTBot/1.4) ve yönlendirmeleri izlemeden ister. Normal ziyaret başarılı olduysa (durum 400'ün altında) ama bu istek 401, 403, 429 veya 503 alırsa rapor, GPTBot olarak tanıtılan isteklerin reddedildiği uyarısını verir. İstek OpenAI'ın IP adreslerinden gelmediği için gerçek tarayıcıya farklı davranılıyor olabilir.

JavaScript olmadan içerik (orta öncelik). Ham HTML'deki ana metnin kelimelerini sayar; menüleri ve alt bilgileri hariç tutar. 80'den az kelime varsa ve sayfada ya boş bir uygulama kapsayıcısı (<div id="root">, app, __next, __nuxt ya da svelte) ya da üç veya daha fazla harici script yükleniyorsa, JavaScript çalıştırmayan tarayıcıların boş bir sayfa görebileceği uyarısını verir.

robots.txt (orta öncelik). Odaklanan üçüncü kontrol, robots.txt'nin var olup olmadığını, sunucu hatası ya da HTML sayfası döndürüp döndürmediğini ve Googlebot'u ana sayfadan veya girdiğiniz sayfadan engelleyip engellemediğini raporlar. robots.txt rehberimiz bu dosyayı ayrıntılı anlatıyor.

Durum kuralları. Yedi arama token'ından herhangi biri engelliyse ya da robots.txt'ye ulaşılamıyorsa AI crawler erişimi başarısız olur. Reddedilen bir güvenlik duvarı testi uyarı verir. Engellenen eğitim tarayıcıları ve opt-out token'ları listelenir ama meşru bir tercih olduğu için kontrol yine de geçer.

Denetleyicinin test etmedikleri

Sınırları bilmek, yeşil bir sonucu fazla yorumlamanızı önler:

Sonucu okumak

Raporda görünen mesajAnlamıNe yapmalı
All AI crawlers are allowed.Sayfa için hiçbir arama ya da eğitim token'ı engelli değil ve güvenlik duvarı testi geçtiEğitimden vazgeçmek istemiyorsanız bir şey yapmayın
AI search crawlers are allowed; N AI training crawlers or opt-out tokens are blocked (your choice).Arama erişimi sorunsuz; eğitim kısıtlıEğitim engelinin bilinçli olduğunu doğrulayın
robots.txt blocks N AI search crawlers.En az bir arama ya da kullanıcı getirici token'ı sayfayı okuyamıyorrobots.txt gruplarını düzeltin (aşağıda 1. adım)
robots.txt could not be read, so crawlers treat the whole site as blocked.robots.txt 5xx ya da 429 döndürdü veya yanıt vermediDosyanın sunucu yanıtını düzeltin (5. adım)
Requests identifying as GPTBot were refused with status 403. …GPTBot adlı istek reddedildi, normal ziyaret çalıştı; güçlü bir ipucu, kanıt değilBot koruması ve WAF kurallarını kontrol edin (2. adım)
Only N words are visible before JavaScript runs.Ham HTML neredeyse boşÖnemli sayfaları sunucuda render edin (4. adım)

AI crawler satırının altındaki tablo her token'ı etiketiyle birlikte Allowed, Blocked veya Unknown olarak gösterir. A+'dan F'ye genel not, önceliğe göre ağırlıklandırılmış 38 kontrolün tümünü kapsar: yüksek öncelikli kontroller 10 puan, orta 5, düşük 2 puan sayılır, uyarı yarım puan kazandırır, bilgilendirme sonuçları hesaba katılmaz. "Fix these first" bölümü, yüksek öncelikliler önce olmak üzere en fazla sekiz sorunu listeler. Her satır ayrıca denetlenen sitelerin yüzde kaçının aynı kontrolü geçtiğini gösterir; bu da sorunun nadir mi yaygın mı olduğunu anlatır.

Raporlanan her sorun nasıl çözülür

1. robots.txt yapay zeka arama tarayıcılarını engelliyor

https://yourdomain.com/robots.txt dosyasını açın ve engellenen her token için geçerli grubu bulun: token'ı adıyla anan grup, yoksa *. Sonra politikanıza karar verin ve açıkça yazın. Aşağıdaki dosya yapay zeka aramasına ve kullanıcı getirmelerine izin verir, eğitimi engeller ve diğer herkes için olağan kuralları korur:

# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Adım adım:

2. Güvenlik duvarı tarayıcıyı geri çevirdi

Güvenlik duvarınızın botları IP ile doğruladığından eminseniz ve uyarı bizim doğrulanmamış isteğimizden geliyorsa loglarla teyit edin: OpenAI aralıklarından gelen gerçek istekler 200 almalıdır.

3. Eğitim tarayıcıları engelli

Bu raporlanır ama başarısızlık sayılmaz. İki şeyi kontrol edin. Birincisi, engelin istediğiniz şey olması: Google-Extended'ı engellemek içeriğinizi Gemini uygulamalarındaki grounding'den de çıkarır; Applebot-Extended'ı engellemek ise yalnızca eğitimi etkiler, Apple'ın arama özelliklerini etkilemez. İkincisi, engelin * içinde değil adı anılan bir grupta olması; * içinde arama tarayıcılarını da yakalar.

4. JavaScript çalışmadan yalnızca birkaç kelime görünüyor

5. robots.txt yok ya da Google'ı engelliyor

Denetleyici bu durumları birbirinden ayırır. "No robots.txt file was found" 404 ya da başka bir 4xx demektir ve zararsızdır: tarayıcılar bunu "kısıtlama yok" olarak yorumlar. "robots.txt answers with status N" ya da "could not be reached" ise 5xx, 429 ya da zaman aşımı demektir ve ciddidir: RFC 9309 tarayıcının bu durumda tam engel varsaymasını söyler ve Google ilk 12 saat boyunca taramayı durdurur (Google'ın robots.txt spesifikasyonu). Sunucuyu, /robots.txt düz metinle 200 (kural gerekmiyorsa 404) dönecek şekilde düzeltin ve curl -I https://yourdomain.com/robots.txt ile doğrulayın. HTML sayfası döndüren robots.txt de işaretlenir. robots.txt Googlebot'u / yolundan engelliyorsa önce bunu düzeltin: bu, Google'ın yapay zeka özelliklerini ve Apple'ın geri dönüşü üzerinden Applebot'u da engeller.

Tarayıcıları loglarınızda doğrulayın

Herkes "GPTBot" diyen bir istek gönderebilir. Bir botu güvenlik duvarından geçirmeden ya da yük için suçlamadan önce doğrulayın:

Örnek uygulama (varsayımsal)

Aşağıdaki örnek varsayımsaldır, gerçek veri değildir. Uydurma bir B2B dashboard aracı olan Larkspur Analytics, ChatGPT'nin fiyatlarını 2024 tarihli bir inceleme sitesinden anlattığını fark eder. AI crawler checker şunu raporlar:

KontrolSonuç
AI crawler erişimiUyarı: "Requests identifying as GPTBot were refused with status 403"
AI crawler satırlarıGPTBot, ClaudeBot, CCBot engelli (eğitim); tüm arama token'ları izinli
JavaScript olmadan içerikUyarı: JavaScript çalışmadan 41 kelime görünüyor
robots.txtGeçti

robots.txt sorunsuzdu; ekip eğitimi bilerek engellemişti. 403, bir yüklenicinin kazıma (scraping) olayı sırasında etkinleştirdiği ve "bot" içeren her user agent'la eşleşen bir bot koruma kuralından geliyordu. Düzeltmeler:

20 dakikalık yapay zeka tarayıcı kontrol listesi

Searvia yapay zeka tarayıcılarında nasıl yardımcı olur?

Ücretsiz AI crawler checker, 10 yapay zeka ve arama tarayıcısı ile 2 eğitim opt-out token'ı için robots.txt görünümünü, bir güvenlik duvarı testini ve JavaScript kontrolünü tek çalıştırmada, paylaşılabilir bir raporla sunar. Daha kapsamlı AI search readiness checker llms.txt, kimlik işaretlemesi, soru-cevap içeriği ve güncelliği ekler. Siteniz Cloudflare üzerinde çalışıyorsa salt okunur bir token ile Cloudflare'i bağlayın: web sitesi projenizin AI crawlers sekmesi, hangi yapay zeka tarayıcılarının gerçekten ziyaret ettiğini, ne sıklıkta geldiğini ve hangi sayfaları okuduğunu sahte tarayıcılar filtrelenmiş şekilde gösterir. Erişim yalnızca ilk adımdır; AI visibility tracking ise ChatGPT, Gemini ve Perplexity gibi asistanların sizi gerçekten anıp kaynak gösterip göstermediğini her hafta kontrol eder. Fiyatlandırma sayfasından ücretsiz planla başlayın.

Sık Sorulan Sorular

Yapay zeka tarayıcıları nedir?
Yapay zeka tarayıcıları, yapay zeka şirketlerinin işlettiği ve web sayfalarını getiren otomatik istemcilerdir. Bazıları asistanların yanıtlarda kaynak gösterebilmesi için sayfaları dizinler (OAI-SearchBot, Claude-SearchBot, PerplexityBot), bazıları gelecekteki modelleri eğitebilecek metinleri toplar (GPTBot, ClaudeBot, CCBot), bazıları ise bir sayfayı yalnızca kullanıcı soru sorduğunda getirir (ChatGPT-User, Claude-User, Perplexity-User). Her birinin robots.txt'de hitap edebileceğiniz kendi user agent token'ı vardır.
GPTBot'u engellemek siteyi ChatGPT aramasından kaldırır mı?
Hayır. OpenAI ayrı tarayıcılar kullanır: GPTBot modellerini eğitmek için kullanılabilecek içeriği toplar, OAI-SearchBot ise web sitelerini ChatGPT aramasında gösterir. OpenAI, OAI-SearchBot'tan vazgeçen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini söylüyor; ancak yalnızca GPTBot'u engellemek bir eğitim kararıdır ve aramayı etkilemez.
ClaudeBot'u engellemeli miyim?
Herkese açık içeriğinizin eğitimde kullanılmasını isteyip istemediğinize bağlı. Anthropic, ClaudeBot'un eğitime katkıda bulunabilecek içeriği topladığını ve onu engellemenin gelecekteki materyallerinizi eğitim veri setlerinin dışında bıraktığını söylüyor. Claude'daki arama görünürlüğü Claude-SearchBot ve Claude-User'a bağlıdır; bunlara robots.txt'de ayrıca izin verebilirsiniz.
Yapay zeka tarayıcıları robots.txt'ye uyar mı?
OpenAI, Anthropic, Perplexity ve Common Crawl'ın arama ve eğitim tarayıcılarının robots.txt'ye uyduğu belgelenmiştir. Kullanıcı tetiklemeli getiriciler farklıdır: OpenAI, robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini, Perplexity ise sayfayı bir kullanıcı istediği için Perplexity-User'ın genellikle robots.txt'yi yok saydığını söylüyor. Anthropic, Claude-User'ın robots.txt'de devre dışı bırakılabileceğini belirtiyor. robots.txt bir istektir, erişim kontrolü değildir.
Güvenlik duvarımın yapay zeka tarayıcılarını engelleyip engellemediğini nasıl anlarım?
Tarayıcıların gerçekte ne aldığına bakın. Ücretsiz AI crawler checker aracımız GPTBot olarak tanıtılan tek bir istek gönderir ve 401, 403, 429 veya 503 yanıtında uyarır; bu istek OpenAI'ın adreslerinden gelmediği için bunu kanıt değil, güçlü bir ipucu olarak değerlendirin. Kanıt için sunucu ya da CDN loglarınızda sağlayıcıların yayımladığı IP aralıklarından gelen doğrulanmış isteklere bakın ya da hangi yapay zeka tarayıcılarının ziyaret ettiğini ve hangi sayfaları okuduğunu görmek için Cloudflare'i Searvia'ya bağlayın.

Kaynaklar

  1. Overview of OpenAI Crawlers – OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Center
  3. Perplexity Crawlers – Perplexity
  4. Google's common crawlers – Google Search Central
  5. About Applebot – Apple Support
  6. CCBot – Common Crawl
  7. AI features and your website – Google Search Central
  8. RFC 9309: Robots Exclusion Protocol – IETF
  9. How Google interprets the robots.txt specification – Google Search Central
  10. Verifying Googlebot and other Google crawlers – Google Search Central
  11. Block AI bots – Cloudflare Docs
  12. New options to manage AI traffic – Cloudflare changelog
  13. The rise of the AI crawler – Vercel
  14. How HTTP status codes, and network and DNS errors affect Google Search – Google Search Central

Okumaya Devam Edin