Yapay Zeka Tarayıcıları: GPTBot, ClaudeBot, OAI-SearchBot ve Diğerleri Nasıl Kontrol Edilir
Yapay zeka tarayıcıları üç türdür: asistanların sizi kaynak gösterip gösteremeyeceğini belirleyen arama tarayıcıları, gelecekteki modeller için veri toplayan eğitim tarayıcıları ve tek bir kullanıcı adına çalışan getiriciler. Her birinin robots.txt'yi nasıl okuduğunu, güvenlik duvarlarının neden sessizce engellediğini ve her erişim sorununu nasıl çözeceğinizi anlatıyoruz.
Searvia · 24.10.2026 · 19 dk okuma
Kısaca: Yapay zeka tarayıcıları üç türdür. Arama tarayıcıları (OAI-SearchBot, Claude-SearchBot, PerplexityBot), ChatGPT, Claude ve Perplexity'nin sayfalarınızı bulup bulamayacağını ve kaynak gösterip gösteremeyeceğini belirler. Eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot) ile kontrol token'ları (Google-Extended, Applebot-Extended) içeriğinizin gelecekteki modellerin eğitiminde kullanılıp kullanılamayacağına karar verir. Kullanıcı getiricileri (ChatGPT-User, Claude-User, Perplexity-User) ise bir kişi o sayfayı sorduğu için ziyaret eder. Yapay zeka yanıtlarında yer almak istiyorsanız arama tarayıcılarına izin verin, eğitim kararını ayrıca verin ve güvenlik duvarınızı kontrol edin; çünkü robots.txt "allow" derken bir CDN kuralı hepsini engelleyebilir.
Bir site sahibi eğitim verilerinin dışında kalmak için GPTBot'a Disallow: / ekler ve işin bittiğini düşünür. Oysa CDN'in bot korumasi tüm yapay zeka user agent'larına 403 döndürür; böylece ChatGPT arama, Claude ve Perplexity siteyi hiç göremez. Ya da tam tersi: robots.txt yapay zekayla ilgili her şeyi engeller ve şirketi yanıtlarda kaynak gösterecek arama tarayıcılarını da dışarıda bırakır.
İki hata da "yapay zeka tarayıcılarını" tek bir şey sanmaktan doğar. Oysa öyle değiller ve her sağlayıcı botlarını ayrı ayrı belgeliyor. Bu rehberde hangi tarayıcının ne yaptığını, bir tarayıcının içeriğinize gerçekten ulaşıp ulaşmayacağını belirleyen üç katmanı, ücretsiz AI crawler checker aracımızın bunları nasıl test ettiğini ve raporlanabilecek her sorunu nasıl çözeceğinizi anlatıyoruz.
Üç tür yapay zeka tarayıcısı
Büyük yapay zeka sağlayıcılarının hepsi artık botlarını amaçlarına göre ayırıyor. Aşağıdaki tablo, Ekim 2026 itibarıyla her sağlayıcının kendi belgelerini izler.
| Sağlayıcı | robots.txt token'ı | Tür | Sağlayıcıya göre ne yapar | robots.txt |
|---|---|---|---|---|
| OpenAI | OAI-SearchBot | Arama | Web sitelerini ChatGPT aramasında gösterir | Uyar; vazgeçen siteler "ChatGPT arama yanıtlarında gösterilmez" |
| OpenAI | GPTBot | Eğitim | Temel modellerin eğitiminde kullanılabilecek içeriği tarar | Uyar |
| OpenAI | ChatGPT-User | Kullanıcı getirici | Bir ChatGPT kullanıcısının sorusu gerektirdiğinde sayfayı ziyaret eder | "robots.txt kuralları geçerli olmayabilir" |
| Anthropic | Claude-SearchBot | Arama | Arama sonucu kalitesini artırmak için web'de gezinir | Uyar |
| Anthropic | ClaudeBot | Eğitim | Eğitime katkıda bulunabilecek içeriği toplar | Uyar |
| Anthropic | Claude-User | Kullanıcı getirici | Bir Claude kullanıcısı soru sorduğunda sayfaları getirir | Uyar; devre dışı bırakmak kullanıcı sorguları için getirmeyi durdurur |
| Perplexity | PerplexityBot | Arama | Web sitelerini Perplexity aramasında gösterir ve bağlantılar; eğitim için kullanılmaz | Uyar |
| Perplexity | Perplexity-User | Kullanıcı getirici | Kullanıcının sorusu için sayfayı getirir | "Genellikle robots.txt kurallarını yok sayar" |
Google-Extended | Kontrol token'ı | Gemini eğitimi ve grounding; ayrı user agent yok | Google'ın mevcut tarayıcıları üzerinden okunur | |
| Apple | Applebot-Extended | Kontrol token'ı | Apple'ın temel modellerinin eğitimi; "web sayfalarını taramaz" | Applebot tarafından okunur |
| Common Crawl | CCBot | Eğitim (açık arşiv) | Araştırma ve veri setlerinde yaygın kullanılan açık web tarama verisi | Bir robots.txt grubuyla engellenir |
Kaynaklar: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.
Bu belgelerdeki üç ayrıntı, kural yazma biçiminizi değiştirmeli:
- Google'ın yapay zeka özellikleri Googlebot üzerinde çalışır. AI Overviews ve AI Mode normal Arama dizinini kullanır. Google, sayfanın dizinde olması ve snippet ile gösterilmeye uygun olması gerektiğini, ek bir teknik gereksinim bulunmadığını söylüyor (AI features and your website).
Google-Extended"bir sitenin Google Arama'da yer almasını etkilemez ve sıralama sinyali olarak kullanılmaz." Onu engellemek bir eğitim ve Gemini grounding kararıdır, Arama kararı değil. - Applebot, Googlebot kurallarına döner. Apple, robots.txt dosyanız Applebot'tan bahsetmiyor ama Googlebot'tan bahsediyorsa Applebot'un Googlebot talimatlarını izlediğini söylüyor. Dolayısıyla yalnızca Googlebot'u hedefleyen bir engel sizi Siri, Spotlight ve Safari önerilerinden de gizler.
- Değişiklikler anında yansımaz. OpenAI, robots.txt güncellemesinden sonra OAI-SearchBot'un uyum sağlamasının yaklaşık 24 saat sürebileceğini söylüyor; Perplexity ise 24 saate kadar süre veriyor.
Yapay zeka tarayıcı erişimi neden önemli?
Bir asistan ancak okuyabildiği sayfayı kaynak gösterebilir. OAI-SearchBot fiyat sayfanızı getiremezse ChatGPT arama, "X ne kadar?" sorusunu sizinle ilgili başkasının sayfasından yanıtlar; bu bir bayi, eski bir inceleme ya da rakibin karşılaştırması olabilir. Aynısı Claude ve Perplexity için de geçerli.
Eğitim ise tek bir doğru yanıtı olmayan ayrı bir sorudur. Bazı yayıncılar ücretli içeriği korumak için eğitim tarayıcılarını engeller; birçok yazılım şirketi ise gelecekteki modellerin ürünlerini tanımasını istediği için izin verir. Önemli olan kararın bilinçli olması ve arama tarayıcılarını da beraberinde götürmemesidir. Generative engine optimization rehberimiz erişimden sonra olanları, yani asistanların kaynakları nasıl seçip alıntıladığını anlatıyor.
Bir tarayıcının içeriğinize ulaşıp ulaşmayacağını üç katman belirler
1. robots.txt
robots.txt, düzgün davranan bir tarayıcının okuduğu ilk şeydir. RFC 9309 uyarınca tarayıcı, User-agent değeri kendi ürün token'ıyla eşleşen grubu (büyük/küçük harfe duyarsız) arar, eşleşen tüm grupları birleştirir ve hiçbir grup onu adıyla anmıyorsa yalnızca * grubuna döner. En belirgin kural, yani en uzun eşleşen yola sahip olan kazanır; izin ve engelleme kuralı eşit derecede belirginse izin kullanılmalıdır.
Sürprizlerin çoğu bu geri dönüşten çıkar. Sadece şunu içeren bir dosya:
User-agent: *
Disallow: /
tüm yapay zeka tarayıcılarını, Googlebot'u ve Bingbot'u birlikte engeller. Bir GPTBot grubu ve bir * grubu olan dosyada GPTBot yalnızca kendi grubunu alır; * kurallarını tamamen yok sayar. Önemli engellemeleri orada tuttuysanız bu çok önemlidir.
2. Güvenlik duvarı, CDN veya hosting
Bir istek, robots.txt'ye bakılmadan önce reddedilebilir. Bot koruma ürünleri, web uygulaması güvenlik duvarları (WAF) ve bazı hosting sağlayıcıları user agent'ları eşleştirip 403 döndürür, doğrulama sayfası gösterir ya da 429 ile hız sınırı uygular. Google, 429 ve 5xx yanıtlarının tarayıcılarını yavaşlattığını belirtiyor (HTTP status codes and Google Search); yapay zeka tarayıcıları da aynı duvarlarla karşılaşır.
En yaygın örnek Cloudflare'dir. Cloudflare belgelerinin 15 Eylül 2026'da kullanımdan kalkacağını belirttiği orijinal "Block AI bots" ayarı, yapay zeka eğitimi için tarama yapan olarak sınıflandırılan doğrulanmış botları engelliyordu. Yerini üç hazır ayarlı AI bot trafik politikaları aldı: Search, Agent ve Training. Her biri izin verilebilir, tüm sayfalarda engellenebilir ya da yalnızca reklam gösteren sayfalarda engellenebilir (Cloudflare changelog). 15 Eylül 2026'dan itibaren yeni alan adlarında Cloudflare'in varsayılanları, reklam gösteren sayfalarda Training ve Agent botlarını engellerken Search'e izin verir; Cloudflare ayrıca arama ve eğitimi birleştiren çok amaçlı tarayıcıların eğitim engelinden etkilendiğini belirtiyor. Cloudflare'in Agent ön ayarı örnekleri arasında sohbet getirici botlar da var; bu yüzden ChatGPT-User gibi kullanıcı kaynaklı getirmelerin çalışmasını istiyorsanız bu ayarı kontrol edin.
3. Render (JavaScript işleme)
Bir tarayıcı 200 yanıtı alsa bile JavaScript'inizi çalıştırmayabilir. Vercel, Aralık 2024'te ağındaki yapay zeka tarayıcı trafiğini analiz etti ve GPTBot, ClaudeBot ve PerplexityBot'u sayarak "büyük yapay zeka tarayıcılarının hiçbiri şu anda JavaScript render etmiyor" sonucunu bildirdi (The rise of the AI crawler). Metniniz istemci tarafı bir uygulamayla enjekte ediliyorsa bu tarayıcılar boş bir kabuk alır.
Searvia AI crawler checker nasıl çalışır?
AI crawler checker, website SEO checker aracımızla aynı motoru çalıştırır: bir alan adı ya da sayfa adresi girersiniz, araç o sayfayı ve çevresindeki site dosyalarını okur ve yaklaşık 20 saniyede 38 kontrol yapar. Bu aracın konusu olan üç kontrol, ilki açık olacak şekilde öne çıkarılmış bir kutuda en üstte yer alır. Aşağıda anlatılanların hepsi kodun gerçekte yaptığı şeydir.
Hangi sayfa. Denetleyici, girdiğiniz adresi ya da yalnızca alan adı girdiyseniz ana sayfayı denetler; robots.txt ve diğer site dosyaları her zaman alan adından okunur. Önce https:// dener, olmazsa http://'ye döner, en fazla altı yönlendirmeyi izler ve normal ziyarette kendini SearviaBot/1.0 olarak tanıtır.
AI crawler erişimi (yüksek öncelik). Son hosttan /robots.txt dosyasını indirir. 404 ya da başka bir 4xx, dosya olmadığı anlamına gelir; yani her şeye izin verilir. 5xx, 429 ya da bağlantı hatası dosyaya ulaşılamadığı anlamına gelir: bu durumda tüm token'lar "Unknown" görünür ve kontrol başarısız olur, çünkü RFC 9309 tarayıcılara siteyi tamamen engellenmiş saymalarını söyler. HTML sayfası döndüren bir 200 geçerli bir robots.txt değildir. 10 tarayıcı token'ı ve 2 eğitim opt-out token'ı için, token'ı adıyla anan grubu, yoksa * grubunu seçer ve tek bir soru sorar: bu token, girdiğiniz sayfanın yolunu (ana sayfa için /) getirebilir mi? En uzun eşleşme kuralını kullanır, eşitlikte izin kazanır; * ve $ joker karakterlerini, yorumları, aynı kural setini paylaşan birden fazla User-agent satırını ve aynı token için tekrarlanan grupları anlar.
| Raporda "AI search" etiketli | Raporda "AI training" etiketli | Tarayıcı değil, opt-out token'ı olarak etiketli |
|---|---|---|
| OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot, Bingbot | GPTBot, ClaudeBot, CCBot | Google-Extended, Applebot-Extended |
Googlebot ve Bingbot arama sütunundadır, çünkü Google'ın yapay zeka özellikleri Googlebot üzerinde çalışır ve Microsoft Copilot yanıtlarını Bing'e dayandırır. Google-Extended ve Applebot-Extended sitenizi hiç ziyaret etmez; onlara yazılan kural yalnızca Googlebot ya da Applebot'un zaten taradığı içeriğin yapay zeka eğitiminde kullanılıp kullanılamayacağını denetler. Her satır Allowed, Blocked veya Unknown gösterir.
Güvenlik duvarı testi. Ardından denetleyici aynı sayfayı bir kez daha, OpenAI'ın GPTBot için belgelediği user agent ile (GPTBot/1.4) ve yönlendirmeleri izlemeden ister. Normal ziyaret başarılı olduysa (durum 400'ün altında) ama bu istek 401, 403, 429 veya 503 alırsa rapor, GPTBot olarak tanıtılan isteklerin reddedildiği uyarısını verir. İstek OpenAI'ın IP adreslerinden gelmediği için gerçek tarayıcıya farklı davranılıyor olabilir.
JavaScript olmadan içerik (orta öncelik). Ham HTML'deki ana metnin kelimelerini sayar; menüleri ve alt bilgileri hariç tutar. 80'den az kelime varsa ve sayfada ya boş bir uygulama kapsayıcısı (<div id="root">, app, __next, __nuxt ya da svelte) ya da üç veya daha fazla harici script yükleniyorsa, JavaScript çalıştırmayan tarayıcıların boş bir sayfa görebileceği uyarısını verir.
robots.txt (orta öncelik). Odaklanan üçüncü kontrol, robots.txt'nin var olup olmadığını, sunucu hatası ya da HTML sayfası döndürüp döndürmediğini ve Googlebot'u ana sayfadan veya girdiğiniz sayfadan engelleyip engellemediğini raporlar. robots.txt rehberimiz bu dosyayı ayrıntılı anlatıyor.
Durum kuralları. Yedi arama token'ından herhangi biri engelliyse ya da robots.txt'ye ulaşılamıyorsa AI crawler erişimi başarısız olur. Reddedilen bir güvenlik duvarı testi uyarı verir. Engellenen eğitim tarayıcıları ve opt-out token'ları listelenir ama meşru bir tercih olduğu için kontrol yine de geçer.
Denetleyicinin test etmedikleri
Sınırları bilmek, yeşil bir sonucu fazla yorumlamanızı önler:
- Her çalıştırmada tek yol. Yalnızca girdiğiniz sayfanın yolu test edilir (çıplak alan adı için
/). OAI-SearchBot içinDisallow: /pricing/gibi bir kural ancak o sayfayı girerseniz yakalanır. Bölüm düzeyindeki engeller için dosyanızı kendiniz okuyun. - Güvenlik duvarı testi, sunucularımızdan tek bir user agent kullanır. OAI-SearchBot'un değil GPTBot'un adını gönderir ve OpenAI'ın IP adreslerinden gelmez. Botları IP ile doğrulayan bir güvenlik duvarı isteğimizi sahtekâr sayıp engelleyebilirken gerçek GPTBot'u geçirebilir; OpenAI'ın IP aralıklarını engelleyip user agent'ı engellemeyen bir güvenlik duvarı ise testimizi geçer. Güvenlik duvarı uyarısını "bot ayarlarınızı kontrol edin" olarak değerlendirin, sonra loglardan doğrulayın.
- Listede olmayan token'lar, örneğin Perplexity-User veya OAI-AdsBot, test edilmez.
Sonucu okumak
| Raporda görünen mesaj | Anlamı | Ne yapmalı |
|---|---|---|
| All AI crawlers are allowed. | Sayfa için hiçbir arama ya da eğitim token'ı engelli değil ve güvenlik duvarı testi geçti | Eğitimden vazgeçmek istemiyorsanız bir şey yapmayın |
| AI search crawlers are allowed; N AI training crawlers or opt-out tokens are blocked (your choice). | Arama erişimi sorunsuz; eğitim kısıtlı | Eğitim engelinin bilinçli olduğunu doğrulayın |
| robots.txt blocks N AI search crawlers. | En az bir arama ya da kullanıcı getirici token'ı sayfayı okuyamıyor | robots.txt gruplarını düzeltin (aşağıda 1. adım) |
| robots.txt could not be read, so crawlers treat the whole site as blocked. | robots.txt 5xx ya da 429 döndürdü veya yanıt vermedi | Dosyanın sunucu yanıtını düzeltin (5. adım) |
| Requests identifying as GPTBot were refused with status 403. … | GPTBot adlı istek reddedildi, normal ziyaret çalıştı; güçlü bir ipucu, kanıt değil | Bot koruması ve WAF kurallarını kontrol edin (2. adım) |
| Only N words are visible before JavaScript runs. | Ham HTML neredeyse boş | Önemli sayfaları sunucuda render edin (4. adım) |
AI crawler satırının altındaki tablo her token'ı etiketiyle birlikte Allowed, Blocked veya Unknown olarak gösterir. A+'dan F'ye genel not, önceliğe göre ağırlıklandırılmış 38 kontrolün tümünü kapsar: yüksek öncelikli kontroller 10 puan, orta 5, düşük 2 puan sayılır, uyarı yarım puan kazandırır, bilgilendirme sonuçları hesaba katılmaz. "Fix these first" bölümü, yüksek öncelikliler önce olmak üzere en fazla sekiz sorunu listeler. Her satır ayrıca denetlenen sitelerin yüzde kaçının aynı kontrolü geçtiğini gösterir; bu da sorunun nadir mi yaygın mı olduğunu anlatır.
Raporlanan her sorun nasıl çözülür
1. robots.txt yapay zeka arama tarayıcılarını engelliyor
https://yourdomain.com/robots.txt dosyasını açın ve engellenen her token için geçerli grubu bulun: token'ı adıyla anan grup, yoksa *. Sonra politikanıza karar verin ve açıkça yazın. Aşağıdaki dosya yapay zeka aramasına ve kullanıcı getirmelerine izin verir, eğitimi engeller ve diğer herkes için olağan kuralları korur:
# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml
Adım adım:
- Staging sitesinden kalan
User-agent: *veDisallow: /çiftini kaldırın. Bu tek çift her şeyi engeller. - Yapay zeka arama grubunun da diğer herkesle aynı özel alan kurallarına ihtiyacı varsa onları kopyalayın. Adı anılan bir grup
*kurallarını devralmaz. - robots.txt'yi sizin yerinize yazan bir eklenti ya da CDN özelliği kullanıyorsanız değişikliği orada yapın; dosyayı elle düzenlerseniz sonraki deploy'da üzerine yazılır.
- Kaydedin, canlı dosyayı gizli pencerede yeniden yükleyin ve AI crawler checker aracını tekrar çalıştırın.
- OpenAI ve Perplexity tarafında değişikliğin etkili olması için bir gün bekleyin.
2. Güvenlik duvarı tarayıcıyı geri çevirdi
- Kuralı bulun. CDN'inizin ya da güvenlik duvarınızın olay günlüğünde
GPTBot,OAI-SearchBot,ClaudeBotveyaPerplexityBotiçeren user agent'lara göre filtreleyin ve hangi kuralın devreye girdiğine bakın: bot koruması, yönetilen bir kural seti, hız sınırı ya da ülke engeli. - Cloudflare'de AI Crawl Control bölümünü açın: her yapay zeka tarayıcısını Allow ya da Block ile listeler; böylece yapay zeka arama tarayıcılarına izin verip eğitim tarayıcılarını engelleyebilirsiniz. Ayrıca bölgenizin güvenlik ayarlarındaki AI bot trafik politikalarını inceleyin. Kaynak gösterilmek istiyorsanız Search'ü allow yapın. Training ve Agent için kendi önceliklerinize göre karar verin ve "reklamlı sayfalarda engelle" seçeneğinin yalnızca Cloudflare'in reklam gösterdiğini algıladığı sayfalara uygulandığını unutmayın.
- Diğer WAF'larda, Perplexity'nin önerdiği gibi, istediğiniz botlar için hem user agent hem de sağlayıcının yayımladığı IP aralıklarıyla eşleşen bir izin kuralı ekleyin. OpenAI
searchbot.json,gptbot.jsonvechatgpt-user.json; Perplexityperplexitybot.jsonveperplexity-user.json; Anthropicclaude.com/crawling/bots.json; Common Crawl iseccbot.jsonyayımlar. İzin kuralına engelleme kurallarından daha yüksek öncelik verin ve aralıklar değiştiği için düzenli olarak yenileyin. - Hız sınırları. Test 429 aldıysa hız sınırınız bir tarayıcının temposundan daha sıkıdır. Kapatmak yerine doğrulanmış botlar için yükseltin.
- Eğitimden vazgeçmek için IP ile engellemeyin. Anthropic, IP adreslerini engellemenin sizi güvenilir şekilde dışarıda bırakmayabileceği konusunda uyarıyor, çünkü botları robots.txt dosyanızı okuyamaz hale gelir. Politika için robots.txt'yi, kötüye kullanım için güvenlik duvarını kullanın.
Güvenlik duvarınızın botları IP ile doğruladığından eminseniz ve uyarı bizim doğrulanmamış isteğimizden geliyorsa loglarla teyit edin: OpenAI aralıklarından gelen gerçek istekler 200 almalıdır.
3. Eğitim tarayıcıları engelli
Bu raporlanır ama başarısızlık sayılmaz. İki şeyi kontrol edin. Birincisi, engelin istediğiniz şey olması: Google-Extended'ı engellemek içeriğinizi Gemini uygulamalarındaki grounding'den de çıkarır; Applebot-Extended'ı engellemek ise yalnızca eğitimi etkiler, Apple'ın arama özelliklerini etkilemez. İkincisi, engelin * içinde değil adı anılan bir grupta olması; * içinde arama tarayıcılarını da yakalar.
4. JavaScript çalışmadan yalnızca birkaç kelime görünüyor
- Ana sayfanızın ve önemli sayfalarınızın kaynağını görüntüleyin (inspector'ı değil). Ana metin orada yoksa JavaScript render etmeyen tarayıcılar hiçbir şey görmez.
- Önemli şablonları sunucuda render edin: server-side rendering, statik üretim ya da pre-rendering. Örneğin Next.js'te metni tarayıcıda çekmek yerine Server Components ya da statik üretim kullanın.
- Temel öğelerin HTML'de olduğundan emin olun: ürün açıklaması, fiyatlar, planlar ve SSS yanıtları. Etkileşimli widget'lar istemci tarafında kalabilir.
- Denetleyiciyi tekrar çalıştırın; mesajdaki kelime sayısı artmalı.
5. robots.txt yok ya da Google'ı engelliyor
Denetleyici bu durumları birbirinden ayırır. "No robots.txt file was found" 404 ya da başka bir 4xx demektir ve zararsızdır: tarayıcılar bunu "kısıtlama yok" olarak yorumlar. "robots.txt answers with status N" ya da "could not be reached" ise 5xx, 429 ya da zaman aşımı demektir ve ciddidir: RFC 9309 tarayıcının bu durumda tam engel varsaymasını söyler ve Google ilk 12 saat boyunca taramayı durdurur (Google'ın robots.txt spesifikasyonu). Sunucuyu, /robots.txt düz metinle 200 (kural gerekmiyorsa 404) dönecek şekilde düzeltin ve curl -I https://yourdomain.com/robots.txt ile doğrulayın. HTML sayfası döndüren robots.txt de işaretlenir. robots.txt Googlebot'u / yolundan engelliyorsa önce bunu düzeltin: bu, Google'ın yapay zeka özelliklerini ve Apple'ın geri dönüşü üzerinden Applebot'u da engeller.
Tarayıcıları loglarınızda doğrulayın
Herkes "GPTBot" diyen bir istek gönderebilir. Bir botu güvenlik duvarından geçirmeden ya da yük için suçlamadan önce doğrulayın:
- OpenAI, Anthropic, Perplexity, Common Crawl: IP'yi yukarıdaki JSON listeleriyle karşılaştırın.
- Google: IP için ters DNS sorgusu yapın, adın
googlebot.com,google.comveyagoogleusercontent.comile bittiğini kontrol edin, ardından ileri sorgu yapıp aynı IP'yi döndürdüğünü doğrulayın (Verifying Googlebot). Google ayrıcacommon-crawlers.jsonveuser-triggered-fetchers.jsongibi JSON listeleri yayımlar. - Common Crawl, bazı tarayıcıların kendilerini yanlışlıkla CCBot olarak tanıttığını belirtir; bu yüzden aralıklarını ters DNS ile birlikte yayımlar.
Örnek uygulama (varsayımsal)
Aşağıdaki örnek varsayımsaldır, gerçek veri değildir. Uydurma bir B2B dashboard aracı olan Larkspur Analytics, ChatGPT'nin fiyatlarını 2024 tarihli bir inceleme sitesinden anlattığını fark eder. AI crawler checker şunu raporlar:
| Kontrol | Sonuç |
|---|---|
| AI crawler erişimi | Uyarı: "Requests identifying as GPTBot were refused with status 403" |
| AI crawler satırları | GPTBot, ClaudeBot, CCBot engelli (eğitim); tüm arama token'ları izinli |
| JavaScript olmadan içerik | Uyarı: JavaScript çalışmadan 41 kelime görünüyor |
| robots.txt | Geçti |
robots.txt sorunsuzdu; ekip eğitimi bilerek engellemişti. 403, bir yüklenicinin kazıma (scraping) olayı sırasında etkinleştirdiği ve "bot" içeren her user agent'la eşleşen bir bot koruma kuralından geliyordu. Düzeltmeler:
- Geniş kural bir hız sınırıyla değiştirildi ve OAI-SearchBot, Claude-SearchBot ve PerplexityBot için user agent ile yayımlanan IP aralıklarına göre eşleşen izin kuralları eklendi.
- Fiyat ve özellik sayfaları statik üretime taşındı; böylece HTML tam metni içerir hale geldi.
- Denetleyici yeniden çalıştırıldı: AI crawler erişimi geçti ve görünen kelime sayısı 1.180'e çıktı.
- İki hafta sonra sunucu logları fiyat sayfasına doğrulanmış OAI-SearchBot ve PerplexityBot istekleri gösterdi ve yeni ChatGPT yanıtları o sayfayı kaynak gösterdi.
20 dakikalık yapay zeka tarayıcı kontrol listesi
- Alan adınızda ücretsiz AI crawler checker aracını çalıştırın.
- Politikanızı yazın: arama izinli, eğitim izinli ya da engelli, kullanıcı getirmeleri izinli.
- Bunu yalnızca
*içinde değil, adı anılan robots.txt gruplarında ifade edin. - Güvenlik duvarı ya da CDN bot ayarlarını, Cloudflare'in AI Crawl Control'ü dahil, kontrol edin.
- Önemli sayfalarınızın kaynağını görüntüleyin ve ana metnin HTML'de olduğunu doğrulayın.
- Bir hafta sonra loglarda doğrulanmış arama tarayıcılarının 200 aldığını teyit edin.
Searvia yapay zeka tarayıcılarında nasıl yardımcı olur?
Ücretsiz AI crawler checker, 10 yapay zeka ve arama tarayıcısı ile 2 eğitim opt-out token'ı için robots.txt görünümünü, bir güvenlik duvarı testini ve JavaScript kontrolünü tek çalıştırmada, paylaşılabilir bir raporla sunar. Daha kapsamlı AI search readiness checker llms.txt, kimlik işaretlemesi, soru-cevap içeriği ve güncelliği ekler. Siteniz Cloudflare üzerinde çalışıyorsa salt okunur bir token ile Cloudflare'i bağlayın: web sitesi projenizin AI crawlers sekmesi, hangi yapay zeka tarayıcılarının gerçekten ziyaret ettiğini, ne sıklıkta geldiğini ve hangi sayfaları okuduğunu sahte tarayıcılar filtrelenmiş şekilde gösterir. Erişim yalnızca ilk adımdır; AI visibility tracking ise ChatGPT, Gemini ve Perplexity gibi asistanların sizi gerçekten anıp kaynak gösterip göstermediğini her hafta kontrol eder. Fiyatlandırma sayfasından ücretsiz planla başlayın.
Sık Sorulan Sorular
- Yapay zeka tarayıcıları nedir?
- Yapay zeka tarayıcıları, yapay zeka şirketlerinin işlettiği ve web sayfalarını getiren otomatik istemcilerdir. Bazıları asistanların yanıtlarda kaynak gösterebilmesi için sayfaları dizinler (OAI-SearchBot, Claude-SearchBot, PerplexityBot), bazıları gelecekteki modelleri eğitebilecek metinleri toplar (GPTBot, ClaudeBot, CCBot), bazıları ise bir sayfayı yalnızca kullanıcı soru sorduğunda getirir (ChatGPT-User, Claude-User, Perplexity-User). Her birinin robots.txt'de hitap edebileceğiniz kendi user agent token'ı vardır.
- GPTBot'u engellemek siteyi ChatGPT aramasından kaldırır mı?
- Hayır. OpenAI ayrı tarayıcılar kullanır: GPTBot modellerini eğitmek için kullanılabilecek içeriği toplar, OAI-SearchBot ise web sitelerini ChatGPT aramasında gösterir. OpenAI, OAI-SearchBot'tan vazgeçen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini söylüyor; ancak yalnızca GPTBot'u engellemek bir eğitim kararıdır ve aramayı etkilemez.
- ClaudeBot'u engellemeli miyim?
- Herkese açık içeriğinizin eğitimde kullanılmasını isteyip istemediğinize bağlı. Anthropic, ClaudeBot'un eğitime katkıda bulunabilecek içeriği topladığını ve onu engellemenin gelecekteki materyallerinizi eğitim veri setlerinin dışında bıraktığını söylüyor. Claude'daki arama görünürlüğü Claude-SearchBot ve Claude-User'a bağlıdır; bunlara robots.txt'de ayrıca izin verebilirsiniz.
- Yapay zeka tarayıcıları robots.txt'ye uyar mı?
- OpenAI, Anthropic, Perplexity ve Common Crawl'ın arama ve eğitim tarayıcılarının robots.txt'ye uyduğu belgelenmiştir. Kullanıcı tetiklemeli getiriciler farklıdır: OpenAI, robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini, Perplexity ise sayfayı bir kullanıcı istediği için Perplexity-User'ın genellikle robots.txt'yi yok saydığını söylüyor. Anthropic, Claude-User'ın robots.txt'de devre dışı bırakılabileceğini belirtiyor. robots.txt bir istektir, erişim kontrolü değildir.
- Güvenlik duvarımın yapay zeka tarayıcılarını engelleyip engellemediğini nasıl anlarım?
- Tarayıcıların gerçekte ne aldığına bakın. Ücretsiz AI crawler checker aracımız GPTBot olarak tanıtılan tek bir istek gönderir ve 401, 403, 429 veya 503 yanıtında uyarır; bu istek OpenAI'ın adreslerinden gelmediği için bunu kanıt değil, güçlü bir ipucu olarak değerlendirin. Kanıt için sunucu ya da CDN loglarınızda sağlayıcıların yayımladığı IP aralıklarından gelen doğrulanmış isteklere bakın ya da hangi yapay zeka tarayıcılarının ziyaret ettiğini ve hangi sayfaları okuduğunu görmek için Cloudflare'i Searvia'ya bağlayın.
Kaynaklar
- Overview of OpenAI Crawlers – OpenAI
- Does Anthropic crawl data from the web, and how can site owners block the crawler? – Claude Help Center
- Perplexity Crawlers – Perplexity
- Google's common crawlers – Google Search Central
- About Applebot – Apple Support
- CCBot – Common Crawl
- AI features and your website – Google Search Central
- RFC 9309: Robots Exclusion Protocol – IETF
- How Google interprets the robots.txt specification – Google Search Central
- Verifying Googlebot and other Google crawlers – Google Search Central
- Block AI bots – Cloudflare Docs
- New options to manage AI traffic – Cloudflare changelog
- The rise of the AI crawler – Vercel
- How HTTP status codes, and network and DNS errors affect Google Search – Google Search Central