Robots.txt: Nasıl Çalışır, Örnekler ve Nasıl Test Edilir

Kısaca: robots.txt, /robots.txt adresinde duran ve tarayıcılara hangi URL'leri çekebileceklerini söyleyen düz metin bir dosyadır. Kurallar User-agent ile gruplanır; tarayıcı kendisini adıyla anan grubu, yoksa * grubunu kullanır ve en uzun eşleşen Allow veya Disallow yolu kazanır. Dosya taramayı kontrol eder, dizinlemeyi değil: bir sayfayı Google'dan uzak tutmak için noindex kullanın. 404 "her şeyi tara", 5xx ise "dur" anlamına gelir. Zararın çoğu, staging sitesinden kalan tek bir satırdan, yani Disallow: / satırından gelir.

robots.txt, çoğu web sitesindeki en kısa dosyadır ve etki alanı en geniş olanıdır. User-agent: * altındaki tek bir Disallow: /, siteyi Google'dan, Bing'den, Apple'dan ve tüm yapay zekâ arama tarayıcılarından gizler. Eksik bir eğik çizgi, yanlış gruba yazılmış bir kural ya da dosyanın kendisinde oluşan bir sunucu hatası da neredeyse aynı zararı verebilir ve görünen sitede hiçbir şey bozuk görünmez.

Bu rehber, tarayıcıların dosyayı RFC 9309 ve Google'ın spesifikasyonuna göre nasıl okuduğunu, kopyalamaya hazır örnekleri, ücretsiz robots.txt kontrol aracımızın dosyanızı nasıl test ettiğini ve bildirdiği her sorunun nasıl çözüleceğini kapsar.

robots.txt ne yapar, ne yapmaz

Google'ın giriş belgesi bunu açıkça söyler: robots.txt dosyası "arama motoru tarayıcılarına sitenizde hangi URL'lere erişebileceklerini söyler" ve asıl işi tarayıcı trafiğini yönetmektir. Dosya "bir web sayfasını Google'ın dışında tutma mekanizması" değildir. Engellenmiş bir URL, "web'deki başka yerlerden bağlantı alıyorsa" yine de dizine eklenebilir ve genellikle açıklamasız gösterilir.

Aynı kaynaklardan üç sınır daha:

• Bir istektir, kilit değildir. RFC 9309, kuralların "bir erişim yetkilendirmesi biçimi olmadığını" belirtir. Saygın tarayıcılar uyar, diğerleri uymayabilir. Özel içeriği kimlik doğrulamayla koruyun.
• Ana makine, protokol ve port bazında geçerlidir. https://www.example.com/robots.txt, https://shop.example.com veya http://www.example.com adreslerini kapsamaz. Her birinin kendi dosyası olmalıdır ve Google alt dizinlerdeki robots.txt dosyalarını aramaz.
• Farklı tarayıcılar sözdizimini farklı yorumlar. Standart alanlara ve basit kalıplara bağlı kalırsanız tüm büyük tarayıcılar bunları aynı şekilde okur.

Sözdizimi

robots.txt dosyası bir grup listesidir. Her grup bir veya daha fazla User-agent satırıyla başlar, ardından Allow ve Disallow kuralları gelir. Sitemap satırları herhangi bir yerde olabilir.

# Comments start with a hash
User-agent: Googlebot
User-agent: Bingbot
Disallow: /cart/
Disallow: /search
Allow: /search/help

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Alan adlarında büyük/küçük harf fark etmez; yollarda eder, yani Disallow: /Admin/ kuralı /admin/ yolunu engellemez. İki özel karakter desteklenir: * herhangi bir karakter dizisiyle eşleşir, $ URL'nin sonunu belirtir. Disallow: /*.pdf$ .pdf ile biten her URL'yi, Disallow: /*? sorgu dizesi olan her URL'yi engeller.

Bir tarayıcıya hangi grup uygulanır

İnsanların en sık yanlış anladığı kural budur. Google'a göre "belirli bir tarayıcı için yalnızca bir grup geçerlidir": en spesifik eşleşen kullanıcı aracısına sahip grup. Aynı tarayıcıyı adlandıran gruplar birleştirilir, ancak adı geçen bir grup * grubuyla birleştirilmez. RFC 9309 da aynısını söyler: tarayıcılar ürün belirteçlerini büyük/küçük harfe duyarsız eşleştirir, eşleşen grupları birleştirir ve yalnızca "eşleşen grup yoksa" * grubuna döner.

Dolayısıyla yukarıdaki dosyada Googlebot yalnızca kendi grubunu izler. * grubu ona uygulanmadığı için /admin/ yolunu tarayabilir. Bir kural herkes için geçerli olacaksa onu her adlandırılmış grupta tekrarlayın.

Bilmeye değer iki tarayıcıya özgü ayrıntı daha var. Google'ın Googlebot belirteci Arama, Discover, Görseller, Video ve Haberler'i kapsar; Googlebot-Image gibi daha spesifik belirteçlerle tek bir ürünü kontrol edebilirsiniz (Google'ın yaygın tarayıcıları). Apple ise robots.txt'de Applebot geçmiyor ama Googlebot geçiyorsa Applebot'un Googlebot talimatlarını izlediğini belirtir (About Applebot).

Hangi kural kazanır

Bir grup içinde en spesifik kural, yani en uzun eşleşen yola sahip olan uygulanır. Bir allow ve bir disallow kuralı eşit uzunlukta eşleşirse en az kısıtlayıcı olan, yani allow kazanır. Dosyadaki sıra önemli değildir.

Durum kodları her şeyi nasıl değiştirir

Tarayıcılar her şeyden önce /robots.txt dosyasını ister ve HTTP durum kodu, içeriği kadar önemlidir. Google'ın spesifikasyonu ve RFC 9309'a göre:

Pratikteki sonuç şu: robots.txt için 404 zararsızdır, ancak dosya için 500 veya 503 yanıtı veren bir güvenlik duvarı ya da sunucu tüm sitenin taranmasını durdurabilir. Google ayrıca tarama hızını sınırlamak için 401 veya 403 kullanılmaması konusunda uyarır.

İki sınır daha var: Google dosyayı 24 saate kadar önbelleğe alır, bu yüzden değişiklikler anında yansımaz ve 500 KiB'tan sonraki içeriği yok sayar. Dosya UTF-8 olmalıdır.

robots.txt ve noindex

Google'ın noindex belgeleri tuzağı anlatır: robots.txt bir sayfayı engellerse tarayıcı o sayfanın noindex kuralını hiç göremez ve sayfa yine de sonuçlarda görünebilir. Doğru araç hedefe bağlıdır:

Kopyalamaya hazır robots.txt örnekleri

Her şeye izin ver ve site haritasını belirt (çoğu küçük site için doğru dosya):

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Tipik bir online mağaza:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=

Sitemap: https://www.example.com/sitemap.xml

Bir staging sitesi (yalnızca staging sitesi için; ayrıca parolayla da koruyun):

User-agent: *
Disallow: /

Yapay zekâ aramasına izin ver, yapay zekâ eğitimini engelle:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Google-Extended belirtecini engellemek Google Arama'yı etkilemez; Google bunun "bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve sıralama sinyali olarak kullanılmadığını" belirtir. AI Overviews ve AI Mode, Googlebot üzerinde çalışır (AI features and your website). OpenAI, OAI-SearchBot'tan çıkmanın sizi ChatGPT arama yanıtlarının dışında bıraktığını söyler; bu yüzden tam olarak bunu istemiyorsanız engellemeyin (OpenAI crawlers). Yapay zekâ tarayıcıları rehberimiz tüm yapay zekâ belirteçlerini kapsar.

Sayfaların oluşturulması için gereken CSS, JavaScript veya görselleri engellemeyin. Google, sayfalar "kaybından önemli ölçüde etkilenmeyecekse" önemsiz kaynakları engelleyebileceğinizi söyler, ancak içeriğinizi veya düzeninizi taşıyan dosyaları engellemek Google'ın sayfayı anlamasını engeller.

Searvia robots.txt kontrol aracı nasıl çalışır

robots.txt kontrol aracı, web sitesi SEO kontrol aracımızla aynı motoru çalıştırır: bir alan adı veya sayfa adresi girersiniz, araç o sayfayı (yalnızca alan adı girerseniz ana sayfanızı) ve çevresindeki site dosyalarını okur, yaklaşık 20 saniyede 38 kontrol çalıştırır ve bu aracın konusu olan dört kontrolü en başta gösterir. Her birinin yaptığı şu:

robots.txt (orta öncelik). Kontrol aracı sayfayı son adresine kadar izler, ardından aynı ana makinede /robots.txt dosyasını yönlendirmeleri izleyerek ister. Durum kodunu yukarıdaki tabloya uygun okur: 404 veya başka bir 4xx dosya yok demektir; 5xx, 429 veya yanıt gelmemesi dosyaya ulaşılamadığı anlamına gelir; HTML sayfası döndüren bir 200 ise geçerli bir robots.txt değildir. Dosyayı RFC 9309'un tarif ettiği biçimde ayrıştırır: User-agent grupları (birkaç satır aynı kural kümesini paylaşabilir), birleştirilen yinelenen gruplar, * yedeği, * ve $ joker karakterli Allow ve Disallow, yorumlar, beraberlikte allow lehine en uzun eşleşme ve Sitemap satırları. Ardından Googlebot'un ana sayfa yolu / ile, bir iç sayfa girdiyseniz o sayfanın yolunu çekip çekemeyeceğini sorgular.

• Geçti: dosya var ve Googlebot / yolunu ve girdiğiniz sayfayı tarayabiliyor.
• Başarısız: dosya Googlebot'u / yolundan (pratikte tüm siteden) veya girdiğiniz sayfadan engelliyor ya da robots.txt'ye ulaşılamıyor.
• Uyarı: dosya bulunamadı (4xx) veya dosya bir HTML sayfası.

Yapay zekâ tarayıcı erişimi (yüksek öncelik). Aynı ayrıştırıcı 10 tarayıcı belirteci için çalışır: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User, Googlebot ve Bingbot (yapay zekâ araması olarak etiketlenir) ile GPTBot, ClaudeBot ve CCBot (yapay zekâ eğitimi olarak etiketlenir); ayrıca tarayıcı olmadıkları için yapay zekâ eğitimi dışında kalma belirteçleri olarak etiketlenen Google-Extended ve Applebot-Extended. Ayrıca GPTBot olarak tanımlanan tek bir istek gönderir ve bir güvenlik duvarının bunu 401, 403, 429 veya 503 ile reddedip reddetmediğine bakar; istek OpenAI'ın adreslerinden gelmediği için ret bir kanıt değil, uyarıdır. Herhangi bir arama belirteci engelliyse veya robots.txt'ye ulaşılamıyorsa kontrol başarısız olur; engellenen eğitim belirteçleri listelenir ama sizin tercihiniz sayılır.

XML site haritası (orta öncelik). robots.txt dosyanızdaki her Sitemap: satırını, ardından /sitemap.xml ve /sitemap_index.xml adreslerini (en fazla dört adres) dener ve <urlset> veya <sitemapindex> içeren 200 yanıtı veren ilkinde geçer, URL sayısını gösterir.

Dizinlemeye izin verilmesi (yüksek öncelik). Sayfadaki robots veya googlebot meta etiketinde ve X-Robots-Tag yanıt başlığında noindex arar. İkisinden biri kontrolü başarısız kılar, çünkü robots.txt ne derse desin sayfayı sonuçların dışında tutar.

Neyi test etmez

• Her çalıştırmada bir sayfa. Googlebot / ve girdiğiniz sayfa için test edilir. Disallow: /blog/ gibi bir kural yalnızca /blog/ altındaki bir sayfa girerseniz işaretlenir. Bölüm düzeyindeki kurallar için dosyayı okuyun veya belirli URL'leri Search Console'daki URL Denetimi ile test edin.
• Diğer ana makinelerin kuralları. Yalnızca sayfanızın sonunda bulunduğu ana makinenin robots.txt dosyası okunur.

Sonucu okumak

Rapor, 38 kontrolün tamamı için öncelikle ağırlıklandırılmış (yüksek 10, orta 5, düşük 2; uyarılar yarım puan alır) A+ ile F arasında bir not, bir "Önce bunları düzeltin" listesi ve paylaşılabilir bir bağlantı sunar. Her kontrol ayrıca denetlenen sitelerin ne kadarının o kontrolden geçtiğini de gösterir.

Aracın bildirdiği her sorun nasıl çözülür

robots.txt Google'ı tüm siteden engelliyor

1. Canlı dosyayı açın ve Googlebot'a uygulanan grubu bulun: varsa User-agent: Googlebot grubu, yoksa User-agent: *.
2. O grupta Disallow: / veya Disallow: /* gibi bir kalıp arayın. Kaldırın ya da engellemek istediğiniz belirli yollarla değiştirin.
3. Düzenlemeden önce dosyanın nereden geldiğini bulun: statik bir dosya, bir CMS ayarı, bir SEO eklentisi, bir CDN kuralı ya da bir dağıtım betiği. Shopify'da robots.txt.liquid tema şablonunu düzenleyin.
4. Değişikliğin yayında olduğunu doğrulamak için https://yourdomain.com/robots.txt adresini gizli pencerede açın, ardından robots.txt kontrol aracını yeniden çalıştırın.
5. Search Console'da robots.txt raporunu açın ve dosya için Request a recrawl seçeneğini kullanın. Aksi halde Google dosyayı 24 saate kadar önbellekte tutar.
6. Sonraki günlerde Sayfa dizinleme raporunda "Blocked by robots.txt" sayılarının düştüğünü kontrol edin.

robots.txt yok, ulaşılamıyor veya bir HTML sayfası

Mesaj hangi durumda olduğunuzu söyler; durum kodunu şu komutla doğrulayın:

curl -I https://yourdomain.com/robots.txt

• 404: zararsızdır, ama site haritanızı belirtebilmek için yine de basit bir dosya yayımlayın. Yukarıdaki "her şeye izin ver" örneğini kullanın.
• Content-Type: text/html ile 200: uygulamanız bilinmeyen URL'ler için bir web sayfası döndürüyor. Uygulamanın her şeyi yakalayan rotasından önce gerçek bir metin dosyası sunun.
• 403: bir güvenlik kuralı dosyayı engelliyor. /robots.txt yoluna herkes için izin verin.
• 5xx veya zaman aşımı: önce bunu düzeltin. Google bunu her gördüğünde 12 saat taramayı durdurur ve RFC 9309 tarayıcılara tüm sitenin engelli olduğunu varsaymalarını söyler.

robots.txt yapay zekâ arama tarayıcılarını engelliyor

Engellenen her belirtecin kullandığı grubu (kendi grubu veya *) bulun ve politikanıza belirteç bazında karar verin. ChatGPT, Claude ve Perplexity yanıtlarında atıf almak istiyorsanız OAI-SearchBot, Claude-SearchBot ve PerplexityBot belirteçlerine izin verin; isterseniz eğitim belirteçlerini ayrıca engelleyin. Adlandırılmış bir grubun * kurallarını devralmadığını unutmayın. Güvenlik duvarı testi bunun yerine uyarı verdiyse çözüm robots.txt'de değil, CDN veya WAF ayarlarınızdadır; yapay zekâ tarayıcıları rehberine bakın.

XML site haritası bulunamadı

1. Kanonik ve dizinlenebilir URL'lerinizden oluşan bir site haritası oluşturun. Çoğu CMS bunu yapar: WordPress çekirdeği /wp-sitemap.xml, Yoast SEO ve Rank Math ise /sitemap_index.xml sunar; Next.js'te app/sitemap.ts ekleyin.
2. Mutlak URL'yi robots.txt dosyasına ekleyin: Sitemap: https://www.example.com/sitemap.xml.
3. Google Search Console'a ve Bing Webmaster Tools'a gönderin.
4. Google'ın dosya başına sıkıştırılmamış 50.000 URL veya 50 MB sınırının altında tutun (Build and submit a sitemap); daha büyük siteleri bir site haritası dizini ile bölün.

Bir noindex etiketi veya X-Robots-Tag başlığı dizinlemeyi engelliyor

1. Sayfa kaynağını görüntüleyin ve noindex arayın. Bir meta etiketteyse onu ekleyen ayarı bulun: bir SEO eklentisinin sayfa başına seçeneği, bir tema ayarı veya bir staging bayrağı. WordPress'te, yayına almadan sonra çoğu zaman açık unutulan Ayarlar › Okuma › Arama motoru görünürlüğü ayarını kontrol edin.
2. Kaynak temizse başlıkları curl -I https://yourdomain.com/ ile kontrol edin. X-Robots-Tag: noindex başlığı genellikle sunucudan, bir CDN kuralından veya bir barındırma "staging" modundan gelir.
3. Kaldırın, ardından Search Console'daki URL Denetimi'nde ana sayfa için dizinleme isteyin.

Çalışılmış örnek (varsayımsal)

Aşağıdaki örnek varsayımsaldır, gerçek veri değildir. Uydurma bir klinik olan Oakridge Dental sitesini yeniler ve iki hafta içinde Google trafiğinin büyük kısmını kaybeder. robots.txt kontrol aracı şunu bildirir:

Dosyada yalnızca User-agent: * ve Disallow: / vardır; bunlar dağıtım betiği tarafından staging sunucusundan kopyalanmıştır. Çözüm on dakika sürdü: ekip dosyayı "her şeye izin ver" örneği ve site haritası satırıyla değiştirdi, robots.txt'yi staging senkronizasyonundan çıkardı, Search Console'da yeniden tarama istedi ve kontrol aracını yeniden çalıştırdı; araç geçti. Dosya Bingbot'u ve yapay zekâ arama tarayıcılarını da engellediği için aynı düzeltme kliniğin Bing, Copilot ve yapay zekâ yanıtlarındaki uygunluğunu da geri getirdi.

15 dakikalık robots.txt kontrol listesi

1. Ücretsiz robots.txt kontrol aracını çalıştırın ve başarısız olan her kontrolü not edin.
2. /robots.txt adresinin 5xx veya HTML değil, düz metin olarak 200 yanıtı verdiğini doğrulayın.
3. Her grubu okuyun: hangi tarayıcıyı adlandırıyor ve yanlışlıkla / yolunu ya da önemli bölümleri engelliyor mu?
4. Önemli kuralları her adlandırılmış grupta tekrarlayın; gruplar * kurallarını devralmaz.
5. Site haritanızı mutlak bir URL ile belirtin.
6. Aramadan uzak tutmak istediğiniz hiçbir şeyin noindex yerine robots.txt'ye dayanmadığından emin olun.
7. Değişikliklerden sonra Search Console'da yeniden tarama isteyin ve tekrar kontrol edin.

Searvia nasıl yardımcı olur

Ücretsiz robots.txt kontrol aracı, dosyanızı Googlebot, 9 diğer yapay zekâ ve arama tarayıcısı ile 2 yapay zekâ eğitimi dışında kalma belirteci için test eder, site haritanızı bulur ve noindex sinyallerini tek bir paylaşılabilir raporda kontrol eder. Sitenin geri kalanı için Searvia hesabındaki site denetimi sayfalarınızı bir arama motoru gibi tarar, robots.txt dosyanıza uyar ve her hafta site haritasındaki noindex sayfaları, bozuk sayfaları ve yönlendirmeleri işaretler; böylece hatalı bir dağıtım trafik düştükten sonra değil, günler içinde yakalanır. Denetimin yanında "Blocked by robots.txt" ve dizinleme trendlerini görmek için Search Console hesabınızı bağlayın ve robots.txt'nin tam kontrol listesinde nereye oturduğunu görmek için teknik SEO denetimi rehberimizi okuyun.