Robots.txt Oluşturucu ve Test Aracı

Oluştur: engellenecek yolları, dışarıda tutulacak tarayıcıları ve sitemap URL’lerinizi seçin, yüklemeye hazır bir robots.txt alın. Test et: herhangi bir sitenin robots.txt dosyasını çekin (veya yapıştırın), bir URL ve tarayıcı girin; taranıp taranamayacağını ve kararı hangi satırın verdiğini görün.

Sunucularımızda işlenir ve bir saat içinde silinir

Nasıl kullanılır

Oluştur sekmesinde engellenecek yolları listeleyin, engellenecek yapay zekâ tarayıcılarını veya arama motorlarını işaretleyin ve sitemap URL’lerinizi ekleyin. robots.txt siz ilerledikçe güncellenir; kopyalayın veya indirin.
Test et sekmesinde bir web sitesi girip robots.txt getir düğmesine tıklayın ya da içeriği yapıştırın.
Test edilecek URL’yi girin ve bir tarayıcı seçin. Sonuç, taranıp taranamayacağını söyler ve eşleşen satırı vurgular.

Seçeneklerin açıklaması

Eşleşme kuralları: Google’ın belirtimindeki gibi — tarayıcı adına en iyi uyan grup geçerlidir, en uzun eşleşen yol kazanır, eşitlikte Allow kazanır ve * ile $ desteklenir.
Crawl-delay: İstekler arasındaki saniye. Bing ve diğerleri dikkate alır; Google ve Baidu yok sayar.

Çözümlü bir örnek

İşte bir klasörü engelleyen ama bir alt klasörü açan, PDF dosyalarını engelleyen ve bir yapay zekâ tarayıcısını tamamen dışarıda tutan bir robots.txt:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Test sekmesi şu yanıtları verir:

Tarayıcı	URL yolu	Sonuç	Belirleyici satır
Googlebot	/blog/post	İzin verildi	Hiçbir kural eşleşmiyor
Googlebot	/private/data	Engellendi	Disallow: /private/
Googlebot	/private/press/kit	İzin verildi	Allow: /private/press/ (daha uzun eşleşme kazanır)
Googlebot	/files/a.pdf	Engellendi	Disallow: /*.pdf$
Googlebot	/files/a.pdf?x=1	İzin verildi	$, URL’nin orada bitmesi gerektiği anlamına gelir
GPTBot	/blog/post	Engellendi	Kendi grubunda Disallow: /
Googlebot	/robots.txt	İzin verildi	Dosyanın kendisi her zaman taranabilir

Hiçbir grup Googlebot’u adıyla anmadığı için Googlebot * grubunu kullanır; GPTBot ise kendi grubunu kullanır ve * kurallarını yok sayar. Eşleştirme, yalnızca User-agent, Allow ve Disallow’u tanımlayan RFC 9309’u izler. Sitemap ve Crawl-delay, RFC’nin tanımlamadığı, yaygın kullanılan uzantılardır.

Sıkça sorulan sorular

robots.txt bir sayfayı arama sonuçlarından tamamen çıkarır mı?

Tam olarak değil. Yalnızca tarayıcılardan sayfayı çekmemelerini ister; başka siteler bağlantı verirse URL yine de dizine eklenebilir. Dışarıda kalması gereken sayfalar için noindex etiketi kullanın ve onları robots.txt’de engellemeyin, yoksa tarayıcılar noindex’i hiç göremez.

Yapay zekâ tarayıcılarını engellemek işe yarar mı?

GPTBot, ClaudeBot ve Google-Extended gibi resmî tarayıcılar robots.txt’ye uyduklarını belirtir; bu yüzden onları engellemek sayfalarınızın eğitimde kullanılmasını durdurur. Standardı yok sayan tarayıcılar bu yolla durdurulamaz.

robots.txt hangi bağlantıyla çekilir?

Sunucumuz sitenin kökündeki robots.txt dosyasını ister — yalnızca bu tek dosyayı. Yapıştırdığınız içeriğin testi tamamen tarayıcınızda yapılır.

Gizlilik

Dosyalar işlenmek üzere HTTPS üzerinden yüklenir ve bir saat içinde otomatik olarak silinir.