Robots.txt Oluşturucu

Nasıl kullanılır?

Basit modda hazır bir şablon seçin ya da gelişmiş modda kural gruplarını tek tek tanımlayın. Çıktıyı kopyalayın veya .txt olarak indirin.

Örnekler

Googlebot için /admin dizinini kapatıp sitemap adresini bildirmek.

Kullanım alanları

Yeni site yayını, staging ortamı koruması, tarama bütçesi yönetimi, e-ticaret filtre sayfaları.

Gizlilik ve veri işleme

Kurallar tarayıcınızda üretilir; yazdığınız yollar ve sitemap adresi sunucumuza gönderilmez ve saklanmaz.

Bu araç neyi kontrol eder?

User-agent gruplarına göre Allow ve Disallow kuralları ile sitemap satırlarını içeren bir robots.txt üretir.

Sonuç ne anlama gelir?

robots.txt tarama denetimidir, dizin denetimi değil. Disallow verilmiş bir adres, dışarıdan bağlantı alıyorsa yine de dizine girebilir - üstelik içeriği okunamadığı için açıklamasız olarak. Bir sayfanın dizine girmesini engellemek istiyorsanız doğru araç noindex meta etiketidir; ancak noindex'in görülebilmesi için sayfanın taranabilir olması gerekir. İkisini birlikte kullanmak yaygın ve etkisiz bir hatadır.

Sık yapılan hatalar

En sık yapılan hata, gizli kalmasını istediği bir dizini Disallow ile listelemektir: robots.txt herkese açıktır ve bu, adresi ilan etmek anlamına gelir. İkincisi, CSS ve JavaScript dosyalarını engellemektir; bu, sayfanın doğru işlenmesini engeller. Üçüncüsü, dosyayı kök dizin dışında bir yere koymaktır - yalnızca alan adının kökündeki dosya geçerlidir.

Bu aracın sınırları

Araç dosyayı üretir, sunucunuza yüklemez ve mevcut kurallarınızı test etmez. Kuralların doğru çalıştığını yayımladıktan sonra doğrulamanız gerekir.