Nasıl kullanılır?
Basit modda hazır bir şablon seçin ya da gelişmiş modda kural gruplarını tek tek tanımlayın. Çıktıyı kopyalayın veya .txt olarak indirin.
CRY Araçları
Robots.txt Oluşturucu
Tarayıcı kurallarınızı doğru sözdizimiyle üretin. Birden fazla user-agent grubu, allow/disallow kuralı ve sitemap bildirimi.
robots.txt
Bu araç tamamen tarayıcınızda çalışır; verileriniz sunucumuza gönderilmez.
Örnekler
Googlebot için /admin dizinini kapatıp sitemap adresini bildirmek.
Kullanım alanları
Yeni site yayını, staging ortamı koruması, tarama bütçesi yönetimi, e-ticaret filtre sayfaları.
Gizlilik ve veri işleme
Kurallar tarayıcınızda üretilir; yazdığınız yollar ve sitemap adresi sunucumuza gönderilmez ve saklanmaz.
Sık sorulan sorular
Disallow yazmak sayfamı indexten çıkarır mı?
Hayır. Disallow taramayı engeller, indexlemeyi garanti altına almaz. Bir sayfayı indexten çıkarmak için noindex kullanılmalıdır.