So funktioniert es
Im einfachen Modus eine Vorlage wählen oder im erweiterten Modus Regelgruppen einzeln definieren. Ausgabe kopieren oder als .txt herunterladen.
CRY Tools
Robots.txt-Generator
Erstellen Sie Crawler-Regeln in korrekter Syntax: mehrere User-Agent-Gruppen, Allow- und Disallow-Regeln sowie Sitemap-Angaben.
robots.txt
Dieses Tool läuft vollständig in Ihrem Browser; Ihre Daten erreichen unseren Server nie.
Beispiele
/admin für Googlebot sperren und gleichzeitig die Sitemap-URL angeben.
Anwendungsfälle
Neue Sites, Schutz von Staging, Crawl-Budget, Filterseiten im E-Commerce.
Datenschutz und Datenverarbeitung
Die Regeln entstehen in Ihrem Browser; eingegebene Pfade und die Sitemap-URL werden nie gesendet oder gespeichert.
Häufige Fragen
Entfernt Disallow meine Seite aus dem Index?
Nein. Disallow verhindert das Crawlen, nicht die Indexierung. Für die Entfernung aus dem Index ist noindex nötig.