So funktioniert es
Im einfachen Modus eine Vorlage wählen oder im erweiterten Modus Regelgruppen einzeln definieren. Ausgabe kopieren oder als .txt herunterladen.
CRY Tools
Robots.txt-Generator
Erstellen Sie Crawler-Regeln in korrekter Syntax: mehrere User-Agent-Gruppen, Allow- und Disallow-Regeln sowie Sitemap-Angaben.
robots.txt
Dieses Tool läuft vollständig in Ihrem Browser; Ihre Daten erreichen unseren Server nie.
Beispiele
/admin für Googlebot sperren und gleichzeitig die Sitemap-URL angeben.
Anwendungsfälle
Neue Sites, Schutz von Staging, Crawl-Budget, Filterseiten im E-Commerce.
Datenschutz und Datenverarbeitung
Die Regeln entstehen in Ihrem Browser; eingegebene Pfade und die Sitemap-URL werden nie gesendet oder gespeichert.
Was dieses Tool prüft
Erzeugt eine robots.txt mit nach User-Agent gruppierten Allow- und Disallow-Regeln sowie Sitemap-Angaben.
Wie das Ergebnis zu lesen ist
robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte Adresse kann trotzdem indexiert werden, wenn etwas darauf verlinkt - dann ohne Beschreibung. Um eine Seite aus dem Index zu halten, ist noindex das richtige Mittel, wofür die Seite crawlbar bleiben muss. Beides zusammen ist ein verbreiteter, wirkungsloser Fehler.
Häufige Fehler
Häufigster Fehler: ein Verzeichnis sperren, das geheim bleiben soll - robots.txt ist öffentlich. Zweitens: CSS und JavaScript blockieren. Drittens: die Datei nicht im Domain-Root ablegen.
Grenzen dieses Tools
Das Tool erzeugt die Datei, lädt sie nicht hoch und testet bestehende Regeln nicht.
Häufige Fragen
Entfernt Disallow meine Seite aus dem Index?
Nein. Disallow verhindert das Crawlen, nicht die Indexierung. Für die Entfernung aus dem Index ist noindex nötig.
Wo muss robots.txt liegen?
Nur im Domain-Root: beispiel.de/robots.txt.
Ist die Sitemap-Zeile Pflicht?
Nicht Pflicht, aber nützlich für schnellere Auffindbarkeit.