Comment l’utiliser
Choisissez un modèle en mode simple, ou définissez les groupes un à un en mode avancé. Copiez le résultat ou téléchargez-le en .txt.
Outils CRY
Générateur de robots.txt
Construisez vos règles d’exploration avec la bonne syntaxe : plusieurs groupes user-agent, règles allow et disallow, déclarations de sitemap.
robots.txt
Cet outil fonctionne entièrement dans votre navigateur ; vos données ne sont jamais envoyées à notre serveur.
Exemples
Bloquer /admin pour Googlebot tout en déclarant l’URL de votre sitemap.
Cas d’usage
Mise en ligne, protection d’un environnement de préproduction, budget de crawl, pages à facettes.
Confidentialité et traitement des données
Les règles sont générées dans votre navigateur ; les chemins et l’URL de sitemap saisis ne sont ni envoyés ni conservés.
Questions fréquentes
Disallow retire-t-il ma page de l’index ?
Non. Disallow bloque l’exploration, pas l’indexation. Pour retirer une page de l’index, utilisez noindex.