Comment l’utiliser
Choisissez un modèle en mode simple, ou définissez les groupes un à un en mode avancé. Copiez le résultat ou téléchargez-le en .txt.
Outils CRY
Générateur de robots.txt
Construisez vos règles d’exploration avec la bonne syntaxe : plusieurs groupes user-agent, règles allow et disallow, déclarations de sitemap.
robots.txt
Cet outil fonctionne entièrement dans votre navigateur ; vos données ne sont jamais envoyées à notre serveur.
Exemples
Bloquer /admin pour Googlebot tout en déclarant l’URL de votre sitemap.
Cas d’usage
Mise en ligne, protection d’un environnement de préproduction, budget de crawl, pages à facettes.
Confidentialité et traitement des données
Les règles sont générées dans votre navigateur ; les chemins et l’URL de sitemap saisis ne sont ni envoyés ni conservés.
Ce que cet outil vérifie
Produit un robots.txt avec des règles Allow et Disallow regroupées par user-agent, ainsi que les directives sitemap.
Comment lire le résultat
robots.txt contrôle l'exploration, pas l'indexation. Une adresse bloquée peut quand même être indexée si des liens pointent vers elle — sans description, puisque son contenu n'a pas été lu. Pour exclure une page de l'index, l'outil adapté est la balise noindex, qui exige que la page reste explorable.
Erreurs fréquentes
L'erreur fréquente : lister un répertoire qu'on veut garder confidentiel, alors que robots.txt est public. Autre erreur : bloquer le CSS et le JavaScript, ce qui empêche le rendu correct de la page.
Les limites de cet outil
L'outil génère le fichier sans le mettre en ligne ni tester vos règles existantes.
Questions fréquentes
Disallow retire-t-il ma page de l’index ?
Non. Disallow bloque l’exploration, pas l’indexation. Pour retirer une page de l’index, utilisez noindex.
Où doit se trouver robots.txt ?
Uniquement à la racine du domaine : exemple.fr/robots.txt. Un fichier placé dans un sous-répertoire est ignoré.
La ligne Sitemap est-elle obligatoire ?
Non, mais utile : déclarer votre sitemap accélère la découverte des pages.