Que fait cet outil ?
Croiser le fichier robots.txt, les déclarations de sitemap XML et l’indexabilité des URL échantillonnées.
Crawl architecture
Contrôle croisé robots et sitemap
Lisez ensemble le robots.txt et le sitemap XML, puis repérez blocages, redirections, noindex, réponses en erreur et incohérences de canonique sur un échantillon délimité.
Interpréter l’outil correctement
Méthode, données et limites
Comment cela fonctionne-t-il ?
L’outil analyse robots.txt, parcourt un index sitemap borné et examine un échantillon défini d’adresses.
Quelles données sont analysées ?
Directives robots, emplacements de sitemaps XML, statut HTTP, redirections, balises meta robots et canonical.
Comment interpréter les résultats ?
Les URL présentes dans un sitemap doivent être accessibles, indexables, non bloquées et auto-canoniques.
Limites
- — L’analyse publique est volontairement bornée pour préserver les ressources.
- — Les directives générées par JavaScript ne sont pas interprétées.
- — Les explorations volumineuses relèvent du module d’audit en arrière-plan.
Confidentialité et conservation des données
- — Seul le domaine soumis est contacté, depuis nos serveurs, dans la limite paramétrée.
- — Nous enregistrons la clé d’outil, le domaine, le score et le volume d’URL testées ; pas les documents explorés.
- — Paramètres d’URL sensibles caviardés avant stockage.
- — IP hachée de façon irréversible.
- — Résultats non indexés et absents du sitemap XML.