¿Qué hace la herramienta?
Comprobar de forma cruzada robots.txt, sitemaps XML e indexabilidad de URLs muestreadas.
Crawl architecture
Comprobación cruzada de robots y sitemap
Lee conjuntamente el robots.txt y el sitemap XML y detecta bloqueos, redirecciones, noindex, respuestas con error e incoherencias de canónica en una muestra acotada.
Interpretar correctamente la herramienta
Método, datos y limitaciones
¿Cómo funciona?
El comprobador lee robots.txt, sigue un índice delimitado de sitemaps e inspecciona una muestra configurada.
¿Qué datos se analizan?
Directivas de robots, rutas XML de sitemaps, estado HTTP, redirecciones, meta robots y etiquetas canonical.
¿Cómo deben interpretarse los resultados?
Las URLs del sitemap deben ser accesibles, indexables, no bloqueadas y autocanónicas.
Limitaciones
- — El escaneo público es acotado por seguridad y rendimiento.
- — No se evalúan directivas inyectadas por JavaScript.
- — Rastreos masivos corresponden al flujo de auditoría por cola.
Privacidad y conservación de datos
- — Solo se contacta el origen enviado, desde nuestro servidor, bajo el límite establecido.
- — Almacenamos clave, origen, puntuación y número de URLs muestreadas; no los documentos.
- — Parámetros sensibles son eliminados antes de registrar.
- — IP almacenada en hash irreversible.
- — Resultados no indexados ni públicos.