Cómo se usa
Elija una plantilla en modo simple o defina los grupos uno a uno en modo avanzado. Copie el resultado o descárguelo como .txt.
Herramientas CRY
Generador de robots.txt
Cree reglas de rastreo con la sintaxis correcta: varios grupos de user-agent, reglas allow y disallow y declaraciones de sitemap.
robots.txt
Esta herramienta funciona por completo en su navegador; sus datos nunca llegan a nuestro servidor.
Ejemplos
Bloquear /admin para Googlebot y declarar a la vez la URL del sitemap.
Casos de uso
Lanzamientos, protección de entornos de pruebas, presupuesto de rastreo, páginas de filtros.
Privacidad y tratamiento de datos
Las reglas se generan en su navegador; las rutas y la URL de sitemap que escriba no se envían ni se almacenan.
Preguntas frecuentes
¿Disallow elimina mi página del índice?
No. Disallow bloquea el rastreo, no la indexación. Para sacar una página del índice se usa noindex.