Cómo se usa
Elija una plantilla en modo simple o defina los grupos uno a uno en modo avanzado. Copie el resultado o descárguelo como .txt.
Herramientas CRY
Generador de robots.txt
Cree reglas de rastreo con la sintaxis correcta: varios grupos de user-agent, reglas allow y disallow y declaraciones de sitemap.
robots.txt
Esta herramienta funciona por completo en su navegador; sus datos nunca llegan a nuestro servidor.
Ejemplos
Bloquear /admin para Googlebot y declarar a la vez la URL del sitemap.
Casos de uso
Lanzamientos, protección de entornos de pruebas, presupuesto de rastreo, páginas de filtros.
Privacidad y tratamiento de datos
Las reglas se generan en su navegador; las rutas y la URL de sitemap que escriba no se envían ni se almacenan.
Qué comprueba esta herramienta
Genera un robots.txt con reglas Allow y Disallow agrupadas por user-agent, más las directivas de sitemap.
Cómo leer el resultado
robots.txt controla el rastreo, no la indexación. Una dirección bloqueada puede indexarse igualmente si algo enlaza a ella, y sin descripción, porque su contenido no pudo leerse. Para excluir una página del índice, lo adecuado es noindex, que requiere que la página siga siendo rastreable.
Errores frecuentes
El error habitual es listar un directorio que se quiere mantener privado: robots.txt es público. Otro es bloquear CSS y JavaScript, lo que impide renderizar bien la página.
Límites de esta herramienta
La herramienta genera el archivo, pero no lo sube ni prueba sus reglas actuales.
Preguntas frecuentes
¿Disallow elimina mi página del índice?
No. Disallow bloquea el rastreo, no la indexación. Para sacar una página del índice se usa noindex.
¿Dónde debe estar robots.txt?
Solo en la raíz del dominio: ejemplo.es/robots.txt. Un archivo en un subdirectorio se ignora.
¿La línea Sitemap es obligatoria?
No, pero es útil: declarar el sitemap acelera el descubrimiento.