أدوات CRY

مولّد ملف robots.txt

أنشئ قواعد الزحف بصياغة صحيحة: مجموعات user-agent متعددة، وقواعد allow وdisallow، وبيانات خريطة الموقع.

user-agent

allow

disallow

رابط خريطة الموقع

robots.txt

تعمل هذه الأداة بالكامل داخل متصفحك، ولا تُرسل بياناتك إلى خادمنا إطلاقًا.

اختر قالبًا جاهزًا في الوضع البسيط، أو عرّف مجموعات القواعد واحدة تلو الأخرى في الوضع المتقدم. انسخ الناتج أو نزّله كملف ‎.txt.

حجب مسار ‎/admin عن Googlebot مع الإعلان عن رابط خريطة الموقع.

إطلاق موقع جديد، حماية بيئة التجربة، إدارة ميزانية الزحف، صفحات الفلترة في المتاجر.

تُنشأ القواعد داخل متصفحك، ولا تُرسَل المسارات ورابط خريطة الموقع التي تكتبها إلى خادمنا ولا تُخزَّن.

لا. يمنع Disallow الزحف ولا يتحكم في الفهرسة. لإخراج صفحة من الفهرس استخدم noindex.