مولّد ملف robots.txt

طريقة الاستخدام

اختر قالبًا جاهزًا في الوضع البسيط، أو عرّف مجموعات القواعد واحدة تلو الأخرى في الوضع المتقدم. انسخ الناتج أو نزّله كملف ‎.txt.

أمثلة

حجب مسار ‎/admin عن Googlebot مع الإعلان عن رابط خريطة الموقع.

حالات الاستخدام

إطلاق موقع جديد، حماية بيئة التجربة، إدارة ميزانية الزحف، صفحات الفلترة في المتاجر.

الخصوصية ومعالجة البيانات

تُنشأ القواعد داخل متصفحك، ولا تُرسَل المسارات ورابط خريطة الموقع التي تكتبها إلى خادمنا ولا تُخزَّن.

ما الذي تفحصه هذه الأداة

تُنتج ملف robots.txt يتضمن قواعد Allow و Disallow مجمّعة بحسب user-agent، إضافة إلى أسطر sitemap.

كيف تقرأ النتيجة

يتحكم robots.txt في الزحف لا في الفهرسة. فالعنوان المحظور قد يُفهرس رغم ذلك إذا وُجدت روابط إليه، ومن دون وصف لأن محتواه لم يُقرأ. ولإبعاد صفحة عن الفهرس فالأداة المناسبة هي وسم noindex، الذي يتطلب أن تبقى الصفحة قابلة للزحف.

أخطاء شائعة

الخطأ الشائع إدراج مجلد يُراد إبقاؤه سرياً، مع أن robots.txt ملف عام. وخطأ آخر حظر ملفات CSS و JavaScript، مما يمنع عرض الصفحة بشكل صحيح.

حدود هذه الأداة

تُنشئ الأداة الملف دون رفعه إلى الخادم ودون اختبار قواعدك الحالية.