ماذا تفعل الأداة؟
المطابقة والتحقق المتقاطع بين ملف robots.txt وإعلانات خريطة الموقع وملفات XML وقابلية الفهرسة.
Crawl architecture
الفحص المتقاطع لـ robots وخريطة الموقع
اقرأ ملف robots.txt وخريطة الموقع XML معًا، ثم اكتشف الحجب وإعادة التوجيه وnoindex والاستجابات المعطوبة وتعارضات الرابط القانوني ضمن عينة محدودة.
تفسير الأداة تفسيرًا صحيحًا
المنهجية والبيانات والقيود
كيف تعمل؟
تقوم الأداة بقراءة ملف robots.txt، وتتبع فهرس خريطة الموقع المحدود، ثم تفحص عينة مقيدة من الروابط.
ما البيانات التي تُحلَّل؟
توجيهات ملف robots، ومسارات خرائط XML، وحالة HTTP، وإعادات التوجيه، وبيانات meta robots، ووسوم canonical.
كيف تُفسَّر النتائج؟
يجب أن تكون روابط خريطة الموقع قابلة للوصول، وقابلة للفهرسة، وغير محظورة، وتشير لعنوانها الأساسي ذاتياً.
القيود
- — الفحص العام مقيد بحجم عينة مدروس لضمان السرعة والأمان.
- — التوجيهات المعالجة عبر جافاسكريبت لا يتم تقييمها هنا.
- — عمليات الزحف الشاملة للمواقع الكبيرة تتطلب مسار الفحص المجدول.
الخصوصية والاحتفاظ بالبيانات
- — يتم الاتصال بالنطاق المدخل فقط من خادمنا وضمن حدود الزحف المحددة.
- — نخزن مفتاح الأداة، والنطاق، والنتيجة، وعدد الروابط المفحوصة — دون المستندات المزحوفة.
- — يتم حجب معلمات الاستعلام الحساسة تلقائياً.
- — عنوان IP مشفر لحماية الخدمة فقط.
- — النتائج لا تدرج في محركات البحث أو ملفات sitemap العامة.