محرك تحليل وصول الزواحف وسياسات الفهرسة
CRAWL & INDEX INTELLIGENCE
اعرف مَن يصل إلى موقعك.
ولماذا يُسمح له أو يُمنع.
نظام تدقيق حيّ لطبقة التحكم بالزواحف: يفسر robots.txt، يختبر استجابة الخادم، يتتبع خرائط الموقع، ويكشف التعارض بين قرارات الزحف والفهرسة.
- سياسة معلنة + استجابة فعلية
- محركات بحث وزواحف ذكاء اصطناعي
- تقرير قابل للتفسير والتصدير
GET /robots.txt200ابدأ من أي صفحة
تقرير موقع، وليس فحص سطر واحد.
- الصفحة
- robots.txt
- الزواحف
- Sitemap
- التقرير
ست طبقات في تقرير واحد
من النص الخام إلى قرار يمكن تنفيذه.
محرك robots.txt
مجموعات User-agent، أولوية القواعد، wildcards، نهاية المسار، الأخطاء، والتعليمات غير القياسية.
مصفوفة الزواحف
السياسة المعلنة والاستجابة الحية لـGoogle وBing وOpenAI وAnthropic وPerplexity.
خرائط الموقع
اكتشاف Sitemap Index والملفات الفرعية، قراءة الأعداد، وفحص التعارض مع Googlebot.
قرارات الفهرسة
meta robots وX-Robots-Tag وCanonical وعلاقتها بإمكانية وصول الزاحف.
توحيد النطاق
HTTP وHTTPS وwww وبدون www: هل تتجمع على وجهة واحدة أم تصنع نسخًا متفرقة؟
محاكي قبل التطبيق
اختبر أي مسار مقابل جميع الزواحف باستخدام القواعد المنشورة، واعرف القاعدة الفائزة ورقم سطرها.
ما الذي يقيسه السكور؟
الاتساق، لا التفضيل.
قد تختار منع GPTBot والسماح لـOAI-SearchBot، أو منع قسم كامل من Googlebot. الأداة لا تعتبر قرار المنع خطأ. النتيجة تنخفض عندما يكون الملف غير متاح، أو القاعدة متعارضة، أو Sitemap تخالف القرار، أو WAF يمنع زاحفًا سمحت له السياسة.
مهم: التقرير يقيس أهلية الوصول والإشارات الحالية، ولا يستطيع أن يثبت أن محركًا ما قد فهرس الصفحة فعليًا.
فهم النتيجة
تفاصيل تمنع القرارات الخاطئة.
هل robots.txt يمنع ظهور الصفحة في نتائج البحث؟
هو يتحكم بالزحف أساسًا. قد يبقى عنوان URL ظاهرًا دون مقتطف إذا اكتشفه المحرك من روابط أخرى. لمنع الفهرسة استخدم noindex مع السماح للزاحف بقراءة الصفحة.
لماذا نفحص السياسة والاستجابة الفعلية معًا؟
قد تسمح القاعدة لزاحف معين، بينما يعيده Cloudflare أو WAF بحالة 403 أو 429. في هذه الحالة النص صحيح لكن الوصول العملي لا يعمل.
هل llms.txt يدخل في السكور؟
لا. نعرضه كمعلومة اختيارية ناشئة فقط، ولا نعاقب الموقع على غيابه ولا نقدمه كبديل عن robots.txt.
هل هذه أداة تدقيق SEO؟
لا. لا تقيم جودة المحتوى أو الكلمات أو العناوين أو الروابط أو الأداء. مدقق SEO سيكون نظامًا مستقلًا حتى تبقى نتيجة كل أداة دقيقة ومفهومة.