طريقة الاستخدام
- في «إنشاء»، اكتب المسارات المراد حظرها، وحدد زواحف الذكاء الاصطناعي أو محركات البحث التي تريد حظرها، وأضف عناوين خرائط موقعك. يتحدث ملف robots.txt أثناء الكتابة؛ انسخه أو نزّله.
- في «اختبار»، أدخل عنوان الموقع واضغط «جلب robots.txt»، أو الصق المحتوى.
- أدخل عنوان URL المراد اختباره واختر الزاحف. تعرض النتيجة هل يُسمح بالزحف وتبرز السطر المطابق.
شرح الخيارات
- قواعد المطابقة
- كما في مواصفات Google: تنطبق المجموعة الأقرب مطابقة لاسم الزاحف، ويفوز المسار المطابق الأطول، وتفوز Allow عند التعادل، ويُدعم * و$.
- Crawl-delay
- عدد الثواني بين الطلبات. يلتزم به Bing وغيره، بينما يتجاهله Google وBaidu.
مثال محلول
هذا ملف robots.txt يحظر مجلدًا لكنه يفتح مجلدًا فرعيًا واحدًا، ويحظر ملفات PDF، ويُبعد زاحف ذكاء اصطناعي واحدًا بالكامل:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlيعطي تبويب «اختبار» هذه الإجابات:
| الزاحف | مسار URL | النتيجة | السطر الحاسم |
|---|---|---|---|
| Googlebot | /blog/post | مسموح | لا تنطبق أي قاعدة |
| Googlebot | /private/data | محظور | Disallow: /private/ |
| Googlebot | /private/press/kit | مسموح | Allow: /private/press/ (تفوز المطابقة الأطول) |
| Googlebot | /files/a.pdf | محظور | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | مسموح | تعني $ أن عنوان URL يجب أن ينتهي هناك |
| GPTBot | /blog/post | محظور | Disallow: / في مجموعته الخاصة |
| Googlebot | /robots.txt | مسموح | الملف نفسه قابل للزحف دائمًا |
يستخدم Googlebot مجموعة * لأن لا مجموعة تسميه، بينما يستخدم GPTBot مجموعته الخاصة ويتجاهل قواعد *. وتتبع المطابقة RFC 9309، الذي لا يعرّف سوى User-agent وAllow وDisallow. أما Sitemap وCrawl-delay فهما امتدادان واسعا الاستخدام لا يعرّفهما RFC.
الأسئلة الشائعة
هل يمنع robots.txt ظهور الصفحة في نتائج البحث؟
ليس تمامًا. فهو يطلب من الزواحف فقط ألا تجلب الصفحة؛ وإذا ربطت بها مواقع أخرى فقد يُفهرس عنوانها. استخدم وسم noindex للصفحات التي يجب إبعادها، ولا تحظرها في robots.txt وإلا لن ترى الزواحف وسم noindex.
هل ينفع حظر زواحف الذكاء الاصطناعي؟
تعلن الزواحف الرسمية مثل GPTBot وClaudeBot وGoogle-Extended أنها تلتزم بملف robots.txt، فحظرها يمنع استخدام صفحاتك في التدريب. أما الزواحف التي تتجاهل هذا المعيار فلا يمكن إيقافها بهذه الطريقة.
من أي اتصال يُجلب robots.txt؟
يطلب خادمنا ملف robots.txt في جذر الموقع، ذلك الملف وحده. أما اختبار المحتوى الملصوق فيجري بالكامل داخل متصفحك.
الخصوصية
تُرفع الملفات عبر HTTPS لمعالجتها وتُحذف تلقائيًا خلال ساعة واحدة.