कैसे इस्तेमाल करें
- "बनाएँ" में ब्लॉक करने के पाथ लिखें, जिन AI क्रॉलर या सर्च इंजन को रोकना है उन पर टिक करें और अपने साइटमैप URL जोड़ें। आपके लिखते ही robots.txt बदलती रहती है; उसे कॉपी या डाउनलोड करें।
- "परीक्षण" में वेबसाइट डालकर "robots.txt लाएँ" दबाएँ, या सामग्री पेस्ट करें।
- जाँचने वाला URL डालें और क्रॉलर चुनें। नतीजा बताता है कि क्रॉल हो सकता है या नहीं, और मेल खाती लाइन हाइलाइट करता है।
विकल्पों की जानकारी
- मिलान के नियम
- Google की विशिष्टता जैसे ही: क्रॉलर के नाम से सबसे अच्छा मेल खाता समूह लागू होता है, सबसे लंबा मेल खाता पाथ जीतता है, बराबरी पर Allow जीतता है, और * तथा $ चलते हैं।
- Crawl-delay
- रिक्वेस्ट के बीच सेकंड। Bing जैसे सर्च इंजन इसे मानते हैं; Google और Baidu अनदेखा करते हैं।
एक हल किया हुआ उदाहरण
यह एक robots.txt है जो एक फ़ोल्डर ब्लॉक करती है पर एक सबफ़ोल्डर खोलती है, PDF फ़ाइलें ब्लॉक करती है, और एक AI क्रॉलर को पूरी तरह बाहर रखती है:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml«परीक्षण» टैब ये जवाब देता है:
| क्रॉलर | URL पाथ | नतीजा | निर्णायक पंक्ति |
|---|---|---|---|
| Googlebot | /blog/post | अनुमति | कोई नियम मेल नहीं खाता |
| Googlebot | /private/data | ब्लॉक | Disallow: /private/ |
| Googlebot | /private/press/kit | अनुमति | Allow: /private/press/ (लंबा मेल जीतता है) |
| Googlebot | /files/a.pdf | ब्लॉक | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | अनुमति | $ का मतलब है कि URL वहीं ख़त्म होना चाहिए |
| GPTBot | /blog/post | ब्लॉक | अपने ही ग्रुप में Disallow: / |
| Googlebot | /robots.txt | अनुमति | फ़ाइल ख़ुद हमेशा क्रॉल हो सकती है |
Googlebot * ग्रुप इस्तेमाल करता है क्योंकि कोई ग्रुप उसका नाम नहीं लेता, जबकि GPTBot अपना ग्रुप इस्तेमाल करता है और * के नियम अनदेखे करता है। मिलान RFC 9309 का पालन करता है, जो सिर्फ़ User-agent, Allow और Disallow परिभाषित करता है। Sitemap और Crawl-delay व्यापक रूप से इस्तेमाल होने वाले एक्सटेंशन हैं जिन्हें RFC परिभाषित नहीं करता।
अक्सर पूछे जाने वाले सवाल
क्या robots.txt किसी पेज को सर्च नतीजों से बाहर रखती है?
पूरी तरह नहीं। यह क्रॉलर से सिर्फ़ कहती है कि पेज न उठाएँ; अगर दूसरी साइटें उसे लिंक करती हैं तो URL फिर भी इंडेक्स हो सकता है। जिन पेजों को बाहर रखना ज़रूरी है, उन पर noindex टैग लगाएँ और उन्हें robots.txt में ब्लॉक न करें, वरना क्रॉलर noindex देख ही नहीं पाएँगे।
क्या AI क्रॉलर को ब्लॉक करना काम करता है?
GPTBot, ClaudeBot और Google-Extended जैसे आधिकारिक क्रॉलर कहते हैं कि वे robots.txt का सम्मान करते हैं, इसलिए उन्हें ब्लॉक करने से आपके पेज ट्रेनिंग में इस्तेमाल नहीं होते। जो क्रॉलर इस मानक को अनदेखा करते हैं, उन्हें इस तरह नहीं रोका जा सकता।
robots.txt किसके कनेक्शन से लाई जाती है?
हमारा सर्वर साइट के रूट की robots.txt माँगता है — सिर्फ़ वही एक फ़ाइल। पेस्ट की हुई सामग्री का परीक्षण पूरी तरह आपके ब्राउज़र में होता है।
प्राइवेसी
फ़ाइलें प्रोसेसिंग के लिए HTTPS पर अपलोड होती हैं और एक घंटे के अंदर अपने-आप डिलीट हो जाती हैं।