কীভাবে ব্যবহার করবেন
- "তৈরি করুন"-এ ব্লক করার পাথ লিখুন, যেসব AI ক্রলার বা সার্চ ইঞ্জিন আটকাতে চান সেগুলোতে টিক দিন এবং সাইটম্যাপ URL যোগ করুন। লিখতে লিখতেই robots.txt বদলে যায়; এটি কপি বা ডাউনলোড করুন।
- "পরীক্ষা"-য় ওয়েবসাইট দিয়ে "robots.txt আনুন" চাপুন, অথবা বিষয়বস্তু পেস্ট করুন।
- পরীক্ষার URL দিন ও একটি ক্রলার বেছে নিন। ফলাফলে দেখা যায় ক্রল করা যাবে কি না, আর মিলে যাওয়া লাইনটি হাইলাইট হয়।
অপশনগুলোর ব্যাখ্যা
- মেলানোর নিয়ম
- Google-এর স্পেসিফিকেশনের মতোই: ক্রলারের নামের সঙ্গে সবচেয়ে ভালো মেলে যে গ্রুপ সেটি প্রযোজ্য, সবচেয়ে দীর্ঘ মিলে যাওয়া পাথ জেতে, সমান হলে Allow জেতে, এবং * ও $ সমর্থিত।
- Crawl-delay
- অনুরোধের মাঝের সেকেন্ড। Bing ও অন্যরা এটি মানে; Google ও Baidu উপেক্ষা করে।
একটি হাতেকলমে উদাহরণ
এই robots.txt একটি ফোল্ডার ব্লক করে কিন্তু একটি সাবফোল্ডার খুলে রাখে, PDF ফাইল ব্লক করে এবং একটি AI ক্রলারকে পুরোপুরি বাইরে রাখে:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml«পরীক্ষা» ট্যাব এই উত্তরগুলো দেয়:
| ক্রলার | URL পাথ | ফলাফল | সিদ্ধান্তকারী লাইন |
|---|---|---|---|
| Googlebot | /blog/post | অনুমোদিত | কোনো নিয়ম মেলেনি |
| Googlebot | /private/data | ব্লকড | Disallow: /private/ |
| Googlebot | /private/press/kit | অনুমোদিত | Allow: /private/press/ (লম্বা মিল জেতে) |
| Googlebot | /files/a.pdf | ব্লকড | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | অনুমোদিত | $ মানে URL সেখানেই শেষ হতে হবে |
| GPTBot | /blog/post | ব্লকড | নিজের গ্রুপে Disallow: / |
| Googlebot | /robots.txt | অনুমোদিত | ফাইলটি নিজে সবসময় ক্রল করা যায় |
Googlebot * গ্রুপ ব্যবহার করে কারণ কোনো গ্রুপ তার নাম নেয়নি, আর GPTBot নিজের গ্রুপ ব্যবহার করে এবং * নিয়ম উপেক্ষা করে। মেলানো RFC 9309 অনুসরণ করে, যা শুধু User-agent, Allow ও Disallow সংজ্ঞায়িত করে। Sitemap ও Crawl-delay বহুল ব্যবহৃত এক্সটেনশন, যা RFC সংজ্ঞায়িত করে না।
সচরাচর জিজ্ঞাসিত প্রশ্ন
robots.txt কি কোনো পেজকে সার্চ ফলাফলের বাইরে রাখে?
পুরোপুরি নয়। এটি শুধু ক্রলারদের অনুরোধ করে পেজটি না আনতে; অন্য সাইট লিংক করলে URL তবু ইনডেক্স হতে পারে। যেসব পেজ বাইরে রাখতেই হবে সেগুলোতে noindex ট্যাগ ব্যবহার করুন এবং robots.txt-এ ব্লক করবেন না, নইলে ক্রলার noindex দেখতেই পাবে না।
AI ক্রলার ব্লক করা কি কাজ করে?
GPTBot, ClaudeBot ও Google-Extended-এর মতো অফিসিয়াল ক্রলার বলে যে তারা robots.txt মেনে চলে, তাই ব্লক করলে আপনার পেজ ট্রেনিংয়ে ব্যবহার হয় না। যে ক্রলার এই মান উপেক্ষা করে, তাদের এভাবে আটকানো যায় না।
robots.txt কার সংযোগ দিয়ে আনা হয়?
আমাদের সার্ভার সাইটের রুটের robots.txt চায় — শুধু সেই একটি ফাইল। পেস্ট করা বিষয়বস্তুর পরীক্ষা পুরোটাই আপনার ব্রাউজারে হয়।
গোপনীয়তা
প্রসেস করার জন্য ফাইলগুলো HTTPS-এর মাধ্যমে আপলোড হয় এবং এক ঘণ্টার মধ্যে স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়।