কীভাবে ব্যবহার করবেন
- যাচাই করার IP-গুলো প্রতি লাইনে একটি করে পেস্ট করুন, অথবা কাঁচা লগ লাইন পেস্ট করুন, IP নিজে থেকেই বের করে নেওয়া হবে।
- "যাচাই করুন"-এ ক্লিক করুন।
- "আসল … ক্রলার" চিহ্নিতগুলোকে বিশ্বাস করা যায়; "নকল" চিহ্নিতগুলো আপনার ফায়ারওয়াল বা CDN-এ ব্লক করা যায়।
অপশনগুলোর ব্যাখ্যা
- সমর্থিত সার্চ ইঞ্জিন
- Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com) এবং Petal (petalsearch.com)।
- কীভাবে যাচাই হয়
- IP-র রিভার্স DNS → হোস্ট নাম এই ডোমেইনগুলোর একটি বা তার সাবডোমেইন হতে হবে → হোস্ট নামের ফরওয়ার্ড DNS → মূল IP ফেরত এলে তবেই পাস।
গ্রহণযোগ্য হোস্ট নাম এবং প্রতিটি ফলের অর্থ
রিভার্স DNS হোস্ট নাম অবশ্যই এই ডোমেইনগুলোর একটি বা তার সাবডোমেইন হতে হবে। crawl.googlebot.com.example.net-এর মতো নাম গণ্য হয় না, কারণ নামের শুধু শেষ অংশ তুলনা করা হয়।
| সার্চ ইঞ্জিন | গ্রহণযোগ্য ডোমেইন |
|---|---|
| googlebot.com, google.com, googleusercontent.com | |
| Bing | search.msn.com |
| Baidu | baidu.com, baidu.jp |
| Yandex | yandex.ru, yandex.net, yandex.com |
| Sogou | sogou.com |
| Apple | applebot.apple.com |
| Petal | petalsearch.com |
IPv4 ঠিকানার জন্য ফরওয়ার্ড লুকআপ A রেকর্ড চায়, আর IPv6-এর জন্য AAAA রেকর্ড চায়। এর কোনো একটি আপনার দেওয়া ঠিকানার সমান হলেই কেবল IP পাস করে। «ফলাফল» কলামে আপনি এই ফলগুলো পেতে পারেন:
| ফলাফল | কী ঘটেছে |
|---|---|
| আসল (ইঞ্জিন) ক্রলার | রিভার্স নাম গ্রহণযোগ্য ডোমেইনে আছে এবং ফরওয়ার্ড লুকআপ একই IP ফেরত দেয়। |
| নকল: হোস্ট নাম এই IP-তে ফিরে আসে না | রিভার্স নাম সার্চ ইঞ্জিনের মতো দেখায়, কিন্তু ফরওয়ার্ড লুকআপ এই IP ফেরত দেয় না। |
| সার্চ ইঞ্জিনের হোস্ট নয় | IP-র একটি রিভার্স নাম আছে, কিন্তু তা কোনো গ্রহণযোগ্য ডোমেইনে নেই। |
| রিভার্স DNS নেই: পরিচিত ক্রলার নয় | IP-র কোনো PTR রেকর্ডই নেই। |
| DNS লুকআপ ব্যর্থ হয়েছে | DNS কোয়েরি নিজেই ব্যর্থ হয়েছে বা সময় শেষ হয়েছে। সিদ্ধান্তে আসার আগে আবার চেষ্টা করুন। |
| বৈধ IP নয় | লেখাটি IPv4 বা IPv6 ঠিকানা হিসেবে পড়া যায়নি। |
একবারে সর্বোচ্চ 20টি IP যাচাই হয়। লগের লাইন পেস্ট করলে তাতে পাওয়া প্রতিটি IPv4 বা IPv6 ঠিকানা তুলে নেওয়া হয়, যার মধ্যে দর্শকের ঠিকানার পাশাপাশি লাইনের যেকোনো সার্ভার ঠিকানাও থাকে।
সচরাচর জিজ্ঞাসিত প্রশ্ন
DuckDuckBot বা GPTBot-এর মতো AI ক্রলার কি যাচাই করা যায়?
এখনো নয়। এরা রিভার্স DNS নামের বদলে IP রেঞ্জের তালিকা প্রকাশ করে; এখানে এগুলো "সার্চ ইঞ্জিনের হোস্ট নয়" দেখায়, যা এগুলো নকল হওয়ার প্রমাণ নয়।
লুকআপ কোথা থেকে করা হয়?
আমাদের সার্ভার একটি পাবলিক DNS রিজলভারকে জিজ্ঞেস করে। শুধু DNS লুকআপ হয়; IP-গুলোর সঙ্গে নিজে কখনো যোগাযোগ করা হয় না।
রিভার্স DNS না পেলে কি IP ক্ষতিকর?
না, এর অর্থ শুধু এটি তালিকার কোনো সার্চ ইঞ্জিন ক্রলার নয়।
গোপনীয়তা
প্রসেস করার জন্য ফাইলগুলো HTTPS-এর মাধ্যমে আপলোড হয় এবং এক ঘণ্টার মধ্যে স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়।