कैसे इस्तेमाल करें
- जाँचने वाले IP हर लाइन में एक चिपकाएँ, या कच्ची लॉग लाइनें चिपकाएँ, IP अपने आप निकाल लिए जाएँगे।
- "सत्यापित करें" पर क्लिक करें।
- "असली … क्रॉलर" वाले नतीजों पर भरोसा किया जा सकता है; "नकली" वाले आपके फ़ायरवॉल या CDN पर ब्लॉक किए जा सकते हैं।
विकल्पों की जानकारी
- समर्थित सर्च इंजन
- Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com) और Petal (petalsearch.com)।
- जाँच कैसे होती है
- IP का रिवर्स DNS → होस्ट नाम इन्हीं डोमेन में से एक या उनका सबडोमेन होना चाहिए → होस्ट नाम का फ़ॉरवर्ड DNS → मूल IP लौटे तभी पास होता है।
स्वीकार किए जाने वाले होस्ट नाम और हर नतीजे का अर्थ
रिवर्स DNS होस्ट नाम ठीक इन डोमेन में से किसी का या उसके सबडोमेन का होना चाहिए। crawl.googlebot.com.example.net जैसा नाम नहीं गिना जाता, क्योंकि नाम का सिर्फ़ अंत तुलना में लिया जाता है।
| सर्च इंजन | स्वीकृत डोमेन |
|---|---|
| googlebot.com, google.com, googleusercontent.com | |
| Bing | search.msn.com |
| Baidu | baidu.com, baidu.jp |
| Yandex | yandex.ru, yandex.net, yandex.com |
| Sogou | sogou.com |
| Apple | applebot.apple.com |
| Petal | petalsearch.com |
IPv4 पते के लिए फ़ॉरवर्ड लुकअप A रिकॉर्ड माँगता है, और IPv6 के लिए AAAA रिकॉर्ड। IP तभी पास होता है जब उनमें से कोई आपके डाले पते के बराबर हो। नतीजा कॉलम में ये नतीजे मिल सकते हैं:
| नतीजा | क्या हुआ |
|---|---|
| असली Google क्रॉलर | रिवर्स नाम स्वीकृत डोमेन पर है और फ़ॉरवर्ड लुकअप वही IP लौटाता है। |
| नकली: होस्ट नाम इस IP पर वापस नहीं पहुँचता | रिवर्स नाम सर्च इंजन जैसा दिखता है, पर फ़ॉरवर्ड लुकअप यह IP नहीं लौटाता। |
| सर्च इंजन का होस्ट नहीं | IP का रिवर्स नाम है, पर वह किसी स्वीकृत डोमेन पर नहीं है। |
| रिवर्स DNS नहीं मिला: जाना-पहचाना क्रॉलर नहीं | IP का कोई PTR रिकॉर्ड ही नहीं है। |
| DNS लुकअप विफल रहा | DNS क्वेरी ख़ुद फ़ेल हुई या उसका समय समाप्त हो गया। निष्कर्ष निकालने से पहले दोबारा कोशिश करें। |
| मान्य IP नहीं है | टेक्स्ट को IPv4 या IPv6 पते के रूप में पढ़ा नहीं जा सका। |
एक बार में 20 तक IP जाँचे जाते हैं। लॉग की पंक्तियाँ पेस्ट करने पर उनमें मिला हर IPv4 या IPv6 पता निकाल लिया जाता है, जिसमें पंक्ति में सर्वर का कोई भी पता भी शामिल है, आगंतुक के पते के साथ।
अक्सर पूछे जाने वाले सवाल
क्या DuckDuckBot या GPTBot जैसे AI क्रॉलर जाँचे जा सकते हैं?
अभी नहीं। ये रिवर्स DNS नाम की जगह IP रेंज की सूची प्रकाशित करते हैं; यहाँ ये "सर्च इंजन का होस्ट नहीं" दिखते हैं, जो इनके नकली होने का सबूत नहीं है।
लुकअप कहाँ से किए जाते हैं?
हमारा सर्वर एक सार्वजनिक DNS रिज़ॉल्वर से पूछता है। सिर्फ़ DNS लुकअप होते हैं; IP से खुद कभी संपर्क नहीं किया जाता।
क्या रिवर्स DNS न मिलने का मतलब IP दुर्भावनापूर्ण है?
नहीं, इसका मतलब सिर्फ़ इतना है कि वह सूची के सर्च इंजन क्रॉलर में से नहीं है।
प्राइवेसी
फ़ाइलें प्रोसेसिंग के लिए HTTPS पर अपलोड होती हैं और एक घंटे के अंदर अपने-आप डिलीट हो जाती हैं।