Zo gebruik je het
- Plak de te controleren IP’s, één per regel, of plak ruwe logregels; de IP’s worden eruit gehaald.
- Klik op Controleren.
- Resultaten met Echte …-crawler kun je vertrouwen; die met Nep kun je blokkeren in je firewall of CDN.
Opties uitgelegd
- Ondersteunde zoekmachines
- Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com) en Petal (petalsearch.com).
- Hoe de controle werkt
- Reverse DNS van het IP → de hostnaam moet een van die domeinen of een subdomein zijn → forward DNS van de hostnaam → alleen geslaagd als het oorspronkelijke IP terugkomt.
Geaccepteerde hostnamen en wat elk resultaat betekent
De hostnaam van de reverse DNS moet precies een van deze domeinen of een subdomein ervan zijn. Een naam zoals crawl.googlebot.com.example.net telt niet, omdat alleen het einde van de naam wordt vergeleken.
| Zoekmachine | Geaccepteerde domeinen |
|---|---|
| googlebot.com, google.com, googleusercontent.com | |
| Bing | search.msn.com |
| Baidu | baidu.com, baidu.jp |
| Yandex | yandex.ru, yandex.net, yandex.com |
| Sogou | sogou.com |
| Apple | applebot.apple.com |
| Petal | petalsearch.com |
Voor een IPv4-adres vraagt de forward lookup A-records op, en voor IPv6 AAAA-records. Het IP slaagt alleen als een daarvan gelijk is aan het adres dat je hebt ingevoerd. Dit zijn de resultaten die je in de kolom Resultaat kunt krijgen:
| Resultaat | Wat er gebeurde |
|---|---|
| Echte (zoekmachine)-crawler | De reverse naam staat op een geaccepteerd domein en de forward lookup geeft hetzelfde IP terug. |
| Nep: hostnaam verwijst niet terug naar dit IP | De reverse naam lijkt op een zoekmachine, maar de forward lookup geeft dit IP niet terug. |
| Geen host van een zoekmachine | Het IP heeft een reverse naam, maar die staat niet op een geaccepteerd domein. |
| Geen reverse DNS: geen bekende crawler | Het IP heeft helemaal geen PTR-record. |
| DNS-lookup mislukt | De DNS-query zelf is mislukt of liep op een time-out. Probeer het opnieuw voordat je een conclusie trekt. |
| Geen geldig IP | De tekst kon niet als IPv4- of IPv6-adres worden gelezen. |
Er worden maximaal 20 IP’s tegelijk gecontroleerd. Wanneer je logregels plakt, wordt elk IPv4- of IPv6-adres dat erin staat eruit gehaald, wat ook elk serveradres in de regel omvat, naast dat van de bezoeker.
Veelgestelde vragen
Kan het DuckDuckBot of AI-crawlers zoals GPTBot verifiëren?
Nog niet. Zij publiceren lijsten met IP-bereiken in plaats van reverse DNS-namen; hier verschijnen ze als Geen host van een zoekmachine, wat niet bewijst dat ze nep zijn.
Waar worden de lookups gedaan?
Onze server vraagt een openbare DNS-resolver. Er worden alleen DNS-lookups gedaan; de IP’s zelf worden nooit benaderd.
Betekent een ontbrekende reverse DNS dat het IP kwaadaardig is?
Nee, alleen dat het niet een van de vermelde zoekmachinecrawlers is.
Privacy
Bestanden worden via HTTPS geüpload om te verwerken en binnen een uur automatisch verwijderd.