Zum Inhalt springen
ToolMug

Crawler-IP-Prüfer

Scraper geben sich im User-Agent oft als Googlebot aus. Die von den Suchmaschinen dokumentierte Methode ist eine Reverse-DNS-Abfrage der IP, die Prüfung, dass der Hostname zu deren Domain gehört, und eine Forward-Abfrage dieses Hostnamens, die dieselbe IP liefern muss. Dieses Tool führt diese Schritte für Sie aus.

Auf unseren Servern verarbeitet und innerhalb einer Stunde gelöscht

Eine pro Zeile, oder Logzeilen einfügen – IPs werden automatisch erkannt. Bis zu 20 auf einmal.

0 IPs gefunden

So funktioniert es

  1. Fügen Sie die zu prüfenden IPs ein, eine pro Zeile – oder rohe Logzeilen, aus denen die IPs herausgezogen werden.
  2. Klicken Sie auf Prüfen.
  3. Ergebnisse mit Echter …-Crawler sind vertrauenswürdig; als Gefälscht markierte können Sie an Firewall oder CDN sperren.

Optionen erklärt

Unterstützte Suchmaschinen
Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com) und Petal (petalsearch.com).
So wird geprüft
Reverse-DNS der IP → der Hostname muss zu einer dieser Domains oder einer Subdomain gehören → Forward-DNS des Hostnamens → bestanden nur, wenn die ursprüngliche IP zurückkommt.

Akzeptierte Hostnamen und was jedes Ergebnis bedeutet

Der Hostname aus dem Reverse-DNS muss genau eine dieser Domains oder eine Subdomain davon sein. Ein Name wie crawl.googlebot.com.example.net zählt nicht, weil nur das Ende des Namens verglichen wird.

Suchmaschine Akzeptierte Domains
Google googlebot.com, google.com, googleusercontent.com
Bing search.msn.com
Baidu baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
Sogou sogou.com
Apple applebot.apple.com
Petal petalsearch.com

Bei einer IPv4-Adresse fragt die Forward-Abfrage A-Einträge ab, bei IPv6 AAAA-Einträge. Die IP besteht die Prüfung nur, wenn einer davon der eingegebenen Adresse entspricht. Das sind die Ergebnisse, die Sie in der Spalte „Ergebnis“ erhalten können:

Ergebnis Was geschah
Echter (Suchmaschine)-Crawler Der Reverse-Name liegt auf einer akzeptierten Domain, und die Forward-Abfrage liefert dieselbe IP.
Gefälscht: Hostname löst nicht auf diese IP zurück auf Der Reverse-Name sieht nach einer Suchmaschine aus, aber die Forward-Abfrage liefert diese IP nicht.
Kein Suchmaschinen-Host Die IP hat einen Reverse-Namen, der aber auf keiner akzeptierten Domain liegt.
Kein Reverse-DNS: kein bekannter Crawler Die IP hat überhaupt keinen PTR-Eintrag.
DNS-Abfrage fehlgeschlagen Die DNS-Abfrage selbst ist fehlgeschlagen oder hat das Zeitlimit überschritten. Versuchen Sie es erneut, bevor Sie Schlüsse ziehen.
Keine gültige IP Der Text konnte nicht als IPv4- oder IPv6-Adresse gelesen werden.

Bis zu 20 IPs werden auf einmal geprüft. Wenn Sie Logzeilen einfügen, wird jede darin gefundene IPv4- oder IPv6-Adresse herausgezogen, einschließlich einer etwaigen Serveradresse in der Zeile und der des Besuchers.

Häufig gestellte Fragen

Lassen sich DuckDuckBot oder KI-Crawler wie GPTBot prüfen?

Noch nicht. Sie veröffentlichen IP-Bereichslisten statt Reverse-DNS-Namen; hier erscheinen sie als Kein Suchmaschinen-Host, was nicht beweist, dass sie gefälscht sind.

Wo werden die Abfragen ausgeführt?

Unser Server fragt einen öffentlichen DNS-Resolver ab. Es werden nur DNS-Abfragen gestellt; die IPs selbst werden nie kontaktiert.

Heißt fehlendes Reverse-DNS, dass die IP bösartig ist?

Nein, nur dass es keiner der aufgeführten Suchmaschinen-Crawler ist.

Datenschutz

Dateien werden zur Verarbeitung per HTTPS hochgeladen und innerhalb einer Stunde automatisch gelöscht.

Ähnliche Tools