Vai al contenuto
ToolMug

Verificatore di IP dei crawler

Gli scraper spesso si spacciano per Googlebot nello user agent. Il metodo documentato dai motori di ricerca è una risoluzione DNS inversa dell’IP, la verifica che il nome host appartenga al loro dominio e una risoluzione diretta di quel nome host, che deve restituire lo stesso IP. Questo strumento esegue questi passaggi per te.

Elaborato sui nostri server ed eliminato entro un'ora

Uno per riga, oppure incolla righe di log: gli IP vengono estratti automaticamente. Fino a 20 per volta.

0 IP trovati

Come si usa

  1. Incolla gli IP da verificare, uno per riga, oppure incolla righe di log grezze e gli IP verranno estratti.
  2. Clicca su Verifica.
  3. I risultati marcati come Crawler … autentico sono affidabili; quelli marcati come Falso si possono bloccare sul firewall o sulla CDN.

Opzioni spiegate

Motori di ricerca supportati
Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com) e Petal (petalsearch.com).
Come verifica
DNS inverso dell’IP → il nome host deve essere uno di quei domini o un sottodominio → DNS diretto del nome host → passa solo se viene restituito l’IP originale.

Nomi host accettati e significato di ogni risultato

Il nome host del DNS inverso deve essere esattamente uno di questi domini o un suo sottodominio. Un nome come crawl.googlebot.com.example.net non conta, perché viene confrontata solo la fine del nome.

Motore di ricerca Domini accettati
Google googlebot.com, google.com, googleusercontent.com
Bing search.msn.com
Baidu baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
Sogou sogou.com
Apple applebot.apple.com
Petal petalsearch.com

Per un indirizzo IPv4 la ricerca diretta chiede i record A, e per IPv6 chiede i record AAAA. L’IP supera il controllo solo se uno di essi coincide con l’indirizzo che hai inserito. Questi sono i risultati che puoi ottenere nella colonna Risultato:

Risultato Che cosa è successo
Crawler (motore) autentico Il nome inverso è in un dominio accettato e la ricerca diretta restituisce lo stesso IP.
Falso: il nome host non risolve di nuovo a questo IP Il nome inverso sembra quello di un motore di ricerca, ma la ricerca diretta non restituisce questo IP.
Non è un host di un motore di ricerca L’IP ha un nome inverso, ma non è in nessun dominio accettato.
Nessun DNS inverso: non è un crawler noto L’IP non ha alcun record PTR.
Interrogazione DNS non riuscita La query DNS stessa è fallita o è scaduta. Riprova prima di trarre conclusioni.
Non è un IP valido Il testo non ha potuto essere letto come indirizzo IPv4 o IPv6.

Fino a 20 IP vengono controllati in una volta sola. Quando incolli righe di log, ogni indirizzo IPv4 o IPv6 trovato viene estratto, compreso l’eventuale indirizzo del server presente nella riga oltre a quello del visitatore.

Domande frequenti

Può verificare DuckDuckBot o crawler di IA come GPTBot?

Non ancora. Pubblicano elenchi di intervalli di IP invece di nomi DNS inversi; qui compaiono come Non è un host di un motore di ricerca, il che non prova che siano falsi.

Dove vengono fatte le interrogazioni?

Il nostro server interroga un resolver DNS pubblico. Vengono fatte solo interrogazioni DNS; gli IP stessi non vengono mai contattati.

L’assenza di DNS inverso significa che l’IP è malevolo?

No, solo che non è uno dei crawler dei motori di ricerca elencati.

Privacy

I file vengono caricati tramite HTTPS per l'elaborazione ed eliminati automaticamente entro un'ora.

Strumenti correlati