Langsung ke konten
ToolMug

Pemverifikasi IP Crawler

Scraper sering menyamar sebagai Googlebot di User-Agent. Metode yang didokumentasikan mesin pencari adalah reverse DNS pada IP, memeriksa bahwa nama host milik domain mereka, lalu forward lookup nama host itu yang harus mengembalikan IP yang sama. Alat ini menjalankan langkah-langkah tersebut untuk Anda.

Diproses di server kami dan dihapus dalam satu jam

Satu per baris, atau tempel baris log — IP diambil otomatis. Maksimal 20 sekaligus.

0 IP ditemukan

Cara menggunakan

  1. Tempel IP yang akan diperiksa, satu per baris — atau tempel baris log mentah dan IP akan diambil otomatis.
  2. Klik Verifikasi.
  3. Hasil bertanda Crawler … asli dapat dipercaya; yang bertanda Palsu dapat diblokir di firewall atau CDN Anda.

Penjelasan opsi

Mesin pencari yang didukung
Google (googlebot.com, google.com, googleusercontent.com), Bing (search.msn.com), Baidu (baidu.com, baidu.jp), Yandex, Sogou (sogou.com), Apple (applebot.apple.com), dan Petal (petalsearch.com).
Cara pemeriksaan
Reverse DNS untuk IP → nama host harus berupa salah satu domain itu atau subdomainnya → forward DNS untuk nama host → lolos hanya jika IP asli dikembalikan.

Nama host yang diterima dan arti tiap hasil

Nama host reverse DNS harus persis salah satu domain ini atau subdomainnya. Nama seperti crawl.googlebot.com.example.net tidak dihitung, karena hanya akhir nama yang dibandingkan.

Mesin pencari Domain yang diterima
Google googlebot.com, google.com, googleusercontent.com
Bing search.msn.com
Baidu baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
Sogou sogou.com
Apple applebot.apple.com
Petal petalsearch.com

Untuk alamat IPv4, pencarian maju meminta record A, dan untuk IPv6 meminta record AAAA. IP lolos hanya jika salah satunya sama dengan alamat yang Anda masukkan. Berikut hasil yang bisa Anda dapatkan di kolom Hasil:

Hasil Yang terjadi
Crawler Google asli Nama reverse berada di domain yang diterima dan pencarian maju mengembalikan IP yang sama.
Palsu: nama host tidak mengarah kembali ke IP ini Nama reverse tampak seperti mesin pencari, tetapi pencarian maju tidak mengembalikan IP ini.
Bukan host mesin pencari IP memiliki nama reverse, tetapi tidak berada di domain yang diterima mana pun.
Tidak ada reverse DNS: bukan crawler yang dikenal IP sama sekali tidak memiliki record PTR.
Pencarian DNS gagal Kueri DNS itu sendiri gagal atau kehabisan waktu. Coba lagi sebelum menyimpulkan.
Bukan IP yang valid Teks tidak dapat dibaca sebagai alamat IPv4 atau IPv6.

Hingga 20 IP diperiksa sekaligus. Saat Anda menempel baris log, setiap alamat IPv4 atau IPv6 yang ditemukan di dalamnya diambil, termasuk alamat server dalam baris itu serta alamat pengunjung.

Pertanyaan yang sering diajukan

Bisakah memverifikasi DuckDuckBot atau crawler AI seperti GPTBot?

Belum. Mereka menerbitkan daftar rentang IP, bukan nama reverse DNS; di sini mereka tampil sebagai bukan host mesin pencari, yang tidak membuktikan bahwa mereka palsu.

Di mana pencarian dilakukan?

Server kami menanyakan ke resolver DNS publik. Hanya pencarian DNS yang dilakukan; IP itu sendiri tidak pernah dihubungi.

Apakah tidak adanya reverse DNS berarti IP berbahaya?

Tidak, hanya berarti IP itu bukan salah satu crawler mesin pencari yang terdaftar.

Privasi

File diunggah melalui HTTPS untuk diproses dan dihapus otomatis dalam waktu satu jam.

Alat terkait