跳到正文
馬克工具箱

蜘蛛 IP 驗證

採集器、掃描器常把 User-Agent 偽裝成 Baiduspider 或 Googlebot。搜尋引擎官方給出的驗證方法是:對 IP 做反向 DNS 解析,主機名要屬於官方網域,再把這個主機名正向解析回來,結果裡必須有原來的 IP。這裡幫你一次查完。

在伺服器上處理,處理完不儲存

每行一個,也可以直接貼上日誌行,會自動提取 IP。一次最多 20 個。

找到 0 個 IP

使用步驟

  1. 貼上要驗證的 IP,每行一個;也可以直接貼上日誌行,會自動提取其中的 IP。
  2. 點「驗證」。
  3. 結果為「真的 某某 蜘蛛」的可以放心;顯示「假冒」的可以在防火牆或 CDN 上遮蔽。

引數說明

支援的搜尋引擎
Google(googlebot.com、google.com、googleusercontent.com)、必應(search.msn.com)、百度(baidu.com、baidu.jp)、Yandex、搜狗(sogou.com)、Apple(applebot.apple.com)、華為花瓣(petalsearch.com)。
驗證步驟
反向解析 IP 得到主機名 → 主機名必須是上面這些網域或其子網域 → 正向解析主機名 → 結果包含原 IP 才算通過。

接受的主機名與各種結果的含義

反向解析得到的主機名必須恰好是下面某個網域,或是它的子網域。像 crawl.googlebot.com.example.net 這樣的名字不算,因為只比較名字的結尾。

搜尋引擎 接受的網域
Google googlebot.com, google.com, googleusercontent.com
必應 search.msn.com
百度 baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
搜狗 sogou.com
Apple applebot.apple.com
花瓣 petalsearch.com

對 IPv4 地址,正向解析查詢 A 記錄;對 IPv6 則查詢 AAAA 記錄。只有其中某一條等於你輸入的地址,這個 IP 才算通過。「結果」一列可能出現下面這些結果:

結果 發生了什麼
真的(搜尋引擎)蜘蛛 反查得到的主機名在接受的網域下,並且正向解析返回同一個 IP。
假冒:主機名正向解析不到這個 IP 反查得到的主機名看起來像搜尋引擎,但正向解析返回的不是這個 IP。
主機名不屬於搜尋引擎 這個 IP 有反向解析的名字,但不在任何接受的網域下。
沒有反向解析,不是已知蜘蛛 這個 IP 根本沒有 PTR 記錄。
DNS 查詢失敗 DNS 查詢本身失敗或超時。下結論之前請先重試。
不是有效的 IP 文字無法解析為 IPv4 或 IPv6 地址。

一次最多檢查 20 個 IP。貼上日誌行時,行裡找到的每個 IPv4 或 IPv6 地址都會被提取出來,其中包括該行裡的伺服器地址,而不只是訪問者的地址。

常見問題

360、神馬、頭條的蜘蛛能驗證嗎?

它們沒有公佈可用的反向解析驗證方法,這裡會顯示「主機名不屬於搜尋引擎」,不代表一定是假的。

查詢是在哪裡做的?

由我們的伺服器向阿里公共 DNS 查詢,只做 DNS 解析,不會訪問這些 IP。

GPTBot、ClaudeBot 怎麼驗證?

這些 AI 公司公佈的是 IP 段列表而不是反向解析,暫不支援。

隱私說明

這個工具需要伺服器完成:你輸入的內容或檔案通過 HTTPS 傳送到我們的伺服器,處理完立即丟棄,不做儲存。伺服器訪問日誌會記錄 IP 地址和請求地址,僅用於防止濫用。

相關工具