跳到正文
马克工具箱

蜘蛛 IP 验证

采集器、扫描器常把 User-Agent 伪装成 Baiduspider 或 Googlebot。搜索引擎官方给出的验证方法是:对 IP 做反向 DNS 解析,主机名要属于官方域名,再把这个主机名正向解析回来,结果里必须有原来的 IP。这里帮你一次查完。

在服务器上处理,处理完不保存

每行一个,也可以直接粘贴日志行,会自动提取 IP。一次最多 20 个。

找到 0 个 IP

使用步骤

  1. 粘贴要验证的 IP,每行一个;也可以直接粘贴日志行,会自动提取其中的 IP。
  2. 点「验证」。
  3. 结果为「真的 某某 蜘蛛」的可以放心;显示「假冒」的可以在防火墙或 CDN 上屏蔽。

参数说明

支持的搜索引擎
Google(googlebot.com、google.com、googleusercontent.com)、必应(search.msn.com)、百度(baidu.com、baidu.jp)、Yandex、搜狗(sogou.com)、Apple(applebot.apple.com)、华为花瓣(petalsearch.com)。
验证步骤
反向解析 IP 得到主机名 → 主机名必须是上面这些域名或其子域名 → 正向解析主机名 → 结果包含原 IP 才算通过。

接受的主机名与各种结果的含义

反向解析得到的主机名必须恰好是下面某个域名,或是它的子域名。像 crawl.googlebot.com.example.net 这样的名字不算,因为只比较名字的结尾。

搜索引擎 接受的域名
Google googlebot.com, google.com, googleusercontent.com
必应 search.msn.com
百度 baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
搜狗 sogou.com
Apple applebot.apple.com
花瓣 petalsearch.com

对 IPv4 地址,正向解析查询 A 记录;对 IPv6 则查询 AAAA 记录。只有其中某一条等于你输入的地址,这个 IP 才算通过。「结果」一列可能出现下面这些结果:

结果 发生了什么
真的(搜索引擎)蜘蛛 反查得到的主机名在接受的域名下,并且正向解析返回同一个 IP。
假冒:主机名正向解析不到这个 IP 反查得到的主机名看起来像搜索引擎,但正向解析返回的不是这个 IP。
主机名不属于搜索引擎 这个 IP 有反向解析的名字,但不在任何接受的域名下。
没有反向解析,不是已知蜘蛛 这个 IP 根本没有 PTR 记录。
DNS 查询失败 DNS 查询本身失败或超时。下结论之前请先重试。
不是有效的 IP 文本无法解析为 IPv4 或 IPv6 地址。

一次最多检查 20 个 IP。粘贴日志行时,行里找到的每个 IPv4 或 IPv6 地址都会被提取出来,其中包括该行里的服务器地址,而不只是访问者的地址。

常见问题

360、神马、头条的蜘蛛能验证吗?

它们没有公布可用的反向解析验证方法,这里会显示「主机名不属于搜索引擎」,不代表一定是假的。

查询是在哪里做的?

由我们的服务器向阿里公共 DNS 查询,只做 DNS 解析,不会访问这些 IP。

GPTBot、ClaudeBot 怎么验证?

这些 AI 公司公布的是 IP 段列表而不是反向解析,暂不支持。

隐私说明

这个工具需要服务器完成:你输入的内容或文件通过 HTTPS 发送到我们的服务器,处理完立即丢弃,不做保存。服务器访问日志会记录 IP 地址和请求地址,仅用于防止滥用。

相关工具