使用步骤
- 「生成」：填写禁止抓取的路径，按需勾选要屏蔽的 AI 爬虫、搜索引擎，填入 Sitemap 地址，右边会实时生成 robots.txt，可复制或下载。
- 「检测」：输入网站后点「读取 robots.txt」，或直接粘贴内容。
- 填写要检测的网址，选择爬虫，结果会显示是否允许抓取，并在原文里高亮命中的那一行。
参数说明
- 匹配规则
- 按 Google 公布的规范：选与爬虫名最匹配的那组规则，组内路径最长的规则生效，一样长时 Allow 优先；支持 * 和 $。
- Crawl-delay
- 两次抓取之间的间隔秒数。必应等支持，Google 和百度不认，百度的抓取频率要在百度搜索资源平台里调整。
一个完整示例
下面这份 robots.txt 禁止抓取一个目录但放开其中一个子目录，禁止抓取 PDF 文件，并完全拒绝一个 AI 爬虫：
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml「检测」页给出的结果如下：
| 爬虫 | 网址路径 | 结果 | 起决定作用的行 |
|---|---|---|---|
| Googlebot | /blog/post | 允许 | 没有规则命中 |
| Googlebot | /private/data | 禁止 | Disallow: /private/ |
| Googlebot | /private/press/kit | 允许 | Allow: /private/press/（匹配更长的规则优先） |
| Googlebot | /files/a.pdf | 禁止 | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | 允许 | $ 表示网址必须到此结束 |
| GPTBot | /blog/post | 禁止 | 它自己那一组里的 Disallow: / |
| Googlebot | /robots.txt | 允许 | 文件本身始终允许抓取 |
没有任何一组点名 Googlebot，所以它使用 * 那一组；GPTBot 使用自己的那一组，不再理会 * 组的规则。匹配规则遵循 RFC 9309，该标准只定义了 User-agent、Allow 和 Disallow。Sitemap 和 Crawl-delay 是被广泛使用的扩展指令，RFC 并未定义。
常见问题
robots.txt 能阻止页面被收录吗？
不能完全阻止。它只告诉爬虫不要抓取；如果别的网站链接了这个页面，搜索引擎仍可能只凭链接收录网址。真正不想被收录的页面应该用 noindex 标签，并且不要在 robots.txt 里禁止抓取（否则爬虫看不到 noindex）。
屏蔽 AI 爬虫有用吗？
GPTBot、ClaudeBot、Google-Extended 等官方爬虫表示会遵守 robots.txt，屏蔽后不再用你的网页训练模型；不遵守协议的爬虫无法靠 robots.txt 拦住。
读取 robots.txt 时用的是谁的网络？
由我们的服务器去请求网站根目录的 robots.txt，只读这一个文件。粘贴内容检测则完全在浏览器里完成。
隐私说明
这个工具需要服务器完成：你输入的内容或文件通过 HTTPS 发送到我们的服务器，处理完立即丢弃，不做保存。服务器访问日志会记录 IP 地址和请求地址，仅用于防止滥用。