使用步驟
- 「生成」：填寫禁止抓取的路徑，按需勾選要遮蔽的 AI 爬蟲、搜尋引擎，填入 Sitemap 地址，右邊會即時生成 robots.txt，可複製或下載。
- 「檢測」：輸入網站後點「讀取 robots.txt」，或直接貼上內容。
- 填寫要檢測的網址，選擇爬蟲，結果會顯示是否允許抓取，並在原文裡標示命中的那一行。
引數說明
- 匹配規則
- 按 Google 公佈的規範：選與爬蟲名最匹配的那組規則，組內路徑最長的規則生效，一樣長時 Allow 優先；支援 * 和 $。
- Crawl-delay
- 兩次抓取之間的間隔秒數。必應等支援，Google 和百度不認，百度的抓取頻率要在百度搜索資源平臺裡調整。
一個完整示例
下面這份 robots.txt 禁止抓取一個目錄但放開其中一個子目錄，禁止抓取 PDF 檔案，並完全拒絕一個 AI 爬蟲：
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml「檢測」頁給出的結果如下：
| 爬蟲 | 網址路徑 | 結果 | 起決定作用的行 |
|---|---|---|---|
| Googlebot | /blog/post | 允許 | 沒有規則命中 |
| Googlebot | /private/data | 禁止 | Disallow: /private/ |
| Googlebot | /private/press/kit | 允許 | Allow: /private/press/（匹配更長的規則優先） |
| Googlebot | /files/a.pdf | 禁止 | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | 允許 | $ 表示網址必須到此結束 |
| GPTBot | /blog/post | 禁止 | 它自己那一組裡的 Disallow: / |
| Googlebot | /robots.txt | 允許 | 檔案本身始終允許抓取 |
沒有任何一組點名 Googlebot，所以它使用 * 那一組；GPTBot 使用自己的那一組，不再理會 * 組的規則。匹配規則遵循 RFC 9309，該標準只定義了 User-agent、Allow 和 Disallow。Sitemap 和 Crawl-delay 是被廣泛使用的擴充套件指令，RFC 並未定義。
常見問題
robots.txt 能阻止頁面被收錄嗎？
不能完全阻止。它只告訴爬蟲不要抓取；如果別的網站連結了這個頁面，搜尋引擎仍可能只憑連結收錄網址。真正不想被收錄的頁面應該用 noindex 標籤，並且不要在 robots.txt 裡禁止抓取（否則爬蟲看不到 noindex）。
遮蔽 AI 爬蟲有用嗎？
GPTBot、ClaudeBot、Google-Extended 等官方爬蟲表示會遵守 robots.txt，遮蔽後不再用你的網頁訓練模型；不遵守協議的爬蟲無法靠 robots.txt 攔住。
讀取 robots.txt 時用的是誰的網路？
由我們的伺服器去請求網站根目錄的 robots.txt，只讀這一個檔案。貼上內容檢測則完全在瀏覽器裡完成。
隱私說明
這個工具需要伺服器完成：你輸入的內容或檔案通過 HTTPS 傳送到我們的伺服器，處理完立即丟棄，不做儲存。伺服器訪問日誌會記錄 IP 地址和請求地址，僅用於防止濫用。