Cách sử dụng
- Ở tab Tạo, liệt kê các đường dẫn cần chặn, đánh dấu trình thu thập AI hoặc công cụ tìm kiếm muốn chặn và thêm URL sitemap. robots.txt cập nhật ngay khi bạn nhập; hãy sao chép hoặc tải xuống.
- Ở tab Kiểm tra, nhập một trang web rồi bấm Lấy robots.txt, hoặc dán nội dung vào.
- Nhập URL cần kiểm tra và chọn trình thu thập. Kết quả cho biết có được thu thập không và tô sáng dòng khớp.
Giải thích tùy chọn
- Quy tắc khớp
- Như đặc tả của Google — nhóm khớp nhất với tên trình thu thập được áp dụng, đường dẫn khớp dài nhất thắng, Allow thắng khi hòa, và hỗ trợ * và $.
- Crawl-delay
- Số giây giữa các yêu cầu. Bing và một số bên khác tuân theo; Google và Baidu bỏ qua.
Một ví dụ minh họa
Đây là một robots.txt chặn một thư mục nhưng mở một thư mục con, chặn các tệp PDF và chặn hoàn toàn một trình thu thập AI:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlTab Kiểm tra cho các câu trả lời sau:
| Trình thu thập | Đường dẫn URL | Kết quả | Dòng quyết định |
|---|---|---|---|
| Googlebot | /blog/post | Được phép | Không có quy tắc nào khớp |
| Googlebot | /private/data | Bị chặn | Disallow: /private/ |
| Googlebot | /private/press/kit | Được phép | Allow: /private/press/ (khớp dài hơn thắng) |
| Googlebot | /files/a.pdf | Bị chặn | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | Được phép | Dấu $ nghĩa là URL phải kết thúc ở đó |
| GPTBot | /blog/post | Bị chặn | Disallow: / trong nhóm riêng của nó |
| Googlebot | /robots.txt | Được phép | Bản thân tệp luôn có thể được thu thập |
Googlebot dùng nhóm * vì không có nhóm nào gọi tên nó, trong khi GPTBot dùng nhóm riêng của mình và bỏ qua các quy tắc *. Việc khớp theo RFC 9309, chỉ định nghĩa User-agent, Allow và Disallow. Sitemap và Crawl-delay là các phần mở rộng được dùng rộng rãi mà RFC không định nghĩa.
Câu hỏi thường gặp
robots.txt có giữ trang khỏi kết quả tìm kiếm không?
Không hoàn toàn. Nó chỉ yêu cầu trình thu thập không tải trang; nếu trang khác liên kết tới, URL vẫn có thể bị lập chỉ mục. Hãy dùng thẻ noindex cho trang cần giữ ngoài kết quả và đừng chặn chúng trong robots.txt, nếu không trình thu thập sẽ không bao giờ thấy noindex.
Chặn trình thu thập AI có hiệu quả không?
Các trình thu thập chính thức như GPTBot, ClaudeBot và Google-Extended nói rằng họ tuân thủ robots.txt, nên chặn chúng sẽ ngăn trang của bạn bị dùng để huấn luyện. Trình thu thập bỏ qua chuẩn này thì không thể ngăn bằng cách đó.
Kết nối của ai lấy robots.txt?
Máy chủ của chúng tôi yêu cầu robots.txt ở thư mục gốc của trang — chỉ riêng tệp đó. Việc kiểm tra nội dung đã dán diễn ra hoàn toàn trong trình duyệt của bạn.
Quyền riêng tư
Tệp được tải lên qua HTTPS để xử lý và tự động xóa trong vòng một giờ.