วิธีใช้งาน
- ที่แท็บ "สร้าง" ให้ใส่พาธที่ต้องการบล็อก ติ๊กครอว์เลอร์ AI หรือเสิร์ชเอนจินที่ต้องการบล็อก และเพิ่ม URL ของไซต์แมป robots.txt จะอัปเดตทันทีที่พิมพ์ จากนั้นคัดลอกหรือดาวน์โหลดไฟล์
- ที่แท็บ "ทดสอบ" ให้ใส่เว็บไซต์แล้วกด "ดึง robots.txt" หรือวางเนื้อหาเอง
- ใส่ URL ที่ต้องการทดสอบและเลือกครอว์เลอร์ ผลลัพธ์จะบอกว่าครอว์ลได้หรือไม่ และไฮไลต์บรรทัดที่ตรงกัน
คำอธิบายตัวเลือก
- กฎการจับคู่
- เหมือนข้อกำหนดของ Google คือใช้กลุ่มที่ตรงกับชื่อครอว์เลอร์มากที่สุด พาธที่ตรงกันยาวที่สุดชนะ ถ้าเท่ากัน Allow ชนะ และรองรับ * กับ $
- Crawl-delay
- จำนวนวินาทีระหว่างคำขอ Bing และบางเจ้าทำตาม ส่วน Google และ Baidu ไม่สนใจ
ตัวอย่างการใช้งาน
นี่คือ robots.txt ที่บล็อกโฟลเดอร์หนึ่งแต่เปิดโฟลเดอร์ย่อยหนึ่ง บล็อกไฟล์ PDF และกันครอว์เลอร์ AI ตัวหนึ่งออกทั้งหมด:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlแท็บทดสอบให้คำตอบเหล่านี้:
| ครอว์เลอร์ | พาธ URL | ผลลัพธ์ | บรรทัดที่ตัดสิน |
|---|---|---|---|
| Googlebot | /blog/post | อนุญาต | ไม่มีกฎที่ตรง |
| Googlebot | /private/data | ถูกบล็อก | Disallow: /private/ |
| Googlebot | /private/press/kit | อนุญาต | Allow: /private/press/ (ตรงที่ยาวกว่าชนะ) |
| Googlebot | /files/a.pdf | ถูกบล็อก | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | อนุญาต | $ หมายความว่า URL ต้องจบตรงนั้น |
| GPTBot | /blog/post | ถูกบล็อก | Disallow: / ในกลุ่มของตัวเอง |
| Googlebot | /robots.txt | อนุญาต | ไฟล์นี้ครอว์ลได้เสมอ |
Googlebot ใช้กลุ่ม * เพราะไม่มีกลุ่มที่ระบุชื่อมัน ส่วน GPTBot ใช้กลุ่มของตัวเองและไม่สนใจกฎของ * การจับคู่เป็นไปตาม RFC 9309 ซึ่งกำหนดเฉพาะ User-agent, Allow และ Disallow ส่วน Sitemap และ Crawl-delay เป็นส่วนขยายที่ใช้กันแพร่หลายซึ่ง RFC ไม่ได้กำหนดไว้
คำถามที่พบบ่อย
robots.txt ทำให้หน้าเว็บไม่ปรากฏในผลการค้นหาหรือไม่
ไม่ทั้งหมด มันเพียงขอให้ครอว์เลอร์ไม่ดึงหน้านั้น ถ้าเว็บอื่นลิงก์มา URL ก็ยังถูกจัดทำดัชนีได้ สำหรับหน้าที่ต้องไม่ให้ปรากฏ ให้ใช้แท็ก noindex และอย่าบล็อกใน robots.txt ไม่เช่นนั้นครอว์เลอร์จะไม่เห็น noindex
การบล็อกครอว์เลอร์ AI ได้ผลหรือไม่
ครอว์เลอร์ทางการอย่าง GPTBot, ClaudeBot และ Google-Extended ระบุว่าเคารพ robots.txt การบล็อกจึงช่วยไม่ให้หน้าเว็บของคุณถูกใช้ฝึกโมเดล ส่วนครอว์เลอร์ที่ไม่สนใจมาตรฐานนี้ ใช้วิธีนี้หยุดไม่ได้
ใช้การเชื่อมต่อของใครดึง robots.txt
เซิร์ฟเวอร์ของเราขอไฟล์ robots.txt ที่รากของเว็บไซต์ เฉพาะไฟล์เดียวนั้น ส่วนการทดสอบเนื้อหาที่วางเองเกิดขึ้นในเบราว์เซอร์ของคุณทั้งหมด
ความเป็นส่วนตัว
ไฟล์จะถูกอัปโหลดผ่าน HTTPS เพื่อประมวลผล และจะถูกลบโดยอัตโนมัติภายในหนึ่งชั่วโมง