Penjana & Penguji Robots.txt

Jana: pilih laluan yang disekat, perangkak yang ditolak dan URL sitemap anda, lalu dapatkan robots.txt yang sedia dimuat naik. Uji: dapatkan robots.txt mana-mana laman (atau tampal), masukkan URL dan perangkak, kemudian lihat sama ada boleh dirangkak dan baris mana yang menentukannya.

Diproses di pelayan kami dan dipadam dalam masa sejam

Cara menggunakan

Dalam Jana, senaraikan laluan yang disekat, tandakan perangkak AI atau enjin carian yang ingin disekat dan tambah URL sitemap anda. robots.txt dikemas kini semasa anda mengisi; salin atau muat turun.
Dalam Uji, masukkan laman web dan klik Dapatkan robots.txt, atau tampal kandungannya.
Masukkan URL yang hendak diuji dan pilih perangkak. Keputusan menunjukkan sama ada ia boleh merangkak dan menyerlahkan baris yang sepadan.

Penerangan pilihan

Peraturan padanan: Seperti spesifikasi Google — kumpulan yang paling sepadan dengan nama perangkak digunakan, laluan sepadan terpanjang menang, Allow menang jika seri, dan * serta $ disokong.
Crawl-delay: Saat antara permintaan. Bing dan lain-lain mematuhinya; Google dan Baidu mengabaikannya.

Contoh pengiraan

Berikut ialah robots.txt yang menyekat satu folder tetapi membuka satu subfolder, menyekat fail PDF, dan menghalang satu perangkak AI sepenuhnya:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Tab Uji memberikan jawapan ini:

Perangkak	Laluan URL	Keputusan	Baris penentu
Googlebot	/blog/post	Dibenarkan	Tiada peraturan sepadan
Googlebot	/private/data	Disekat	Disallow: /private/
Googlebot	/private/press/kit	Dibenarkan	Allow: /private/press/ (padanan lebih panjang menang)
Googlebot	/files/a.pdf	Disekat	Disallow: /*.pdf$
Googlebot	/files/a.pdf?x=1	Dibenarkan	$ bermaksud URL mesti berakhir di situ
GPTBot	/blog/post	Disekat	Disallow: / dalam kumpulannya sendiri
Googlebot	/robots.txt	Dibenarkan	Fail itu sendiri sentiasa boleh dirangkak

Googlebot menggunakan kumpulan * kerana tiada kumpulan yang menamakannya, manakala GPTBot menggunakan kumpulannya sendiri dan mengabaikan peraturan *. Pemadanan mengikut RFC 9309, yang hanya mentakrifkan User-agent, Allow dan Disallow. Sitemap dan Crawl-delay ialah sambungan yang digunakan secara meluas yang tidak ditakrifkan oleh RFC.

Soalan lazim

Adakah robots.txt menghalang halaman daripada muncul dalam hasil carian?

Tidak sepenuhnya. Ia hanya meminta perangkak supaya tidak mengambil halaman; jika laman lain memautkannya, URL masih boleh diindeks. Gunakan teg noindex untuk halaman yang mesti dikecualikan, dan jangan sekatnya dalam robots.txt, jika tidak perangkak tidak akan melihat noindex.

Adakah menyekat perangkak AI berkesan?

Perangkak rasmi seperti GPTBot, ClaudeBot dan Google-Extended menyatakan mereka mematuhi robots.txt, jadi menyekatnya menghalang halaman anda digunakan untuk latihan. Perangkak yang mengabaikan piawaian tidak dapat dihentikan dengan cara ini.

Sambungan siapa yang mengambil robots.txt?

Pelayan kami meminta robots.txt di akar laman — fail tunggal itu sahaja. Ujian kandungan yang ditampal berlaku sepenuhnya dalam pelayar anda.

Privasi

Fail dimuat naik melalui HTTPS untuk diproses dan dipadam secara automatik dalam masa satu jam.