Langsung ke konten
ToolMug

Gunakan ↑ ↓ untuk berpindah, Enter untuk membuka, Esc untuk menutup.

Generator & Penguji Robots.txt

Buat: pilih path yang diblokir, crawler yang ditolak, dan URL sitemap Anda, lalu dapatkan robots.txt siap unggah. Uji: ambil robots.txt situs mana pun (atau tempel), masukkan URL dan crawler, lalu lihat apakah boleh di-crawl dan baris mana yang menentukan.

Diproses di server kami dan dihapus dalam satu jam

Satu per baris, diawali /. Gunakan * sebagai wildcard dan $ untuk akhir URL.

Pengecualian di dalam folder yang diblokir, mis. /admin/public/

Opsional. Bing dan Yandex menggunakannya; Google dan Baidu mengabaikannya.

Blokir crawler AI

Nama yang dipublikasikan tiap perusahaan. Hanya berlaku untuk crawler yang mematuhi robots.txt.

Blokir mesin pencari tertentu

robots.txt

Unggah file ke root situs agar tersedia di https://domain-anda/robots.txt.

Cara menggunakan

  1. Di Buat, tuliskan path yang diblokir, centang crawler AI atau mesin pencari yang ingin diblokir, dan tambahkan URL sitemap Anda. robots.txt diperbarui saat Anda mengisi; salin atau unduh.
  2. Di Uji, masukkan situs web lalu klik Ambil robots.txt, atau tempel isinya.
  3. Masukkan URL yang akan diuji dan pilih crawler. Hasilnya menunjukkan apakah boleh di-crawl dan menyorot baris yang cocok.

Penjelasan opsi

Aturan pencocokan
Seperti spesifikasi Google — grup yang paling cocok dengan nama crawler berlaku, path terpanjang yang cocok menang, Allow menang jika seri, dan * serta $ didukung.
Crawl-delay
Detik di antara permintaan. Bing dan lainnya mematuhinya; Google dan Baidu mengabaikannya.

Contoh kasus

Berikut robots.txt yang memblokir satu folder tetapi membuka satu subfolder, memblokir file PDF, dan menjaga satu crawler AI sepenuhnya di luar:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Tab Uji memberikan jawaban berikut:

Crawler Jalur URL Hasil Baris penentu
Googlebot /blog/post Diizinkan Tidak ada aturan yang cocok
Googlebot /private/data Diblokir Disallow: /private/
Googlebot /private/press/kit Diizinkan Allow: /private/press/ (kecocokan yang lebih panjang menang)
Googlebot /files/a.pdf Diblokir Disallow: /*.pdf$
Googlebot /files/a.pdf?x=1 Diizinkan Tanda $ berarti URL harus berakhir di situ
GPTBot /blog/post Diblokir Disallow: / dalam grupnya sendiri
Googlebot /robots.txt Diizinkan File itu sendiri selalu dapat dirayapi

Googlebot memakai grup * karena tidak ada grup yang menyebut namanya, sedangkan GPTBot memakai grupnya sendiri dan mengabaikan aturan *. Pencocokan mengikuti RFC 9309, yang hanya mendefinisikan User-agent, Allow, dan Disallow. Sitemap dan Crawl-delay adalah ekstensi yang banyak dipakai yang tidak didefinisikan oleh RFC.

Pertanyaan yang sering diajukan

Apakah robots.txt menjaga halaman tetap di luar hasil pencarian?

Tidak sepenuhnya. File ini hanya meminta crawler tidak mengambil halaman; jika situs lain menautkannya, URL tetap bisa diindeks. Gunakan tag noindex untuk halaman yang harus tetap di luar, dan jangan blokir di robots.txt, atau crawler tidak akan pernah melihat noindex.

Apakah memblokir crawler AI efektif?

Crawler resmi seperti GPTBot, ClaudeBot, dan Google-Extended menyatakan menghormati robots.txt, sehingga memblokirnya mencegah halaman Anda dipakai untuk pelatihan. Crawler yang mengabaikan standar ini tidak bisa dihentikan dengan cara ini.

Koneksi siapa yang mengambil robots.txt?

Server kami meminta robots.txt di root situs — hanya satu file itu. Pengujian isi yang ditempel berlangsung sepenuhnya di browser Anda.

Privasi

File diunggah melalui HTTPS untuk diproses dan dihapus otomatis dalam waktu satu jam.

Alat terkait