使い方
- 「作成」でブロックするパスを入力し、ブロックしたい AI クローラーや検索エンジンにチェックを入れ、サイトマップの URL を追加します。入力に合わせて robots.txt が更新されるので、コピーまたはダウンロードしてください。
- 「テスト」でウェブサイトを入力して「robots.txt を取得」をクリックするか、内容を貼り付けます。
- テストする URL を入力し、クローラーを選びます。クロールできるかどうかが表示され、一致した行がハイライトされます。
オプションの説明
- 一致のルール
- Google の仕様と同じです。クローラー名に最もよく一致するグループが適用され、最も長く一致したパスが優先され、同じ長さなら Allow が優先されます。* と $ が使えます。
- Crawl-delay
- リクエストの間隔（秒）です。Bing などは従いますが、Google と Baidu は無視します。
具体例
フォルダーはブロックしつつ 1 つのサブフォルダーは許可し、PDF ファイルをブロックして、ある AI クローラーを完全に締め出す robots.txt の例です。
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml「テスト」タブでは、次のような答えが得られます。
| クローラー | URL のパス | 結果 | 判定に使われた行 |
|---|---|---|---|
| Googlebot | /blog/post | 許可 | 一致するルールなし |
| Googlebot | /private/data | ブロック | Disallow: /private/ |
| Googlebot | /private/press/kit | 許可 | Allow: /private/press/ (長く一致したほうが優先) |
| Googlebot | /files/a.pdf | ブロック | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | 許可 | $ は URL がそこで終わる必要があることを意味する |
| GPTBot | /blog/post | ブロック | 自分のグループの Disallow: / |
| Googlebot | /robots.txt | 許可 | ファイル自体は常にクロール可能 |
Googlebot を名指ししたグループはないので * のグループが使われ、GPTBot は自分のグループを使って * のルールを無視します。一致の判定は RFC 9309 に従います。この RFC が定義しているのは User-agent、Allow、Disallow だけです。Sitemap と Crawl-delay は広く使われている拡張で、RFC には定義されていません。
よくある質問
robots.txt を設定すれば、ページは検索結果に表示されなくなりますか？
完全には防げません。robots.txt はクローラーにページを取得しないよう頼むだけなので、他のサイトからリンクされていると URL がインデックスされることがあります。確実に除外したいページには noindex タグを使い、robots.txt ではブロックしないでください。ブロックすると、クローラーが noindex を読めなくなります。
AI クローラーのブロックは効果がありますか？
GPTBot、ClaudeBot、Google-Extended などの公式クローラーは robots.txt に従うとしているので、ブロックすればページが学習に使われるのを防げます。この標準を無視するクローラーは、この方法では止められません。
robots.txt はどこからどのように取得されますか？
当サーバーがサイトのルートにある robots.txt、そのファイル 1 つだけをリクエストします。貼り付けた内容のテストは、すべてお使いのブラウザー内で行われます。
プライバシー
ファイルは HTTPS でアップロードして処理され、1 時間以内に自動的に削除されます。