本文へスキップ
ToolMug

クローラー IP 検証ツール

スクレイパーは User-Agent で Googlebot を名乗ることがよくあります。検索エンジンが公開している確認方法は、IP の逆引き DNS を調べ、そのホスト名が各社のドメインに属することを確かめ、さらにそのホスト名を正引きして同じ IP が返ることを確認する、というものです。このツールがその手順を代わりに実行します。

サーバーで処理し、1 時間以内に削除します

1 行に 1 つ。ログの行を貼り付けても IP が自動で抽出されます。一度に最大 20 件。

0 件の IP が見つかりました

使い方

  1. 確認したい IP を 1 行に 1 つずつ貼り付けます。ログの生の行を貼り付けても、IP が自動で抽出されます。
  2. 「検証」をクリックします。
  3. 「本物の … クローラー」と表示されたものは信頼できます。「偽」と表示されたものは、ファイアウォールや CDN でブロックできます。

オプションの説明

対応する検索エンジン
Google(googlebot.com、google.com、googleusercontent.com)、Bing(search.msn.com)、Baidu(baidu.com、baidu.jp)、Yandex、Sogou(sogou.com)、Apple(applebot.apple.com)、Petal(petalsearch.com)。
確認の方法
IP の逆引き DNS → ホスト名が上記のドメインまたはそのサブドメインであること → ホスト名の正引き DNS → 元の IP が返ってきた場合のみ合格です。

受け付けるホスト名と、各結果の意味

逆引き DNS のホスト名は、次のドメインのいずれかそのもの、またはそのサブドメインでなければなりません。crawl.googlebot.com.example.net のような名前は、名前の末尾だけを比較するため該当しません。

検索エンジン 受け付けるドメイン
Google googlebot.com, google.com, googleusercontent.com
Bing search.msn.com
Baidu baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
Sogou sogou.com
Apple applebot.apple.com
Petal petalsearch.com

IPv4 アドレスの正引きでは A レコード、IPv6 では AAAA レコードを問い合わせます。そのいずれかが入力したアドレスと一致した場合にだけ、IP は合格になります。「結果」列に表示される結果は次のとおりです。

結果 何が起きたか
本物の(検索エンジン)クローラー 逆引きの名前が受け付けるドメインにあり、正引きで同じ IP が返る。
偽: ホスト名がこの IP に正引きされません 逆引きの名前は検索エンジンのように見えるが、正引きではこの IP が返らない。
検索エンジンのホストではありません IP に逆引きの名前はあるが、受け付けるどのドメインにも属していない。
逆引き DNS なし: 既知のクローラーではありません IP に PTR レコードがまったくない。
DNS の検索に失敗しました DNS クエリ自体が失敗したか、タイムアウトした。結論を出す前にもう一度試してください。
有効な IP ではありません テキストを IPv4 または IPv6 アドレスとして読み取れなかった。

一度に最大 20 件の IP を確認できます。ログの行を貼り付けると、その中にある IPv4 または IPv6 アドレスがすべて抽出されます。訪問者のアドレスだけでなく、行に含まれるサーバーのアドレスも対象です。

よくある質問

DuckDuckBot や GPTBot などの AI クローラーも検証できますか?

まだできません。これらは逆引き DNS の名前ではなく IP 範囲の一覧を公開しています。ここでは「検索エンジンのホストではない」と表示されますが、偽物だという証拠にはなりません。

検索はどこで行われますか?

当社のサーバーが公開 DNS リゾルバーに問い合わせます。行うのは DNS の検索だけで、IP 自体にはアクセスしません。

逆引き DNS がないと、悪意のある IP ということですか?

いいえ。一覧にある検索エンジンのクローラーではない、というだけです。

プライバシー

ファイルは HTTPS でアップロードして処理され、1 時間以内に自動的に削除されます。

関連ツール