본문으로 건너뛰기
ToolMug

크롤러 IP 검증기

스크레이퍼는 User-Agent에 Googlebot이라고 적는 경우가 많습니다. 검색엔진이 공식 안내하는 방법은 IP의 역방향 DNS를 조회하고, 호스트 이름이 해당 회사 도메인에 속하는지 확인한 뒤, 그 호스트 이름을 다시 조회해 같은 IP가 나오는지 보는 것입니다. 이 도구가 그 단계를 대신 실행합니다.

서버에서 처리되며 1시간 이내에 삭제돼요

한 줄에 하나씩 입력하거나 로그 줄을 붙여 넣으세요. IP를 자동으로 추출합니다. 한 번에 최대 20개.

IP 0개 발견

사용 방법

  1. 확인할 IP를 한 줄에 하나씩 붙여 넣습니다. 로그 원문을 붙여 넣어도 IP를 자동으로 뽑아 줍니다.
  2. "검증"을 클릭합니다.
  3. "진짜 … 크롤러"로 표시된 항목은 믿어도 됩니다. "가짜"로 표시된 항목은 방화벽이나 CDN에서 차단할 수 있습니다.

옵션 설명

지원하는 검색엔진
Google(googlebot.com, google.com, googleusercontent.com), Bing(search.msn.com), Baidu(baidu.com, baidu.jp), Yandex, Sogou(sogou.com), Apple(applebot.apple.com), Petal(petalsearch.com).
확인 방법
IP의 역방향 DNS → 호스트 이름이 위 도메인 또는 그 하위 도메인이어야 함 → 호스트 이름의 정방향 DNS → 원래 IP가 반환될 때만 통과합니다.

허용되는 호스트 이름과 결과의 의미

역방향 DNS 호스트 이름은 다음 도메인 중 하나이거나 그 하위 도메인이어야 해요. crawl.googlebot.com.example.net 같은 이름은 이름의 끝부분만 비교하므로 인정되지 않아요.

검색엔진 허용되는 도메인
Google googlebot.com, google.com, googleusercontent.com
Bing search.msn.com
Baidu baidu.com, baidu.jp
Yandex yandex.ru, yandex.net, yandex.com
Sogou sogou.com
Apple applebot.apple.com
Petal petalsearch.com

IPv4 주소는 정방향 조회에서 A 레코드를, IPv6는 AAAA 레코드를 요청해요. 그중 하나가 입력한 주소와 같을 때만 IP가 통과해요. 결과 열에서 볼 수 있는 결과는 다음과 같아요.

결과 일어난 일
정상 (검색엔진) 크롤러 역방향 이름이 허용 도메인에 있고 정방향 조회가 같은 IP를 반환함.
가짜: 호스트 이름이 이 IP로 되돌아오지 않습니다 역방향 이름은 검색엔진처럼 보이지만 정방향 조회가 이 IP를 반환하지 않음.
검색엔진 호스트가 아닙니다 IP에 역방향 이름이 있지만 허용 도메인에 없음.
역방향 DNS 없음: 알려진 크롤러가 아닙니다 IP에 PTR 레코드가 전혀 없음.
DNS 조회에 실패했습니다 DNS 쿼리 자체가 실패했거나 시간 초과됨. 결론을 내리기 전에 다시 시도하세요.
올바른 IP가 아닙니다 텍스트를 IPv4나 IPv6 주소로 읽을 수 없음.

한 번에 최대 20개의 IP를 검사해요. 로그 줄을 붙여넣으면 그 안에서 발견된 모든 IPv4와 IPv6 주소가 추출되며, 방문자의 주소뿐 아니라 줄에 있는 서버 주소도 포함돼요.

자주 묻는 질문

DuckDuckBot이나 GPTBot 같은 AI 크롤러도 검증할 수 있나요?

아직은 안 됩니다. 이들은 역방향 DNS 이름이 아니라 IP 대역 목록을 공개합니다. 여기서는 "검색엔진 호스트가 아님"으로 표시되지만, 가짜라는 증거는 아닙니다.

조회는 어디에서 이루어지나요?

저희 서버가 공개 DNS 리졸버에 질의합니다. DNS 조회만 하며 IP 자체에는 접속하지 않습니다.

역방향 DNS가 없으면 악성 IP라는 뜻인가요?

아니요. 목록에 있는 검색엔진 크롤러가 아니라는 뜻일 뿐입니다.

개인정보 보호

파일은 처리를 위해 HTTPS로 업로드되며 1시간 이내에 자동으로 삭제돼요.

관련 도구