사용 방법
- '생성'에서 차단할 경로를 적고, 막을 AI 크롤러나 검색엔진에 체크한 뒤 사이트맵 URL을 추가하세요. 입력하는 대로 robots.txt가 바뀌니 복사하거나 다운로드하세요.
- '테스트'에서 웹사이트를 입력하고 'robots.txt 가져오기'를 누르거나, 내용을 붙여넣으세요.
- 테스트할 URL을 입력하고 크롤러를 고르세요. 크롤링할 수 있는지 알려 주고 일치한 줄을 강조해서 보여 줘요.
옵션 설명
- 일치 규칙
- Google 사양과 같아요. 크롤러 이름과 가장 잘 맞는 그룹이 적용되고, 가장 길게 일치하는 경로가 우선하며, 길이가 같으면 Allow가 이겨요. *와 $를 쓸 수 있어요.
- Crawl-delay
- 요청 사이의 간격(초)이에요. Bing 등은 따르지만 Google과 Baidu는 무시해요.
계산 예시
폴더 하나는 차단하되 하위 폴더 하나는 열어 두고, PDF 파일을 차단하며, AI 크롤러 하나는 완전히 막는 robots.txt예요.
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xml테스트 탭은 이런 답을 줘요.
| 크롤러 | URL 경로 | 결과 | 결정한 줄 |
|---|---|---|---|
| Googlebot | /blog/post | 허용 | 일치하는 규칙 없음 |
| Googlebot | /private/data | 차단 | Disallow: /private/ |
| Googlebot | /private/press/kit | 허용 | Allow: /private/press/ (더 길게 일치하는 쪽이 우선) |
| Googlebot | /files/a.pdf | 차단 | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | 허용 | $는 URL이 거기서 끝나야 한다는 뜻 |
| GPTBot | /blog/post | 차단 | 자기 그룹의 Disallow: / |
| Googlebot | /robots.txt | 허용 | 파일 자체는 항상 크롤링 가능 |
Googlebot을 지정한 그룹이 없으므로 * 그룹을 사용하고, GPTBot은 자기 그룹을 사용하며 * 규칙은 무시해요. 매칭은 User-agent, Allow, Disallow만 정의하는 RFC 9309를 따라요. Sitemap과 Crawl-delay는 널리 쓰이는 확장이며 RFC에는 정의되어 있지 않아요.
자주 묻는 질문
robots.txt로 막으면 페이지가 검색 결과에 안 나오나요?
완전하지는 않아요. robots.txt는 크롤러에게 페이지를 가져가지 말아 달라고 요청할 뿐이라서, 다른 사이트가 링크하면 URL이 색인될 수 있어요. 반드시 빼야 하는 페이지에는 noindex 태그를 쓰고 robots.txt로는 막지 마세요. 막으면 크롤러가 noindex를 읽지 못해요.
AI 크롤러 차단이 효과가 있나요?
GPTBot, ClaudeBot, Google-Extended 같은 공식 크롤러는 robots.txt를 따른다고 밝히고 있어서, 차단하면 내 페이지가 학습에 쓰이는 것을 막을 수 있어요. 이 표준을 무시하는 크롤러는 이 방법으로 막을 수 없어요.
robots.txt는 누구의 연결로 가져오나요?
저희 서버가 사이트 루트의 robots.txt, 그 파일 하나만 요청해요. 붙여넣은 내용을 테스트하는 일은 모두 브라우저 안에서 이루어져요.
개인정보 보호
파일은 처리를 위해 HTTPS로 업로드되며 1시간 이내에 자동으로 삭제돼요.