Pular para o conteúdo
ToolMug

Use ↑ ↓ para navegar, Enter para abrir, Esc para fechar.

Gerador e testador de robots.txt

Gerar: escolha os caminhos a bloquear, os rastreadores a deixar de fora e os URLs do seu sitemap, e obtenha um robots.txt pronto para enviar. Testar: busque o robots.txt de qualquer site (ou cole um), informe um URL e um rastreador e veja se ele pode rastrear e qual linha decidiu.

Processado em nossos servidores e excluído em até uma hora

Um por linha, começando com /. Use * como curinga e $ para o fim do URL.

Exceções dentro de pastas bloqueadas, por ex. /admin/public/

Opcional. Bing e Yandex usam; Google e Baidu ignoram.

Bloquear rastreadores de IA

Nomes publicados por cada empresa. Só funcionam com rastreadores que respeitam o robots.txt.

Bloquear mecanismos de busca específicos

robots.txt

Envie o arquivo para a raiz do site para que ele seja servido em https://seu-dominio/robots.txt.

Como usar

  1. Em Gerar, liste os caminhos a bloquear, marque os rastreadores de IA ou mecanismos de busca a bloquear e adicione os URLs do seu sitemap. O robots.txt é atualizado na hora; copie ou baixe.
  2. Em Testar, informe um site e clique em Obter robots.txt, ou cole o conteúdo.
  3. Informe o URL a testar e escolha um rastreador. O resultado diz se ele pode rastrear e destaca a linha correspondente.

Opções explicadas

Regras de correspondência
Como na especificação do Google — vale o grupo que melhor corresponde ao nome do rastreador, vence o caminho correspondente mais longo, Allow vence em caso de empate, e * e $ são aceitos.
Crawl-delay
Segundos entre requisições. Bing e outros respeitam; Google e Baidu ignoram.

Um exemplo resolvido

Aqui está um robots.txt que bloqueia uma pasta mas libera uma subpasta, bloqueia arquivos PDF e mantém um rastreador de IA totalmente de fora:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

A aba Testar dá estas respostas:

Rastreador Caminho da URL Resultado Linha decisiva
Googlebot /blog/post Permitido Nenhuma regra combina
Googlebot /private/data Bloqueado Disallow: /private/
Googlebot /private/press/kit Permitido Allow: /private/press/ (vence a correspondência mais longa)
Googlebot /files/a.pdf Bloqueado Disallow: /*.pdf$
Googlebot /files/a.pdf?x=1 Permitido O $ significa que a URL deve terminar ali
GPTBot /blog/post Bloqueado Disallow: / no seu próprio grupo
Googlebot /robots.txt Permitido O próprio arquivo sempre pode ser rastreado

O Googlebot usa o grupo * porque nenhum grupo o nomeia, enquanto o GPTBot usa o seu próprio grupo e ignora as regras de *. A correspondência segue a RFC 9309, que define apenas User-agent, Allow e Disallow. Sitemap e Crawl-delay são extensões amplamente usadas que a RFC não define.

Perguntas frequentes

O robots.txt mantém uma página fora dos resultados de busca?

Não totalmente. Ele só pede aos rastreadores que não busquem a página; se outros sites linkarem para ela, o URL ainda pode ser indexado. Use uma tag noindex nas páginas que precisam ficar de fora e não as bloqueie no robots.txt, senão os rastreadores nunca verão o noindex.

Bloquear rastreadores de IA funciona?

Rastreadores oficiais como GPTBot, ClaudeBot e Google-Extended dizem respeitar o robots.txt; portanto, bloqueá-los impede que suas páginas sejam usadas em treinamento. Rastreadores que ignoram o padrão não podem ser barrados assim.

Quem busca o robots.txt?

O nosso servidor requisita o robots.txt na raiz do site, apenas esse arquivo. O teste de conteúdo colado acontece inteiramente no seu navegador.

Privacidade

Os arquivos são enviados por HTTPS para processamento e excluídos automaticamente em até uma hora.

Ferramentas relacionadas