Cómo se usa
- En Generar, escribe las rutas que bloquear, marca los rastreadores de IA o buscadores que quieras bloquear y añade las URL de tu sitemap. El robots.txt se actualiza sobre la marcha; cópialo o descárgalo.
- En Probar, introduce un sitio web y haz clic en Obtener robots.txt, o pega el contenido.
- Introduce la URL que probar y elige un rastreador. El resultado indica si puede rastrearla y resalta la línea que coincide.
Opciones explicadas
- Reglas de coincidencia
- Como en la especificación de Google — se aplica el grupo que mejor coincide con el nombre del rastreador, gana la ruta coincidente más larga, Allow gana en caso de empate y se admiten * y $.
- Crawl-delay
- Segundos entre peticiones. Bing y otros lo respetan; Google y Baidu lo ignoran.
Un ejemplo práctico
Este es un robots.txt que bloquea una carpeta pero abre una subcarpeta, bloquea los archivos PDF y mantiene fuera por completo a un rastreador de IA:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlLa pestaña «Probar» da estas respuestas:
| Rastreador | Ruta de la URL | Resultado | Línea decisiva |
|---|---|---|---|
| Googlebot | /blog/post | Permitido | No coincide ninguna regla |
| Googlebot | /private/data | Bloqueado | Disallow: /private/ |
| Googlebot | /private/press/kit | Permitido | Allow: /private/press/ (gana la coincidencia más larga) |
| Googlebot | /files/a.pdf | Bloqueado | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | Permitido | El $ significa que la URL debe terminar ahí |
| GPTBot | /blog/post | Bloqueado | Disallow: / en su propio grupo |
| Googlebot | /robots.txt | Permitido | El propio archivo siempre se puede rastrear |
Googlebot usa el grupo * porque ningún grupo lo nombra, mientras que GPTBot usa su propio grupo e ignora las reglas de *. La comparación sigue la RFC 9309, que define solo User-agent, Allow y Disallow. Sitemap y Crawl-delay son extensiones muy usadas que la RFC no define.
Preguntas frecuentes
¿robots.txt mantiene una página fuera de los resultados de búsqueda?
No del todo. Solo pide a los rastreadores que no descarguen la página; si otros sitios enlazan a ella, la URL aún puede indexarse. Usa una etiqueta noindex para las páginas que deben quedar fuera y no las bloquees en robots.txt, o los rastreadores nunca verán el noindex.
¿Funciona bloquear los rastreadores de IA?
Los rastreadores oficiales como GPTBot, ClaudeBot y Google-Extended dicen respetar robots.txt, así que bloquearlos evita que tus páginas se usen para entrenar. Los rastreadores que ignoran el estándar no se pueden detener así.
¿Desde qué conexión se descarga el robots.txt?
Nuestro servidor solicita el robots.txt de la raíz del sitio, solo ese archivo. Probar contenido pegado ocurre por completo en tu navegador.
Privacidad
Los archivos se suben por HTTPS para procesarlos y se eliminan automáticamente en el plazo de una hora.