Générateur et testeur de robots.txt

Générer : choisissez les chemins à bloquer, les robots à écarter et les URL de votre sitemap, et obtenez un robots.txt prêt à être mis en ligne. Tester : récupérez le robots.txt de n’importe quel site (ou collez-en un), saisissez une URL et un robot, et voyez s’il peut explorer la page et quelle ligne en décide.

Traité sur nos serveurs et supprimé sous une heure

Mode d’emploi

Dans Générer, listez les chemins à bloquer, cochez les robots d’IA ou moteurs de recherche à bloquer et ajoutez les URL de votre sitemap. Le robots.txt se met à jour au fur et à mesure ; copiez-le ou téléchargez-le.
Dans Tester, saisissez un site web et cliquez sur Récupérer le robots.txt, ou collez le contenu.
Saisissez l’URL à tester et choisissez un robot. Le résultat indique s’il peut explorer la page et met en évidence la ligne correspondante.

Explication des options

Règles de correspondance: Comme dans la spécification de Google — le groupe qui correspond le mieux au nom du robot s’applique, le chemin correspondant le plus long l’emporte, Allow l’emporte en cas d’égalité, et * et $ sont pris en charge.
Crawl-delay: Secondes entre les requêtes. Bing et d’autres le respectent ; Google et Baidu l’ignorent.

Un exemple détaillé

Voici un robots.txt qui bloque un dossier mais ouvre un sous-dossier, bloque les fichiers PDF et tient un robot d’IA entièrement à l’écart :

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

L’onglet Tester donne ces réponses :

Robot	Chemin de l’URL	Résultat	Ligne déterminante
Googlebot	/blog/post	Autorisé	Aucune règle ne correspond
Googlebot	/private/data	Bloqué	Disallow: /private/
Googlebot	/private/press/kit	Autorisé	Allow: /private/press/ (la correspondance la plus longue l’emporte)
Googlebot	/files/a.pdf	Bloqué	Disallow: /*.pdf$
Googlebot	/files/a.pdf?x=1	Autorisé	Le $ signifie que l’URL doit se terminer là
GPTBot	/blog/post	Bloqué	Disallow: / dans son propre groupe
Googlebot	/robots.txt	Autorisé	Le fichier lui-même peut toujours être exploré

Googlebot utilise le groupe * parce qu’aucun groupe ne le nomme, tandis que GPTBot utilise son propre groupe et ignore les règles de *. La correspondance suit la RFC 9309, qui ne définit que User-agent, Allow et Disallow. Sitemap et Crawl-delay sont des extensions très répandues que la RFC ne définit pas.

Questions fréquentes

Le robots.txt garde-t-il une page hors des résultats de recherche ?

Pas complètement. Il demande seulement aux robots de ne pas récupérer la page ; si d’autres sites y font un lien, l’URL peut quand même être indexée. Utilisez une balise noindex pour les pages à exclure et ne les bloquez pas dans le robots.txt, sinon les robots ne verront jamais le noindex.

Bloquer les robots d’IA fonctionne-t-il ?

Les robots officiels comme GPTBot, ClaudeBot et Google-Extended affirment respecter le robots.txt ; les bloquer empêche donc l’utilisation de vos pages pour l’entraînement. Les robots qui ignorent la norme ne peuvent pas être arrêtés de cette façon.

Qui récupère le robots.txt ?

Notre serveur demande le robots.txt à la racine du site, ce fichier uniquement. Le test d’un contenu collé se fait entièrement dans votre navigateur.

Confidentialité

Les fichiers sont envoyés en HTTPS pour être traités, puis supprimés automatiquement dans un délai d’une heure.