Naar de inhoud
ToolMug

Gebruik ↑ ↓ om te bewegen, Enter om te openen, Esc om te sluiten.

robots.txt-generator en -tester

Genereren: kies de paden die je wilt blokkeren, de crawlers die je buiten wilt houden en je sitemap-URL’s, en krijg een robots.txt die klaar is om te uploaden. Testen: haal de robots.txt van een willekeurige site op (of plak er een), voer een URL en een crawler in en zie of er gecrawld mag worden en welke regel dat bepaalt.

Verwerkt op onze servers en binnen een uur verwijderd

Eén per regel, beginnend met /. Gebruik * als jokerteken en $ voor het einde van de URL.

Uitzonderingen binnen geblokkeerde mappen, bijv. /admin/public/

Optioneel. Bing en Yandex gebruiken het; Google en Baidu negeren het.

AI-crawlers blokkeren

Namen zoals elk bedrijf ze publiceert. Ze werken alleen bij crawlers die robots.txt respecteren.

Specifieke zoekmachines blokkeren

robots.txt

Zet het bestand in de hoofdmap van de site, zodat het bereikbaar is op https://jouw-domein/robots.txt.

Zo gebruik je het

  1. Zet bij Genereren de te blokkeren paden in de lijst, vink de AI-crawlers of zoekmachines aan die je wilt blokkeren en voeg je sitemap-URL’s toe. De robots.txt wordt direct bijgewerkt; kopieer of download hem.
  2. Voer bij Testen een website in en klik op robots.txt ophalen, of plak de inhoud.
  3. Voer de te testen URL in en kies een crawler. Het resultaat zegt of er gecrawld mag worden en markeert de bijpassende regel.

Opties uitgelegd

Matchingregels
Zoals in de specificatie van Google: de groep die het best bij de crawlernaam past, geldt; het langste overeenkomende pad wint; Allow wint bij gelijkstand; * en $ worden ondersteund.
Crawl-delay
Seconden tussen verzoeken. Bing en anderen houden zich eraan; Google en Baidu negeren het.

Een uitgewerkt voorbeeld

Hier is een robots.txt die een map blokkeert maar één submap opent, pdf-bestanden blokkeert en één AI-crawler helemaal buiten houdt:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Het tabblad Testen geeft deze antwoorden:

Crawler URL-pad Resultaat Beslissende regel
Googlebot /blog/post Toegestaan Geen enkele regel komt overeen
Googlebot /private/data Geblokkeerd Disallow: /private/
Googlebot /private/press/kit Toegestaan Allow: /private/press/ (de langste overeenkomst wint)
Googlebot /files/a.pdf Geblokkeerd Disallow: /*.pdf$
Googlebot /files/a.pdf?x=1 Toegestaan De $ betekent dat de URL daar moet eindigen
GPTBot /blog/post Geblokkeerd Disallow: / in zijn eigen groep
Googlebot /robots.txt Toegestaan Het bestand zelf mag altijd worden gecrawld

Googlebot gebruikt de groep * omdat geen enkele groep hem noemt, terwijl GPTBot zijn eigen groep gebruikt en de regels van * negeert. De matching volgt RFC 9309, dat alleen User-agent, Allow en Disallow definieert. Sitemap en Crawl-delay zijn veelgebruikte uitbreidingen die de RFC niet definieert.

Veelgestelde vragen

Houdt robots.txt een pagina uit de zoekresultaten?

Niet helemaal. Het vraagt crawlers alleen de pagina niet op te halen; als andere sites ernaar linken, kan de URL toch geïndexeerd worden. Gebruik een noindex-tag voor pagina’s die er niet in mogen komen en blokkeer ze niet in robots.txt, anders zien crawlers de noindex nooit.

Werkt het blokkeren van AI-crawlers?

Officiële crawlers zoals GPTBot, ClaudeBot en Google-Extended zeggen robots.txt te respecteren, dus als je ze blokkeert, worden je pagina’s niet voor training gebruikt. Crawlers die de standaard negeren, kun je zo niet tegenhouden.

Wie haalt de robots.txt op?

Onze server vraagt de robots.txt op in de hoofdmap van de site, alleen dat ene bestand. Het testen van geplakte inhoud gebeurt volledig in je browser.

Privacy

Bestanden worden via HTTPS geüpload om te verwerken en binnen een uur automatisch verwijderd.

Gerelateerde tools