robots.txt Generator & Tester

Erstellen: Wählen Sie die zu sperrenden Pfade, die auszuschließenden Crawler und Ihre Sitemap-URLs und erhalten Sie eine robots.txt zum Hochladen. Testen: Rufen Sie die robots.txt einer beliebigen Website ab (oder fügen Sie eine ein), geben Sie eine URL und einen Crawler ein und sehen Sie, ob gecrawlt werden darf und welche Zeile entscheidet.

Auf unseren Servern verarbeitet und innerhalb einer Stunde gelöscht

So funktioniert es

Tragen Sie unter Erstellen die zu sperrenden Pfade ein, haken Sie KI-Crawler oder Suchmaschinen zum Sperren an und fügen Sie Ihre Sitemap-URLs hinzu. Die robots.txt aktualisiert sich laufend; kopieren oder laden Sie sie herunter.
Geben Sie unter Testen eine Website ein und klicken Sie auf robots.txt abrufen oder fügen Sie den Inhalt ein.
Geben Sie die zu testende URL ein und wählen Sie einen Crawler. Das Ergebnis zeigt, ob gecrawlt werden darf, und hebt die passende Zeile hervor.

Optionen erklärt

Abgleichsregeln: Wie in der Google-Spezifikation – es gilt die Gruppe, die am besten zum Crawler-Namen passt, der längste passende Pfad gewinnt, bei Gleichstand gewinnt Allow, und * sowie $ werden unterstützt.
Crawl-delay: Sekunden zwischen Anfragen. Bing und andere beachten es; Google und Baidu ignorieren es.

Ein durchgerechnetes Beispiel

Hier ist eine robots.txt, die einen Ordner sperrt, aber einen Unterordner öffnet, PDF-Dateien sperrt und einen KI-Crawler vollständig fernhält:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Der Reiter „Testen“ liefert diese Antworten:

Crawler	URL-Pfad	Ergebnis	Entscheidende Zeile
Googlebot	/blog/post	Erlaubt	Keine Regel trifft zu
Googlebot	/private/data	Gesperrt	Disallow: /private/
Googlebot	/private/press/kit	Erlaubt	Allow: /private/press/ (der längere Treffer gewinnt)
Googlebot	/files/a.pdf	Gesperrt	Disallow: /*.pdf$
Googlebot	/files/a.pdf?x=1	Erlaubt	Das $ bedeutet, dass die URL dort enden muss
GPTBot	/blog/post	Gesperrt	Disallow: / in der eigenen Gruppe
Googlebot	/robots.txt	Erlaubt	Die Datei selbst darf immer gecrawlt werden

Googlebot verwendet die Gruppe *, weil keine Gruppe ihn nennt, während GPTBot seine eigene Gruppe verwendet und die Regeln von * ignoriert. Der Abgleich folgt RFC 9309, die nur User-agent, Allow und Disallow definiert. Sitemap und Crawl-delay sind weit verbreitete Erweiterungen, die der RFC nicht definiert.

Häufig gestellte Fragen

Hält robots.txt eine Seite aus den Suchergebnissen heraus?

Nicht vollständig. Sie bittet Crawler nur, die Seite nicht abzurufen; wenn andere Websites darauf verlinken, kann die URL trotzdem indexiert werden. Verwenden Sie für Seiten, die draußen bleiben müssen, ein noindex-Tag und sperren Sie sie nicht in der robots.txt, sonst sehen Crawler das noindex nie.

Funktioniert das Sperren von KI-Crawlern?

Offizielle Crawler wie GPTBot, ClaudeBot und Google-Extended geben an, robots.txt zu beachten; durch das Sperren werden Ihre Seiten also nicht für Trainingszwecke verwendet. Crawler, die den Standard ignorieren, lassen sich so nicht aufhalten.

Wer ruft die robots.txt ab?

Unser Server fordert die robots.txt im Stammverzeichnis der Website an, nur diese eine Datei. Das Testen eingefügter Inhalte geschieht komplett in Ihrem Browser.

Datenschutz

Dateien werden zur Verarbeitung per HTTPS hochgeladen und innerhalb einer Stunde automatisch gelöscht.