Generator i tester robots.txt

Generuj: wybierz ścieżki do zablokowania, roboty do wykluczenia i adresy Sitemap, a otrzymasz gotowy do wgrania robots.txt. Testuj: pobierz robots.txt dowolnej witryny (lub wklej go), wpisz adres URL i robota, a zobaczysz, czy może skanować i która linia o tym zdecydowała.

Przetwarzane na naszych serwerach i usuwane w ciągu godziny

Jak używać

W zakładce Generuj wypisz ścieżki do zablokowania, zaznacz roboty AI lub wyszukiwarki do zablokowania i dodaj adresy Sitemap. Plik robots.txt aktualizuje się na bieżąco; skopiuj go lub pobierz.
W zakładce Testuj wpisz witrynę i kliknij Pobierz robots.txt albo wklej zawartość pliku.
Wpisz adres URL do sprawdzenia i wybierz robota. Wynik pokazuje, czy może skanować, i wyróżnia pasującą linię.

Opis opcji

Reguły dopasowania: Jak w specyfikacji Google — stosuje się grupa najlepiej pasująca do nazwy robota, wygrywa najdłuższa pasująca ścieżka, przy remisie wygrywa Allow, a * i $ są obsługiwane.
Crawl-delay: Liczba sekund między żądaniami. Bing i inne wyszukiwarki ją uwzględniają; Google i Baidu ignorują.

Przykład

Oto robots.txt, który blokuje folder, ale otwiera jeden podfolder, blokuje pliki PDF i całkowicie odcina jednego robota AI:

User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Karta Testuj daje takie odpowiedzi:

Robot	Ścieżka URL	Wynik	Decydujący wiersz
Googlebot	/blog/post	Dozwolone	Żadna reguła nie pasuje
Googlebot	/private/data	Zablokowane	Disallow: /private/
Googlebot	/private/press/kit	Dozwolone	Allow: /private/press/ (wygrywa dłuższe dopasowanie)
Googlebot	/files/a.pdf	Zablokowane	Disallow: /*.pdf$
Googlebot	/files/a.pdf?x=1	Dozwolone	`$` oznacza, że adres musi się tam kończyć
GPTBot	/blog/post	Zablokowane	Disallow: / w jego własnej grupie
Googlebot	/robots.txt	Dozwolone	Sam plik jest zawsze dostępny dla robotów

Googlebot używa grupy *, ponieważ żadna grupa go nie wymienia, natomiast GPTBot używa własnej grupy i ignoruje reguły *. Dopasowanie jest zgodne z RFC 9309, który definiuje tylko User-agent, Allow i Disallow. Sitemap i Crawl-delay to powszechnie używane rozszerzenia, których RFC nie definiuje.

Najczęściej zadawane pytania

Czy robots.txt chroni stronę przed pojawieniem się w wynikach wyszukiwania?

Nie w pełni. Tylko prosi roboty, by nie pobierały strony; jeśli inne witryny na nią linkują, adres URL nadal może zostać zaindeksowany. Dla stron, które mają zostać poza wynikami, użyj znacznika noindex i nie blokuj ich w robots.txt, bo roboty nigdy nie zobaczą noindex.

Czy blokowanie robotów AI działa?

Oficjalne roboty, takie jak GPTBot, ClaudeBot i Google-Extended, deklarują, że respektują robots.txt, więc ich zablokowanie powstrzymuje użycie Twoich stron do trenowania. Robotów, które ignorują ten standard, w ten sposób nie powstrzymasz.

Czyje połączenie pobiera robots.txt?

Nasz serwer pobiera plik robots.txt z katalogu głównego witryny — tylko ten jeden plik. Testowanie wklejonej zawartości odbywa się w całości w Twojej przeglądarce.

Prywatność

Pliki są przesyłane przez HTTPS do przetworzenia i automatycznie usuwane w ciągu godziny.