Как пользоваться
- На вкладке «Создать» перечислите пути для блокировки, отметьте ИИ-роботов или поисковые системы, которых нужно закрыть, и добавьте адреса Sitemap. robots.txt обновляется по ходу работы; скопируйте или скачайте его.
- На вкладке «Проверить» введите сайт и нажмите «Загрузить robots.txt» или вставьте содержимое файла.
- Введите URL для проверки и выберите робота. Результат покажет, может ли он сканировать страницу, и выделит подходящую строку.
Описание параметров
- Правила сопоставления
- Как в спецификации Google: действует группа, лучше всего подходящая под имя робота, побеждает самый длинный подходящий путь, при равенстве побеждает Allow, поддерживаются * и $.
- Crawl-delay
- Секунды между запросами. Bing и некоторые другие его учитывают; Google и Baidu игнорируют.
Разобранный пример
Вот robots.txt, который закрывает папку, но открывает одну вложенную папку, блокирует файлы PDF и полностью не пускает одного ИИ-робота:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlНа вкладке «Проверить» получаются такие ответы:
| Робот | Путь URL | Результат | Определяющая строка |
|---|---|---|---|
| Googlebot | /blog/post | Разрешено | Ни одно правило не подходит |
| Googlebot | /private/data | Заблокировано | Disallow: /private/ |
| Googlebot | /private/press/kit | Разрешено | Allow: /private/press/ (побеждает более длинное совпадение) |
| Googlebot | /files/a.pdf | Заблокировано | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | Разрешено | Знак $ означает, что URL должен заканчиваться именно здесь |
| GPTBot | /blog/post | Заблокировано | Disallow: / в его собственной группе |
| Googlebot | /robots.txt | Разрешено | Сам файл всегда доступен для сканирования |
Googlebot использует группу *, потому что ни одна группа не называет его по имени, а GPTBot использует собственную группу и игнорирует правила *. Сопоставление следует RFC 9309, который определяет только User-agent, Allow и Disallow. Sitemap и Crawl-delay — широко используемые расширения, которые RFC не определяет.
Часто задаваемые вопросы
Скрывает ли robots.txt страницу из результатов поиска?
Не полностью. Он лишь просит роботов не загружать страницу; если на неё ссылаются другие сайты, URL всё равно может попасть в индекс. Для страниц, которые должны остаться вне поиска, используйте тег noindex и не закрывайте их в robots.txt, иначе роботы никогда не увидят noindex.
Работает ли блокировка ИИ-роботов?
Официальные роботы, такие как GPTBot, ClaudeBot и Google-Extended, заявляют, что соблюдают robots.txt, поэтому их блокировка не даёт использовать ваши страницы для обучения. Роботов, которые игнорируют стандарт, так не остановить.
Чьё соединение загружает robots.txt?
Наш сервер запрашивает robots.txt в корне сайта — только этот один файл. Проверка вставленного содержимого целиком выполняется в вашем браузере.
Конфиденциальность
Файлы передаются по HTTPS для обработки и автоматически удаляются в течение часа.