Как пользоваться
- Выберите формат лога. Формат combined по умолчанию подходит для Nginx и Apache; для своего формата вставьте строку log_format из nginx.conf.
- Выберите или перетащите один или несколько файлов логов (.gz тоже подойдёт) либо вставьте несколько строк.
- Изучите статистику роботов, запросы по часам, коды ответа, популярные URL, URL с 404, IP, источники переходов и User-Agent.
Описание параметров
- Определение роботов
- Googlebot, Bingbot, Baiduspider, YandexBot, Applebot и другие поисковые роботы, а также ИИ-роботы вроде GPTBot и ClaudeBot определяются по User-Agent. Откройте робота, чтобы увидеть URL, которые он запрашивал чаще всего.
- Настоящий IP посетителя
- Если формат содержит $http_x_forwarded_for, в качестве IP посетителя берётся его первый адрес — это удобно за CDN или обратным прокси.
- Размер файла
- Файлы читаются частями прямо в браузере, поэтому логи в сотни мегабайт тоже подойдут; скорость зависит от вашего компьютера.
Как строка превращается в запись
Каждая строка сопоставляется с форматом лога и разбивается на поля. Этот запрос Googlebot в формате combined по умолчанию:
66.249.66.1 - - [10/Oct/2026:13:55:36 +0800] "GET /blog/post-1 HTTP/1.1" 404 153 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"читается как IP 66.249.66.1, метод GET, путь /blog/post-1, статус 404, 153 байта, без источника перехода. Время переводится с учётом смещения (+0800) в точный момент, 05:55:36 UTC, поэтому строки с серверов в разных часовых поясах выстраиваются на почасовом графике в один ряд, а User-Agent распознаётся как Googlebot, поэтому строка добавляет этому роботу одно обращение и одну ошибку 404.
За CDN добавьте "$http_x_forwarded_for" в конец формата. Строка, заканчивающаяся на "203.0.113.7, 10.0.0.2", тогда засчитывается для 203.0.113.7, первого адреса, а не для прокси.
Часто задаваемые вопросы
Мои логи загружаются на сервер?
Нет. Файлы читаются и подсчитываются только в вашем браузере и пропадают, когда вы закрываете страницу.
Все ли Googlebot в логе действительно от Google?
Нет — User-Agent легко подделать. Вставьте подозрительные IP в проверку IP роботов, чтобы подтвердить их через reverse DNS.
Почему много строк не совпадает с форматом?
Лог использует другой формат. Хостинг-панели часто меняют log_format; скопируйте тот, что реально указан в вашем nginx.conf, в поле Свой log_format.
Конфиденциальность
Этот инструмент работает полностью в браузере. Ваши файлы и текст обрабатываются на вашем устройстве и никогда не загружаются на наши серверы.