Лог-анализ
Лог-анализ – это разбор журналов веб-сервера, чтобы увидеть сайт глазами поисковых роботов: какие страницы они запрашивают, как часто и какой ответ получают. Это единственный способ узнать, как робот на самом деле обходит сайт, а не как это выглядит в отчётах сервисов.
Типичная ситуация: в интернет-магазине 20 000 товаров, а в индексе едва половина. Вебмастер показывает общую статистику обхода, но не отвечает, куда уходят запросы робота. Логи отвечают: например, большая часть обхода тратится на страницы сортировки и фильтров, а до новых карточек робот просто не доходит.
Что логи показывают лучше Вебмастера и Search Console
В Яндекс Вебмастере есть «Статистика обхода», в Search Console отчёт «Статистика сканирования». С них удобно начинать, но данные там сводные и показаны выборочно. Логи дают каждый запрос: точный адрес, время, код ответа. Только в логах видно, что робот за месяц ни разу не открыл раздел, ради которого запускали сайт. По журналам отвечают на такие вопросы:
- Какие разделы робот обходит чаще всего, а какие почти не посещает.
- Сколько обхода уходит на мусор: параметры, сортировки, дубли, служебные адреса. Это прямые потери краулингового бюджета.
- Какую долю ответов роботу составляют редиректы, 404 и ошибки 5xx.
- Как быстро робот приходит на новые страницы после публикации.
- Есть ли страницы, которых нет в структуре сайта, но робот их знает, и наоборот.
Как провести лог-анализ: от сбора журналов до списка правок
- Соберите журналы доступа хотя бы за месяц. Что это за файлы и где их искать, описано в статье Лог-файл.
- Отфильтруйте запросы роботов по user-agent: YandexBot, Googlebot и другие нужные вам поисковики.
- Проверьте, что роботы настоящие. Поддельные Googlebot и YandexBot в логах встречаются часто. Яндекс и Google советуют проверять IP обратным DNS-запросом: имя хоста должно оканчиваться на домен поисковика, а прямой запрос по этому имени должен вернуть тот же IP.
- Приведите адреса к единому виду и разложите по типам страниц: карточки, категории, фильтры, статьи, служебные адреса.
- Сопоставьте логи с полным списком страниц сайта. Его берут из краулера и sitemap.xml.
- Сделайте выводы и составьте список правок.
Куда уходят 100 000 запросов YandexBot за месяц
Допустим, за 30 дней YandexBot сделал 100 000 запросов к магазину. После разбора по типам страниц картина такая (цифры условные, для иллюстрации):
| Тип адреса | Доля запросов робота | Нужен в поиске? |
|---|---|---|
| Фильтры и сортировки с параметрами | 48% | нет |
| Карточки товаров | 27% | да |
| Категории каталога | 9% | да |
| Редиректы со старых адресов | 11% | нет |
| Ответы 404 | 5% | нет |
Почти две трети обхода уходит на адреса, которые не должны быть в поиске. Что делают дальше: закрывают параметры сортировки, убирают внутренние ссылки на редиректы, удаляют из меню ссылки на несуществующие страницы. Через месяц логи собирают снова и сравнивают доли.
Как превратить находки в правки
Сам по себе отчёт ничего не меняет. Каждая находка должна превратиться в конкретную правку:
| Что видно в логах | Что обычно делают |
|---|---|
| Робот много ходит по сортировкам и фильтрам | закрывают ненужные параметры в robots.txt, для Яндекса добавляют Clean-param, убирают ссылки на такие адреса |
| Много запросов к адресам с редиректом | меняют внутренние ссылки на конечные адреса |
| Робот получает ответы 5xx | с разработчиком ищут причину: время сбоев, нагрузку, тяжёлые страницы |
| Новые товары робот находит поздно | добавляют их в sitemap.xml, ставят ссылки из категорий, подключают IndexNow |
| Робот ходит на удалённые страницы | ищут, откуда на них ссылки, и следят, чтобы сервер отдавал 404 или 410 |
Чтобы расставить приоритеты, удобно разложить все страницы по двум признакам: нужна ли страница в поиске и ходит ли на неё робот. Получается четыре группы, и у каждой своё действие.
Самая ценная группа для работы: страницы, которые нужны, но робот на них не заходит. Обычно это страницы-сироты без внутренних ссылок или разделы на глубоком уровне вложенности.
Частые вопросы про лог-анализ
Какой программой разобрать логи сервера?
Для SEO чаще всего берут Screaming Frog Log File Analyser, GoAccess, связку Elasticsearch и Kibana или пишут скрипты на Python. Журнал небольшого сайта можно разобрать и в таблице, а логи крупного магазина за месяц удобнее грузить в специальный инструмент.
По каким признакам отличить настоящих YandexBot и Googlebot от поддельных?
Только по IP, имя в user-agent подделывают легко. Обратный DNS-запрос у настоящего Googlebot вернёт хост в домене googlebot.com, google.com или googleusercontent.com, у робота Яндекса в yandex.ru, yandex.net или yandex.com. Затем прямой запрос по этому имени должен дать исходный IP, иначе это чужой бот.
Какие данные из журнала нужны для SEO-анализа?
Хватает пяти полей: адрес запроса, время, код ответа, user-agent и IP. По user-agent отбирают роботов, по IP проверяют их подлинность, остальное нужно для подсчётов по разделам и датам.
Сотни тысяч адресов в логах: по какому принципу разложить их на типы страниц?
По шаблонам адреса. Карточки, категории и статьи обычно живут в своих папках, а фильтры и сортировки выдают параметры вроде ?sort= или ?color=. Перед группировкой адреса чистят: убирают UTM-метки, приводят к одному регистру и одному виду слеша, иначе одна страница попадёт в отчёт несколько раз.
Через сколько робот приходит на новую страницу и где это видно в логах?
Возьмите дату публикации и найдите в журнале первый запрос YandexBot или Googlebot к этому адресу: разница и есть ответ. Считать лучше по разделу целиком, а не по одной странице. Если новые карточки робот находит через недели, помогают ссылки из категорий, sitemap.xml и IndexNow.
Почему робот ходит на страницы, которых на сайте уже нет?
Он помнит старые адреса и находит их по ссылкам: внутренним, внешним, из устаревшей карты сайта. Само по себе это не беда, если сервер честно отвечает 404 или 410. Плохо, когда на удалённые страницы до сих пор ведут ссылки из меню или каталога: робот тратит на них обход снова и снова.
Как по логам проверить, что после переезда робот перешёл на новые адреса?
Сравните, сколько запросов робот делает к старым и к новым адресам. Старые должны отвечать ему 301, и их доля от недели к неделе падает, а запросов к новым адресам с ответом 200 становится больше. Если робот подолгу ходит по старым адресам, проверьте, что редирект ведёт сразу на нужную страницу, без цепочек, и что внутренние ссылки обновлены.
Чем SEO-анализ логов отличается от мониторинга логов сервера?
Журналы те же, вопросы разные. Администратор следит за ошибками, нагрузкой и атаками почти в реальном времени. SEO-анализ берёт срез хотя бы за месяц и смотрит только на запросы поисковых роботов: куда они ходят, какой ответ получают и как часто возвращаются.
Почему лог-анализ даёт случайную или неполную картину
- Взять логи за пару дней. Робот обходит разделы неравномерно, и короткий срок даёт случайную картину.
- Считать всех, кто назвался Googlebot, настоящим роботом Google.
- Анализировать логи без списка страниц сайта. Тогда не видно, чего робот не обходит.
- Сделать отчёт и не повторить замер после правок.
Каким сайтам нужен лог-анализ
- Крупный каталог или интернет-магазин, где тысячи страниц и фильтров.
- Новые страницы долго не попадают в индекс.
- После SEO-переезда, чтобы убедиться, что робот перешёл на новые адреса.
- Сайт услуг на 30 страниц без проблем с индексацией. Здесь хватит отчётов Вебмастера.
Лог-анализ входит в технический аудит сайта для крупных каталогов и в работу по SEO-продвижению интернет-магазинов.
Источники
- Справка Яндекса для вебмастеров: как проверить, что робот принадлежит Яндексу
- Документация Google Search Central: проверка Googlebot и других роботов Google
- Справка Search Console: отчёт «Статистика сканирования»
См. также: Краулинговый бюджет, Индексация сайта, Технический аудит сайта, Лог-файл, Screaming Frog SEO Spider.
Остались вопросы по теме «Лог-анализ»?
Напишите нам в Telegram или MAX. Ответит специалист, который отвечает за эту тему, или руководитель проектов в рабочее время.
Отвечает по темеСергей ПимкинВедущий SEO-специалистНад статьёй работали
Услуги по теме
Кейсы по теме
МаркетингМедицина, центр репродуктивной медицины
SEO-продвижение клиники «Три Сердца»
Посетителей в 5,5 раза большеНа январь 2025 года: 5 500 посетителей в неделю вместо 1 000, обращение стоит 60–70 ₽
МаркетингМедицина
SEO-продвижение медцентра «Медюнион»
10 000 обращений в месяц из интернета3 года работы, ноябрь 2018 – октябрь 2021: больше 1 000 фраз в ТОП-10 при цели 800
Тарифы по теме
Стартовый тариф для небольшого бизнеса: наводим порядок на сайте и получаем первые заявки из Яндекса и Google.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Тариф для растущего бизнеса. Работаем на количество заявок: считаем звонки через коллтрекинг и дорабатываем сайт под конверсию.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Для масштабирования бизнеса: SEO, A/B-тесты, карточки в Яндекс.Бизнесе и 2ГИС, техподдержка сайта. Нейросети берут на себя рутину, итог проверяют специалисты.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Читайте также
Проверим ваш сайт бесплатно
Экспресс-аудит за 24 часа: скорость, индексация, мета-теги, коммерческие факторы и цели Метрики.