Анализ логов сервера — как проверить, что происходило с сайтом
Что такое анализ логов сервера
Анализ логов сервера — это разбор записей о том, как к сайту обращались и что ответил сервер. Лог, или журнал, помогает выяснить, какой адрес открывали, когда это случилось и какой ответ вернул сайт.
Представьте, что поисковый робот открыл страницу товара. Сервер может записать время, путь к товару, ответ и идентификатор программы, которая открыла адрес. При анализе логов видно, было ли обращение вообще. Это полезно, если страница пропала из поиска и нужно проверить один конкретный адрес.
Состав журнала зависит от настроек. Обычно для задачи SEO нужны такие сведения.
- Дата и время. Позволяют связать запись с релизом или периодом ошибки.
- Адрес в логе. Показывает, какой раздел, файл или вариант URL открывали.
- Код ответа. Объясняет, что вернул сервер, например успешный ответ или ошибку.
- Идентификатор клиента. Может помочь отличить браузер от поискового робота.
Чем анализ логов отличается от веб-аналитики
Лог показывает запросы к серверу. Веб-аналитика показывает события, которые удалось зафиксировать на сайте. Эти данные отвечают на разные вопросы.
| Лог сервера | Веб-аналитика |
|---|---|
| Что фиксирует. Обращение и ответ сервера. | Что фиксирует. Просмотр, нажатие, отправку формы или покупку, если отслеживание настроено. |
| Пример. Робот запросил страницу и получил ошибку. | Пример. Посетитель открыл товар и нажал кнопку заказа. |
| Ограничение. Строка лога не равна человеку или визиту. | Ограничение. Отчёт зависит от сбора событий и настроек. |
Если используется промежуточный кеш, часть обращений может быть обслужена до основного сервера. Поэтому анализ начинайте с вопроса, где собраны данные. Пустой журнал одного сервера не доказывает, что к сайту никто не обращался.
Как провести анализ логов сервера
Начните с вопроса, который можно проверить по записям. Например, «Запрашивал ли Googlebot новый адрес каталога после переезда?»
- Возьмите нужный период. Для переезда выберите несколько дней до и после изменения.
- Выберите адреса. Отфильтруйте каталог, старые URL и важные карточки.
- Отделите роботов. Уточните, какие строки относятся поисковой системе. Строку идентификатора можно подделать, поэтому для важных выводов сверяйте её с официальным способом проверки робота.
- Сгруппируйте ответы. Сравните число успешных обращений, перенаправлений и ошибок.
Например, в логе видны ежедневные обращения к старому адресу с ответом 404 и ни одного успешного обращения к новому. Проверьте, ведут ли внутренние ссылки на новый URL и доступен ли он. Один отчёт анализа логов не показывает, почему страница ещё не вошла в индекс.
На что смотреть в итогах анализа
Формулируйте выводы по наблюдаемым данным. Укажите, какой период и какой источник записей проверены.
- Успешные ответы. Код 200 подтверждает, что сервер отдал ответ, но не означает автоматическую индексацию.
- Перенаправления. Проверьте, ведёт ли старый URL на соответствующую новую страницу.
- Ошибки. Если важные адреса часто возвращают 404 или 500, уточните причину и повторите запрос после исправления.
Перед передачей данных для анализа удалите или замаскируйте сведения, которые не нужны для задачи. В строках могут быть адреса клиентов и параметры запроса. Для проверки обхода обычно достаточно времени, пути, кода ответа и признаков робота. Так отчёт можно обсуждать без раскрытия лишних данных. Повторите анализ после исправления. Например, раньше в журнале сервера были ответы 404, а после настройки перенаправления появились 301 и успешные запросы нового адреса. Для анализа сравните именно эти строки, а не общий объём записей. Если в логах нового запроса ещё нет, это означает только отсутствие записи за выбранный период. Проверьте доступность сервера отдельно. В выводах анализа укажите, где заканчиваются наблюдения и начинается предположение. Такая запись полезна при следующем обращении к логам сервера.
При анализе логов полезно заранее записать вопрос и критерий ответа. Например, анализ покажет, был ли новый адрес доступен после переноса. Другой анализ может проверять повторные ошибки. В обоих случаях сравнивайте одинаковые источники и периоды. Если анализ затрагивает несколько узлов, объедините логи в одной временной зоне. Иначе соседние события будут выглядеть так, будто произошли в обратном порядке. В отчёте назовите условия анализа и сохраните примеры строк.