Что такое краулинговый бюджет и как его увеличить?

20.02.2024

Редакция: Ольга Сомова. Автор: Вероника Мучанка

Согласно исследованию, сейчас в мире существует около 1,11 миллиарда вебсайтов. И их количество постоянно растет — 175 новых вебсайтов создается каждую минуту.

Чтобы среди разнообразия найти самые релевантные варианты и вывести их в топ выдачи, поисковые системы постоянно проводят индексацию страниц. Некачественные ресурсы, имеющие небольшое количество страниц и редко обновляемые, проверяются не так часто, как более информативные и полезные для пользователей сайты. Однако даже у них есть определенные ограничения в количестве страниц, которые поисковые роботы посещают ежедневно. Это ограничение называют краулинговым бюджетом. Низкий краулинговый бюджет может оказаться проблемой для владельцев сайтов, ведь он напрямую влияет на эффективность продвижения. Но как исправить это? Разберемся вместе.

Что такое краулинговый бюджет?

Краулинг — это процедура поиска и сбора информации об обновлении веб-страниц, необходимая для дальнейшего сканирования (индексации).

Краулинговый бюджет — это лимит страниц, который поисковый робот (search bot) будет проверять за определенный промежуток времени. Этот предел поисковой системы определяет для каждого вебсайта отдельно.

Объем краулингового бюджета — важный показатель для продвижения крупных сайтов, ведь когда система не успевает индексировать все важные страницы за один раз, вы не получаете ожидаемых результатов от SEO.

Существует два нюанса в работе системы, на которые следует обратить внимание:

1. Краулинговый бюджет распределяется автоматически. Для каждого ресурса объем разный и может быть равен, например, 100 страницам в день. Кажется, этого должно быть достаточно. Однако если речь идет о крупном интернет-магазине, где ежедневно добавляются десятки новых страниц, такого краулингового бюджета будет недостаточно для эффективного продвижения.
2. Обычно поисковые роботы предпочитают индексацию страниц, настроенных на низкочастотные запросы, а другие избегают. Это тоже может оказаться проблемой.

Как проверить краулинговый бюджет в Google Search Console?

Google Search Console — это бесплатный инструмент для ведения статистики посещения онлайн-ресурсов. Ранее мы подробно рассматривали функционал этого сервиса, также позволяющий просмотреть краулинговый бюджет вебсайта. Для этого можете воспользоваться простой инструкцией:

Шаг 1.

Откройте Google Search Console и введите ссылку на свой ресурс.

Шаг 2.

Найдите раздел «Настройки» в меню слева.

Шаг 3.

Далее вы увидите настройки своего веб-сайта и блок «Сканирование». Нажмите «Открыть отчет».

Вам откроется всплывающее окно, где вы сможете просмотреть:

• количество запросов на сканирование;
• общий размер загрузок;
• среднее время ответа;
• график по данным и показателям.

Также вы сможете проверить статус хоста, указывающего на наличие проблем.

И проверить распределение запросов на сканирование по категориям.

Как увеличить краулинговый бюджет?

Краулинговый бюджет быстро тратится из-за ошибок индексации, поэтому задача SEO-специалиста — исправлять их. Сайт необходимо наполнять актуальным и качественным контентом, обновлять старые статьи и информацию, добавлять хороший визуал. Поисковики замечают такие ресурсы и вознаграждают, например, дополнительным краулинговым бюджетом. И это логично — информативный и актуальный сайт заслуживает внимания пользователей.

Итак, если вы не удовлетворены объемом краулингового бюджета, необходимо оптимизировать ресурс, чтобы пройти проверку поисковых систем. Есть несколько способов, как это сделать:

1. Настройка файлов sitemap.xml и robots.txt

Эти файлы играют ключевую роль в корректном индексировании вашего сайта поисковиками. С их помощью поисковые роботы формируют иерархию ресурса и анализируют структуру контента.

Очистите sitemap.xml от лишних страниц и дублей. Такие страницы влияют на бюджет индексации, поскольку роботы оценивают качество URL. В карте сайта должны содержаться только полезные страницы.

Добавьте в sitemap.xml правило lastmod для страниц, контент которых остался прежним с момента последней индексации. Это позволит избежать повторного сканирования этих страниц поисковым роботом.

2. Увеличение скорости загрузки страниц

Долго загружаемый сайт приводит не только к потере пользователей, но и замедляет сканирование страницы поисковыми ботами.

Для улучшения скорости загрузки вашего сайта рекомендуется:

1. Перейти на качественный хостинг, если это возможно.
2. Включить кэширование на хостинге.
3. Оптимизация размера изображений и других элементов.

3. Удаление битых ссылок

Ссылки на не существующие страницы (с кодом ответа 404) могут увеличить процент отказов и негативно влиять на поведенческие факторы, мешая работе поисковых ботов. Кроме того, это приводит к расходам краулингового бюджета на переходы по таким ссылкам. Для их обнаружения можно использовать инструмент проверки URL в Search Console или другие сервисы.

4. Настройка перелинковки

Используйте различные и уникальные текстовые анкоры, содержащие ключевые слова, и вставляйте ссылки на страницы, соответствующие тематике другой статьи.

5. Использование динамического рендеринга

Относительно новая опция Google создает HTML-версию сайта для поисковика и вариант на JavaScript для пользователя. Это упрощает и ускоряет процесс индексации.

6. Оптимизация редиректа

Редиректы и цепочки на больших сайтах могут нецелесообразно тратить краулинговый бюджет. Поэтому важно убедиться, что все они необходимы. Проверьте их количество и назначение и удалите излишнее.

7. Увеличение количества внешних ссылок

Существует определенная взаимосвязь между количеством посещений сайта поисковым роботом и количеством внешних ссылок: большее количество ссылок способствует участившимся визитам Googlebot на упоминаемый ресурс.

8. Улучшение структуры сайта

Размещение страниц на сайте определяет частоту их сканирования. Чем важнее страница, тем выше в иерархии она должна быть размещена. Такая структура способствует не только эффективности индексации, но и улучшает пользовательский опыт. Это способствует увеличению количества URL, которые готовы просканировать роботы.

Выводы

Краулинговый бюджет является важным аспектом для эффективной индексации вашего веб-сайта поисковыми роботами. Его оптимизация позволяет повысить частоту сканирования важных страниц, улучшить SEO-показатели и эффективность продвижения. Увеличение краулингового бюджета достигается с помощью ряда стратегий, включая оптимизацию структуры сайта, удаление битых ссылок, управление редиректами и т.п. Отслеживание и исправление ошибок индексации оказывает положительное влияние на видимость и рейтинг вашего сайта.