Как проверить файл robots.txt? ТОП-6 бесплатных инструментов

06.09.2024

Олена Гайдак

Файл robots.txt — это набор инструкций для ботов-сканеров поисковых систем. Набор правил помогает управлять ботами, указывая, какие страницы нужно сканировать, а какие — нет.

Перед сканированием веб-сайта, боты-сканеры считывают инструкции в файле и следуют тому, что там написано. Ошибки файла мешают корректному отображению сайта в поисковой сети. Для веб-ресурсов, которые постоянно наполняются контентом, рекомендуют ежедневно проверять robots.txt.

Почему проверка файла robots.txt важна?

Для индексации сайта поисковик «выделяет» краулинговый бюджет — лимит страниц, который бот может проверить на конкретном вебсайте. При отсутствии файла или его некорректном заполнении краулеры могут «потратить» свой бюджет на второстепенные страницы. В этом случае важная информация останется не проиндексированной. Это может привести к неправильной оценке содержимого сайта ботами и понижению позиции веб-сайта в рейтинге поисковой выдачи.

Чтобы выявить ошибки и иметь возможность их вовремя обнаружить, рекомендуется:

1. Проверять robots.txt перед запуском сайта.
2. Регулярно проводить проверку, особенно после внесения новых данных на сайт, внедрения изменений. 
3. Использовать несколько сервисов, особенно если продвигаете вебсайт в различных поисковых сетях, а не только в Google.

Инструменты для проверки файла robots.txt

Проанализировать robots.txt можно через панель для разработчиков Google Search Console, онлайн-сервисы и специальные программы для SEO-специалистов. 

Google Search Console

Это бесплатный инструмент от Google, который состоит из набора информационных панелей и отчетов. Они помогают выяснить, как именно сайт отображается в поисковой сети Google. 

Чтобы проверить robots.txt в Search Console:

1. Перейдите в «Настройки».

     2. Просмотрите отчет. 

     3. После исправления критических ошибок, можно запросить у гугла повторное сканирование файла.

Отчет о robots.txt показывает: 

• Получил ли Googlebot доступ к файлу;
• Дату и время проверки;
• Размер файла;
• Таблицу с перечнем проблем.

Важно! Правки нужно вносить не в отчете, а в самом файле на сервере веб-сайта или через административную панель CMS (например, если сайт создан на WordPress или Opencart). 

Website Planet

Платформа для маркетологов и SEO-специалистов с различными сервисами — генератор QR-кодов, сжатие изображений, определение возраста домена, проверка файла robots.txt.

Чтобы воспользоваться инструментом, вставьте URL-адрес файла robots.txt в специальную строку на сайте сервиса и нажмите «проверить».

Результатом будет список строк кода robots.txt с предупреждениями и ошибками.

Technicalseo

На сервисе собраны валидаторы для проверки технических характеристик вебсайта. Здесь можно узнать корректность заполнения файлов .htaccess, robots.txt, Sitemap, а также посмотреть, как загружается сайт на мобильных устройствах, сгенерировать микроразметку и т.д. 

Чтобы проверить robots.txt:

1. Вставьте URL-адрес в поисковую строку сервиса.
2. Выберите User Agent — Googlebot, Bingbot, DuckDuckGo, Baidu и другие.
3. Нажмите «Test» и дождитесь результатов. 

Важно! Файл robots.txt, в котором нет ошибок, показывает ответ 200.

Screaming Frog SEO Spider

Это программа, которая сканирует веб-сайты на выявление распространенных SEO-проблем. После загрузки в режиме реального времени можно:

• Найти ссылки, которые не работают;
• Проанализировать метаданные;
• Проверить цепочки редиректов;
• Создать XML- и Sitemaps;
• Проанализировать robots.txt.

Screaming Frog — одна из немногих программ, которая поможет узнать количество страниц на сайте онлайн. Отчет отображает даже веб-страницы, которые заблокированы до сканирования в файле robots.txt.

Первые 500 URL-адресов можно просканировать бесплатно. После исчерпания лимита необходимо покупать лицензию за 259 долларов в год. 

Logeix

Платформа с онлайн-сервисами и плагинами для анализа SEO-показателей веб-сайта. Чтобы проверить файл, введите URL-адрес и выберите бот из списка. 

Если robots.txt доступен для сканирования, отобразится зеленая надпись «Crawlable», если нет — красная отметка «Blocked».

SE Ranking

Многофункциональная платформа для анализа SEO-параметров сайта. Некоторые инструменты, среди которых сервис для проверки robots.txt, доступны полностью бесплатно. 

Чтобы проверить robots.txt, вставьте до 100 URL-адресов в специальную строку. В результате вы узнаете статус каждой веб-страницы: открытые для сканирования — будут выделены зеленым, а закрытые — красным.

Выводы 

Файл robots.txt — эффективный способ увеличить краулинговый бюджет. То есть помочь программам-сканерам индексировать только важные страницы. Отсутствие файла или его ошибки могут привести к понижению позиции сайта в SERP. 

Вовремя выявить неправильные элементы кода поможет регулярная проверка robots.txt. Анализ также рекомендуют делать после каждого обновления веб-сайта.