Что такое sitemap.xml? Для чего нужна карта сайта?

• Катя Лифиренко

Поисковая система просматривает весь интернет в поисках страниц для включения их в индекс. Googlebot перемещается по сети с помощью ссылок. После того, как бот попал на сайт, он изучает ресурс с помощью внутренних ссылок (например, в главном меню), чтобы сопоставить различные URL-адреса и страницы. 

С появлением ИИ в поиске и таких функций, как Google AI Overviews, скорость и полнота индексации стали критически важными, ведь алгоритмы могут использовать для цитирования только понятные и хорошо структурированные страницы. 

Правильно созданная карта сайта может стать вашим преимуществом: она увеличивает шансы того, что ключевой контент попадет не только в традиционную выдачу, но и в ответы ИИ.

В статье рассказываем:

• Что такое карта сайта: основные элементы и технические требования
• Какой бывает sitemap.xml: основные виды
• Как создать sitemap.xml?
• Какие бывают ошибки в sitemap xml и как их исправить

Что такое карта сайта: основные элементы и технические требования

Sitemap.xml — это файл в формате XML с наиболее важными страницами, который облегчает навигацию по сайту поисковым роботам. Карта сайта может быть обычной (до 50 000 страниц и весит максимум 50 Мб) и индексной (объединяет несколько обычных карт сайта, предназначена для крупных и мультирегиональных сайтов)

Sitemap отражается в файле robots.txt или по адресу: domen.com/sitemap.xml

Источник: developers.google.com

 Чтобы карта сайта выполняла свою функцию и без проблем считывалась поисковыми системами, важно соблюдать установленные технические требования:

1. Один файл может содержать не более 50 000 уникальных URL-адресов, а его размер в не сжатом виде не должен превышать 50 мегабайт. Если сайт большой, карту нужно разделить на несколько файлов и собрать их в так называемый индексный sitemap. 
2. Файл должен быть в кодировке UTF-8. Это гарантирует правильное отображение специальных знаков и уникальных символов в URL. В противном случае в URL-адресах или названиях страниц могут появиться некорректные символы, что затруднит обработку файла поисковыми системами.
3. Sitemap должен содержать только канонические и доступные HTTPS-адреса. Нельзя добавлять дубликаты страниц, версии с http://, а также адреса, закрытые для индексации в файле robots.txt или через тег noindex. 
4. Соответствие спецификации Sitemaps.org. Карта должна начинаться с контейнера , внутри которого каждая страница описывается отдельным блоком . В пределах блока обязательно должен быть тег с полным адресом страницы. Также можно указать дату последнего обновления с помощью тега .

! Неправильные или отсутствующие теги могут сделать файл непригодным для обработки, поэтому перед публикацией его стоит проверять в валидаторе XML.

Основные виды и примеры sitemap xml

Sitemap для изображений

Чтобы поисковая система могла обнаружить изображения на сайте, которые не всегда видны ботам (например, загруженные с помощью JavaScript), вам необходимо добавить их в карту сайта. Для этого можно указать ссылки на картинки в sitemap xml или создать для изображений отдельную карту сайта.

Используйте обязательные теги:

• image:image — содержит необходимую информацию об изображении. Каждый тег url включает до 1000 тегов image:image.
• image:loc — указывает на местонахождение сайта. URL изображения может не совпадать с основным доменом. Для корректного сканирования в таких случаях необходимо подтвердить оба домена в Google Search Console.

Также существуют необязательные теги, такие как:

• image:caption — подпись для изображения;
• image:geo_location — локация съемки (например, страна или город);
• image:title — название изображения;
• image:license — ссылка на лицензию для изображения.

Sitemap для видео

Карта сайта для видео включает: имя, описание, продолжительность, анимированные миниатюры и т.д. Для этого используйте обязательные теги:

• loc — местоположения файла с видео;
• video:title — название видео.
• video:description — описание контента (вмещает до 2 000 символов).
• video:content_loc или video:player_loc — выберите один из вариантов. Этот тег предоставляет Googlebot прямую ссылку на ваше видео или местоположение проигрывателя.
• video:video — видеоконтейнер.
• video:thumbnail_loc — превью или миниатюра.

Также можно использовать рекомендуемые теги:

• video:duration — продолжительность видео от 1 секунды до 28 800 (8 часов);
• video:expiration_date — дата и временя, когда видео перестанет быть доступным, необходимо указывать в формате W3C.

С другими не обязательными тегами и их значением можно ознакомиться в Справке Google.

Sitemap для новостей

В обычной sitemap.xml теги urlset, url, loc, lastmod,и другие используются с определенной целью, однако для новостей они немного отличаются:

Теги в файле Sitemap для новостей:

• publication — определяет местонахождение новости.
• name — название публикации. Оно должно совпадать с именем, указанным в адресе news.google.com. Тег name является вложенным тегом publication.
• language — язык новостного контента, также является дочерним тегом publication. Он показывает страну публикации новостей и географию. Следует использовать язык ISO 639. Также является дочерним  тегом publication.
• title — заголовок новости. Этот тег является жизненно важным элементом карты сайта. Он показывает содержание статьи. Тег заголовка не должен включать имена авторов, название публикации или дату новости, они могут занимать ненужное место в новостях Google. Более короткий заголовок может иметь лучший CTR.
• publication_date — дата публикации новости, ее следует указывать в формате W3C.

Прописывайте полную дату (YYYY-MM-DD) или дату, которая включает минуты, секунды и часовой пояс (YYYY-MM-DDThh:mm:ssTZD). Значение должно соответствовать моменту публикации статьи, а не времени ее добавления в файл

Для карты сайта можно использовать такие форматы:

• Дата: YYYY-MM-DD (1997-07-16).
• Дата с часами и минутами, плюс секунды: YYYY-MM-DDThh:mm:ssTZD (1997-07-16T19:20:30+01:00).

[vd_subscribe_banner_blog]

Sitemap для мультиязычных сайтов 

Многоязычная карта сайта имеет тот же базовый формат, но вам необходимо добавить дополнительную информацию к каждой записи loc. Google предлагает добавить дочернюю запись xhtml:link для каждой языковой версии каждой части контента (включая исходный язык).

Таким образом, если ваш контент доступен, например, на английском (по умолчанию) и немецком языках, у вас будет две дочерние записи xhtml:link для каждой записи loc . 

Пример мультиязычной карты сайта:

Источник: developers.google.com

В этом примере вы можете увидеть еще одно дополнение — тег hreflang. Он сообщает Google, какой язык вы используете на конкретной странице, а также про регион. Например, вы можете использовать «en-us» для американского английского и «en-gb» для британского английского (как язык, так и страна).

Как создать sitemap.xml?

Весь процесс можно условно разделить на пять этапов.

1. Проработка структуры

Прежде чем создавать карту сайта, вам нужно точно знать, сколько страниц на вашем ресурсе. Просмотрите свой сайт, начав с домашней страницы. Далее отметьте остальные страницы и то, как они связаны друг с другом. Для этого можно воспользоваться инструментом Screaming Frog.

Фото: Screaming Frog

2. Кодирование

В зависимости от CMS, существует множество способов кодирования страницы и URL-адресов. Если вы используете WordPress, эта функция доступна через плагины (например, Yoast). Также это можно сделать с помощью специальных сервисов, например, xml-sitemaps.com. Самый длинный способ — вручную закодировать URL-адреса, добавив теги XML к каждому из них.

3. Валидация

Чтобы выявить и исправить проблемы, которые могут возникнуть при кодировании, поместите URL-адрес вашей карты сайта в XML-валидатор. Для этого можно воспользоваться Google Search Console или онлайн-сервисами: XMLValidation, FreeFormatter XML Validator, CodeBeautify XML Validator, W3C Markup Validation Service, XMLLint.

4. Размещение sitemap.xml

Карта размещается по адресу http://www.example.com/sitemap.xml (где example — доменное имя). Затем вам нужно будет найти файл robots.txt и добавить в него местоположение sitemap.xml. Robots.txt обычно находится в корневой папке сайта.

5. Отправка

Когда все эти шаги выполнены, вы можете отправить карту сайта для сканирования и индексации. Это можно сделать через Google Search Console: перейдите к «Сканирование» с левой стороны, а затем «Карты сайта» и нажмите «Добавить/Проверить». На этой странице вы также можете провести окончательную проверку.

Распространенные ошибки в sitemap xml и как их исправить

• SEO