Главная » Блог » SEO » Как быстро найти дубли страниц на сайте? 10 простых способов

Как быстро найти дубли страниц на сайте? 10 простых способов

16.02.2021

Ольга Коцофане


Дубли — это страницы, которые полностью или частично повторяют контент со страницы «родителя». С точки зрения SEO, наличие дубликатов делает сайт уязвимым и влияет на его рейтинг в поисковой выдаче. Избежать этой проблемы позволит периодическая проверка сайта на дубли страниц. В этой статье мы покажем, как выглядят дубли страниц и как их быстро найти. 

Как быстро найти дубли страниц на сайте? 9 простых способов

 

Почему дубли страниц плохо влияют на сайт? 

  • Теряется вес страницы, что приводит к понижению позиций сайта в поисковой выдаче.
  • Снижается уникальность контента.
  • Повышается время на индексацию сайта.
  • Релевантность сайта падает, в результате чего теряется возможный трафик пользователей.
  • Дубли могут формировать дополнительный индекс (supplemental results). Если на сайте есть страницы, попавшие под такой фильтр, в конце списка сайтов из основных результатов выдачи отображается сообщение: «Мы скрыли некоторые результаты, которые очень похожи на предыдущие».
  • В худшем случае дубли страниц могут привести к наложению санкций поисковыми системами на ваш сайт или вообще к бану.

Из всего сказанного выше можно сделать вывод, что нужно проверять сайт на дубли и сразу удалять их. Делать это необходимо быстро и безошибочно, чтобы минимизировать количество проблем и повысить работоспособность сайта.

Как выглядят дубликаты страниц?

Начнем с того, что дубли бывают внешние и внутренние.

  • Внешние или междоменные дубликаты ― это, когда два или более разных домена имеют одну и ту же копию страницы, проиндексированную поисковыми системами.
  • Внутренние дубли появляются на одном и том же веб-сайте через разные URL.

В зависимости от количества дублированного контента, дубли страниц бывают также полные и частичные. 

  • Полные дубли ― содержат идентичный контент и находятся на другом url.
  • Частичные дубли ― дублируют лишь определенный фрагмент содержимого страницы, поэтому их сложнее обнаружить.

Самые распространенные типы дублей страниц на сайте:

1. Два сайта с разными доменными именами, один из которых начинается на www, а другой — нет. В интернет-маркетинге такие сайты-копии еще называются «зеркалами». 

Пример: www.mysite.ua и mysite.ua

2. Дубли страниц с протоколами http и https.

Пример: https://mysite.ua и http://mysite.ua

3. Два разных файла с HTML разметкой. В папке сайта можно обнаружить два файла с одинаковыми названиями, но с разными расширениями .php, .html и .htm (скорее всего, файлы имеют название index или home).

Пример: https://mysite.ua/home/ и https://mysite.ua/home/index.html

4. Страницы с обратным слешем и без. 

Пример: mysite.ua/contacts и mysite.ua/contacts/.

5. Дубликаты с множественными слешами в середине либо в конце URL-адреса.

Пример: https://mysite.ua///, https://mysite.ua///home/

6. Дубли в верхнем и нижнем регистре. Это одинаковые страницы со строчными и прописными буквами в URL.

Пример: https://mysite.ua/example и https://mysite.ua/EXAMPLE

7. Страницы с произвольными символами, буквами или цифрами в URL. Они могут находиться в середине или в конце адреса, на различных уровнях вложенности или на одном и том же.

Пример: https://mysite.ua/home и https://mysite.ua/home/qufs2341qw

8. Дубли с заменой дефиса на нижнее подчеркивание в URL и наоборот.

Пример: https://mysite.ua/home-page и https://mysite.ua/home_page

9. Страницы с некорректно указанной иерархией разделов.

Пример: https://mysite.ua/menu/example и https://mysite.ua/example/menu

10. Дубли без указания уровня вложенности.

Пример: https://mysite.ua/menu/category-1 и https://mysite.ua/category-1

11. Страницы печати и PDF для загрузки, которые полностью копируют содержимое исходника.

Пример: https://mysite.ua/price и https://mysite.ua/price.pdf

12. Копии, созданные страницами фильтров, сортировок и пагинации.

Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/brand=name/

13. Блоки комментариев и отзывов, которые создают дополнительный параметр в адресе.

Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/otzyvy

14. Дубли, которые создаются реферальной ссылкой.

Пример: https://mysite.ua/register/ и https://mysite.ua/register/?refid=11111 или https://mysite.ua/index.php?cf=reg-newr&ref=Partner1

15. Страницы с доп. параметрами и UTM-метками.

Пример: https://mysite.ua/blog и https://mysite.ua/blog/?utm_source=social&utm_campaign=cpc&utm_term=promo

Как найти дубли страниц на сайте?

На сегодняшний день существует множество способов проверки сайта на дубли страниц на внутренних и внешних URL.

Способ 1. Вручную на сайте.

Самый древний способ найти дубли на сайте — проверка сайта на дубли вручную, затем в код вносят изменения или удаляют дубликат. Это дольше, чем при использовании специальных сервисов, но надежно и эффективно. При этом сразу видно, доступна страница или нет.

Способ 2. Произвести поиск дублей на сайте вручную, используя выдачу поисковика.

Откройте браузер и введите туда название вашего сайта в соответствии с шаблоном “Site: yoursite.ua” или “Site: www.yoursite.ua”. Такой запрос покажет все страницы сайта, участвующие в индексации. Просматриваем глазами все ссылки, обращая внимание на заголовки, описания, а также URL ссылки (*). Среди этого многообразия ищем сайты со схожими критериями (*). Это трудоемкий процесс, занимающий много времени, но он может принести очень хороший результат.

Способ 3. С помощью сервиса Google Search Console.

В Google Search Console открываем раздел “Покрытие” и смотрим на пункт связанный с исключениями из индекса страниц.

Как выявить дубли страниц с помощью Google Search Console

Полезно знать! Аналогичную проверку можно произвести в Яндекс.Вебмастер. Для этого заходим в раздел «Индексирование», далее — «Страницы в поиске». Там можно увидеть текущую индексацию сайта и искомые дубли страниц.

Способ 4. Онлайн-сервис ApollonGuru.

Проверка сайта на дубли страниц онлайн предполагает использование одного из многих сервисов. ApollonGuru — бесплатный ресурс, с помощью которого можно проверить за один раз до пяти URL-адресов. Чтобы запустить проверку, нужно ввести ссылки на страницы, требующие анализа. После некоторого ожидания программа выдаст информацию по дублям для указанных страниц.

Сервисы для поиска дублей страниц на сайту

Способ 5. Программа Screaming Frog Seo Spider.

Как еще проверить сайт на дубли страниц? Данная утилита из разряда условно бесплатных дает возможность проверить 500 ссылок, после чего нужно будет приобрести полную версию с дополнительным функционалом. Принцип работы программы прост: анализатор сайтов поможет обнаружить SEO-дубли страниц, дубликаты заголовков и meta описаний.

Способ 6. Xenu — полностью бесплатная утилита.

Основные минусы софта — медленная скорость и низкая эффективность. Поиск дублей в ней осуществляется за счет тех же факторов, что и в программах представленных выше.

Способ 7. С помощью Serpstat.

Для этого нужно войти в свой кабинет и выполнить «Аудит сайта» или «Аудит страницы».

Как найти дубли страниц на сайте через Serpstat

Затем в сводке по ошибкам необходимо перейти в раздел «Метатеги» и найти пункт «Дублирующийся Title». Если возле него чекбокс будет окрашен в серый цвет, значит на вашем сайте найдены такие неполадки.

Как найти дубли страниц на сайте через Serpstat

Источник: Serpstat

Также косвенно можно найти дубли с помощью пункта «Дублирующийся Description» Следуйте рекомендациям и постарайтесь устранить ошибку как можно скорее.

Как найти дубли страниц на сайте через Serpstat

Источник: Serpstat

Способ 8. С помощью сервиса Copyscape.

Еще один удобный бесплатный онлайн-инструмент для поиска дублированного контента. В строку ввода на главной странице сайта сервиса вводим URL-адрес страницы, которую хотим проверить. Чтобы одновременно проверить до 10 тыс. страниц, необходимо купить платный пакет.

Сервисы для поиска дублей страниц на сайту

Способ 9. Сканирование через Siteliner.

Чтобы проверить сайт на дубли онлайн, на главной странице нужно ввести в строку URL-адрес и дождаться результатов.

Сервисы для поиска дублей страниц на сайту

После завершения работы утилиты вам будет доступен раздел с дублированным контентом.

Как найти дубли страниц на сайте через Siteliner

В отчете вы найдете список ссылок, содержащих дублированный контент. Там же — количество дублей для каждой страницы и количество совпадающего контента между ними в процентах. Обязательно проведите удаление дублей страниц, чтобы сайт работал корректно и не конфликтовал с поисковыми роботами.

Как найти дубли страниц на сайте через Siteliner

Способ 10. Аудит сайта с помощью Ahrefs.

Сервис проанализирует все HTML-теги сайта и выделит те совпадения, которые плохо влияют на его ранжирование. На скриншоте ниже можно увидеть, что желтым в результат анализа выделены совпадения по тегам Title, Description, H1 и контенту на страницах.

Как найти дубли страниц на сайте через Ahrefs

 

Выводы

Дубликаты страниц — это серьезная проблема, решение которой не стоит откладывать. Так, около 24% сайтов имеет повторы в тегах H1, что мешает им в числе прочего попасть на первую страницу выдачи Google. Поэтому мы рекомендуем попробовать один из 10 способов поиска дублей страниц на сайте.

После успешной процедуры обнаружения частичных или полных дубликатов следует устранить их. Для этого вы можете оставить у нас заявку на SEO-продвижение или самостоятельно провести все технические работы. О том, какие существуют методы устранения дублей страниц на сайтах, мы расскажем в следующей статье.

 

Также читайте другие статьи в блоге Webpromo:

И подписывайтесь на наш Telegram-канал про маркетинг.

Последние материалы рубрики

Что такое SEO-копирайтинг и как он помогает в продвижении...

SEO — это всегда о комплексной работе, использовании различных инструментов для достижения наилучших результатов в продвижении...

Операторы поиска Google и способы их использования в работе...

Для более эффективного поиска информации существуют специальные команды, которые позволяют выделить нужные данные, конкретизировать...

Google завершил обновление политики в отношении спама за...

Google завершил обновление политики в отношении спама 20 марта 2024 года. Об этом стало известно на странице Google Search Status Dashboard Основное...

Линкбилдинг: что это такое и зачем нужно вашему сайту?

Для того, чтоб сайт получил топовую позицию при ранжировании на странице выдачи результатов Google (SERP), SEO-специалисты занимаются...

Остались вопросы?
Наши эксперты готовы ответить на них

Свяжитесь по указанному ниже телефону с нашим менеджером или воспользуйтесь услугой «Перезвонить мне». Мы свяжемся с вами в ближайшее время.

Команда Webpromo реализовывает все задачи, достигая лучших КРІ
Рекомендую Webpromo как надежных партнеров
Кратно выросли показатели прироста органического трафика
Середи многих мы выбрали Webpromo
Каждый участник — мастер своего дела
Ценю Webpromo за гибкость
Команда Webpromo - это как продолжение нашего отдела маркетинга
Спокоен за продвижение своих проектов в интернете

Мы используем cookie-файлы для предоставления вам наиболее актуальной информации.

Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.