Как быстро найти дубли страниц на сайте? 10 простых способов
16.02.2021
Дубли — это страницы, которые полностью или частично повторяют контент со страницы «родителя». С точки зрения SEO, наличие дубликатов делает сайт уязвимым и влияет на его рейтинг в поисковой выдаче. Избежать этой проблемы позволит периодическая проверка сайта на дубли страниц. В этой статье мы покажем, как выглядят дубли страниц и как их быстро найти.
Почему дубли страниц плохо влияют на сайт?
- Теряется вес страницы, что приводит к понижению позиций сайта в поисковой выдаче.
- Снижается уникальность контента.
- Повышается время на индексацию сайта.
- Релевантность сайта падает, в результате чего теряется возможный трафик пользователей.
- Дубли могут формировать дополнительный индекс (supplemental results). Если на сайте есть страницы, попавшие под такой фильтр, в конце списка сайтов из основных результатов выдачи отображается сообщение: «Мы скрыли некоторые результаты, которые очень похожи на предыдущие».
- В худшем случае дубли страниц могут привести к наложению санкций поисковыми системами на ваш сайт или вообще к бану.
Из всего сказанного выше можно сделать вывод, что нужно проверять сайт на дубли и сразу удалять их. Делать это необходимо быстро и безошибочно, чтобы минимизировать количество проблем и повысить работоспособность сайта.
Как выглядят дубликаты страниц?
Начнем с того, что дубли бывают внешние и внутренние.
- Внешние или междоменные дубликаты ― это, когда два или более разных домена имеют одну и ту же копию страницы, проиндексированную поисковыми системами.
- Внутренние дубли появляются на одном и том же веб-сайте через разные URL.
В зависимости от количества дублированного контента, дубли страниц бывают также полные и частичные.
- Полные дубли ― содержат идентичный контент и находятся на другом url.
- Частичные дубли ― дублируют лишь определенный фрагмент содержимого страницы, поэтому их сложнее обнаружить.
Самые распространенные типы дублей страниц на сайте:
1. Два сайта с разными доменными именами, один из которых начинается на www, а другой — нет. В интернет-маркетинге такие сайты-копии еще называются «зеркалами».
Пример: www.mysite.ua и mysite.ua
2. Дубли страниц с протоколами http и https.
Пример: https://mysite.ua и http://mysite.ua
3. Два разных файла с HTML разметкой. В папке сайта можно обнаружить два файла с одинаковыми названиями, но с разными расширениями .php, .html и .htm (скорее всего, файлы имеют название index или home).
Пример: https://mysite.ua/home/ и https://mysite.ua/home/index.html
4. Страницы с обратным слешем и без.
Пример: mysite.ua/contacts и mysite.ua/contacts/.
5. Дубликаты с множественными слешами в середине либо в конце URL-адреса.
Пример: https://mysite.ua///, https://mysite.ua///home/
6. Дубли в верхнем и нижнем регистре. Это одинаковые страницы со строчными и прописными буквами в URL.
Пример: https://mysite.ua/example и https://mysite.ua/EXAMPLE
7. Страницы с произвольными символами, буквами или цифрами в URL. Они могут находиться в середине или в конце адреса, на различных уровнях вложенности или на одном и том же.
Пример: https://mysite.ua/home и https://mysite.ua/home/qufs2341qw
8. Дубли с заменой дефиса на нижнее подчеркивание в URL и наоборот.
Пример: https://mysite.ua/home-page и https://mysite.ua/home_page
9. Страницы с некорректно указанной иерархией разделов.
Пример: https://mysite.ua/menu/example и https://mysite.ua/example/menu
10. Дубли без указания уровня вложенности.
Пример: https://mysite.ua/menu/category-1 и https://mysite.ua/category-1
11. Страницы печати и PDF для загрузки, которые полностью копируют содержимое исходника.
Пример: https://mysite.ua/price и https://mysite.ua/price.pdf
12. Копии, созданные страницами фильтров, сортировок и пагинации.
Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/brand=name/
13. Блоки комментариев и отзывов, которые создают дополнительный параметр в адресе.
Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/otzyvy
14. Дубли, которые создаются реферальной ссылкой.
Пример: https://mysite.ua/register/ и https://mysite.ua/register/?refid=11111 или https://mysite.ua/index.php?cf=reg-newr&ref=Partner1
15. Страницы с доп. параметрами и UTM-метками.
Пример: https://mysite.ua/blog и https://mysite.ua/blog/?utm_source=social&utm_campaign=cpc&utm_term=promo
Как найти дубли страниц на сайте?
На сегодняшний день существует множество способов проверки сайта на дубли страниц на внутренних и внешних URL.
Способ 1. Вручную на сайте.
Самый древний способ найти дубли на сайте — проверка сайта на дубли вручную, затем в код вносят изменения или удаляют дубликат. Это дольше, чем при использовании специальных сервисов, но надежно и эффективно. При этом сразу видно, доступна страница или нет.
Способ 2. Произвести поиск дублей на сайте вручную, используя выдачу поисковика.
Откройте браузер и введите туда название вашего сайта в соответствии с шаблоном “Site: yoursite.ua” или “Site: www.yoursite.ua”. Такой запрос покажет все страницы сайта, участвующие в индексации. Просматриваем глазами все ссылки, обращая внимание на заголовки, описания, а также URL ссылки (*). Среди этого многообразия ищем сайты со схожими критериями (*). Это трудоемкий процесс, занимающий много времени, но он может принести очень хороший результат.
Способ 3. С помощью сервиса Google Search Console.
В Google Search Console открываем раздел “Покрытие” и смотрим на пункт связанный с исключениями из индекса страниц.
Полезно знать! Аналогичную проверку можно произвести в Яндекс.Вебмастер. Для этого заходим в раздел «Индексирование», далее — «Страницы в поиске». Там можно увидеть текущую индексацию сайта и искомые дубли страниц.
Способ 4. Онлайн-сервис ApollonGuru.
Проверка сайта на дубли страниц онлайн предполагает использование одного из многих сервисов. ApollonGuru — бесплатный ресурс, с помощью которого можно проверить за один раз до пяти URL-адресов. Чтобы запустить проверку, нужно ввести ссылки на страницы, требующие анализа. После некоторого ожидания программа выдаст информацию по дублям для указанных страниц.
Способ 5. Программа Screaming Frog Seo Spider.
Как еще проверить сайт на дубли страниц? Данная утилита из разряда условно бесплатных дает возможность проверить 500 ссылок, после чего нужно будет приобрести полную версию с дополнительным функционалом. Принцип работы программы прост: анализатор сайтов поможет обнаружить SEO-дубли страниц, дубликаты заголовков и meta описаний.
Способ 6. Xenu — полностью бесплатная утилита.
Основные минусы софта — медленная скорость и низкая эффективность. Поиск дублей в ней осуществляется за счет тех же факторов, что и в программах представленных выше.
Способ 7. С помощью Serpstat.
Для этого нужно войти в свой кабинет и выполнить «Аудит сайта» или «Аудит страницы».
Затем в сводке по ошибкам необходимо перейти в раздел «Метатеги» и найти пункт «Дублирующийся Title». Если возле него чекбокс будет окрашен в серый цвет, значит на вашем сайте найдены такие неполадки.
Источник: Serpstat
Также косвенно можно найти дубли с помощью пункта «Дублирующийся Description» Следуйте рекомендациям и постарайтесь устранить ошибку как можно скорее.
Источник: Serpstat
Способ 8. С помощью сервиса Copyscape.
Еще один удобный бесплатный онлайн-инструмент для поиска дублированного контента. В строку ввода на главной странице сайта сервиса вводим URL-адрес страницы, которую хотим проверить. Чтобы одновременно проверить до 10 тыс. страниц, необходимо купить платный пакет.
Способ 9. Сканирование через Siteliner.
Чтобы проверить сайт на дубли онлайн, на главной странице нужно ввести в строку URL-адрес и дождаться результатов.
После завершения работы утилиты вам будет доступен раздел с дублированным контентом.
В отчете вы найдете список ссылок, содержащих дублированный контент. Там же — количество дублей для каждой страницы и количество совпадающего контента между ними в процентах. Обязательно проведите удаление дублей страниц, чтобы сайт работал корректно и не конфликтовал с поисковыми роботами.
Способ 10. Аудит сайта с помощью Ahrefs.
Сервис проанализирует все HTML-теги сайта и выделит те совпадения, которые плохо влияют на его ранжирование. На скриншоте ниже можно увидеть, что желтым в результат анализа выделены совпадения по тегам Title, Description, H1 и контенту на страницах.
Выводы
Дубликаты страниц — это серьезная проблема, решение которой не стоит откладывать. Так, около 24% сайтов имеет повторы в тегах H1, что мешает им в числе прочего попасть на первую страницу выдачи Google. Поэтому мы рекомендуем попробовать один из 10 способов поиска дублей страниц на сайте.
После успешной процедуры обнаружения частичных или полных дубликатов следует устранить их. Для этого вы можете оставить у нас заявку на SEO-продвижение или самостоятельно провести все технические работы. О том, какие существуют методы устранения дублей страниц на сайтах, мы расскажем в следующей статье.
Также читайте другие статьи в блоге Webpromo:
- Повышаем продажи с Hotline на праздники: инструкция от Ашан и Webpromo;
- Как получить прирост +84,5% бесплатного трафика даже с учетом спада сезонности;
- Статистика для e-commerce: данные, которые нужно знать маркетологу в 2021 году.
И подписывайтесь на наш Telegram-канал про маркетинг.
