Дублирующие страницы на сайте
Что такое дубль страницы?
Дублированными называются веб-страницы, имеющие одинаковый контент.
В большинстве случаев, данное утверждение будет верно, так как появляются такие странички по неопытности начинающих веб-мастеров или из-за допущенных ошибок уже опытных специалистов. Например, если при создании сайта веб-специалистом уделено мало внимания работе по приведению URL-адресов страниц к единообразию. Главное правило - на ресурсе должен быть «армейский порядок».
Часто встречающиеся варианты дублирования контента на сайте:
1. Полные дубли страниц
Такой вариант дублирования контента появляется на веб-сайте, как правило, по недосмотру и неопытности разработчика. Роботы поисковых систем к данной ситуации относятся крайне негативно, поэтому стоит обратить на это особое внимание, несмотря на ее кажущуюся несерьезность.
Особенности полных дубликатов страниц:
• контент дублирован полностью на 100%, HTML-код повторяется целиком;
• они наиболее нелюбимы поисковиками (фильтры систем поиска настроены жестко, применяемые санкции весьма тяжелы, вплоть до бана сайта, например, за выявленный дубликат главной странички);
• такие дубли легко обнаруживаются (достаточно просмотреть в Вебмастер-Яндекс список проиндексированных разделов и выявить web-страницы с одинаковым сниппетом и заголовком);
• они без проблем устраняются (в большинстве случаев, достаточно минимальных знаний).
2. Дубли служебных страниц
Дубль может быть полным или частичным.
Опознание «служебных» дубликатов:
• доля одинакового контента почти стопроцентная;
• основной текст присутствует целиком, а веб-страницы отличаются лишь HTML-обрамлением и отсутствием главного меню, дополнительных блоков, подвала.
Разработчик проекта легко найдет такие проблемные разделы и примет необходимые меры непосредственно в процессе программирования и настройки системы управления контентом (CMS).
Возможные места поиска «служебных» дублей:
• версия для печати (самая распространенная ошибка - не закрыть данную страницу от индексации, и как результат на веб-сайте появляются две одинаковые странички);
• неудачно реализованная настройка темы дизайна проекта (не через профиль пользователя, а ссылками с GET-параметрами вида «?theme=mega_design_3»);
• веб-странички различных режимов вывода информации (к примеру, сортировка записей по дате публикации).
Чтобы избежать неприятностей связанных с дублированием, следует запретить роботам поисковых систем посещать данные проблемные места на web-сайте.
Первый способ - принудительно запретить индексирование этих веб-страниц.
Второй способ - сделать так, чтобы роботы поисковиков вообще не посещали такие странички. Например, смену дизайна сайта можно организовать с помощью формы по запросу «POST» и последующим редиректом, или воспользоваться JavaScript.
3. Частичные дубли страниц
Эта проблема часто встречается на блоговых и информационных ресурсах, а также интернет-магазинах. Как правило, это дублирование отдельных фрагментов текста.
Характерные черты частичного дублирования:
• трудно обнаружить (при автоматизации всех процессов часто можно не заметить данную ошибку);
• мешает правильному ранжированию веб-страниц (возможно применение фильтров с понижением в результатах поисковой выдачи).
Негативное влияние дублирующих страниц на процесс продвижения сайта
Несмотря на то, что многие вебмастера на появление дубликатов страничек не обращают особого внимания, эта ситуация может создать серьезные проблемы при поисковом продвижении сайта.
Роботы систем поиска расценивают дубли веб-страниц как спам, и принудительно в худшую сторону изменяют позиции в поисковой выдаче, как этих страничек, так и ресурса в целом.
При ссылочном раскручивании отдельной web-страницы может возникнуть следующая ситуация. При неудачном стечение различных обстоятельств поисковик оценит дубль как наиболее релевантную страницу, а страничку-первоисточник с другим url-адресом, которая продвигается ссылками, принудительно «опустит» в результатах выдачи. В этом случае финансовые затраты и усилия будут напрасны.
Методы обнаружения на сайте дублирующих страниц:
1. Средствами поисковых систем.
Для этого в строке поиска Google или Яндекс следует ввести команду вида: site:name.ru, где name.ru – доменное имя. Система поиска выдаст список проиндексированных web-страниц сайта, и вашей задачей будет визуально обнаружить возможные дубликаты.
Кроме того, можно воспользоваться инструментами Яндекс-Вебмастер и Google Webmaster Tools для проверки состояния индексации веб-страниц.
2. Поиском по фрагментам текста.
В данном случае необходимо в поисковую строку вставить небольшой фрагмент текста (например, большой абзац целиком) с конкретной веб-странички. Если в результатах выдачи будут отображены две и более позиции на разные страницы проверяемого сайта, то это, скорее всего - дубли.
3. При помощи специальных программ.
Из наиболее распространенных программ для таких целей - Xenu Link Sleuth. Она является бесплатной и ее легко можно найти в интернете. Однако программка англоязычная, но разобраться в ее работе сможет каждый.
