Внутрішні дублі сторінок. Що це і як з ними боротися

Багато власників сайтів часто стикаються з таким явищем, як внутрішні дублі сторінок. Це ситуація, коли веб-ресурси мають різні URL-адреси, але однаковий інформаційний зміст. Цю проблему варто терміново вирішувати. Оскільки вона негативно впливає на просування онлайн-сервісу у пошукових системах.

Основні причини появи внутрішніх дублів сторінок

Виділяють кілька основних моментів, що призводять до дублів. До них варто віднести:

• помилки, допущені розробниками сайту. Найяскравішим прикладом є розміщення продукції з ідентичним описом у різних категоріях товарів під різними адресами;
• неправильне настроювання системи керування вмістом веб-ресурсу. CMS є важливим елементом для кожного сервісу. Тому її вибір та встановлення вимагає особливої ​​уваги;
• плагіни. Це додатковий програмний модуль, який підключається до основної програми для розширення можливостей. Застосування плагінів може призвести до автоматичної появи внутрішніх дублів.

Ця проблема часто виникає при необхідності зміни зв'язків всередині веб-сторінки (тобто структури ресурсу). Відбувається редагування URL-адреси. Спочатку створений контент повністю зберігається. Вдалим прикладом є ситуація зміни алфавіту під час написання унікальної адреси сайту.

Вплив внутрішніх дублів сторінок на просування сервісу у пошукових системах

Головною проблемою дублікатів є те, що пошукові системи не мають можливості визначити, яка зі сторінок найбільше підходить і відповідає введеному запиту. В результаті виникають труднощі у видачі користувачеві оригінального сайту. Варто зазначити, що внутрішні дублі сторінок погано впливають на SEO просування. Їхня поява призводить до наступних наслідків:

• пошукові системи знижують позиції landing page у видачі – знижується рівень смислової відповідності отриманих результатів пошуку, сайт потрапляє на останні місця у пошукових системах;
• непостійність становища сайту в пошукових системах – позиція ресурсу щоразу інша. При перевірці буде помітно, що першість віддається то одній сторінці, другий;
• дублікат навіть однієї сторінки сервісу може спричинити збій працездатності сайту в цілому.

Внутрішні дублі призводять до недоцільного використання ліміту кількості сторінок, які робот Googlebot може проіндексувати у певний проміжок часу. В результаті пошуковими програмами скануються, зчитуються дані та додаються до каталогу лише марні, небажані сторінки.

Внутрішні дублі – їхні види та особливості

Виділяють два основних типи внутрішніх дублікатів сторінок:

1. повні (явні);
2. часткові (неявні).

Явні або повні внутрішні дублі – це ситуація, коли сторінки мають різний url, але з абсолютно однаковим контентом: текстовим, графічним, звуковим та іншою ідентичною інформацією. Єдина велика різниця полягає в адресі веб-сторінки. До найпростіших прикладів можна віднести:

• відсутність або неоднакова кількість зворотної косої межі (слєша) на адресу - https://site.ru/list/ і https://site.ru/list;
• доступ до сайту надається за протоколом із незахищеними даними (HTTP) або повністю конфіденційною інформацією шляхом її шифрування (HTTPS): https//site.net та http//site.net;
• неправильне настроювання відображення адреси з абревіатурою www і без неї: https://www.site.ru/1 та https://site.ru/1;
• наявності в URL різних додатків у вигляді index, default.

Також до явних дублікатів відносяться сторінки з адресою, де порушено правопис. Наприклад, не дотримується правильне написання великої літери: https://site.org/News і https://site.org/news. Часткові або неявні внутрішні дублі передбачають незначні відмінності в інформаційному змісті. Вони з'являються у таких випадках:

• створення ідентичного опису в різних товарних позиціях. Вони можуть відрізнятися тільки за розмірами, кольором та іншими характеристиками;
• помилки під час створення пагінації – порядкової нумерації сторінок;
• додавання до товарів деревоподібних коментарів або відгуків (вони актуальні лише для веб-ресурсів WordPress).

Незалежно від типу дублікатів, з ними обов'язково потрібно боротися, щоб сайт не втратив своїх позицій у пошукових системах.

Способи визначення внутрішніх дублів сторінок

Виділяють кілька простих та ефективних методів перевірки на наявність дублікатів.

Вручну. Цей спосіб підходить тільки для тих власників сайту, які ідеально знають налаштовану систему керування вмістом. У пошуковій системі (Яндекс, Google) вводиться досить простий запит: site:{ваш домен} inurl:{фрагмент URL}. У видачі одразу з'являться веб-ресурси-клони.

Комплексний інструмент Netpeak Spider. Він дозволяє в повному обсязі просканувати сайт, а також всі його параметри. Програмне забезпечення дозволяє визначити всі повні внутрішні дублі.

Xenu’s Link Sleuth – спеціальна безкоштовна комп'ютерна програма, необхідна реалізації аналізу web-сервиса. З її допомогою легко визначити всі копії сторінок та лінки, що ведуть на неіснуючі сторінки. Також можна використовувати такі послуги: Screaming Frog SEO Spider, Яндекс.Вебмайстер, Siteliner.com. Замовити у фахівців аудит ресурсу – ще один дієвий метод, що дозволяє визначити всі існуючі сторінки-клони, які варто знищувати.

Як позбутися внутрішніх дублів сторінок

Цю проблему, безперечно, необхідно негайно вирішувати. Як зробити, щоб дублікати більше не з'являлися?

Звісно, ​​його можна просто видалити. Але зробити це можна лише для статичних внутрішніх дублів.

301 Permanent Redirect – це серверне перенаправлення користувачів на інший URL, за яким контент буде недоступний. Цей тип переадресації рекомендується використовувати при:

• необхідності зміни доменного імені ресурсу;
• створення точної копії сайту;
• боротьбі з кількістю бекслешів в URL-адресі.

Мета-тег robots.txt – файл, який блокує доступ до сторінок. Ключова команда Disallow не дозволяє пошуковим роботам заходити на конкретний ресурс. На жаль, цей тег не гарантує 100% результату видалення дублікатів. Тому robots.txt можна назвати рекомендаційною програмою визначення копій.

Атрибут rel = canonical тега . Один із найпопулярніших способів позбутися внутрішніх дублів. Метод використовується для:

• контент-фільтр;
• ранжування;
• створення порядкової нумерації.

Атрибут rel=canonical тега вибирає з усіх сторінок головну та видає її на перші позиції у пошукових системах.

Після знищення внутрішніх дублів обов'язково необхідно провести повторний аудит. Він необхідний для перевірки ефективності виконаної роботи. Адже не завжди застосування спеціальних сервісів або програм призводить до видалення всіх клонів. Регулярно перевірте наявність сайтів-копій. Своєчасне усунення помилок, що виникли, гарантує збереження лідируючих позиції в пошуковій видачі.