9 порад щодо оптимізації краулінгового бюджету для SEO

Як оптимізувати свій бюджет сканування? У цьому посібнику ви дізнаєтеся найкращі поради, які допоможуть зробити ваш сайт максимально зручним для сканування в контексті SEO. Бюджет сканування — це ключовий аспект для великих вебсайтів з мільйонами сторінок або для середніх сайтів із кількома тисячами сторінок, що змінюються щодня.

Прикладом сайту з мільйонами сторінок може бути eBay.com, а сайти з десятками тисяч сторінок, які часто оновлюються, — це, наприклад, вебсайти з оглядами та рейтингами користувачів на кшталт Gamespot.com.

Однак через безліч завдань, з якими стикаються SEO-фахівці, питання сканування часто відходить на другий план.

Але бюджет сканування можна і потрібно оптимізувати.

У цій статті ви дізнаєтеся:

• Як покращити свій бюджет сканування.
• Огляд змін у концепції бюджету сканування за останні кілька років.

Що таке бюджет сканування?

Бюджет сканування — це кількість сторінок, які сканують пошукові роботи (наприклад, боти або павуки) за певний проміжок часу.

Існує кілька факторів, що впливають на бюджет сканування, таких як баланс між прагненням Googlebot не перевантажити ваш сервер і загальним бажанням Google сканувати ваш домен.

Оптимізація бюджету сканування — це низка дій, які допоможуть збільшити ефективність і частоту відвідувань ваших сторінок пошуковими роботами.

Чому важлива оптимізація бюджету сканування?

Сканування — це перший крок до появи на сторінках результатів пошуку. Якщо сторінка не сканована, нові сторінки та оновлення не будуть додані до індексів пошукових систем.

Чим частіше роботи відвідують ваші сторінки, тим швидше нові сторінки та зміни потрапляють в індекс. Отже, ваші зусилля з оптимізації дадуть результати швидше й почнуть впливати на позиції в пошуку.

Індекс Google містить сотні мільярдів сторінок і зростає щодня. Сканування кожної URL-адреси коштує ресурсів пошуковим системам, тому з огляду на постійне збільшення кількості вебсайтів, вони намагаються зменшити витрати на обчислення та зберігання, скорочуючи частоту сканування та індексації URL-адрес.

Ці пріоритети можуть ускладнити ефективне сканування сайтів у майбутньому. Хоча на невеликих сайтах із кількома сотнями сторінок про бюджет сканування турбуватися не варто, управління ресурсами стає важливим питанням для великих вебсайтів. Оптимізація бюджету сканування означає, що Google сканує ваш сайт, витрачаючи якомога менше ресурсів.

Отже, давайте розглянемо, як можна оптимізувати свій бюджет сканування в сучасних умовах.

1. Забороняйте сканування дієвих URL-адрес у файлі robots.txt

Може здатися дивним, але Google підтвердив, що заборона URL-адрес не впливає на бюджет сканування. Це означає, що Google все одно буде сканувати ваш сайт з тією ж частотою. Тож чому ми говоримо про це тут?

Якщо ви забороняєте сканування непотрібних URL-адрес, ви фактично дозволяєте Google швидше сканувати важливіші частини вашого сайту.

Наприклад, якщо на вашому сайті є внутрішній пошук з параметрами, як-от /?q=google , Google буде сканувати ці URL-адреси, якщо вони пов’язані з іншими сторінками.

Подібна ситуація з фільтрами товарів на сайтах електронної комерції, які створюють URL-адреси, такі як /?color=red&size=s .

Ці параметри запиту можуть створювати нескінченну кількість унікальних комбінацій URL-адрес, які Google може намагатися сканувати. Однак такі URL-адреси не мають унікального контенту і лише фільтрують дані для покращення зручності користування, але не для Googlebot.

Дозволяючи Google сканувати такі сторінки, ви витрачаєте бюджет сканування і знижуєте загальну ефективність сканування вашого сайту. Блокуючи їх за допомогою правил у файлі robots.txt, ви спрямовуєте ресурси Google на більш корисні сторінки.

Ось приклад того, як заблокувати внутрішній пошук або URL-адреси з параметрами запитів за допомогою robots.txt :

Кожне правило забороняє будь-яку URL-адресу, що містить відповідний параметр запиту, незалежно від інших параметрів.

• * — відповідає будь-якій послідовності символів (включно з відсутніми символами).
• ? — позначає початок рядка запиту.
• =* — відповідає знаку = і будь-яким наступним символам.

Цей підхід допомагає уникнути дублювання та забезпечує блокування сканування URL-адрес із зазначеними параметрами пошуковими системами.

Однак пам’ятайте, що цей метод блокує всі URL-адреси, що містять вказані символи, незалежно від того, де вони розташовані. Наприклад, блокуючи символ s , ви також заблокуєте URL-адреси, як-от /?pages=2 , тому що *?*s= співпаде з ?pages= .

Щоб уникнути цього, можна використовувати комбінацію правил:

Основна зміна полягає в тому, що між символами ? і s немає зірочки ( * ). Це дозволяє блокувати тільки конкретні параметри, але для кожного варіанту доведеться створювати окреме правило.

Застосовуйте ці правила для будь-яких URL-адрес, які не містять унікального контенту. Наприклад, якщо на вашому сайті є кнопки для додавання в список бажань із URL-адресами типу ?add_to_wishlist=1 , використовуйте таке правило:

Це базовий і найважливіший крок, рекомендований Google.

Нижче наведено приклад, який демонструє, як блокування параметрів у запитах допомогло зменшити сканування сторінок із рядками запиту. Google намагався сканувати десятки тисяч URL із різними значеннями параметрів, які не мали сенсу та вели на неіснуючі сторінки.

Проте, інколи навіть заблоковані URL все одно можуть бути проскановані та проіндексовані пошуковими системами. Це може здатися дивним, але зазвичай це не викликає серйозних проблем. Це часто відбувається через те, що інші вебсайти посилаються на ці URL.

Google підтвердив, що активність сканування з часом знизиться в таких випадках.

Ще одна важлива перевага блокування цих URL через robots.txt полягає в тому, що це дозволяє заощадити ресурси вашого сервера. Коли URL містить параметри, які вказують на наявність динамічного контенту, запити будуть спрямовані безпосередньо на сервер, а не на кешовану версію сторінки. Це збільшує навантаження на сервер із кожною просканованою сторінкою.

Не забувайте, що не варто використовувати мета-тег "noindex" для блокування сторінок, оскільки Googlebot повинен виконати запит, щоб побачити цей мета-тег або отримати HTTP-код відповіді, що витрачає ваш бюджет сканування.

1.2. Забороняйте сканування непотрібних ресурсів через robots.txt

Окрім блокування дієвих URL-адрес, ви також можете заборонити сканування файлів JavaScript, які не впливають на відображення сайту.

Наприклад, якщо у вас є JavaScript-файли, що відповідають за відкриття зображень у спливаючому вікні, коли користувачі натискають на них, можна заблокувати їх у файлі robots.txt, щоб Google не витрачав бюджет на їхнє сканування.

Ось приклад правила для заборони сканування JavaScript-файлів:

Проте ніколи не забороняйте ресурси, які впливають на відображення сайту. Наприклад, якщо ваш контент завантажується динамічно за допомогою JavaScript, Google повинен сканувати ці файли, щоб індексувати контент.

Ще один приклад — це REST API для відправки форм. Наприклад, якщо у вас є форма зі шляхом дії rest-api/form-submissions/ , Google може спробувати сканувати ці URL-адреси. Було б доцільно їх заблокувати:

Однак у headless CMS часто використовують REST API для динамічного завантаження контенту, тому переконайтеся, що ви не блокуєте ці важливі кінцеві точки.

Таким чином, потрібно блокувати ті ресурси, які не впливають на рендеринг сторінки.

2. Уникайте ланцюжків редиректів

Ланцюжки редиректів виникають, коли кілька URL перенаправляють на інші сторінки, які теж ведуть до нових адрес. Якщо цей процес триває занадто довго, пошукові боти можуть залишити ланцюжок ще до того, як дійдуть до фінальної сторінки.

Наприклад, URL 1 веде на URL 2, а той на URL 3 і так далі. У деяких випадках ланцюжки можуть перетворюватися на нескінченні цикли, коли сторінки перенаправляють одна на одну.

Уникати подібних проблем – це базовий підхід до підтримки здоров’я сайту.

В ідеалі, потрібно зробити так, щоб на вашому сайті не було жодного ланцюжка редиректів.

Однак для великих сайтів це може бути неможливо — редиректи типу 301 і 302 неминуче з'являться, і ви не можете контролювати зовнішні вебсайти, які посилаються на ваші сторінки.

Декілька редиректів не завдадуть значної шкоди, але довгі ланцюжки та цикли можуть стати серйозною проблемою.

Щоб знайти ланцюжки редиректів, ви можете скористатися SEO-інструментами, такими як Screaming Frog, Lumar чи Oncrawl.

Після того як ви виявите ланцюжок, найкращий спосіб вирішити проблему — це видалити всі проміжні URL між першою і останньою сторінками. Наприклад, якщо ланцюжок проходить через сім сторінок, вам потрібно перенаправити перший URL одразу на сьомий.

Ще один спосіб зменшити кількість ланцюжків — це замінити внутрішні URL, що перенаправляються, на їх фінальні адреси безпосередньо у вашій CMS.

Залежно від вашої CMS, можуть існувати різні рішення. Наприклад, у WordPress для цього є спеціальні плагіни. Якщо ви користуєтеся іншою CMS, можливо, доведеться створити індивідуальне рішення або звернутися до розробників.

3. Використовуйте серверний рендеринг (HTML) завжди, коли це можливо

Google використовує останню версію Chrome для своїх ботів, і тому добре розуміє контент, завантажений через JavaScript.

Але задумайтеся критично: що це означає? Googlebot сканує сторінку, завантажує ресурси, такі як JavaScript, а потім витрачає додаткові ресурси для їх рендерингу.

Враховуючи те, що Google прагне знизити свої обчислювальні витрати, не варто змушувати його зайвий раз рендерити ваш контент через JavaScript.

Тому, коли це можливо, варто використовувати HTML.

Це забезпечить краще сканування сторінок і не додасть навантаження на боти.

4. Покращуйте швидкість завантаження сторінок

Як ми вже згадували, Googlebot сканує та рендерить сторінки з JavaScript. Чим менше ресурсів витрачається на рендеринг, тим легше буде ботам сканувати ваш сайт. Швидкість завантаження сайту безпосередньо впливає на цей процес.

Google зазначає:

"Сканування обмежується пропускною здатністю, часом і наявністю екземплярів Googlebot. Якщо сервер швидше відповідає на запити, ми можемо сканувати більше сторінок вашого сайту."

Використання серверного рендерингу вже є важливим кроком у напрямку покращення швидкості сторінок, але вам також потрібно стежити за оптимізацією основних метрик Core Web Vitals , особливо часу відповіді сервера.

5. Дбайте про внутрішні посилання

Google сканує всі URL на сторінці, і важливо пам’ятати, що кожен окремий URL сприймається ботами як окрема сторінка.

Якщо на вашому сайті використовується версія з "www", переконайтеся, що внутрішні посилання, особливо в навігації, спрямовують на канонічну версію, тобто також із "www", і навпаки.

Ще одна поширена помилка – це відсутність фінальної косої риски (slash). Якщо ваші URL мають косу риску в кінці, переконайтеся, що внутрішні посилання також її містять.

Інакше виникнуть зайві редиректи, наприклад, з “ https://www.example.com/sample-page” на “ https://www.example.com/sample-page/” , що призведе до подвійного сканування одного URL.

Також важливо уникати зламаних внутрішніх посилань, які можуть поглинати ваш бюджет сканування, а також сторінок із помилкою 404 .

Якщо цього недостатньо, такі посилання ще й погіршують досвід користувачів.

Щоб виявити такі проблеми, рекомендую використовувати інструменти для аудиту сайту.

WebSite Auditor, Screaming Frog, Lumar або SE Ranking – це чудові приклади інструментів для перевірки вебсайтів.

6. Оновлюйте карту сайту

Карта сайту у форматі XML є важливим інструментом для допомоги ботам краще розуміти, куди ведуть ваші внутрішні посилання.

Використовуйте лише канонічні URL для вашої карти сайту.

Також переконайтеся, що вона відповідає найновішій версії файлу robots.txt і швидко завантажується.

7. Впроваджуйте статус-код 304

Під час сканування URL, Googlebot надсилає дату через заголовок “If-Modified-Since”, яка вказує на останній час сканування сторінки.

Якщо ваша сторінка з тих пір не змінилася, ви можете повернути код стану “304 Not Modified” без відповіді тіла. Це сигналізує пошуковим системам, що контент сторінки не змінився, і вони можуть використовувати версію з попереднього відвідування.

Уявіть, скільки серверних ресурсів ви зможете заощадити, допомагаючи Googlebot зберегти ресурси, якщо у вас мільйони сторінок.

Однак тут є важливий нюанс. Як зазначає Гері Ілліс, неправильна реалізація коду 304 може призвести до помилок серверу і перерви в повторному скануванні, що може викликати проблеми з індексацією.

8. Теги Hreflang є надзвичайно важливими

Для аналізу локалізованих сторінок боти використовують теги hreflang. Ви повинні чітко вказувати Google на локалізовані версії своїх сторінок.

Використовуйте <link rel="alternate" hreflang="код_мови" href="URL_сторінки" /> у заголовку сторінки, де “код_мови” – це код підтримуваної мови.

Також рекомендується використовувати елемент <loc> для кожного URL, щоб вказувати на локалізовані версії сторінки.

9. Моніторинг та обслуговування

Перевіряйте журнали серверу та звіти Google Search Console про статистику сканування, щоб виявляти аномалії та можливі проблеми.

Якщо ви бачите періодичні сплески сканування сторінок з помилкою 404, у 99% випадків це свідчить про нескінченні простори сканування або інші проблеми сайту.

Щоб точно визначити проблему, корисно об'єднати дані з журналів сервера та Search Console.

Висновок

Якщо ви сумніваєтеся, чи важливо оптимізувати бюджет сканування, відповідь однозначна – так.

Бюджет сканування завжди був і залишатиметься важливою складовою для кожного SEO-фахівця.

Сподіваюся, ці поради допоможуть вам краще оптимізувати свій сайт і покращити SEO-результати. Але не забувайте, що сканування сторінок не гарантує їх індексації.