9 советов по оптимизации краулингового бюджета для SEO

Как оптимизировать бюджет сканирования? В этом руководстве вы узнаете лучшие советы, которые помогут сделать ваш сайт максимально удобным для сканирования в контексте SEO. Бюджет сканирования – это ключевой аспект для крупных вебсайтов с миллионами страниц или для средних сайтов с несколькими тысячами страниц, которые ежедневно меняются.

Примером сайта с миллионами страниц может быть eBay.com, а сайты с десятками тысяч часто обновляемых страниц — это, например, вебсайты с обзорами и рейтингами пользователей вроде Gamespot.com.

Однако из-за множества задач, с которыми сталкиваются SEO-специалисты, вопрос сканирования часто отходит на второй план.

Но бюджет сканирования можно и нужно оптимизировать.

В этой статье вы узнаете:

• Как улучшить свой бюджет сканирования
• Обзор изменений в концепции бюджета сканирования за последние несколько лет.

Что такое бюджет сканирования?

Бюджет сканирования — это количество страниц, сканирующих поисковые работы (например, боты или пауки) за определенный промежуток времени.

Существует несколько факторов, влияющих на бюджет сканирования, таких как баланс между стремлением Googlebot не перегрузить ваш сервер и общим желанием Google сканировать ваш домен.

Оптимизация бюджета сканирования – это ряд действий, которые помогут увеличить эффективность и частоту посещений ваших страниц поисковиками.

Почему важна оптимизация бюджета сканирования?

Сканирование – это первый шаг к появлению на страницах результатов поиска. Если страница не сканирована, новые страницы и обновления не будут добавлены в индекс поисковых систем.

Чем чаще работы посещают ваши страницы, тем быстрее новые страницы и изменения попадают в индекс. Следовательно, ваши усилия по оптимизации принесут результаты быстрее и начнут влиять на позиции в поиске.

Индекс Google содержит  сотни миллиардов  страниц и растет каждый день. Сканирование каждого URL стоит ресурсов поисковым системам, поэтому, учитывая постоянное увеличение количества вебсайтов, они пытаются уменьшить затраты на вычисление и хранение, сокращая частоту сканирования и индексации URL.

Эти приоритеты могут осложнить эффективное сканирование сайтов в будущем. Хотя на небольших сайтах с несколькими сотнями страниц о бюджете сканирования не стоит беспокоиться, управление ресурсами становится важным вопросом для крупных вебсайтов. Оптимизация бюджета сканирования означает, что Google сканирует ваш сайт, затрачивая как можно меньше ресурсов.

Итак, рассмотрим, как можно оптимизировать свой бюджет сканирования в современных условиях.

1. Запрещайте сканирование действенных URL-адресов в файле robots.txt

Может показаться странным, но Google подтвердил, что запрет URL не влияет на бюджет сканирования. Это означает, что Google все равно будет сканировать ваш сайт с той же частотой. Так почему мы говорим об этом здесь?

Если вы запрещаете сканирование ненужных URL-адресов, вы фактически позволяете Google быстрее сканировать более важные части вашего сайта.

Например, если на вашем сайте есть внутренний поиск с параметрами, например  /?q=google , Google будет сканировать эти URL, если они связаны с другими страницами.

Подобная ситуация с фильтрами товаров на сайтах электронной коммерции, создающими URL-адреса, такие как /?color=red&size=s .

Эти параметры запроса могут создавать бесконечное количество уникальных комбинаций URL-адресов, которые Google может пытаться сканировать. Однако такие URL не имеют уникального контента и только фильтруют данные для улучшения удобства пользования, но не для Googlebot.

Позволяя Google сканировать такие страницы, вы тратите бюджет сканирования и снижаете общую эффективность сканирования вашего сайта. Блокируя их с помощью правил в файле robots.txt, вы направляете ресурсы Google на более полезные страницы.

Вот пример того, как заблокировать внутренний поиск или URL-адреса с параметрами запросов с помощью  robots.txt :

Каждое правило запрещает любой URL-адрес, содержащий соответствующий параметр запроса, независимо от других параметров..

• * — соответствует любой последовательности символов (включая отсутствующие символы).
• ? — обозначает начало строки запроса.
• =* — соответствует знаку = и любым следующим символам.

Этот подход помогает избежать дублирования и обеспечивает блокировку сканирования URL с указанными параметрами поисковиками.

Однако помните, что этот метод блокирует все URL-адреса, содержащие указанные символы, независимо от того, где они расположены. Например, блокируя символ  s , вы также заблокируете URL-адреса, например /?pages=2 , потому что *?*s= совпадет с ?pages= .

Чтобы избежать этого, можно использовать комбинацию правил:

Основное изменение состоит в том, что между символами ? и  s нет звездочки ( * ). Это позволяет блокировать только конкретные параметры, но для каждого варианта придется создавать отдельное правило.

Используйте эти правила для любых URL-адресов, не содержащих уникального контента. Например, если на вашем сайте есть кнопки для добавления в список желаний с URL типа ?add_to_wishlist=1 , используйте следующее правило:

Это базовый и самый важный шаг, рекомендованный Google.

Ниже приведен пример, демонстрирующий, как блокировка параметров в запросах помогла уменьшить сканирование страниц со строками запроса. Google пытался сканировать десятки тысяч URL с различными параметрами, которые не имели смысла и вели на несуществующие страницы.

Однако иногда даже заблокированные URL все равно могут быть просканированы и проиндексированы поисковыми системами. Это может показаться странным, но обычно это не вызывает серьезных проблем. Это часто происходит из-за того, что другие веб-сайты ссылаются на эти URL.

Google подтвердил, что активность сканирования с течением времени снизится в таких случаях.

Еще одно важное преимущество блокировки этих URL через robots.txt состоит в том, что это позволяет сэкономить ресурсы вашего сервера. Когда URL содержит параметры, указывающие на наличие динамического контента, запросы будут направлены непосредственно на сервер, а не на кэшированную версию страницы. Это увеличивает нагрузку на сервер с каждой просканированной страницей.

Не забывайте, что не следует использовать мета-тег "noindex" для блокировки страниц, поскольку Googlebot должен выполнить запрос, чтобы увидеть этот мета-тег или получить HTTP-код ответа, который тратит ваш бюджет сканирования.

1.2. Запрещайте сканирование ненужных ресурсов через robots.txt

Помимо блокировки действенных URL-адресов, вы также можете запретить сканирование файлов JavaScript, которые не влияют на отображение сайта.

Например, если у вас есть JavaScript-файлы, отвечающие за открытие изображений во всплывающем окне, когда пользователи нажимают на них, можно заблокировать их в файле robots.txt, чтобы Google не тратил бюджет на их сканирование.

Вот пример правила для запрещения сканирования JavaScript-файлов:

Однако никогда не запрещайте ресурсы, влияющие на отображение сайта. Например, если ваш контент загружается динамически с помощью JavaScript, Google должен сканировать эти файлы, чтобы индексировать контент.

Еще один пример – это REST API для отправки форм. Например, если у вас есть форма с путем действия  rest-api/form-submissions/ , Google может попытаться сканировать эти URL-адреса. Было бы целесообразно их заблокировать:

Однако в headless CMS часто используют REST API для динамической загрузки контента, поэтому убедитесь, что вы не блокируете эти важные конечные точки.

Таким образом, нужно блокировать ресурсы, которые не влияют на рендеринг страницы.

2. Избегайте цепочек редиректов

Цепи редиректов возникают, когда несколько URL перенаправляются на другие страницы, которые тоже ведут к новым адресам. Если этот процесс длится слишком долго, поисковые боты могут оставить цепочку еще до того, как дойдут до финальной страницы.

К примеру, URL 1 ведет на URL 2, а тот на URL 3 и так далее. В некоторых случаях цепочки могут превращаться в бесконечные циклы, когда страницы перенаправляются друг на друга.

Избегать подобных проблем – это базовый подход к поддержанию здоровья сайта.

В идеале, нужно сделать так, чтобы на вашем сайте не было ни одной цепочки редиректив.

Однако для больших сайтов это может быть невозможно — редирект типа  301 и 302 неизбежно появятся, и вы не можете контролировать внешние вебсайты, ссылающиеся на ваши страницы.

Несколько редиректов не нанесут значительного ущерба, но длинные цепочки и циклы могут стать серьезной проблемой.

Чтобы найти цепочки редиректов, вы можете воспользоваться SEO инструментами, такими как Screaming Frog, Lumar или Oncrawl.

После того как вы обнаружите цепочку, лучший способ решить проблему – это удалить все промежуточные URL между первой и последней страницами. Например, если цепочка проходит через семь страниц, вам нужно перенаправить первую URL сразу на седьмой.

Еще один способ уменьшить количество цепочек — это заменить перенаправляемые внутренние URL на их финальные адреса непосредственно в вашей CMS.

В зависимости от вашей CMS, могут существовать разные решения. Например, в  WordPress для этого есть специальные плагины. Если вы используете другую CMS, возможно, придется создать индивидуальное решение или обратиться к разработчикам.

3. Используйте серверный рендеринг (HTML) всегда, когда это возможно

Google использует последнюю версию Chrome для своих ботов, поэтому хорошо понимает контент, загруженный через JavaScript.

Но задумайтесь критично: что это значит?  Googlebot  сканирует страницу, загружает ресурсы, такие как JavaScript, а затем тратит дополнительные ресурсы для их рендеринга.

Учитывая, что Google стремится снизить свои вычислительные расходы, не стоит заставлять его лишний раз рендерить ваш контент через JavaScript.

Поэтому, когда это возможно, следует использовать HTML.

Это обеспечит лучшее сканирование страниц и не добавит погрузки на боты.

4. Улучшайте скорость загрузки страниц

Как мы уже упоминали, Googlebot сканирует и рендерирует страницы с JavaScript. Чем меньше ресурсов тратится на рендеринг, тем легче будет ботам сканировать ваш сайт. Скорость загрузки сайта оказывает непосредственное влияние на этот процесс.

Google отмечает:

"Сканирование ограничено пропускной способностью, временем и наличием экземпляров Googlebot. Если сервер скорее отвечает на запросы, мы можем сканировать больше страниц вашего сайта."

Использование серверного рендеринга уже является важным шагом в направлении улучшения скорости страниц, но вам также нужно следить за оптимизацией основных метрик. Core Web Vitals , особенно времени ответа сервера.

5. Заботьтесь о внутренних ссылках

Google сканирует все URL на странице, и важно помнить, что каждый отдельный URL воспринимается ботами как отдельная страница.

Если на вашем сайте используется версия с www, убедитесь, что внутренние ссылки, особенно в навигации, направляют на каноническую версию, то есть также с www, и наоборот.

Еще одно распространенное заблуждение – это отсутствие финальной косой черты (slash). Если ваши URL имеют косую черту в конце, убедитесь, что внутренние ссылки также ее содержат.

В противном случае возникнут лишние редиректы, например, “https://www.example.com/sample-page” на “https://www.example.com/sample-page/”, что приведет к двойному сканированию одного URL.

Также важно избегать сломанных внутренних ссылок, которые могут поглощать ваш бюджет сканирования, а также страниц из  ошибкой 404 .

Если этого недостаточно, такие ссылки еще и усугубляют опыт пользователей.

Чтобы выявить такие проблемы, рекомендую использовать инструменты для аудита сайта.

WebSite Auditor, Screaming Frog, Lumar или SE Ranking – это отличные примеры инструментов для проверки вебсайтов.

6. Обновляйте карту сайта

Карта сайта в формате XML является важным инструментом помощи ботам лучше понимать, куда ведут ваши внутренние ссылки.

Используйте только канонические URL для вашей карты сайта.

Также убедитесь, что она соответствует новейшей версии файла robots.txt и быстро загружается.

7. Внедряйте статус-код 304

При сканировании URL Googlebot отправляет дату через заголовок “If-Modified-Since”, указывающий на последнее время сканирования страницы.

Если страница с тех пор не изменилась, вы можете вернуть код состояния “304 Not Modified” без ответа тела. Это сигнализирует поисковым системам, что контент страницы не изменился, и они могут использовать версию предварительного посещения.

Представьте, сколько серверных ресурсов вы сможете сэкономить, помогая Googlebot сохранить ресурсы, если у вас миллионы страниц.

Однако здесь есть важный нюанс. Как отмечает Гэри Иллис, неправильная реализация кода 304 может привести к ошибкам сервера и перерывам в повторном сканировании, что может вызвать проблемы с индексацией.

8. Теги Hreflang чрезвычайно важны

Для анализа локализованных страниц боты используют теги hreflang. Вы должны четко указывать Google на локализованные версии страниц.

Используйте <link rel="alternate" hreflang="код_языка" href="URL_страницы" /> в заголовке страницы, где "код_языка" - это код поддерживаемого языка.

Также рекомендуется использовать <loc> для каждого URL, чтобы указывать на локализованные версии страницы.

9. Мониторинг и обслуживание

Проверяйте журналы сервера и отчеты Google Search Console  о статистике сканирования, чтобы выявлять аномалии и возможные проблемы.

Если вы видите периодические всплески сканирования страниц с ошибкой 404, в 99% случаев это свидетельствует о бесконечных пространствах сканирования или других проблемах сайта.

Чтобы точно определить проблему, нужно объединить данные из журналов сервера и Search Console.

Висновок

Если вы сомневаетесь, важно ли оптимизировать бюджет сканирования, ответ однозначен – да.

Бюджет сканирования всегда был и остается важной составляющей для каждого SEO-специалиста.

Надеюсь, эти советы помогут вам лучше оптимизировать свой сайт и улучшить SEO результаты. Но не забывайте, что сканирование страниц не гарантирует их индексацию.