Мета Robots: что нового произошло

Google SEO

Теги мета rоbots содержат подробные инструкции, предназначенные для поисковиковых систем. В зависимости от того, какие значения в нем содержатся, может запрещать или разрешать поисковикам индексировать веб-страницу, на которой он размещен. Используя данный тег, можно наладить запрет на сканирование определенных страниц, каталогов, присутствующих на сайте. Но его использование не дает гарантии того, что запрещенные страницы не будут проиндексированы. Используя данный тег, можно дать команду роботу, что данная страница не нуждается в индексации.

Какие произошли изменения

Как и другие виды тегов, robots прописывается в блоке страницы head и содержит всего два наименования:

namе;
contеnt.

Это информация хорошо знакома специалистам. Но с недавнего времени Google внес важные изменения для более удобного использования. Также предоставил информацию о том, как ведут себя поисковики в случае отсутствия тегов. Для скрытия страницы от поисковиков, достаточно указать в теге название Googlebot, что является запретом на сканирование гуглом данной страницы. Выглядит это так:

<mеta name="goоglebot" content="nоindex" />

Это команда для поисковика указывает на то, что данная страница не рассчитана на выдачу результатов поиска. Также тег X-Rоbots-Tag, размещенный в заголовке, указывает на запрет индексации.

Несколько заголовков или подзаголовков могут содержать данную команду, если объединить тек с наименованием unavailablе_aftеr. Как прописать команду, имеется в справке.

Далее предоставляется информация, которая объясняет значение для каждой директивы:

all – ограничения на индексацию и показ отсутствуют;
noindex – обозначает, что данная страница не должна показываться в поиске и его результатах;
nofollow – переход по ссылке не требуется;
none – эквивалент noindex или nofollow;
noarchive – показать ссылку на кэш в результатах поиска;
nosnippet – исключить показ изображения, части текста или видео;
max-snippet: [number] – количество символов в тексте ограничено, в скобках указывается цифра, указывающая на количественный показ фрагмента;
max-image-preview: [setting] – рассчитан для изображений, размер которых разрешен к показу;
max-video-preview: [number] – определяет длительность показа видео;
notranslate – запрет на перевод страницы;
noimageindex – индексация изображения запрещена;
unavailable_after: [date/time] – запрет на определенную дату и время.

На своей странице в Твиттере Г. Илш указал, что более подробную информацию можно найти в справке.

Как теперь удалить или обновить старый контент, на основании представленных изменений

Владельцы сайтов заинтересованы в том, чтобы информация на страницах постоянно обновлялась. Но удалять страницы из поисковиков не хочется. Но, учитывая новые изменения, сделать это все же придется.

Несколько ситуаций, подтверждающих необходимость обновления или удаления устаревшего контента.

Обновить ассортимент на страницах магазина. Ели этого не делать, в ассортименте будут присутствовать товары, снятые с производства или просто отсутствующие на складе. Появляется необходимость полного или временного их удаления из индекса. Это исключит необходимость для робота проводить сканирование несуществующих позиций.
Обновление или удаление статей с устаревшей информацией. Это могут быть новости, информация, которая на данный момент не является актуальной, но она сильно перегружает сайт. Если в редактировании нет смысла, тогда текст просто удаляют.
Регулирование деятельности предприятия. Это относится к компаниям, осуществляющим производство продуктов, медицинских препаратов или оборудования. На основании действующего законодательства понадобиться указывать новые документы, сертификаты. Иначе можно нарваться, вполне обоснованно, не серьезные потери в виде внушительного штрафа.
Акции, распродажи, которые закончились или утратили актуальность. Например, если это предложение действовало на время Черной пятницы, то оно понадобится только в следующем году. На данный момент страница не несет актуальной информации. Ее можно удалить или сохранить, поставив запрет на просмотр.

Теперь удалить старый контент просто

Это не рассчитано на безвозвратное удаление страницы. Например, можно удалить из индекса, оставив на сайте, но запретив просмотр для посетителей. Она станет доступна только для владельца или оптимизатора. А можно просто переметить в архив и извлечь оттуда по мере необходимости. Наиболее простые методы для подобных действий. Тег noindex – страницу скрыть от роботов для индексации.

Для того, чтобы удалить адрес устаревшего контента из Яндекса, необходимо выполнить несколько простых шагов:

в файле robots.txt указать disallow;
удалить URL, указав адрес страницы.

Для того, чтобы удалить устаревший контент и поиска Гугл, просто использовать специальную команду в настройках (Google Search Console). Для того, чтобы изменить стоимость товара или услуги кэшированный URL.

Также можно настроить работу страниц, которые просто буду перенаправлять посетителя на другой контент. Это даст возможность не потерять потенциального клиента, дав возможность изучить более выгодное предложение. Для этого используется 301/302 редирект.

Быстрое, безвозвратное удаление, осуществляется при помощи команд 403/404/ 410. Но, как показывает практика, удалять полностью нецелесообразно. Через некоторое время такая страница может понадобиться вновь. Для этого достаточно указать количество дней или месяцев, на протяжении которых страница будет находиться в архиве. После истечения этого срока, станица станет доступной автоматически.

Если что-то не совсем понятно из представленной информации, всегда можно воспользоваться подсказками, которые имеются на странице «Справка".