Мета Robots: що нового сталося

Google SEO UA

Теги мета robots містять докладні інструкції, призначені для пошукових систем. Залежно від того, які значення в ньому містяться, може забороняти або дозволяти пошукача індексувати веб-сторінку, на якій він розміщений. Використовуючи цей тег, можна налагодити заборону сканування певних сторінок, каталогів, присутніх на сайті. Але його використання не дає гарантії, що заборонені сторінки не будуть проіндексовані. Використовуючи цей тег, можна дати команду роботу, що ця сторінка не потребує індексації.

Які відбулися зміни

Як і інші види тегів, robots прописується в блоці сторінки head і містить лише два найменування:

namе;
contеnt.

Ця інформація добре знайома спеціалістам. Але з недавнього часу Google вніс важливі зміни для зручнішого використання. Також надав інформацію про те, як поводяться пошукові системи у разі відсутності тегів. Для приховування сторінки від пошукових систем достатньо вказати в тезі назву Googlebot, що є забороною на сканування гуглом даної сторінки. Виглядає так:

<mеta name="googlebot" content="nоindex" />

Ця команда для пошукової системи вказує на те, що ця сторінка не розрахована на видачу результатів пошуку. Також тег X-Robots-Tag, розміщений у заголовку, вказує на заборону індексації.

Декілька заголовків або підзаголовків можуть містити цю команду, якщо об'єднати папку з найменуванням unavailablе_aftеr. Як прописати команду, є у довідці.

Далі надається інформація, яка пояснює значення кожної директиви:

all – обмеження на індексацію та показ відсутні;
noindex – позначає, що ця сторінка має показуватися у пошуку та її результатах;
nofollow – перехід за посиланням не потрібний;
none - еквівалент noindex або nofollow;
noarchive – показати посилання на кеш у результатах пошуку;
nosnippet – виключити показ зображення, частини тексту чи відео;
max-snippet: [number] – кількість символів у тексті обмежена, у дужках вказується цифра, що вказує на кількісний показ фрагмента;
max-image-preview: [setting] – розрахований для зображень, розмір яких дозволено для показу;
max-video-preview: [number] – визначає тривалість показу відео;
notranslate – заборона перекладу сторінки;
noimageindex – індексація зображення заборонено;
unavailable_after: [date/time] – заборона певної дати та часу.

На своїй сторінці в Твіттері Г. Ілш зазначив, що докладнішу інформацію можна знайти у довідці.

Як тепер видалити або оновити старий контент, виходячи з представлених змін

Власники сайтів зацікавлені у тому, щоб інформація на сторінках постійно оновлювалася. Але видаляти сторінки з пошукових систем не хочеться. Але, враховуючи нові зміни, зробити це все ж таки доведеться.

Декілька ситуацій, що підтверджують необхідність оновлення або видалення застарілого контенту.

Оновити асортименти на сторінках магазину. Якщо цього не робити, в асортименті будуть товари, зняті з виробництва або просто відсутні на складі. З'являється необхідність повного або тимчасового видалення їх з індексу. Це виключить необхідність робота сканувати неіснуючих позицій.
Оновлення або видалення статей із застарілою інформацією. Це можуть бути новини, інформація, яка на даний момент не актуальна, але вона сильно перевантажує сайт. Якщо в редагуванні немає сенсу, текст просто видаляють.
Регулювання діяльності підприємства. Це стосується компаній, що здійснюють виробництво продуктів, медичних препаратів або обладнання. На підставі чинного законодавства потрібно буде вказувати нові документи, сертифікати. Інакше можна нарватися, цілком обґрунтовано, не серйозні втрати у вигляді величезного штрафу.
Акції, розпродажі, які закінчились чи втратили актуальність. Наприклад, якщо ця пропозиція діяла на час Чорної п'ятниці, то вона знадобиться лише наступного року. На даний момент сторінка не містить актуальної інформації. Її можна видалити або зберегти, поставивши заборону перегляду.

Тепер видалити старий контент просто

Не розраховане на безповоротне видалення сторінки. Наприклад, можна видалити з індексу, залишивши на сайті, але заборонивши перегляд відвідувачів. Вона стане доступною лише для власника або оптимізатора. А можна просто перемітити в архів і витягти звідти за необхідності. Найпростіші методи для таких дій. Тег noindex – сторінку приховати від роботів для індексації.

Щоб видалити адресу застарілого контенту з Яндекса, необхідно виконати кілька простих кроків:

у файлі robots.txt вказати disallow;
видалити URL-адресу, вказавши адресу сторінки.

Для того, щоб видалити застарілий контент та пошуку Google, просто використовувати спеціальну команду в налаштуваннях (Google Search Console). Для того, щоб змінити вартість товару або послуги кешованого URL.

Також можна налаштувати роботу сторінок, які просто перенаправлятиму відвідувача на інший контент. Це дозволить не втратити потенційного клієнта, давши можливість вивчити більш вигідну пропозицію. Для цього використовується 301/302 редирект.

Швидке, безповоротне видалення здійснюється за допомогою команд 403/404/410. Але, як показує практика, видаляти повністю недоцільно. Через деякий час така сторінка може знадобитися знову. Для цього достатньо вказати кількість днів або місяців, протягом яких сторінка перебуватиме в архіві. Після закінчення цього терміну станиця стане доступною автоматично.

Якщо щось не зовсім зрозуміло з наданої інформації, завжди можна скористатися підказками, які є на сторінці «Довідка».