У цьому документі розповідається про те, як керувати показом контенту в результатах пошуку Google, використовуючи налаштування на рівні сторінки та тексту. Щоб задати налаштування на рівні сторінки, додайте тег meta в HTML-код сторінки або в HTTP-заголовок. Щоб задати налаштування на рівні тексту, додайте атрибут data-nosnippet в HTML-елементи на сторінці.
Майте на увазі, що ці налаштування враховуються тільки в тому випадку, якщо пошукові роботи мають доступ до сторінок, на яких вони задані.
Правило <meta name="robots" content="noindex"> застосовується тільки до пошукових роботів. Якщо ви хочете заблокувати іншого робота, наприклад AdsBot-Google, вам можуть знадобитися спеціальні правила, такі як <meta name="AdsBot-Google" content="noindex">.
Як використовувати тег meta з атрибутом robots
Тег meta з атрибутом robots дозволяє задавати на рівні сторінки детальні налаштування, які визначають, як ця сторінка буде індексуватися та показуватися в результатах пошуку Google. Додайте тег meta з атрибутом robots у розділ <head> на потрібній сторінці:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </html>
У цьому прикладі тег meta з атрибутом robots забороняє пошуковим системам показувати сторінку в результатах пошуку. Задане для атрибута name значення robots вказує, що правило поширюється на всіх пошукових роботів. Атрибути name та content можна вказувати без урахування регістру. Якщо ви хочете закрити доступ тільки одному з них, замість robots вкажіть у значенні атрибута name токен агента користувача потрібного робота. Google підтримує два токени агента користувача в тегу robots (meta), а інші значення ігноруються:
googlebot: для всіх текстових результатів.googlebot-news: для новинних результатів.
Наприклад, щоб дати роботам Google явну інструкцію не показувати певний фрагмент у результатах пошуку, ви можете вказати googlebot в атрибуті name тегу meta:
<meta name="googlebot" content="nosnippet">
Щоб повний фрагмент показувався в результатах пошуку Google, але не в Google Новинах, вкажіть googlebot-news в атрибуті name тегу meta:
<meta name="googlebot-news" content="nosnippet">
Якщо потрібно задати неоднакові налаштування для різних пошукових роботів, використовуйте кілька тегів meta з атрибутом robots:
<meta name="googlebot" content="notranslate"> <meta name="googlebot-news" content="nosnippet">
Щоб заборонити індексацію файлів не у форматі HTML, наприклад, документів PDF, відео або зображень, використовуйте заголовок відповіді X-Robots-Tag.
Як використовувати HTTP-заголовок X-Robots-Tag
Заголовок X-Robots-Tag можна вказувати в HTTP-відповіді, що надсилається з певної URL-адреси. У заголовках X-Robots-Tag підтримуються ті самі правила, що й у тегах meta з атрибутом robots. Ось приклад HTTP-відповіді із заголовком X-Robots-Tag, що забороняє пошуковим роботам індексувати сторінку:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Ви можете включити в одну HTTP-відповідь кілька заголовків X-Robots-Tag або перелічити правила через кому. Ось приклад HTTP-відповіді, де тег X-Robots-Tag з директивою noimageindex об’єднаний з тегом X-Robots-Tag, для якого вказана директива unavailable_after:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noimageindex X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
У тегу X-Robots-Tag можна вказувати перед правилами назву агента користувача. Наприклад, щоб ваша сторінка з’являлася в результатах пошуку тільки певних пошукових систем, використовуйте такий набір HTTP-заголовків X-Robots-Tag:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Правила, для яких не вказано агент користувача, будуть виконуватися всіма пошуковими роботами. HTTP-заголовок, ім’я агента користувача та інші значення вказуються без урахування регістру.
Підтримувані правила індексації та показу контенту
Вказані нижче правила, які також доступні в машиночитаному форматі, дозволяють керувати індексуванням сторінки та показом її фрагмента в результатах пошуку. Ці правила вказуються в тегу meta з атрибутом robots і тегу X-Robots-Tag. Кожне значення відповідає окремому правилу. Правила можна об’єднувати в списках, розділених комами, або в окремих тегах meta. Регістр символів не враховується.
| Правила | |
|---|---|
| Немає обмежень на індексацію та показ контенту. Це правило використовується за замовчуванням і не впливає на роботу пошукових роботів, навіть якщо воно вказано в коді. |
| Не показувати сторінку, медіаконтент або ресурс у результатах пошуку. Якщо не додати це правило, сторінка, медіаконтент або ресурс буде проіндексовано і зможе відображатися в результатах пошуку. Якщо ви хочете видалити будь-яку інформацію з Google, дотримуйтесь цього покрокового посібника. |
| Не переходьте за посиланнями на сторінці. Якщо не додати це правило, роботи Google можуть використовувати посилання на сторінці для пошуку цільових сторінок. Детальніше про правило nofollow |
| Діє так само, як noindex,. |
| Не показувати текстовий фрагмент або відео в результатах пошуку. Статичні зменшені зображення, якщо вони є і здатні підвищити зручність використання, все ще можуть відображатися. Це правило діє для всіх типів результатів пошуку (вебпошук Google, Google Зображення, рекомендації, короткі перекази від ШІ, режим ШІ) і забороняє використовувати контент як джерело даних для результатів з короткими переказами від ШІ і в режимі ШІ. Якщо не додати це правило, роботи Google можуть створити фрагмент тексту та відео на основі інформації зі сторінки. Щоб заборонити відображення певних фрагментів вашого контенту в результатах пошуку Google, використовуйте HTML-атрибут |
| На відміну від директиви
|
| Обмеження на кількість символів у фрагменті тексту (не більше [число]), який відображається в результатах пошуку. Зверніть увагу, що одна і та ж URL-адреса може з’являтися на сторінці результатів пошуку кілька разів. Це правило не поширюється на попередній перегляд зображень і відео, але діє на всі види результатів пошуку (вебпошук Google, Google Зображення, рекомендації, дані, надані Асистентом, короткі перекази від ШІ і режим ШІ) і забороняє використовувати контент як джерело даних для результатів з короткими переказами від ШІ і в режимі ШІ. Однак обмеження не застосовується у випадках, коли видавець надав окремий дозвіл на використання контенту, наприклад, додав структуровані дані або уклав ліцензійну угоду з компанією Google. Тоді ця настройка не скасовує такі додаткові дозволи. Якщо в цьому правилі використовувати некоректне числове значення, воно буде проігноровано. Якщо ви не додасте правило, Google вибере довжину фрагмента самостійно. Спеціальні значення:
Приклади Як заборонити показ фрагмента в результатах пошуку: <meta name="robots" content="max-snippet:0"> Як дозволити показ у фрагменті 20 символів або менше: <meta name="robots" content="max-snippet:20"> Як вказати, що обмежень на кількість символів при показі у фрагменті немає: <meta name="robots" content="max-snippet:-1"> |
| Це правило визначає максимальний розмір зображень, які можуть відображатися в результатах пошуку для цієї сторінки. Якщо не додати правило Допустимі значення для елемента [setting]:
Це поширюється на всі види результатів пошуку (вебпошук Google, Google Зображення, рекомендації та дані, надані Асистентом). Однак обмеження не застосовується в тих випадках, коли видавець надав окремий дозвіл на використання контенту, наприклад, додав структуровані дані або уклав ліцензійну угоду з компанією Google. Зокрема, структуровані дані можуть визначати канонічну та AMP-версію статті. Якщо ви не хочете, щоб ваші канонічні сторінки та їх AMP-версії показувалися в Google Пошуку та рекомендаціях з більшими зображеннями, вкажіть у правилі Приклад: <meta name="robots" content="max-image-preview:standard"> |
| Це правило встановлює для фрагмента відео зі сторінки обмеження за тривалістю в секундах при показі в результатах пошуку (не більше [число]). Якщо не додати правило Спеціальні значення:
Директива поширюється на всі види результатів пошуку (вебпошук Google, Google Картинки, рекомендації, пошук за відео та дані, надані Асистентом). Якщо в цьому правилі використовувати некоректне числове значення, воно буде проігноровано. Приклад: <meta name="robots" content="max-video-preview:-1"> |
| Ця директива забороняє пропонувати переклад сторінки в результатах пошуку. Якщо не додати це правило, Google може показувати переклад посилання-заголовка і фрагмента сторінки в результатах з контентом, мова якого відрізняється від мови пошукового запиту. Коли користувач натискає на перекладене посилання-заголовок і переходить на сторінку, всі подальші дії на ній здійснюються через Google Перекладач, який автоматично виконує переклад кожної сторінки при переході на неї. |
| Це правило забороняє індексувати зображення, розміщені на сторінці. Якщо не вказати це значення, зображення на сторінці будуть проіндексовані і зможуть відображатися в результатах пошуку. |
| Це правило забороняє показувати сторінку в результатах пошуку після дати і часу, зазначених в одному з основних форматів, таких як RFC 822, RFC 850, ISO 8601 та ін. Це правило ігнорується, якщо не вказано допустиме значення дати та часу. За замовчуванням у контенту немає терміну дії. Якщо не додати це правило, сторінка може відображатися в результатах пошуку необмежений час. Після зазначеної дати та часу частота сканування URL роботом Googlebot значно зменшиться. Приклад: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Застарілі та інші невикористані правила
Як поєднувати правила індексації та показу контенту
Ви можете створити інструкцію з кількох правил для тегів meta з атрибутом robots, перелічивши їх через кому або додавши у кілька тегів meta. Нижче наведено приклад тегу meta з атрибутом robots, який забороняє пошуковим роботам індексувати сторінку та сканувати посилання на ній.
<meta name="robots" content="noindex, nofollow">
У наступному прикладі фрагмент тексту обмежений 20 символами, але дозволено показ великих зображень:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Якщо перераховані різні правила для кількох пошукових роботів, пошукова система буде дотримуватися всіх заборон. Приклад:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Виявивши metaтеги, робот Googlebot буде діяти так само, як і за наявності на сторінці правила noindex, nofollow.
Як використовувати HTML-атрибут data-nosnippet
Фрагменти тексту на HTML-сторінці можна спеціально позначити, щоб вони не показувалися в результатах пошуку. Для цього слугує атрибут data-nosnippet для HTML-елементів span, div та section. Атрибут data-nosnippet є логічним і може вказуватися без значення. Код повинен відповідати стандартам HTML і містити всі необхідні закриваючі теги.
Приклади
<p>This text can be shown in a snippet <span data-nosnippet>and this part would not be shown</span>.</p> <div data-nosnippet>not in snippet</div> <div data-nosnippet="true">also not in snippet</div> <div data-nosnippet="false">also not in snippet</div> <!-- all values are ignored --> <div data-nosnippet>some text</html> <!-- unclosed "div" will include all content afterwards --> <mytag data-nosnippet>some text</mytag> <!-- NOT VALID: not a span, div, or section --> <p>This text can be shown in a snippet.</p> <div data-nosnippet> <p>However, this is not in snippet.</p> <ul> <li>Stuff not in snippet</li> <li>More stuff not in snippet</li> </ul> </div>
Зазвичай під час індексування робот Google відмальовує сторінки, але це відбувається не завжди. Тому атрибут data-nosnippet може вилучатися як до відмальовування, так і після нього. Щоб уникнути невизначеності, не використовуйте JavaScript для додавання атрибута data-nosnippet в існуючі вузли або для його видалення з них. Якщо ви додаєте елементи в призначену для сторінки структуру DOM за допомогою JavaScript, вказуйте атрибут data-nosnippet у момент створення цих елементів. Якщо ви хочете застосувати атрибут data-nosnippet до нестандартних елементів, розміщуйте їх усередині тегів div, span або section.
Що потрібно враховувати при використанні структурованих даних
Теги meta з атрибутом Robots визначають, яку кількість контенту Google може автоматично вилучати з вебсторінок і показувати в результатах пошуку. Однак багато видавців також застосовують структуровані дані schema.org, щоб показувати в результатах пошуку потрібну їм інформацію. Задані в тегах meta з атрибутом Robots обмеження не розповсюджуються на структуровані дані, крім значень article.description та description, які стосуються творчих робіт. Щоб задати максимальну довжину текстового фрагмента в результатах пошуку з урахуванням цих значень description, використовуйте правило max-snippet. Наприклад, якщо на сторінці є структуровані дані для рецептів (recipe), розмічений ними контент може показуватися в каруселі рецептів незалежно від обмеження довжини текстового фрагмента. Довжину текстового фрагмента можна обмежити за допомогою атрибута max-snippet, однак у цьому випадку тег meta з атрибутом robots не буде застосовуватися, якщо інформація передається за допомогою структурованих даних для розширених результатів.
Ви можете редагувати типи структурованих даних та їх значення на вебсторінках. Додавайте або видаляйте інформацію, щоб робот Google мав доступ лише до потрібної інформації. Зверніть увагу, що структуровані дані можуть використовуватися в результатах пошуку, навіть якщо вони оголошені всередині елемента з атрибутом data-nosnippet.
Як додати тег X-Robots-Tag
Тег X-Robots-Tag можна додати в HTTP-відповіді за допомогою файлів конфігурації в серверному ПЗ сайту. Наприклад, на серверах Apache такі налаштування зберігаються у файлах .htaccess та httpd.conf. Перевага використання тегу X-Robots-Tag у HTTP-відповідях полягає в тому, що з його допомогою можна задати правила сканування на рівні всього сайту, а підтримка регулярних виразів забезпечує додаткову гнучкість.
Наприклад, щоб додати тег X-Robots-Tag з правилом noindex, nofollow в HTTP-відповідь для файлів .PDF з усього сайту, включіть невеликий фрагмент коду в кореневий файл .htaccess/httpd.conf (Apache) або .conf (nginx).
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Теги X-Robots-Tag можна використовувати в тих випадках, коли для файлів недоступні HTML-теги meta з атрибутом robots. У наведеному нижче прикладі правило noindex у тегу X-Robots-Tag застосовується до файлів зображень (.png, .jpeg, .jpg, .gif) на всьому сайті:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
Заголовки X-Robots-Tag також можна задати для окремих статичних файлів.
# the htaccess file must be placed in the directory of the matched file. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Теги meta з атрибутом robots і HTTP-заголовки X-Robots-Tag виявляються під час сканування URL. Якщо сканування сторінки заборонено файлом robots.txt, то правила щодо індексування або показу контенту будуть проігноровані. Щоб гарантувати виконання правил, не слід забороняти сканування URL, до яких вони застосовані.