noindex – це правило, яке задається за допомогою тегу <meta> або заголовка HTTP-відповіді та забороняє індексування контенту пошуковими системами, що підтримують noindex, наприклад Google. Виявивши такий тег або заголовок під час сканування сторінки, робот Googlebot проігнорує її, навіть якщо на неї посилаються інші сайти.
Директива noindex дозволяє керувати доступом до окремих сторінок сайту. Це може бути корисно, якщо у вас немає доступу до кореневого каталогу на сервері.
Як впровадити правило noindex
Впровадити правило noindex можна двома способами: як тег <meta> або як заголовок HTTP-відповіді. Вони працюють однаково, тому вибір відповідного способу залежатиме від вашого сайту та типу контенту, розміщеного на ньому. Google не підтримує вказування правила noindex у файлі robots.txt.
noindex можна об’єднувати з іншими правилами, які керують індексуванням. Наприклад, можна об’єднати атрибут nofollow і правило noindex: <meta name="robots" content="noindex, nofollow" />.
Тег <meta>
Щоб жодна пошукова система, яка підтримує правило noindex, не могла проіндексувати сторінку вашого сайту, розмістіть такий тег <meta> в розділі <head>:
<meta name="robots" content="noindex">
Якщо ви хочете закрити доступ до сторінки лише роботам Google, скористайтеся наступним кодом:
<meta name="googlebot" content="noindex">
Враховуйте, що деякі пошукові системи можуть по-іншому інтерпретувати правило noindex і показувати в результатах пошуку сторінку, на якій воно використовується.
Докладніше про тег <meta> з атрибутом noindex…
Заголовок HTTP-відповіді
Замість тегу <meta> можна повертати HTTP-заголовок X-Robots-Tag зі значенням noindex або none у відповіді. Ви можете використовувати цей спосіб для файлів, формат яких відрізняється від HTML, наприклад PDF, відео та зображень. Нижче наведено приклад HTTP-відповіді із заголовком X-Robots-Tag, що забороняє пошуковим системам індексувати сторінку:
Щоб виявити теги <meta> та HTTP-заголовки, ми повинні просканувати вашу сторінку. Якщо сторінка продовжує з’являтися в результатах пошуку, ймовірно, ми ще не обробили її після додавання правила noindex. Робот Googlebot може повторно відвідати сторінку тільки через кілька місяців. Скористайтеся інструментом перевірки URL, щоб запросити повторне сканування сторінки роботом Google.
Якщо вам потрібно швидко видалити сторінку сайту з результатів пошуку Google, ознайомтеся з документацією щодо видалення.
Інша можлива причина: файл robots.txt забороняє роботу Googlebot доступ до URL і не дозволяє йому виявити метатег. Щоб надати роботам Google доступ до вашої сторінки, вам потрібно змінити файл robots.txt.
Нарешті, переконайтеся, що правило noindex доступне роботу Googlebot. Перевірте, чи коректно впроваджено правило noindex: скористайтеся інструментом перевірки URL, щоб побачити HTML, який робот Googlebot отримав під час сканування сторінки. Ви можете також використовувати звіт про індексування сторінок у Search Console, щоб відстежувати сторінки сайту, з яких робот Googlebot вилучив правило noindex.
