Сторінки сайтів відображаються в результатах пошуку абсолютно безкоштовно. Щоб ваша сторінка була проіндексована Пошуком Google, повинні бути виконані наступні умови:
Робот Googlebot має доступ до сторінки (він може знайти і відкрити її) Google індексує лише загальнодоступні веб-сторінки, які дозволено сканувати нашому пошуковому роботу Googlebot . Якщо доступ до сторінки обмежений, наприклад, потрібно ввести логін і пароль, то робот Googlebot її не просканує. Якщо сторінку заборонено індексувати , вона не буде проіндексована.
Сторінки, заблоковані за допомогою файлу robots.txt , зазвичай не з’являються в результатах пошуку Google. Щоб дізнатися, до яких сторінок з тих, які ви хотіли б бачити в результатах пошуку, Google не має доступу, скористайтеся звітом про індексацію сторінок і звітом «Статистика сканування» в Search Console. Рекомендуємо вивчити обидва звіти, оскільки в них представлена різна інформація про ваші сторінки.
Перевірити певну сторінку можна за допомогою інструменту перевірки URL.
Сторінка справна (не повертає код помилки) Google індексує тільки ті сторінки, які повертають код статусу HTTP 200 (success) Сторінки, що повертають коди помилок клієнта та сервера, не індексуються. Дізнатися код статусу HTTP для певної сторінки можна за допомогою інструменту перевірки URL.
На сторінці є індексований контент Коли робот Googlebot виявляє і відкриває сторінку, він перевіряє її на наявність індексованого контенту. Що це означає:
Навіть якщо у файлі robots.txt є заборона на сканування сторінки, її URL все ж таки може з’являтися в результатах пошуку. Щоб заборонити роботам Google індексувати сторінку, скористайтесь директивою noindex і дозвольте Google сканувати URL-адресу.
