Якщо на вашому сайті є регіонозалежні сторінки (тобто сторінки вашого сайту відображаються по-різному залежно від країни або мови відвідувача), робот Google може не просканувати, не проіндексувати або не проранжувати весь їхній контент. Причина полягає в тому, що його IP-адреси за замовчуванням відносяться до США. Крім того, робот надсилає запити HTTP без параметра Accept-Language у заголовку.

Регіональні налаштування та робот Googlebot

Googlebot використовує IP-адреси, що відносяться не тільки до США, але й до інших країн.

Ми радимо відповідати на запити робота Googlebot з певної країни так само, як і на запити звичайних користувачів. Наприклад, якщо ви забороняєте доступ до свого контенту користувачам із США, але дозволяєте його переглядати жителям Австралії, ті самі налаштування повинні застосовуватися до роботів Googlebot.

Додаткові рекомендації

• Робот Googlebot має один і той самий рядок агента користувача незалежно від конфігурації сканування. Детальніше про рядки агентів користувача, які ідентифікують пошукових роботів Google…
• Ви можете перевірити, чи дійсно запит з певного регіону надіслано роботом Googlebot, – це робиться за допомогою зворотного DNS-запиту.
• Необхідно послідовно застосовувати стандарт винятків для роботів до контенту різними мовами, тобто вказати однакові правила в тегах meta з атрибутом robots і у файлі robots.txt.