Якщо ви займаєтеся розробкою сайту самостійно, ретельно продумайте структуру URL. Тоді роботам Google буде легше знаходити та обробляти ваші сторінки. У цьому посібнику ви знайдете поради, які допоможуть вам уникнути проблем при індексації.

Чому потрібно звертати увагу на структуру URL

Добре продумана структура URL допомагає роботам Google сканувати та індексувати ваш сайт. Якщо ж структура продумана погано, можуть виникнути такі проблеми:

• Робот Googlebot може пропустити частину матеріалів, якщо помилково вважатиме, що дві URL-адреси повернуть однаковий контент (у такій ситуації пошуковий робот сканує лише одну URL-адресу, а другу сторінку розглядає як копію та ігнорує). Це відбувається у випадках, коли два URL відрізняються лише ідентифікаторами фрагментів (наприклад, #fragment). Google не обробляє ідентифікатори фрагментів під час індексації сторінок.

  Приклад. Сторінки, в URL яких є елементи /product/t-shirt#black і /product/t-shirt#white, вважатимуться однаковими.

• Робот Googlebot може просканувати одну і ту ж сторінку кілька разів, якщо вважатиме, що дві URL-адреси відрізняються, хоча сервер в обох випадках повертає один і той же вміст. Це може уповільнити сканування сайту, а також невиправдано збільшити навантаження на ваш вебсервер.

  Приклад. URL з елементами /product/black-t-shirt і /product?sku=1234 можуть відноситися до однієї сторінки, але за їхньою структурою робот Googlebot не зможе це визначити.

• Робот Googlebot може вважати, що ваш сайт містить нескінченну кількість сторінок, якщо в URL ресурсу є постійно мінливе значення, наприклад мітка часу. В результаті для того, щоб знайти весь корисний контент на вашому сайті, може знадобитися більше часу.

  Приклад. Робот Googlebot може дійти висновку, що адреси /about?now=12:34am і /about?now=12:35amвідносяться до різних сторінок, тоді як насправді за обома показується одна й та сама.

Дізнайтеся більше про те, як працює Google Пошук і як Google сканує та індексує ваш сайт.

Поради щодо створення ефективної структури URL

Щоб роботам Google було легше сканувати та індексувати ваш сайт, дотримуйтесь наведених нижче рекомендацій.

Як створити URL

• Не створюйте різні URL-адреси, за якими знаходиться один і той же контент, щоб роботам Google не доводилося виконувати зайві запити. Щоб перевірити, чи не ведуть дві URL-адреси на одну і ту ж сторінку, часто потрібно обробити обидві.
• Якщо вебсервер обробляє URL-адреси з малими та великими літерами однаково, приведіть всі URL-адреси до однакового регістру. Так роботам Google буде легше розібратися в тому, чи дійсно певні URL ведуть на одну сторінку.
• Переконайтеся, що кожна сторінка в результатах пошуку з розбивкою на сторінки має власну URL-адресу. З нашого досвіду, більшість помилок, пов’язаних з URL, спостерігаються саме при використанні структури з розбивкою на сторінки.

• Додайте описові слова в URL-шаблон. Це допоможе роботам Google аналізувати сторінки.

  Рекомендовано: /product/black-t-shirt-with-a-white-collar

  Не рекомендується: /product/3243

Як організувати параметри запиту в URL

Якщо в URL використовуються параметри запиту, зверніть увагу на наступне:

• Намагайтеся використовувати в URL параметри вигляду ?key=value, а не ?value. Завдяки цьому роботам Google буде простіше визначати структуру сайту, а отже, вони зможуть ефективніше сканувати та індексувати його.

  Рекомендовано: /photo-frames?page=2, /t-shirt?color=green

  Не рекомендується: /photo-frames?2, /t-shirt?green

• Не використовуйте один і той же параметр більше одного разу. Виявивши кілька однакових параметрів, робот Googlebot може ігнорувати всі з них, крім одного.

  Рекомендовано: ?type=candy,sweet

  Не рекомендується: ?type=candy&type=sweet

• Не створюйте на сайті внутрішні посилання на тимчасові параметри, такі як ідентифікатори сеансів, коди відстеження, значення, що стосуються користувачів (location=nearby, time=last-week), або поточний час. Через це можуть створюватися короткострокові URL-адреси або копії URL-адрес, які відносяться до однієї і тієї ж сторінки. Щоб забезпечити своєму контенту найкращі позиції в Пошуку Google, використовуйте довгострокові URL-адреси.

  Рекомендовано: /t-shirt?location=UK

  Не рекомендується: /t-shirt?location=nearby, /t-shirt?current-time=12:02, /t-shirt?session=123123123

Як роботи Google розпізнають URL варіантів товарів

У власників сайтів інтернет-магазинів часто виникають питання про те, як підготувати структуру URL на сайті, якщо якийсь товар представлений в декількох розмірах або відтінках. Кожен різновид товару з певною комбінацією атрибутів називається варіантом товару. Щоб роботам Google було легше розрізняти варіанти ваших товарів, переконайтеся, що кожен варіант розміщений за окремою URL-адресою. Для URL варіантів товарів рекомендується використовувати наступну структуру:

• сегмент шляху, наприклад /t-shirt/green;
• параметр запиту, такий як /t-shirt?color=green.

Додаткову інформацію можна знайти в документації про структуровані дані для варіантів товарів.

Якщо ви розрізняєте різновиди за допомогою необов’язкових параметрів запиту, то в якості канонічної URL краще вибрати варіант, в якому параметр запиту пропущений. Завдяки цьому роботам Google буде легше визначати, як пов’язані між собою ті чи інші різновиди товарів.

Як використовувати URL при роботі з контентом

Щоб у Пошуку Google і Google Покупках правильно розпізнавалися ваші товари та зв’язки між їх варіантами, при роботі з URL на своєму сайті враховуйте наведені нижче рекомендації.

• Використовуйте однакові URL у внутрішніх посиланнях, файлах Sitemap і тегах <link rel="canonical">. Припустимо, на вашому сайті використовується розбивка на сторінки і за замовчуванням у параметрі URL вказується перша сторінка. У цьому випадку додавайте елемент ?page=1 у всі URL сайту або не додавайте його нікуди.
• Додайте тег <link rel="canonical">, що містить URL самої сторінки, на всі сторінки, які призначені для індексації, і внесіть ці URL у файл Sitemap.
• Якщо у кожного варіанту товару є сторінка з окремим URL, розмістіть канонічний URL товару на всіх таких сторінках, використовуючи тег <link rel="canonical">. Додаткова інформація доступна на довідковому центрі Google Merchant Center, присвяченому атрибуту canonical_link.
• Додавайте посилання безпосередньо на сторінки за допомогою тегів <a href> і не використовуйте код JavaScript для навігації по сторінках. Навігація, налаштована за допомогою такого коду, може бути не розпізнана роботом Googlebot. Детальніше про те, як Google обробляє код JavaScript…
• За можливості додавайте інформативний текст (наприклад, назву товару, на сторінку якого веде посилання) між тегами <a href> і </a>. Від загальних фраз, таких як “Натисніть тут”, краще відмовитися.
• Намагайтеся не розміщувати посилання на сторінки, де немає корисного контенту, і уникайте індексування таких сторінок. Для категорії, в якій немає елементів, скористайтеся метатегом robots з директивою noindex. Якщо та чи інша категорія на вашому сайті стала порожньою і була автоматично видалена з пошуку по сайту, то для сторінки, пов’язаної з цією категорією, краще повертати код статусу HTTP 404 (not found).