Як створити файл Sitemap і зробити його доступним для Google

З цієї статті ви дізнаєтеся, як створити файл Sitemap і надати доступ до нього роботам Google. Якщо ви тільки починаєте працювати з файлами Sitemap, ознайомтеся з загальною інформацією.

Google підтримує формати файлів Sitemap, визначені протоколом Sitemap. Кожен формат файлів Sitemap має свої переваги та недоліки. Виберіть той, який найкраще підходить для вашого сайту та його налаштувань (для Google немає ніякої різниці). У наступній таблиці порівнюються різні формати файлів Sitemap.

Порівняння форматів файлів Sitemap
Файл Sitemap у форматі XML

XML-файл Sitemap є найбільш універсальним. Він є розширюваним і може містити додаткові дані про зображення, відео та новинний контент, а також локалізовані версії сторінок сайту.

Плюси

  • Розширюваний і універсальний.
  • Містить найбільше інформації про ваші URL.
  • Може створюватися автоматично більшістю систем управління контентом або користувачами цих систем за допомогою численних плагінів Sitemap.

Недоліки

  • Такі файли може бути незручно використовувати.
  • Розмітка великих сайтів або ресурсів, на яких URL часто змінюються, забирає багато зусиль.
RSS, mRSS і Atom 1.0

Файли Sitemap форматів RSS, mRSS і Atom 1.0 схожі за структурою на XML-файли Sitemap, але створити їх найпростіше, оскільки вони автоматично генеруються в системах управління контентом.

Плюси

  • У більшості систем управління контентом фіди RSS і Atom створюються автоматично.
  • У таких файлах Google може знайти інформацію про ваші відео.

Недоліки

Текстовий файл Sitemap

Найпростіший з форматів Sitemap; може містити тільки URL HTML-сторінок та інших індексованих сторінок.

Плюси

  • Легко налаштувати та оновити, особливо на великих сайтах.

Недоліки

  • Обмежений HTML та іншим індексованим контентом у вигляді тексту.

Рекомендації щодо файлів Sitemap визначаються протоколом Sitemap. Рекомендації, які найчастіше не помічають, пов’язані з обмеженнями щодо розміру файлів Sitemap, їх розташування та URL-адрес, що містяться в них.

Обмеження за розміром файлів Sitemap. Для всіх форматів діють такі обмеження: файл Sitemap може містити не більше 50 000 URL, а його розмір у нестисненому вигляді не повинен перевищувати 50 МБ. Якщо розмір файлу або кількість URL перевищує ці межі, розбийте його на кілька частин. При необхідності ви можете створити та надіслати в Google файл індексу Sitemap. Можна надіслати кілька файлів та індексів Sitemap. Вони можуть знадобитися, якщо вам потрібно відстежувати ефективність пошуку кожного файлу Sitemap в Search Console.

Розташування та кодування файлів Sitemap. Файли Sitemap повинні бути в кодуванні UTF-8. Файл Sitemap можна розмістити в будь-якій частині сайту, але якщо зробити це не через Search Console, то він впливатиме тільки на каталоги рівнем нижче батьківського. Щоб дія файлу Sitemap поширювалася на весь сайт, ми рекомендуємо розташувати його на кореневому рівні.

Властивості вказаних URL. У файлах Sitemap слід використовувати повні абсолютні URL. Google скануватиме точно ті URL, які ви перелічите. Наприклад, якщо адреса сайту – https://www.example.com/, замість URL вигляду /mypage.html (відносний URL) слід вказувати повний абсолютний URL: https://www.example.com/mypage.html.

Додайте до файлу Sitemap ті URL-адреси, які ви хочете бачити в результатах пошуку Google. Як правило, Google показує в результатах пошуку канонічні URL-адреси, на які можна впливати за допомогою файлів Sitemap. Якщо у мобільної та звичайної версії сторінки різні URL, радимо вказувати лише одну з них. Якщо все ж потрібно включити в файл обидві URL-адреси, додайте для них анотації, щоб позначити ці версії.

Повний список рекомендацій можна знайти на сторінці протоколу Sitemap.

XML-файл Sitemap є найбільш універсальним. Використовуючи підтримувані Google розширення файлів Sitemap, ви можете вказати додаткову інформацію про зображення, відео та новинний контент, а також локалізовані версії сторінок.

Ось приклад простого XML-файлу Sitemap з однією URL-адресою:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Детальну інформацію та більш складні приклади можна знайти на сайті sitemaps.org.

  • Як і в будь-яких інших XML-файлах, всі значення тегів необхідно екранувати.
  • Значения в тегах <priority> и <changefreq> игнорируются.
  • Google використовує значення в тегі <lastmod>, якщо воно гарантовано точне (наприклад, якщо його точність перевіряється шляхом порівняння з останньою зміненою версією сторінки).

Якщо у вашій системі управління контентом генерується фід RSS або Atom, можна надіслати URL цього фіду як джерело файлу Sitemap. У більшості систем управління контентом такі фіди створюються автоматично, але потрібно враховувати, що вони містять інформацію лише про останні URL-адреси.

  • Google підтримує фіди RSS 2.0 і Atom 1.0.
  • Ви також можете надіслати інформацію про відеоконтент у Google за допомогою фіда mRSS (media RSS).
  • Як і в будь-яких інших XML-файлах, всі значення тегів необхідно екранувати.

Якщо вам потрібно вказати лише адреси сторінок, ви можете надіслати Google звичайний текстовий файл з цими URL-адресами (по одному в кожному рядку). Наприклад, якщо на вашому сайті дві сторінки, то їх можна вказати в текстовому файлі Sitemap, розміщеному за адресою https://www.example.com/sitemap.txt, наступним чином:

https://www.example.com/file1.html
https://www.example.com/file2.html
  • У файл Sitemap можна додавати тільки URL.
  • Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt(например, sitemap.txt).

Створюючи файл Sitemap, ви повідомляєте пошуковим системам, які з ваших URL слід вибрати для відображення в результатах пошуку. Такі URL називаються канонічними. Якщо ви розмістили однаковий контент за кількома URL-адресами, виберіть основний варіант сторінки та додайте до файлу Sitemap лише його.

Вибравши URL-адресу, яку слід додати до файлу Sitemap, створіть його одним із перелічених нижче способів. Оптимальний варіант буде залежати від архітектури та розмірів сайту.

Якщо ви працюєте з системою управління контентом, такою як WordPress, Wix або Blogger, то, можливо, вона вже згенерувала файл Sitemap, доступний пошуковим системам. Спробуйте знайти інформацію про те, як ваша система управління контентом створює файли Sitemap, або про те, як підготувати такий файл, якщо вона не створює їх автоматично. Наприклад, якщо ви працюєте з Wix, введіть у пошуковій системі запит «wix sitemap», а у випадку з Blogger — «Blogger RSS».

Якщо ви плануєте додати до файлу Sitemap кілька десятків URL або менше, його можна буде створити вручну. Для цього відкрийте текстовий редактор, такий як Блокнот (Windows) або nano (Linux, macOS), і почніть вносити дані в новий файл відповідно до синтаксису, який описаний в розділі Формати файлів Sitemap вище. Назва файлу може бути будь-якою, але вона повинна складатися тільки з символів, які дозволені в URL.

Вручну можна створювати і великі файли Sitemap, але це дуже трудомісткий процес, який важко підтримувати протягом тривалого часу.

Якщо вам потрібно включити в файл Sitemap безліч URL, то зручніше буде створювати його автоматично. Згенерувати файл Sitemap можна за допомогою різних інструментів, але найкраще використовувати для цього засоби вашого сайту. Наприклад, ви можете витягти URL-адреси, пов’язані з сайтом, з його бази даних і експортувати ці адреси на екран або в файл на вашому веб-сервері. При необхідності зверніться до розробників або менеджера сервера. Ознайомтеся з нашою типовою добіркою сторонніх генераторів файлів Sitemap, на основі яких можна створити подібний інструмент.

Порядок проходження URL у файлі Sitemap не має значення для Google. Не забувайте про вимоги до розмірів файлів Sitemap. Якщо файл стає занадто великим, його потрібно розбити на менші. Детальніше про управління великими файлами Sitemap…

Пам’ятайте, що файл Sitemap служить лише підказкою для пошукових систем. Його наявність не гарантує, що система Google завантажує цей файл або використовує його для сканування сторінок на сайті. Надати Google доступ до файлу Sitemap можна кількома способами:

  • Надішліть файл Sitemap в Search Console за допомогою звіту про файли Sitemap. Так ви побачите, коли робот Googlebot отримає доступ до файлу Sitemap, а також дізнаєтеся про можливі помилки обробки.
  • Використовуйте Search Console API, щоб надіслати файл Sitemap алгоритмічним методом.
  • Вставте в будь-яке місце файлу robots.txt наведений нижче рядок з шляхом до файлу Sitemap (він буде виявлений при наступному скануванні файлу robots.txt). Приклад:
     
     
    Sitemap: https://example.com/my_sitemap.xml
  • Якщо ви використовуєте файли Sitemap формату Atom або RSS і хочете повідомити про внесені вами зміни не тільки Google, але й інші пошукові системи, скористайтеся протоколом WebSub.

Якщо у вас кілька сайтів, ви можете спростити процедуру створення та надсилання файлів Sitemap. Для цього створіть один або кілька файлів з усіма URL і збережіть їх в одній папці. Можна вибрати один із перелічених нижче варіантів:

  • Один файл Sitemap, що містить URL декількох сайтів (навіть з різних доменів). Наприклад, файл Sitemap, розміщений за адресою https://host1.example.com/sitemap.xml, може містити такі URL:
    • https://host1.example.com
    • https://host2.example.com
    • https://host3.example.com
    • https://host1.example1.com
    • https://host1.example.ch
  • Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге. Например, по адресу https://host1.example.com можно разместить следующие файлы Sitemap:
    • https://host1.example.com/host1-example-sitemap.xml
    • https://host1.example.com/host2-example-sitemap.xml
    • https://host1.example.com/host3-example-sitemap.xml
    • https://host1.example.com/host1-example1-sitemap.xml
    • https://host1.example.com/host1-example-ch-sitemap.xml

Щоб передати файли Sitemap, розташовані в одному каталозі, використовуйте Search Console або файл robots.txt.

  1. Переконайтеся, що ви підтвердили права власності на всі вибрані сайти, які ви додали до файлу Sitemap.
  2. Створіть один або кілька файлів Sitemap і додайте URL всіх сайтів, які ви хочете охопити. Ви можете додати файли Sitemap до файлу індексу Sitemap і продовжити роботу з цим файлом.
  3. Надішліть файли Sitemap або файли індексу Sitemap за допомогою Google Search Console.
  1. Створіть один або кілька файлів Sitemap для кожного сайту. Переконайтеся, що кожен окремий файл Sitemap містить URL конкретного сайту.
  2. Завантажте всі файли Sitemap на один сайт, який належить вам, наприклад https://sitemaps.example.com.
  3. Переконайтеся, що файл robots.txt для конкретного сайту вказує на файл Sitemap для цього сайту. Припустимо, ви створили файл Sitemap для сайту https://example.com/ і розмістили його за адресою https://sitemaps.example.com/sitemap-example-com.xml. Тоді у файл robots.txt, який розташований за адресою https://example.com/robots.txt, потрібно внести такий запис:
     
     
    # robots.txt file of https://example.com/
    sitemap: https://sitemaps.example.com/sitemap-example-com.xml

Якщо у вас виникли проблеми з файлом Sitemap, їх можна проаналізувати в Google Search Console. Рекомендуємо ознайомитися з керівництвом з усунення несправностей при обробці файлів Sitemap.