Для ефективного просування сайту необхідна його повна і регулярна індексація пошуковими системами. Вказівки роботам про доступні для сканування сторінках розміщують в файлі Sitemap. Він являє собою XML-документ (рідше txt), перераховує URL-адреси ресурсу, кожному з яких відповідають метадані (частота змін, дата останніх оновлень, пріоритетність сторінки для сканування щодо сайту). Використання протоколу Sitemap не гарантує повної індексації сайту, але дозволяє роботам зробити більш ретельне сканування. Його версію 1.0 підтримують Google, Yandex, Yahoo !, Bing і Ask.com.
Файл Sitemap корисний для ефективної розкрутки сайту, якщо ресурс:
- містить сторінки з зображеннями або мультимедійним AJAX-контентом, які не можуть бути виявлення пошуковими роботами при скануванні, динамічну складову або великий архів документів, що не облінкований між собою;
- створений недавно і не має достатньої зовнішньої посилальної маси.
Місцезнаходження
Файл Sitemap розташовують в кореневій директорії сервера (наприклад, http://site.ru/sitemap.xml). Всі перераховані посилання повинні належати тому ж доменному імені, що і файл, вказувати на що знаходяться в тому ж розділі або підрозділах сторінки і використовувати той же протокол, за яким доступний Sitemap.
Формат
У файлі Sitemap необхідно використання кодування UTF-8, маскування символів ' "> <і &. Формат протоколу складається з XML-тегів.
Обов'язкові теги:
- urlset вказує стандарт протоколу і інкапсулює файл. Хто відкриває необхідний на початку документа, що закриває - в кінці,
- url - батьківський тег для кожного URL,
- loc - URL-адресу веб-сторінки, починається з префікса і закінчується символом /. Його довжина обмежується 2048 символами.
Необов'язкові теги:
- lastmod - дата останнього зміни в форматі W3C Datetime, що дозволяє опустити сегмент часу і при необхідності використовувати вид РРРР-ММ-ДД.
- changefreq - передбачувана частота оновлень даної сторінки. Допустимі значення always (для опису документів, що змінюються при кожному доступі до них), hourly, daily, weekly, monthly, yearly і never (для архівних адрес).
- priority - пріоритетність даного URL-адреси щодо інших на ресурсі. Дозволяє виділити сторінки з найбільш важливими для пошукової оптимізації сайту запитами. Стандартний діапазон значень від 0 до 1 (за замовчуванням 0.5).
Найпростіший файл Sitemap має наступний вигляд:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns= "http://www.sitemaps.org/ schemas/sitemap/0.9">
<url>
<loc>http://site.ru/</loc>
<lastmod>2010-09-09</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
</urlset>
Кількість адрес у файлі Sitemap не повинно перевищувати 50 000, максимальний розмір - 10 МБ. Допускається стискати файл архіватором gzip для зменшення вимог до пропускної здатності каналу. При необхідності опису більш 50 000 адрес створюють кілька файлів Sitemap.