Для появи сторінок ресурсу в природній видачі вони повинні пройти процес індексації пошуковою системою. В ході індексації ресурсу робот послідовно відвідує й аналізує сторінки з наступним занесенням отриманих даних в пошукову базу.

Індексація просуваються сторінок - необхідна умова розкрутки сайту. Природним шляхом процес відбувається протягом періоду від одного тижня до декількох місяців. Фахівці з пошукового просування сайту мають можливість залучити робота на ресурс і, таким чином, прискорити індексацію сторінок за допомогою наступних прийомів.

• Ручне додавання ресурсу. Про створений ресурсі робот може «впізнати» завдяки ручному додаванню URL сайту через спеціальну форму пошукача. Таким чином, веб-майстер повідомляє систему про новий ресурсі, адреса якого потрапляє в чергу на індексацію. В даному випадку додається тільки головна сторінка, на інші пошукові роботи перейдуть по внутрішнім посиланням.
• Простановка зовнішніх посилань. Пошукові системи знаходять сайт самостійно в разі наявності зовнішніх посилань на його сторінки. В даному випадку ресурс індексується від 2 днів до 2 тижнів. Швидше за інших систем ресурси додає Google.

Вимоги до сайту

Щоб пошукові системи проаналізували ресурс повністю, при пошукової оптимізації сайту дотримуються наступних правил.

1. Будь-яка внутрішня сторінка повинна бути розташована не далі трьох переходів від головної. Якщо структура ресурсу цього не дозволяє, створюється карта сайту, яка вказує роботам шлях до вкладених підкаталогам.
2. Не використовуються ідентифікатори сесій, що утрудняють роботу пошукових роботів.
3. Зазвичай пошукові системи індексують на сторінці до 100-200 Кб тексту. У разі більшого розміру аналізується тільки частина матеріалу. Якщо необхідна повна індексація такої сторінки, інформація на ній скорочується або розбивається на кілька розділів.
4. Для управління діями пошукових роботів заполніется файл robots.txt, в якому прописуються інструкції щодо заборони або дозволу індексації окремих сторінок або директорій сайту. Для цих же цілей в процесі оптимізації під Google і Яндекс використовується тег «NOINDEX» (підтримується тільки російськими пошуковими системами).

Фактори, що впливають на індексацію

Пошукові бази даних регулярно оновлюються, тому число проіндексованих сторінок сайту може змінюватися. Переіндексація відбувається тим швидше, чим більше зовнішніх посилань на сайт. Для відстеження процесу індексації аналізуються лог-файли сервера, в які заносяться дані про всі візити пошукових роботів.