В сучасних умовах інтернет-маркетингу від власників сайтів потрібно не тільки розуміння того, як зацікавити потенційного замовника або покупця своїм комерційним пропозицією. Першочерговим стає завдання залучення таких користувачів, тобто необхідно отримати SEO-трафік - просунути сайт в «Яндексі» і Google, зробивши це швидше і якісніше конкурентів.

Без знання технічних нюансів, які в кінцевому підсумку впливають на просування сайту і успішність digital-маркетингу, просто не обійтися. Потрібно мати уявлення про те, як інформація потрапляє в пошукову систему (ПС), що важливо для того, щоб індексація сайту пройшла успішно, а згодом веб-ресурс цілком або частково не випав з індексу. Саме по ньому ПС шукає і видає посилання на запити користувачів. Також необхідно розуміти, чому якісна оптимізація сторінок сайту сприяє швидкій та максимально повної індексації.

Поняття індексації сайту

Під індексацією сайту в «Яндексі», «Гуглі» або інший пошукової системи розуміють збір та систематизацію інформації з його сторінок в базах даних на серверах пошукових систем. Фактично спочатку збирається вся інформація з веб-ресурсу, на її основі будується добірка значущих ключових слів, які записуються і зберігаються в базі даних для оптимізації повноти і швидкості пошуку відповідей на запити користувача.

Очевидно, що з урахуванням динаміки розвитку мережі Інтернет, постійного появи нових сайтів і зміни інформації на старих індексація постає складним завданням по збору, переробці та аналізу величезних обсягів інформації, які фізично не можуть моментально потрапляти в пошукову видачу.

Незважаючи на постійний розвиток апаратної і програмної частини пошукових систем, спостерігається стійка тенденція до збільшення тривалості затримки між публікацією нових сайтів і появою їх в індексі.

Щоб зрозуміти, чому так відбувається, розглянемо процес формування пошукової бази в «Яндексі».

Як відбувається індексація сайту

Для опису технології формування пошукового індексу «Яндекса» прийнято використовувати такі визначення:

• «павук» - програмне забезпечення, яке викачує вміст сторінок сайту в базу ПС для подальшого аналізу і обробки. Порядок відвідування веб-ресурсів «павуком» визначається чергою, яка формується з декількох джерел;
• основний робот - проходить по всьому контенту сайту і збирає інформацію для подальшого додавання, аналізу і публікації в основному індексі пошукової системи;
• швидкий робот - визначає нові сторінки і досить швидко (від декількох годин до 2 днів) передає інформацію з них в індекс пошукової системи;
• планувальник відвідувань - спеціальне програмне забезпечення, яке визначає черговість обходу сайтів і їх сторінок пошуковим «павуком», тобто формує чергу відвідувань.

При публікації нового ресурсу процес його попадання в індекс можна представити у вигляді наступного алгоритму.

• Як тільки «Яндекс» дізнається про існування нового ресурсу, швидкий пошуковий робот збирає інформацію з значущих сторінок, після чого передає її в індекс, а також ставить в чергу на обхід основним роботом.
• Основний робот проходить по всіх сторінках сайту, повністю знімає його текстовий вміст і зберігає його в базі для подальшого аналізу.
• Зібрана інформація перевіряється на відповідність критеріям «Яндекса» і, якщо вона їм задовольняє, переноситься в сформовану базу оновлення індексу.
• Після завершення підготовки оновленого індексу він стає основним, і результати пошуку актуалізуються для користувача. На цей процес йде від 2-3 днів до 2 тижнів, тому нові сайти з'являються в пошуку з досить значною затримкою.
• Далі процес обходу сайту повторюється з певною періодичністю. Під час повторних обходів «павуком» виявляються нові сторінки, а також зміни інформації на тих сторінках, які вже знаходяться в індексі.

Очевидно, що для максимальної віддачі від веб-ресурсу слід забезпечити індексування сайту якнайшвидше, проте час попадання в основний індекс визначається безліччю параметрів. На ряд з них можна вплинути, а інша частина критеріїв обумовлена ​​особливостями роботи пошукової системи, і прискорити процес неможливо.

Швидкість попадання сайту в індекс

Якщо мова йде про сайті комерційної спрямованості, потрібно максимально прискорити процес індексації і, отже, доступність такої інтернет-реклами для користувачів. Від цього безпосередньо залежить час, через яке сайт почне отримувати відвідувачів і давати прибуток, тому треба по максимуму забезпечити виконання ряду дій.

• Повідомлення пошуковій системі про появу нового сайту. Зробити це можна шляхом публікації посилань на інших ресурсах і обов'язково через реєстрацію в «Яндекс.Вебмастере». Аналогічно для індексації сайту в Google слід додати його в сервіс Search Console. У «Яндекс.Вебмайстер» URL потрапляє через розділ «Переобход сторінок». Також опція передачі на індексацію URL сторінок можлива в «Яндекс.Метрика», встановленої на сайт.
• Перевірити сайт на доступність і відсутність грубих помилок в коді на сервісах валідації. Це необхідно для того, щоб «павук» при настанні черзі на обхід не пропустив її через недоступність сайту або наявності на ньому великої кількості технічних помилок. Якщо це станеться, доведеться чекати наступного обходу.
• Створити дві карти сайту. Одну у вигляді звичайної сторінки з посиланнями на всі сторінки ресурсу, другу у вигляді службового файлу Sitemap.xml, який розміщується в корені сайту на хостингу. Обидві карти робляться для більшості сучасних систем управління контенту в автоматичному режимі шляхом нескладної настройки.
• Налаштувати файл Robots.txt відповідно до рекомендацій для обраної системи керування вмістом для унеможливлення потрапляння в індекс однакових матеріалів, що знаходяться за різними адресами. Також в файлі прописується вказівку пошуковим роботам на наявність і місце розташування карти сайту Sitemap.
• При внутрішньої СЕО-оптимізації сайту використовувати внутрішню перелинковку, яка дозволить роботам виявити адреси інших сторінок ресурсу.
• Забезпечити систематичне додавання інформації на сайт. Система буде вважати цей ресурс часто оновлюється і корисним для відвідувачів.

Також слід подбати про відповідність якості контенту сайту вимогам пошукової системи. В іншому випадку можна спостерігати ситуацію, коли сайт потрапляє в пошук після обходу швидким роботом, а через деякий час після збору інформації основним роботом і її аналізу частина сторінок або навіть весь ресурс цілком випадає з пошукової видачі. Це відбувається тому, що якість контенту не задовольняє правилам пошукової системи, наприклад він може бути неунікален або перенасичений ключовими словами.

У зв'язку з цим відмінності між пошуковими системами «Яндекс» і Google полягають в тому, що неякісна сторінка в «Яндексі» видаляється з індексу, а в Google значно знижується в ранжируванні, але в пошуку зазвичай все ж залишається.

У деяких випадках для виключення попадання інформації в основний індекс потрібно заборонити індексування. Для цього використовують налаштування файлу Robots.txt і атрибути noindex і nofollow, які повідомляють пошуковій системі, що укладений в них матеріал не потрібно додавати в індекс.

Вибачте за тимчасові незручності потрапляє в індекс пошукової системи

Основу індексу пошукової системи складають тексти на сторінках сайту, проте роботи пошукових систем вміють отримувати вміст і з документів в закритому форматі. Так, сучасні «павуки» здатні отримати вміст:

• з PDF з текстовим шаром (Adobe Systems);
• визначених блоків flash-файлів (Adobe Systems);
• DOC / DOCX, PPT / PPTX, XLS / XLSX (MS Office);
• ODS, ODT, ODG, ODP (Open Office);
• TXT, RTF, XML.

Про це варто пам'ятати, коли ви розміщуєте на сайті неунікальні документи, які можуть зіпсувати загальну картину сайту після аналізу вмісту роботом пошукової системи.

Також слід звернути увагу на той факт, що різні сайти обходяться роботами «Яндекса» з різною періодичністю. У зв'язку з цим може виникнути проблема крадіжки контенту. Пошукова система вважає унікальною копію, яку вона виявляє першої, тому для захисту контенту можна попередити ПС про швидку появу оригінального тексту. Для цього варто скористатися можливістю додавання авторських текстів в спеціальному розділі «Яндекс.Вебмайстер» «Оригінальні тексти» перед їх публікацією.

Які види роботів використовують пошукові системи

Технічний арсенал пошукових систем не обмежується тільки швидким і основним роботами, які збирають в індекс текстовий контент. Потрібно пам'ятати, що з сайту збирається і інша інформація, що дає пошуковим системам уявлення про його якість і корисність для відвідувачів.

Серед таких «павуків» можна виділити роботів, які збирають дані:

• про зображення на сайті. Вони також повинні бути унікальними і містити необхідні атрибути опису. Надалі графічна інформація відображається в сервісі «Яндекс.Зображення» або «Картинки Google»;
• працюючих дзеркалах веб-ресурсу. Цю інформацію можна прописати в файлі Robots.txt, вказавши головне дзеркало, щоб уникнути можливого неправильного визначення пошуковою системою в автоматичному режимі;
• доступності сайту і його сторінок. Слід уважно поставитися до вибору швидкого і надійного хостингу, а також стежити за тим, щоб на сайті і в файлах карт не було неіснуючих посилань.

Крім того, є роботи, індексуючі відеофайли, значки, «швидкий» контент на майданчиках типу «Яндекс.Новини» і ін.

Використання лічильників метрик пошукових систем

Додаткові дані для пошукових систем можна передати через підключення до сервісів аналітики від «Яндекса» і Google. Це дозволить також передавати інформацію пошуковим системам про додавання нових сторінок і ряді інших параметрів, що дозволяють поліпшити становище сайту у видачі. Існує кілька суперечливих думок про корисність підключення сервісів «Яндекс.Метрика» і Google Analytics на ранніх етапах розвитку проекту. Однак якщо веб-ресурс пропонує дійсно якісні матеріали або товари на вигідних умовах, така статистика активності дозволить показати пошуковим системам інтерес відвідувачів до сайту, а саме цей фактор отримує все більший вплив на ранжування.

Як перевірити наявність сторінок сайту у видачі

Щоб знати точну статистику про індексування сайту пошуковими системами, слід зареєструвати ресурс в «Яндекс.Вебмастере» або Google Search Console. В «Особистому кабінеті» цих сервісів можна дізнатися загальні статистичні показники, а також динаміку змін числа доданих і віддалених сторінок, повноту обробки карти сайту і ряд інших параметрів.

Також можна швидко перевірити кількість індексованих сторінок сайту безпосередньо через пошуковий рядок. Для цього слід ввести запит виду:

• site: імя.сайта - для Google;
• host: імя.сайта - для «Яндекса».

Додавання сайту в «Яндекс.Вебмайстер» або Google Search Console можна назвати оптимальним варіантом, який забезпечує передачу пошуковій системі необхідної інформації. Але зробити процес швидше, ніж мінімально можливий, не вийде через величезних масивів даних, які беруть участь в побудові індексу.

Як правило, швидкість появи нового ресурсу, якість якого відповідає вимогам пошукової системи, може становити 1-2 тижні для «Яндекса» і 1 тиждень для Google.