Як пошукові системи знаходять, сканують та індексують ваш вміст?
Я не часто рекомендую клієнтам створювати власні системи електронної комерції чи керування вмістом через небачені можливості розширення, необхідні в наш час – головним чином зосереджені на пошуковій та соціальній оптимізації. Я написав статтю про вибір CMS, і я досі показую його компаніям, з якими я працюю, які хочуть створити свою систему керування вмістом.
Як працюють пошукові системи?
Почнемо з того, як працюють пошукові системи. Ось чудовий огляд від Google.
Однак бувають ситуації, коли спеціальна платформа є необхідною. Коли це оптимальне рішення, я все одно змушую своїх клієнтів розробляти необхідні функції для оптимізації своїх сайтів для пошуку та соціальних мереж. Три ключові функції є необхідністю.
- Robots.txt
- XML Sitemap
- метадані
Що таке файл Robots.txt?
Robots.txt файл - файл robots.txt файл — це звичайний текстовий файл у кореневому каталозі сайту, який повідомляє пошуковим системам, що їм слід включити та виключити з результатів пошуку. В останні роки пошукові системи також вимагали включити шлях до XML-карти сайту у файл. Ось мій приклад, який дозволяє всім роботам сканувати мій сайт, а також спрямовує їх до моєї XML-карти сайту:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlЩо таке XML-карта сайту?
XML Sitemap - Подобається HTML призначений для перегляду в браузері, XML написаний для програмного перетравлення. Ан XML мапа сайту – це таблиця кожної сторінки вашого сайту та час її останнього оновлення. XML-карти сайту також можуть бути ланцюжками... тобто одна XML-карта сайту може посилатися на іншу. Це чудово, якщо ви хочете логічно організувати та розбити елементи свого сайту (Питання і відповіді, сторінки, продукти тощо) у власні мапи сайту.
Карти сайту необхідні для того, щоб ефективно повідомляти пошуковим системам, який вміст ви створили та коли його востаннє редагували. Процес пошукової системи під час переходу на ваш сайт не є ефективним без впровадження карти сайту та фрагментів.
Без файлу XML Sitemap, ви ризикуєте, що ваші сторінки ніколи не будуть виявлені. Що робити, якщо у вас є нова цільова сторінка продукту, на яку немає ні внутрішніх, ні зовнішніх посилань? Як Google це виявляє? Що ж, поки не буде знайдено посилання на нього, вас не виявлять. На щастя, пошукові системи дозволяють системам керування контентом і платформам електронної комерції розгортати для них червону доріжку!
- Google виявляє зовнішнє або внутрішнє посилання на ваш сайт.
- Google індексує сторінку та ранжує її відповідно до її вмісту, а також вмісту та якості сайту посилання.
З XML-картою сайту, ви не залишаєте відкриття чи оновлення свого вмісту напризволяще! Занадто багато розробників намагаються використовувати ярлики, які також шкодять їм. Вони публікують один і той самий розширений фрагмент по всьому сайту, надаючи інформацію, яка не має відношення до інформації на сторінці. Вони публікують карту сайту з однаковими датами на кожній сторінці (або всі вони оновлюються, коли оновлюється одна сторінка), створюючи черги пошуковим системам, що вони обманюють систему або ненадійні. Або вони взагалі не перевіряють пошукові системи… тому пошукова система не розуміє, що була опублікована нова інформація.
Що таке метадані? Мікродані? Багаті фрагменти?
Розширені фрагменти - це ретельно позначені мікродані приховані від глядача, але видимі на сторінці для використання пошуковими системами або сайтами соціальних мереж. Це відомо як метадані. Google відповідає Schema.org як стандарт для включення таких речей, як зображення, назви, описи та безліч інших інформативних фрагментів, таких як ціна, кількість, інформація про місцезнаходження, рейтинги тощо. Схема значно покращить видимість вашої пошукової системи та ймовірність того, що користувач клацне.
Facebook використовує OpenGraph протокол (звичайно, вони не можуть бути однаковими), X навіть має фрагмент для визначення вашого профілю X. Все більше платформ використовують ці метадані для попереднього перегляду вбудованих посилань та іншої інформації під час публікації.
Ваші веб-сторінки мають основне значення, яке люди розуміють, коли читають веб-сторінки. Але пошукові системи мають обмежене розуміння того, що обговорюється на цих сторінках. Додаючи додаткові теги в HTML своїх веб-сторінок - теги, на яких написано: "Гей, пошукова система, ця інформація описує цей конкретний фільм, або місце, або особу, або відео" - ви можете допомогти пошуковим системам та іншим програмам краще зрозуміти ваш вміст і відобразити це корисним, відповідним чином. Мікродані - це набір тегів, введених разом з HTML5, що дозволяє вам це робити.
Schema.org, що таке MicroData?
Звичайно, нічого з цього не потрібно ... але я настійно рекомендую їх. Наприклад, коли ви ділитеся посиланням у Facebook, і жодне зображення, заголовок чи опис не з’являється… мало хто зацікавиться і насправді натисне. І якщо ваші фрагменти схеми відсутні на кожній сторінці, звичайно, ви все одно можете з’являтися в результатах пошуку ... але конкуренти можуть виграти вас, коли у них з’явиться додаткова інформація.
Зареєструйте свої XML-файли Sitemap за допомогою Search Console
Якщо ви створили власний вміст або платформу електронної комерції, у вас є обов’язкова підсистема, яка перевіряє пошукові системи, публікує мікродані, а потім надає дійсну карту сайту XML для пошуку вмісту чи інформації про продукт!
Коли ваш файл robots.txt, XML-карти сайту та розширені фрагменти на вашому сайті будуть налаштовані та оптимізовані, не забудьте зареєструватися для кожної пошукової системи Пошук Консоль (також відомий як Веб-майстер інструмент), за допомогою якого ви можете контролювати стан і видимість свого сайту в пошукових системах. Ви навіть можете вказати свій шлях до Sitemap, якщо його немає в списку, і побачити, як пошукова система використовує його, чи є з ним проблеми чи ні, і навіть як їх виправити.
Розгорніть червону доріжку в пошукових системах і соціальних мережах, і ви побачите, що ваш сайт буде займати кращий рейтинг, ваші записи на сторінках результатів пошукової системи будуть переходити частіше, а ваші сторінки більше поширюватимуться в соціальних мережах. Це все додає!
Як Robots.txt, файли Sitemap та MetaData працюють разом
Поєднання всіх цих елементів схоже на розгортання червоної доріжки для вашого сайту. Ось процес сканування, який виконує бот разом із тим, як пошукова система індексує ваш вміст.
- На вашому веб-сайті є файл robots.txt, який також посилається на ваше розташування XML-карти сайту.
- Ваша CMS або система електронної комерції оновлює XML Sitemap будь-якою сторінкою та датою публікації або редагує інформацію про дату.
- Ваша CMS або система електронної комерції перевіряє пошукові системи, щоб повідомити їх, що ваш сайт оновлено. Ви можете пінгувати їх безпосередньо або використовувати RPC і такий сервіс, як Ping-o-matic, щоб надіслати їх до всіх ключових пошукових систем.
- Пошукова система миттєво повертається, перевіряє файл Robots.txt, знаходить нові або оновлені сторінки за допомогою карти сайту, а потім індексує сторінку.
- Під час індексації вашої сторінки вона використовує заголовок, мета-опис, елементи HTML5, заголовки, зображення, теги alt та іншу інформацію для належного індексування сторінки для відповідних пошуків.
- Під час індексації вашої сторінки вона використовує заголовок, метаопис і мікродані розширених фрагментів для покращення сторінки результатів пошукової системи.
- Оскільки інші відповідні сайти посилаються на ваш вміст, ваш вміст вищий за рейтингом.
- Оскільки ваш вміст публікується в соціальних мережах, указана розширена інформація може допомогти правильно переглянути ваш вміст і спрямувати його у ваш профіль у соціальній мережі.
