Як пошукові системи знаходять, сканують та індексують ваш вміст?

Пошукова оптимізація

Я не часто рекомендую клієнтам будувати власні системи електронної комерції або управління вмістом через усі невидимі варіанти розширюваності, які потрібні сьогодні - в першу чергу зосереджені на пошуку та соціальній оптимізації. Я написав статтю про як вибрати CMS - - і я все ще показую це компаніям, з якими я працюю, які мають спокусу просто створити власну систему управління контентом.

Однак існують абсолютно ситуації, коли власна платформа є необхідністю. Коли це оптимальне рішення, я все одно наполягаю на своїх клієнтах розробити необхідні функції для оптимізації своїх сайтів для пошуку та соціальних мереж. В основному є три ключові особливості, які є необхідними.

  • Robots.txt
  • XML Sitemap
  • метадані

Що таке файл Robots.txt?

Robots.txt файл - файл robots.txt Файл - це звичайний текстовий файл, який знаходиться в кореневому каталозі сайту і повідомляє пошуковим системам, що вони повинні включати та виключати з результатів пошуку. В останні роки пошукові системи також просили включити шлях до файлу XML-карти у файлі. Ось приклад мого, який дозволяє всім ботам сканувати мій сайт, а також спрямовує їх на мою XML-карту сайту:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Що таке XML-карта сайту?

XML Sitemap - Подібно до того, як HTML призначений для перегляду у браузері, XML написаний для програмного засвоєння. Карта сайту XML - це, в основному, таблиця кожної сторінки вашого сайту та часу останнього оновлення. Карти сайту XML також можуть бути пов’язані ланцюжком… тобто одна карта сайту XML може посилатися на іншу. Це чудово, якщо ви хочете логічно впорядкувати та розбити елементи вашого сайту (поширені запитання, сторінки, продукти тощо) на власні файли Sitemap.

Мапи сайту необхідні, щоб ви могли ефективно повідомляти пошуковим системам, який вміст ви створили та коли його востаннє редагували. Процес, який використовує пошукова машина під час переходу на ваш сайт, не ефективний без застосування карти сайту та фрагментів.

Без файлу XML Sitemap, ви ризикуєте, що ваші сторінки ніколи не будуть виявлені. Що робити, якщо у вас є цільова сторінка нового товару, яка не пов’язана ні ззовні, ні ззовні. Як Google виявляє це? Ну, просто кажучи ... поки посилання на нього не знайдено, вас не відкриють. На щастя, пошукові системи дозволяють системам управління контентом та платформам електронної комерції прокласти для них червону доріжку!

  1. Google виявляє зовнішнє або внутрішнє посилання на ваш сайт.
  2. Google індексує сторінку та класифікує її відповідно до її змісту, а також змісту та якості веб-сайту, що посилається на посилання.

З XML-картою сайту, Ви не залишаєте випадкові відкриття свого вмісту або оновлення його вмісту! Занадто багато розробників намагаються скористатися ярликами, які шкодять і їм. Вони публікують той самий розширений фрагмент на сайті, надаючи інформацію, яка не має відношення до інформації на сторінці. Вони публікують мапу сайту з однаковими датами на кожній сторінці (або всі вони оновлюються при оновленні однієї сторінки), даючи черги пошуковим системам про те, що вони ігрові в системі або ненадійні. Або вони взагалі не пінгують пошукові системи ... так що пошукова система не усвідомлює, що нова інформація була опублікована.

Що таке метадані? Мікродані? Багаті фрагменти?

Розширені фрагменти - це ретельно позначені мікродані що приховано від глядача, але видно на сторінці для використання пошуковими системами або сайтами соціальних мереж. Це відомо як метадані. Google відповідає Schema.org як стандарт для включення таких речей, як зображення, заголовки, описи ... а також безліч інших інформативних фрагментів, таких як ціна, кількість, інформація про місцезнаходження, рейтинги тощо. Схема значно покращить видимість вашої пошукової системи та ймовірність натискання користувачем через.

Facebook використовує OpenGraph протоколу (звичайно, вони не можуть бути однаковими), Twitter навіть має фрагмент, щоб вказати ваш профіль Twitter. Все більше і більше платформ використовують ці метадані для попереднього перегляду вбудованих посилань та іншої інформації під час їх публікації.

Ваші веб-сторінки мають основне значення, яке люди розуміють, коли читають веб-сторінки. Але пошукові системи мають обмежене розуміння того, що обговорюється на цих сторінках. Додаючи додаткові теги в HTML своїх веб-сторінок - теги, на яких написано: "Гей, пошукова система, ця інформація описує цей конкретний фільм, або місце, або особу, або відео" - ви можете допомогти пошуковим системам та іншим програмам краще зрозуміти ваш вміст і відобразити це корисним, відповідним чином. Мікродані - це набір тегів, введених разом з HTML5, що дозволяє вам це робити.

Schema.org, що таке MicroData?

Звичайно, нічого з цього не потрібно ... але я настійно рекомендую їх. Наприклад, коли ви ділитеся посиланням у Facebook, і жодне зображення, заголовок чи опис не з’являється… мало хто зацікавиться і насправді натисне. І якщо ваші фрагменти схеми відсутні на кожній сторінці, звичайно, ви все одно можете з’являтися в результатах пошуку ... але конкуренти можуть виграти вас, коли у них з’явиться додаткова інформація.

Зареєструйте свої XML-файли Sitemap за допомогою Search Console

Якщо ви створили власний контент або платформу електронної комерції, обов’язково, щоб у вас була підсистема, яка здійснює пінг пошукових систем, публікує мікродані, а потім надає дійсну XML-карту сайту для пошуку вмісту чи інформації про товар!

Після того, як файл robots.txt, файли Sitemap і розширені фрагменти будуть налаштовані та оптимізовані на всьому веб-сайті, не забудьте зареєструватися для кожної пошукової консолі (також відомої як інструмент веб-майстра), де ви зможете контролювати стан і видимість вашого сайт на пошукових системах. Ви навіть можете вказати шлях до вашої мапи сайту, якщо жодного з них немає в списку, і подивитися, як пошукова система його використовує, чи є з ним якісь проблеми, і навіть як їх виправити.

Розгортайте червону доріжку в пошукових системах та соціальних мережах, і ви знайдете кращий рейтинг свого сайту, ваші записи на сторінках результатів пошукової системи більше натискають, а ваші сторінки більше діляться в соціальних мережах. Все це складається!

Як Robots.txt, файли Sitemap та MetaData працюють разом

Поєднання всіх цих елементів дуже схоже на розгортання червоної доріжки для вашого сайту. Ось процес сканування, який виконує бот, а також те, як пошукова система індексує ваш вміст.

  1. На вашому веб-сайті є файл robots.txt, який також посилається на ваше розташування XML-карти сайту.
  2. Ваша система управління вмістом або електронна комерція оновлює XML-карту сайту будь-якою сторінкою та публікує дату або редагує інформацію про дату.
  3. Ваша система управління вмістом або електронна комерція пінгує пошукові системи, щоб повідомити їх про те, що ваш сайт оновлено. Ви можете пінгувати їх безпосередньо або використовувати RPC та сервіс, подібний Пінг-о-матік натиснути на всі ключові пошукові системи.
  4. Пошукова система миттєво повертається, поважає файл Robots.txt, знаходить нові або оновлені сторінки за допомогою мапи сайту, а потім індексує сторінку.
  5. Коли він індексує вашу сторінку, він використовує розширені мікродані фрагментів, щоб покращити сторінку результатів пошуку.
  6. Оскільки інші відповідні сайти посилаються на ваш вміст, ваш вміст вищий за рейтингом.
  7. Оскільки ваш вміст ділиться в соціальних мережах, вказана розширена інформація з фрагментами може допомогти правильно переглянути ваш вміст і спрямувати його до вашого соціального профілю.

2 Коментарі

  1. 1

Що ви думаєте?

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.