Як повторно надіслати оновлений або новий файл Robots.txt

роботів txt

Наше агентство займається органічний пошуковий консалтинг для декількох постачальників SaaS у цій галузі. Клієнт, з яким ми нещодавно почали працювати, провів досить стандартну практику, розмістивши свою програму на субдомені та перемістивши свій сайт брошури до основного домену. Це стандартна практика, оскільки вона дозволяє як виробничій команді, так і маркетинговій команді робити необхідні оновлення без будь-якої залежності від іншої.

На першому кроці в аналізі їхнього органічного стану пошуку ми зареєстрували брошуру та домени додатків у веб-майстрів. Саме тоді ми виявили негайну проблему. Усі сторінки додатків були заблоковані для індексації пошуковими системами. Ми перейшли до їх запису robots.txt у веб-майстрах і миттєво виявили проблему.

Під час підготовки до міграції їхня команда розробників не хотіла, щоб піддомен програми був проіндексований пошуком, тому вони заборонили доступ до пошукових систем. Файл robots.txt - це файл, який знаходиться в кореневій частині вашого сайту - yourdomain.com/robots.txt - це дозволяє пошуковій системі знати, чи слід їм сканувати сайт. Ви можете написати правила, що дозволяють або забороняють індексацію на всьому сайті або на певних шляхах. Ви також можете додати рядок, щоб вказати файл вашої карти сайту.

повне г, повне г,, показали, від, номер, XNUMX Robots.txt файл мав такий запис, який перешкоджав скануванню та індексуванню сайту в рейтингу результатів пошуку:

User-Agent: * Disallow: /

Це слід було написати так:

Користувач-агент: * Дозволити: /

Останній надає дозвіл будь-якій пошуковій системі, яка сканує сайт, на те, що вони можуть отримати доступ до будь-якого каталогу або файлу на сайті.

Чудово ... так що тепер robots.txt файл ідеальний, але звідки Google знає і коли вони знову перевірять сайт? Ну, ви можете абсолютно попросити Google перевірити ваш файл robots.txt, але це не надто інтуїтивно.

перейдіть до Пошукова консоль Google Search Console до Сканування> тестер robots.txt. Ви побачите вміст останнього сканованого файлу robots.txt у тестері. Якщо ви хочете повторно надіслати файл robots.txt, натисніть кнопку Надіслати, і з’явиться спливаюче меню з декількома опціями.

повторно надіслати файл robots.txt

Остаточним варіантом є Попросіть Google оновити. Натисніть синю кнопку "Надіслати" поруч із цим параметром, а потім поверніться до Сканування> тестер robots.txt опція меню, щоб перезавантажити сторінку. Тепер ви повинні побачити оновлений файл robots.txt разом із позначкою дати, яка показує, що його знову було проскановано.

Якщо ви не бачите оновленої версії, натисніть "Надіслати" та виберіть Переглянути завантажену версію щоб перейти до вашого фактичного файлу robots.txt. Багато систем кешують цей файл. Насправді IIS генерує цей файл динамічно на основі правил, введених через їхній користувальницький інтерфейс. Швидше за все, вам доведеться оновити правила та оновити кеш, щоб опублікувати новий файл robots.txt.

robots-txt-tester

Що ви думаєте?

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.