Posted:
Дек 23, 2022
Comments:
0 Comments

Посмотреть карту сайта: Как узнать есть ли на сайте sitemap.xml? — Хабр Q&A

Содержание

Карта сайта в 2020. Три эффективных практики, которые приносят результат || Блог Megaindex.com


Какие моменты упускает большинство поисковых оптимизаторов?

Как правильно работать с картой сайта в 2020?

Рассмотрим практики по sitemap.xml, которые стоит применять на практике.

Разберемся с темой далее.

Карта сайта в 2020: практики, которые приносят результат


Практика №1. Трюк с использованием динамической sitemap.xml для индексации большого количества страниц сайта.

Смысл подхода заключается в автоматическом обновлении списка страниц в файле карты после посещения поисковым краулером страниц из sitemap.xml.

Схема такая:

  1. Карта sitemap.xml составляется из списка страниц, которые не попали в индекс поисковой системы;
  2. Краулер поисковой системы посещает карту сайта и индексирует объем страниц согласно краулинговому бюджету;
  3. Посещение краулера фиксируется в логах сервера;
  4. Из карты сайта удаляются адреса страниц, на которые зашел краулер поисковой системы;
  5. В карту добавляются следующий набор страниц подлежащих индексации.


Процесс поддается автоматизации.

Рекомендованный материал в блоге MegaIndex на тему краулингового бюджета по ссылке — Краулинговый бюджет сайта — что это и как его оптимизировать?

Такой трюк решает проблему с индексацией для агрегаторов, на которых размещается большое количество страниц. Пример агрегатора — 2yachts. На сайте большой объем страниц, постоянно происходит ротация страниц. Яхты добавляются и удаляются. Есть проблема с индексацией страниц. Решение проблемы описано выше.

Данный способ подходит для всех сайтов. Применяйте данный способ на практике. В результате проблему с индексацией страниц сайта можно решить.

Практика №2. Скрытие карты сайта в целях защиты от парсинга.

Если на сайте появляются новые страницы с уникальным и ценным контентом, карту сайта следует скрыть от третьих лиц.

Зачем? Технологии и инструменты для парсинга контента стали дешевыми. Парсеры сторонних проектов могут скопировать новый контент в автоматическом режиме, затем опубликовать на стороннем ресурсе и проиндексировать. Как результат, авторство закрепляется за сторонним сайтом, а оригинальные страницы теряют потенциал в поисковой выдаче.

Как скрыть карту? Шаги простые:

  1. Следует использовать альтернативный путь к карте сайта. Стандартный путь следующий — [адрес сайта]/sitemap.xml;
  2. Для поисковых систем указать ссылку на карту сайта через инструменты Google Search Console и Yandex Webmaster.


Допускается любой адрес к файлу и любое название файла карты сайта:

Как направить карту в поисковую систему на индексацию без подтверждения прав на сайт? Есть вариант использовать специальный инструмент ping. Просто подставьте адрес карты в шаблон ссылки и перейдите по ссылке.

https://www.google.com/ping?sitemap=[полный адрес карты сайта]


Пример для indexoid.com.

https://www.google.com/ping?sitemap=https://indexoid.com/sitemaps.xml


Практика №3. Создайте карту сайта для изображений, видео и новостей.Индексация страницы не означает индексацию изображений. Любой файл изображения является отдельным документом от страницы. Специальная карта сайта решит проблему с индексацией изображений на сайте.

Для изображений следует использовать специальный формат карты сайта.

Пример разметки:

<?xml version ="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>http://example.com/primer.html</loc>
<image:image>
<image:loc>http://example.com/kartinka.jpg</image:loc>
</image:image>
<image:image>
<image:loc>http://example.com/photo.jpg</image:loc>
</image:image>
</url> 
</urlset>


Поисковые оптимизаторы очень редко создают sitemap для изображений. Но направление по раскрутке картинок является перспективным. Начинать следует с автоматизации процесса индексации.

Почему это важно? Доля трафика поисковой системы Google Images в мире превышает отметку 20%. Для вебов поисковая система по картинкам является значимым источником трафика.

Рейтинг популярности поисковых систем в мире:

Рекомендованные материалы в блоге MegaIndex на тему раскрутки изображений по ссылкам далее:

  • Появился новый атрибут тега img, который позволяет ускорить загрузку сайта. Пример реализации;
  • Google изменит дизайн выдачи в поиске по картинкам и внедрит разметку licensable;
  • SEO оптимизация изображений — Как получать трафик за счет SEO оптимизации изображений.


Если на сайте есть новости, то сайт следует добавить в Google News и создать специальную sitemap для новостей.

Пример разметки:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www. sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9"> <url> <loc>http://www.example.org/business/article55.html</loc> <news:news> <news:publication> <news:name>The Example Times</news:name> <news:language>en</news:language> </news:publication> <news:publication_date>2008-12-23</news:publication_date> <news:title>Companies A, B in Merger Talks</news:title> </news:news> </url> </urlset>


Выше расписаны практики, которые позволяет наладить индексацию. Какие есть технические требования к карте сайта?

Технические требования

Какие ограничения установлены для файла sitemap? Максимальное количество страниц в карте сайта не должно превышать 50 000 ссылок, а максимальный допустимый размер файла не должен превышать 50 мегабайт.

Если страниц больше — не проблема.

Решения:

  1. Поисковые системы способны обрабатывать карты сайта в формате архива;
  2. Допускается создание 500 sitemap для одного сайта. Решение проблемы заключается в разгруппировке большой карты сайта на более мелкие.


Если файлов sitemap множество, то следует создать файл с индексом карт сайта, так называемый sitemapindex.

Пример разметки:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://site.com/sitemap1.xml.gz</loc>
</sitemap>
<sitemap>
<loc>https://site.com/sitemap2.xml.gz</loc>
</sitemap>
</sitemapindex>

Как проиндексировать карту сайта без добавления сайта в инструменты Yandex, Google? Есть 2 решения:

  • Использовать ping;
  • Прописать полный путь к карте сайта в файле директив для краулера robots.


Как без ошибок прописать путь к sitemap в robots.txt? Путь задается через указатель Sitemap.

Пример:

Sitemap: https://seoheronews.com/sitemap.xml
Sitemap: https://seoheronews.com/blog-sitemap.xml


В robots важны следующие нюансы:

  • Директива Sitemap указывается с заглавной буквы S;
  • Sitemap не зависит от инструкций User-Agent;
  • Нельзя использовать относительный адрес карты сайта, только полный адрес к карте.

Как создать sitemap? Задача по автоматизации sitemap.xml относится к нише разработки сайта.

Есть сервисы для создания карт сайта, но такие сервисы не особо полезны на практике.

  • xml-sitemaps.com
  • web-site-map.com
  • xmlsitemapgenerator.org
  • freesitemapgenerator.com
  • xsitemap.com


Кстати найти мелкие проблемы на сайте способен инструмент по аудиту сайтов от MegaIndex.

Ссылка на сервис — Аудит сайта.

Пример отчета для сайта seoheronews.com.

Выводы


Зачастую при продвижении карта сайта используется просто как файл со списком всех страниц сайта. Не более.

В основном на проектах данный файл является статическим. В таком случае sitemap не решает задачу по индексации всех страниц сайта ввиду ограничений краулингового бюджета.

Но потенциал применения карты сайта намного больше. Описанный выше трюк позволяет отладить и автоматизировать процесс индексации всех страниц для любых сайтов, включая крупные проекты на десятки тысяч страниц.

Рекомендованный материал в блоге MegaIndex на тему индексации страниц сайта по ссылке — Как быстро проиндексировать страницы чужих сайтов. И зачем?

Специальная карта сайта для изображений решает проблему с индексацией графики.

Данный способ эффективен для магазинов. Для примера, на практике с помощью карты изображений удалось проиндексировать все изображения, которые были размещены на сайте магазина по продаже ламината. На магазин стал приходить трафик из поиска по изображениям. Дополнительных действий по внешнему продвижению не проводилось.

Есть вопросы? Как вы используете карту сайту? Напишите в комментариях.

Sitemap.xml (карта сайта): как создать и настроить

В интернет-маркетинге важны даже мелочи. Нередко владельцы бизнеса онлайн остаются недоуменными: уже придуман качественный контент, активно идет рекламная кампания, интернет-магазин или лендинг радует эксклюзивным дизайном и юзабилити, даже СЕО-параметры в норме, но притока клиентов нет! Настроенной SEO оптимизации и точного таргетирования аудитории недостаточно: провал случается, ведь конверсия зависит от множества параметров! Стоит поинтересоваться: настроил ли владелец Sitemaps xml (карта сайта)? Это небольшое, действенное решение, помогающее в продвижении ресурса, ускоряющее его индексацию основными поисковиками. В первую очередь мы говорим о ПС Яндекс и Google.  Сегодня обязательна раскрутка и оптимизация любого интернет-бизнеса, следовательно, разработке сайтмапа придается большое значение. Начнем сначала: определим понятие, что это такое, зачем используется и как работает.

Что такое карта сайта и для чего она нужна?

Карта сайта (сайтмап) – своеобразный гид, помогающий роботам быстро и точно индексировать ресурс. Представьте: вы ходите по незнакомому городу без экскурсовода или строите маршрут без географических карт и контактов перевозчиков. Аналогично ведут себя роботы поисковых систем, вынужденные индексировать ресурс без путеводителя. Наличие ее особенно важно ресурсам, насчитывающим сотни, тысячи разделов. Ресурсу, содержащему около 20-30, она пригодится не меньше. Что происходит без путеводителя?

  • Роботы Google игнорируют новые разделы, созданные недавно: приходится просканировать все целиком заново, чтобы индексировать нововведения. Учитывая современное количество информации, ежедневно появляющейся в сети, гарантия, что роботы проиндексируют ваш добросовестно, отсутствует. Можно сказать, шансы, что поисковые алгоритмы просканируют один-два URL, а остальные просто проигнорируют, достаточно высоки. Аналогично и с обновленными разделами, УРЛ с длинной цепочкой линков перехода, приоритетами индексации, периодичностью индексации.
  • Если частично индексация провалена, пользователи могут вместо перехода на искомый раздел увидеть на экране ошибку 404 : в ваш магазин они не попадут, продуктами не заинтересуются, не купят, а прибыль утечет конкурентам.
  • Она влияет на скорость индексирования. Не скидывайте важный параметр для конкурентов со счетов: если контент исправно воруют, оперативная переиндексация позволит вам сохранить право первоисточника. Иначе ваш лично скреативленный контент, опубликованный и индексированный на чужом источнике раньше по времени, признается плагиатом. При наличии “путеводителя”, роботы проведут индексацию быстрее, и если вы запускаете новый онлайн-проект, отлично, конкуренты не успеют украсть контент, а значит, вы признаны первоисточником, и позиции в ТОП выдачи окажутся выше.

Это не просто удобный проводник, это рабочий инструмент оптимизации.  Создается он в формате XML. Дополнительно можно составить дерево сайта в HTML, как настоятельно рекомендуют крупные поисковики, но фактически это важно только посетителям, при логичной структуре этап пропускают. Польза его очевидна, осталось дело за малым: как сделать карту сайта? Вебмастеру предстоит выбрать между двумя решениями:

  • Автоматическое создание карты сайта – просто и удобно. Достаточно воспользоваться онлайн-сервисом, и все!
  • Создание карты сайта вручную – нередко используется для точной и динамической настройки сайтмапа.

Оба варианта, бесспорно, имеют право быть, об их особенностях мы расскажем подробно.

Сервисы для создания Sitemap XML (карты сайта)

Создать Sitemap (карту сайта) онлайн можно при помощи нескольких сервисов. Самым популярным остается MySitemapGenerator. Есть и готовые программные решения – например, Site Map Generator. Существуют онлайн-генераторы, которые набирают популярность – Cy-Pr яркий тому пример. В целом, решений немало, и они все более или менее эффективны.  Почему же генератор Sitemap (карты сайта) не является универсальным оружием в руках вебмастеров? Причины тому две:

  • Ограниченное число позиций, которые можно добавить. То есть, для количества в сотню и меньше, этот недостаток не повлияет на результат, и создавать ее вы сможете при помощи генератора без проблем, но в случае, когда планируется гайд на 500+ позиций, тот же MySiteMapGenerator бесплатно вам ее генерировать не будет: придется выбрать платную версию. И при каждом апдейте снова доплачивать за генерацию.
  • И тут мы подходим ко второму недостатку, гораздо более существенному: сгенерировать при помощи онлайн-генераторов или программ можно только в статическом виде. Если вам необходимо часто менять ассортимент магазина, заливать статьи в блог или публиковать новости, такой вариант вам не подойдет, поскольку каждый раз при обновлении придется заново создавать, а затем заливать ее на сервер, иначе нововведения не будут индексироваться роботами.

Но в целом, для источников с нерегулярным или редким изменением контента и малым числом разделов создать Sitemap онлайн вполне реально.

Правила составления

Разберем подробнее, как создать Sitemap для Google.

  1. Генерируется он с привязкой к адресу xyz.net/Sitemap.xml (здесь xyz.net заменяем на ваш домен). Eсли после генерации она открывается с другим адресом, достаточно настроить редирект на этот адрес с предыдущего URL.
  2. Она выглядит, как документ с перечнем линков и указанием данных о частоте их обновления, приоритете, последнем обновлении (директив). Для данных используются директивы changefreq, priority, соответственно.
  4. Ваш сайтмап должен совпадать с данными файла robots.txt. Если вы в «роботах» закрыли от индексации какие-либо УРЛ (содержащие служебную информацию, теги), в Sitemap указывать не стоит.
  5. Не включайте URL с ошибками, тестовые и остальной «мусор».
  6. Существуют ограничения: менее 50000 линков, итоговый файл размером менее 10 Мб.

Что делать, если в Sitemap более 50 тысяч позиций?

Перед тем, как сделать карту сайта, посмотрите, нет ли в списке URL тестовых, неиндексируемых страниц, а также ссылок, которые создаются за счет использования фильтров и категорий. Также можно разбить ее на части: сделать отдельные дочерние Site maps для разных типов, категорий или разбить их по другим параметрам. Уменьшить вес до требуемых 10 Мб и собрать все варианты с дочерними воедино можно просто: заархивируйте их! Единственное условие: расширение архива должно быть .gz.

Генерация карты сайта через популярные CMS?

Сегодня собственная CMS чуть ли не обязательный must-have для уважающих себя владельцев бизнеса онлайн. Благо, практически для каждой из них есть возможность генерации сайтмапа в самой CMS. И мы в Idea Digital Agency решили рассмотреть основные три системы управления и то, как обеспечить построение с их помощью. Разумеется, речь пойдет о самых востребованных на нашем рынке CMS: WordPress, OpenCart и 1С Битрикс.

WordPress

Чтобы создать путеводитель в юзер-френдли среде Вордпресс, достаточно нескольких простых действий:

  • Понадобится установить плагин для оптимизации WP Yoast SEO
  • Не забудьте его активировать. Позже он поможет вам и с другими настройками СЕО.
  • В меню плагина выбираем XML-map и настраиваем ее: вносим максимальное число URL (до 50000 позиций, помните!), маркируем страницы, которые не должны индексироваться, нажимаем Enabled – готово!

 Плагин для WordPress удобен тем, что он может генерировать сайтмап не единожды и хранить все варианты, доступ к ним прост и логичен. Также если посмотреть на пример Sitemap xml в Вордпрессе, то он удобен и понятен, как самим вебмастерам, так и поисковым роботам. Недостаток один: встроенных параметров периодичности и приоритета у него нет, и либо придется давать задание программистам по «допиливанию» плагина, либо обновлять вручную каждый раз.

OpenCart

Чтобы разработать этот инструмент в CMS OpenCart нам понадобится модуль Гугл Сайтмап. Если у вас его нет в админ панели, установите его, активируйте и переведите в режим «включено». В общем-то и все! Ниже в окошке вы увидите готовый УРЛ, который можно вставлять в robots. txt. Особенность только одна: URL будет выглядеть явно не так, как в примере, который мы приводили выше. Но это можно исправить простым 301 редиректом.

Хотите заказать комплексное интернет-продвижение или разработку сайта?

Заполните простую форму и мы свяжемся с вами в ближайшее время.

1C-Битрикс

  • Заходим в админ панель и выбираем в меню раздел «Маркетинг».
  • Выбираем пункт с говорящим названием «Настройка сайт мап».
  • В случае, если карта уже существует, вы увидите ссылку и дату создания. Ее можно отредактировать, нажав соответствующую кнопку в верхней части окна. Если исходника не было, и нет – нажимаем кнопку «Создать».
  • Шаг за шагом заполняем настройки. Они здесь распределены по четырем вкладкам. В каждой вкладке есть поля, в которых вы можете задать: корректный адрес, те страницы, которые должны попасть в карту и исключения.
  • После выставленных настроек достаточно нажать кнопку «Сохранить и запустить», и вы получите результат.

Все просто и удобно, но есть и свои особенности: иногда 1С-Битрикс творит чудеса и добавляет страницы по умолчанию, даже созданные в прошлом веке, удаляет определенные типы URL из индексации или дублирует дочерние.

Как залить карту сайта на ваш ресурс

Итак, все готово, осталось дело за малым — как добавить карту на сайт? Но прежде не забудьте проверить: проверка Sitemap xml дело пары минут, но нервы она вам сбережет. Сделайте это специальными сервисами, например, XML Sitemaps. Достаточно загуглить, перейти по ссылке, залить файл и запустить проверку. После этого внесите линк Site map в файл robots.txt: оттуда его будут идентифицировать поисковики. Добавьте URL сайтмапа в панели Гугл Серч Консоль и Яндекс.Вебмастер. Материал по теме: Google Search Console: как добавить сайт и лайфхаки для SEO

  • У Google это подменю «Сканирование», раздел «Файлы Sitemap», введите в них ссылку на карту.
  • У Яндекса – подменю «Индексирование», раздел «Файлы Site map».

Оба сервиса дополнительно предлагают тестирование своими силами, и скипать этот этап не стоит: две проверки точнее одной. Если вы не знаете, как посмотреть карту сайта, вы можете найти ссылку на нее:

  • В файле robots.txt.
  • В настройках вашей CMS,
  • В настройках сервисов Яндекс и Гугл.

Карту сайта сделать несложно, независимо, хотите вы использовать автоматические сервисы-генераторы или поработать над созданием через CMS вручную. Оба варианта реализуемы неопытными владельцами, но обращение к профессионалам станет лучшим решением, если хотите избежать ошибок и получить ощутимый результат. Польза такого гайда вполне ощутима. Не пренебрегайте этим полезным инструментом, и ваш ресурс будет корректно отображаться в выдаче ПС, а страницы будут быстро и точно проиндексированы в режиме обновления контента 24/7.

Также обязательно ознакомьтесь с нашей статьей: Подборка инструментов для SEO аналитики

Как найти XML-карту сайта веб-сайта

Обновлено: 17 августа 2022 г.

В этом кратком руководстве я покажу вам, как найти карту сайта любого веб-сайта 8 простыми способами.

Идентификация и анализ XML-карты сайта веб-сайта — одна из основных задач, которые каждый оптимизатор выполняет при аудите веб-сайта.

В 95% случаев XML-карту сайта найти очень просто, так как она либо указана в файле robots.txt, либо находится в стандартном месте.

Но что, если сайт, который вы проверяете, входит в эту группу 5%, и у вас возникли проблемы с поиском его XML-карты сайта? Тогда это руководство, которое вы искали.

Обязательно ознакомьтесь с моим руководством по , как провести SEO-аудит (190+ шагов).

Как найти XML-карту сайта любого веб-сайта 8 способами

Как выглядит карта сайта? Есть ли у моего сайта карта сайта?

# 1: Вручную проверьте общие местоположения, чтобы найти карту сайта веб-сайта

#2: Проверьте, указана ли карта сайта XML в robots. txt

# 3: Используйте операторов поиска Google, чтобы найти XML-карту сайта

# 4: Проверьте, была ли карта сайта в формате XML отправлена ​​в Google Search Console.

# 5: Проверьте, была ли карта сайта XML отправлена ​​​​в Bing

# 6: Используйте инструмент SEO Site Checkup

# 7: Проверьте расположение стандартной XML-карты сайта CMS

# 8: Найдите другие типы файлов Sitemap

Нашли карту сайта? Вот что делать дальше.

Не нашли XML-карту сайта? Сделай это.

Как найти XML-карту сайта любого веб-сайта 8 способами последние обновления для тегов расширений карты сайта.

Прежде чем мы начнем, обратите внимание, что: 

  • Самое распространенное и стандартное расположение карты сайта — это, конечно же, корневой каталог домена.
  • Однако это расположение не является ни требованием, ни официальным стандартом. Это означает, что карта сайта может быть размещена в подкаталоге или даже в совершенно другом домене. Некоторые люди делают это, чтобы скрыть свои карты сайта от конкурентов.
  • То же самое относится и к имени файла, которое не обязательно должно быть «карта сайта» или содержать слово «карта сайта».

Вот почему я показываю вам здесь все более и менее очевидные местоположения карты сайта веб-сайта. Это все варианты, которые я видел за свой 10-летний опыт работы SEO-консультантом .

Как выглядит карта сайта? Есть ли у моего сайта карта сайта?

И еще одно. Хорошо, когда ты точно знаешь, что ищешь! Перейдите на сайт Sitemaps.org , чтобы узнать, как выглядит XML-карта сайта и как она создается, если вы этого не знаете.

Вот снимок экрана с образцом XML-карты сайта, представленной на sitemaps.org:

Как вы, наверное, заметили, в этом примере карты сайта используются устаревшие параметры, такие как и , которые Google игнорирует.

А вот скриншот индекса карты сайта на моем сайте:

Код XML карты сайта моего сайта.

Ладно, пора, наконец, приступить к детективной работе.

№ 1. Проверка общих местоположений вручную для поиска карты сайта веб-сайта

Это самый очевидный и быстрый способ найти карту сайта. В большинстве случаев это все, что вам нужно сделать, чтобы обнаружить XML-карту сайта веб-сайта.

Наиболее распространенные местоположения файлов Sitemap:

  • /sitemap.xml
  • /sitemap_index.xml (индекс файлов Sitemap) 

    • /redirects

  • sitemaps .xml) 

Конечно, все, что идет перед «/», является доменным именем вашего веб-сайта.

В случае моего веб-сайта (основанного на WordPress) местоположение карты сайта по умолчанию https://seosly.com/sitemap.xml перенаправляет на https://seosly.com/sitemap_index.xml.

XML-карта сайта, созданная Rank Math для моего веб-сайта.

Как вы можете видеть, индекс карты сайта имеет следующие две карты сайта:

  • https://seosly.com/post-sitemap.xml
  • https://seosly.com/page-sitemap.xml

А вот другие возможные имена файлов для карты сайта или индекса карты сайта: 

  • /sitemap.php
  • /sitemap.txt
  • /sitemap.xml.gz (с использованием сжатия gzip)
  • /sitemap1. первая карта сайта в группе)
  • /post-sitemap.xml (карта сайта постов, как у меня на сайте)
  • /page-sitemap.xml (карта сайта страниц, тоже как у меня сайт)
  • /sitemap-index.xml (с «-» вместо «_»)
  • /sitemapindex.xml (без разделения)
  • /sitemap_index.xml.gz (с использованием сжатия Gzip)
  • /sitemap/index.xml ( во вложенной папке) 

И веб-сайт также может использовать свой фид в качестве карты сайта, и в этом случае карта сайта может быть примерно такой:

  • /rss/ (канал RSS в качестве карты сайта)
  • /rss. xml (канал RSS в качестве карты сайта)
  • /atom.xml (фид Atom в виде карты сайта) 

Вы видите? Множество возможностей.

#2: Проверьте, указана ли XML-карта сайта в robots.txt

Еще один очевидный и быстрый способ обнаружить XML-файл — проверить robots.txt.

Robots.txt — это специальный файл, содержащий директивы для роботов поисковых систем. Здесь также можно разместить ссылку на карту сайта, чтобы поисковым системам было легче обнаружить карту сайта и просканировать веб-сайт.

Чтобы просмотреть файл robots.txt любого веб-сайта, просто добавьте /robots.txt к домену. В случае с моим сайтом это https://seosly.com/robots.txt.

Вот содержимое файла robots.txt моего веб-сайта: 

Последняя строка указывает расположение карты сайта.

☝️ СОВЕТ ПРОФЕССИОНАЛА: Если сайт имеет нестандартное расположение карты сайта, то в файле robots. txt это должно быть указано.

Если вы хотите узнать больше о файле robots.txt, о том, что это такое, для чего он нужен и как его следует использовать, ознакомьтесь с вводной частью robots.txt в Google Search Central.

⚡ Если вы используете WordPress, ознакомьтесь с моим руководством по доступу к robots.txt в WordPress.

#3: Используйте операторы поиска Google, чтобы найти XML-карту сайта

Вы также можете найти XML-файл с помощью операторов поиска Google (нажмите, чтобы просмотреть полный список операторов поиска, работающих в настоящее время в Google).

Существует как минимум несколько операторов, которые можно использовать для поиска XML-карты сайта веб-сайта: 

  • site:
  • тип файла: или ext:  
  • inurl:  

попробуем найти эти операторы XML sitemap.

Команда site:moz.com filetype:xml или site:moz. com ext:xml будет искать файлы XML в домене moz.com.

 Вы также можете немного сузить поиск и попробовать что-то вроде site:moz.com filetype:xml inurl:sitemap или site:moz.com ext:xml inurl:sitemap , который будет искать XML-файлы со словом «sitemap» в домене moz.com.

Вы также можете искать файлы Sitemap, которые имеют другой тип файла, чем XML, например текстовые файлы.

Для этого вы можете использовать команду site:moz.com filetype:txt inurl:sitemap или site:moz.com ext:txt inurl:sitemap , которая будет искать текстовые файлы, содержащие слово «карта сайта». ” в домене moz.com

СОВЕТ ПРОФЕССИОНАЛА: Обратите внимание, что этот метод будет работать только в том случае, если XML-карта сайта индексируется (и действительно индексируется Google).

СОВЕТ ПРОФЕССИОНАЛА 2: Многие популярные плагины WordPress, которые автоматически генерируют XML-карты сайта (например, Rank Math), добавляют тег «noindex, follow» в карты сайта.

Если это так, то вы не сможете найти карту сайта с помощью операторов поиска Google. Вот как XML-карта сайта создается на моем веб-сайте. Если бы я хотел найти его с помощью оператора поиска, я бы не смог его найти.

Нет результатов, несмотря на то, что у меня есть карта сайта.

#4: Проверьте, была ли карта сайта в формате XML отправлена ​​в Google Search Console

Другим местом для поиска карты сайта является Google Search Console . Этот шаг будет работать, только если у вас есть доступ к учетной записи GSC для веб-сайта. Если он у вас есть, вот что вам нужно сделать:

  • Войдите в Google Search Console.
  • В разделе Index перейдите к Sitemaps .

Здесь вы можете найти XML-карту сайта в Google Search Console.

  • Если карта сайта в формате XML была отправлена ​​в Google, вы увидите ее в разделе Отправленная карта сайта s.

Это отправленные XML-карты сайта для моего веб-сайта.

Если вы новичок в Google Search Console или на анализируемом веб-сайте нет учетной записи GSC, обязательно ознакомьтесь с базовым руководством по Google Search Console в Google Search Central.

СОВЕТ ПРОФЕССИОНАЛА: Google Search Console — это инструмент, который должен использовать любой веб-сайт, который хочет быть видимым в Google.

👉 Говоря о GSC, вы можете узнать о новом отчете статистики сканирования в Google Search Console . Кроме того, ознакомьтесь с моим руководством по , как добавить нового пользователя в GSC , если вы хотите, чтобы кто-то еще получил доступ к вашим данным GSC.

#5: Проверьте, была ли карта сайта XML отправлена ​​в Bing

Вы также можете найти карту сайта XML в инструментах Bing для веб-мастеров так же, как вы делали это в Google Search Console.

Этот шаг имеет смысл только в том случае, если у веб-сайта есть учетная запись в Bing Webmaster Tools. Вот как проверить, была ли отправлена ​​карта сайта в формате XML:

  • Войдите в Bing Webmaster Tools .
  • На левой панели выберите Sitemaps .

XML-карты сайта в инструментах Bing для веб-мастеров.

  • Если есть отправленные карты сайта, вы увидите их справа под Карта сайта s.

☝️ СОВЕТ ПРОФЕССИОНАЛА: Это также место, где вы можете отправить XML-карту сайта в Bing.

#6: Используйте инструмент проверки сайта для SEO

URL-адрес инструмента : https://seositecheckup.com/tools/sitemap-test

Вот как проверить наличие на веб-сайте XML-карты сайта с помощью инструмента SEO Site Checkup: 

  • Введите URL-адрес веб-сайта, который вы хотите проверить.

Этот инструмент позволяет быстро проверить наличие на сайте XML-карты сайта.

  • Нажмите Enter или щелкните Checkup . Результаты будут доступны в течение нескольких секунд.

Это результат проверки XML моего сайта.

  • Вы также можете добавить другие URL-адреса (например, URL-адреса конкурентов) и сравнить результаты.

Это позволяет сравнивать проверки карты сайта в нескольких/разных доменах.

☝️ СОВЕТ ПРОФЕССИОНАЛА: Обратите внимание, что этот инструмент проверяет возможные стандартные местоположения XML-карты сайта и иногда может не обнаружить карту сайта, даже если она есть на веб-сайте.

#7: Проверьте расположение стандартной XML-карты сайта CMS

В зависимости от CMS веб-сайта XML-карты сайта могут быть доступны по разным URL-адресам.

Самые популярные системы управления контентом имеют свои собственные XML-карты сайта по умолчанию, которые также стоит проверить.

  • Если вы знаете CMS изучаемого веб-сайта, скорее всего, его XML-карта сайта находится в расположении по умолчанию для этой CMS.
  • Если вы не знаете CMS, вы можете проверить ее с помощью такого инструмента, как CMS Detect . Все, что вам нужно сделать, это ввести URL-адрес и нажать Detect CMS .

CMS Detect позволяет быстро проверить CMS сайта.

Ниже приведены стандартные расположения карт сайта XML для наиболее популярных систем управления контентом и ссылки на документацию.

Расположение карты сайта по умолчанию в WordPress 

С июля 2020 года в WordPress 5.5 появилась новая функция XML карты сайта. Это означает, что вам не нужен какой-либо плагин для создания карты сайта для вашего сайта WordPress.

Если веб-сайт WordPress использует эту функцию, то его карта сайта доступна по адресу /wp-sitemap.xml .

Если на веб-сайте WordPress используется один из плагинов, которые автоматически создают карту сайта, она доступна по одному из следующих адресов:

  • /sitemap.xml
  • /sitemap_index.xml
  • 5 post-sitemap.xml
  • /page-sitemap. xml
  • /category-sitemap.xml
  • /tag-sitemap.xml

    • 1 Вы также можете просто проверить настройки плагина увидеть точное местоположение карты сайта.

    Большинство автоматически генерируемых карт сайта в WordPress также добавляют запись карты сайта в robots.txt.

    Расположение карты сайта по умолчанию в Wix

    Wix автоматически позаботится о карте сайта для вас, и ваша единственная задача — отправить ее в Google Search Console. Место по умолчанию для основной карты сайта в Wix также /sitemap.xml .

    Другие URL-адреса в Wix для разных карт сайта:

    • /pages-sitemap.xml для Pages
    • /blog-pages-sitemap.xml для нового блога Wix
    • /store-products-sitemap.xml для Wix Stores
    • /booking-services-sitemap.xml
    • 7 для Wix Bookings
    • /forum-pages-sitemap.xml для форума Wix
    • /event-pages-sitemap. xml для событий Wix
    • /member-profile-sitemap.xml для участников

      • 5

    • 5 -sitemap.xml для данных Wix и страниц маршрутизатора
    • /other-pages-sitemap.xml для других страниц, не принадлежащих ни к одной из вышеперечисленных категорий

    Подробнее о картах сайта в Wix можно узнать здесь.

    Расположение карты сайта по умолчанию в Squarespace

    Squarespace так же, как и Wix, заботится о карте сайта. Расположение карты сайта по умолчанию для веб-сайтов Squarespace также /sitemap.xml .

    Вы можете узнать больше о картах сайта в Squarespace здесь.

    Расположение карты сайта по умолчанию в Shopify

    В Shopify карта сайта также имеет стандартное местоположение: /sitemap.xml .

    Вы можете узнать больше о картах сайта в Shopify здесь.

    Расположение карты сайта по умолчанию в Joomla

    Расширения, доступные для Joomla, также автоматически генерируют карту сайта веб-сайта. Стандартное расположение карты сайта Joomla XML: /sitemap.xml .

    Вы можете узнать больше о картах сайта в Joomla здесь.

    Расположение карты сайта по умолчанию в Magento  

    И, наконец, несколько слов о картах сайта в Magento. Этот также использует стандартное расположение карты сайта /sitemap.xml , но вы можете изменить его, если хотите.

    Вы можете узнать больше о картах сайта в Magento здесь.

    #8: Поиск других типов файлов Sitemap

    XML — это наиболее распространенный формат карты сайта, который используется для информирования роботов о веб-страницах веб-сайта.  Однако существуют и другие возможные форматы файлов Sitemap, которые роботы поисковых систем распознают и уважают:

    • HTML , который обычно предназначен для пользователей, но также может помочь роботам находить веб-страницы. Расположение карты сайта в формате HTML может быть /sitemap/ .
    • RSS , где веб-сайт может использовать RSS-канал в качестве карты сайта. Расположение карты сайта RSS-канала обычно /rss/ или /rss.xml .
    • Atom , где веб-сайт может использовать фид Atom в качестве карты сайта. Расположение карты сайта канала Atom обычно /atom.xml .
    • TXT , который является просто текстовым файлом. Расположение текстовой карты сайта часто /sitemap.txt .

    Если вы обнаружите какие-либо из перечисленных выше типов карт сайта, не паникуйте. Они тоже в порядке, и Google их прекрасно понимает.

    Карта сайта для Google — это просто список ссылок на страницы веб-сайта, которые владелец веб-сайта хочет просканировать и проиндексировать в Google.

    Нашли карту сайта? Вот что делать дальше.

    На картах сайта прямо из Google можно прочитать много интересного. Я настоятельно рекомендую вам проверить следующее:

    • Основы карты сайта , чтобы узнать основы работы карты сайта.
    • Разделение больших карт сайта , если вы имеете дело с огромными веб-сайтами.
    • Карты сайта для видео , если вы анализируете сайт с большим количеством видео.
    • Карты сайта изображений , если на сайте много ценных изображений.

    Не нашли карту сайта в формате XML? Сделай это.

    Скорее всего, на сайте просто нет карты сайта. Если это так, ваш следующий шаг должен состоять в том, чтобы создать или рекомендовать создать его. Вы можете проверить руководство Google по созданию и отправке карты сайта .

    Как найти карту сайта веб-сайта

    Не можете найти карту сайта веб-сайта?

    Иногда бывает сложно найти карту сайта, так как существует несколько способов ее создания.

    Затем есть все различные типы файлов XML, TXT, RSS и ATOM. С чего начать?

    Я дам вам 5 способов найти карту сайта на любом сайте.

    Прежде чем мы перейдем к делу, давайте определим, что такое карта сайта. Знание этого поможет нам найти, где прячется карта сайта.

    Вы не можете скрыть карту сайта, мы вас ищем!

    После того, как вы нашли карту сайта, не забудьте отправить ее в Google и Bing.

    Что такое карта сайта?

    Карта сайта — это список всех страниц вашего сайта.

    Программное обеспечение, которое посещает ваш веб-сайт, называется поисковым роботом и использует эту карту сайта для поиска.

    Хорошим примером поискового робота является Googlebot. Робот Googlebot посещает ваши страницы, читает их и добавляет содержимое в поиск Google.

    Вот почему так полезна карта сайта. Вместо поиска всех страниц роботом Googlebot всю тяжелую работу выполняет карта сайта. Ускорение поиска ваших страниц роботом Googlebot.

    Помимо карты сайта, вы также должны сообщить Google, где вы ее храните. Затем Googlebot может использовать эту карту сайта при следующем посещении.

    Чтобы сообщить Google, добавьте карту сайта в Google Search Console.

    Но что именно мы представляем?

    Существует несколько форматов карт сайта, например:

    • XML
    • Файл RSS/АТОМ
    • Простой текстовый файл

    Наиболее распространенным является XML, поскольку он является наиболее гибким. Это позволяет вам связывать карты сайта вместе и ссылаться на страницы, относящиеся к конкретному языку.

    Этот файл выглядит как HTML, например:

     

  <ссылка>
    http://www.example.com/foo.html
    2018-06-04
  
...

    В этом примере перечислены страницы сайта, а также время последнего изменения страницы с использованием тега lastmod .

    Вы также можете сделать то же самое с каналами RSS или ATOM. Это XML-каналы в другом формате.

    Почти все программное обеспечение для блогов может создавать каналы RSS или ATOM. Но будьте осторожны с этим.

    Некоторое программное обеспечение для блогов выдает только список последних сообщений в блогах. Вы должны указать все страниц вашего сайта в карте сайта.

    Последний тип представляет собой обычный текстовый файл. Хотя это менее распространено, но все еще используется, вот образец карты сайта от Starbucks:

     https://www.starbucks.com/menu
https://www.starbucks.com/menu/drinks
https://www.starbucks.com/menu/drinks/горячий кофе
...

    Текстовый файл содержит только список страниц сайтов, по одной странице в каждой строке. Дополнительная информация, такая как дата последнего изменения, отсутствует. Это самый простой, но и наименее гибкий.

    Если вам нужно создать карту сайта для нового сайта, используйте формат XML.

    Много файлов Sitemap

    При посещении крупных сайтов, таких как BBC, вы обнаружите, что у них много файлов Sitemap. Это связано с тем, что существует ограничение в 50 000 страниц и размер файла в 50 МБ.

    Чтобы связать карты сайта вместе, можно создать главную карту сайта, которая будет ссылаться на все остальные.

    Для этого вы должны использовать XML и тег sitemap , как показано ниже:

     ...
<карта сайта>
  
    https://example.com/hats/sitemap.xml
  

...

    Мы рассмотрели, что такое карта сайта и как она разбивается на множество файлов. давайте посмотрим, как можно найти карту сайта.

    Как найти карту сайта?

    Существует 5 способов найти карту сайта на сайте. Это:

    • Использовать Robots.txt
    • Вручную
    • Использовать поиск Google
    • Найти карту сайта RSS в источнике
    • Консоль поиска Google

    Начиная с самого простого и заканчивая самым сложным. Начнем с роботов!

    Использовать Robots.txt

    Если повезет, карта сайта будет в файле robots. txt.

    Как и карта сайта, файл robots также используется поисковыми роботами.

    Искатель Googlebot использует файл robots.txt, чтобы определить, куда он может и не может идти.

    Чтобы найти этот файл, добавьте /robots.txt в конец URL-адреса. Например:

    https://exmaple.com/robots.txt

    Каждая строка в этом файле является «правилом», и сканер следует каждому из перечисленных правил.

    Искатель должен знать, куда идти, и правило Sitemap: показывает сканеру, где находятся все страницы.

    Например, если мы посмотрим на текстовый файл robots из Airbnb, мы увидим карты сайта, перечисленные в конце файла:

     Карта сайта: https://www.airbnb.com/sitemap-master-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2_poi-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-homes_filters_expansion-urls-index.xml. gz
Карта сайта: https://www.airbnb.com/sitemap-homes_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-things_to_do_cities_and_categories-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-places_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_p2-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-additional_things_to_do-urls-index.xml.gz

    Если вам повезло, у вас теперь есть карта сайта. Если нет, давайте посмотрим на ручную проверку.

    Вручную

    Один из способов найти карту сайта — попробовать разные распространенные URL-адреса. Чаще всего карта сайта находится по адресу sitemap.xml . Таким образом, добавив это в конец доменного имени, вы можете проверить, существует ли карта сайта:

    .

    https://example.com/sitemap.xml

    Если вы получили ошибку 404, то карта сайта не найдена, и мы можем попробовать другое имя файла.

    sitemap.xml — самый распространенный, но не единственный.

    Чтобы получить список других распространенных имен файлов карты сайта, мы просмотрели карты сайта более чем 7000 веб-сайтов.

    Вот список общих имен файлов для карты сайта, основанный на этом исследовании:

    • /sitemap.xml
    • /sitemap_index.xml
    • /sitemap-index.xml
    • /карта сайта/
    • /post-sitemap.xml
    • /sitemap/sitemap.xml
    • /карта сайта/index.xml
    • /rss/
    • /rss.xml
    • /sitemapindex.xml
    • /sitemap.xml.gz
    • /sitemap_index.xml.gz
    • /sitemap.php
    • /sitemap.txt
    • /атом.xml

    Если ничего из этого не работает, добавьте заглавную букву, например, /Sitemap.xml . Попробуйте добавить заглавную букву к любому из названий файлов выше.

    Если у вас по-прежнему ничего нет, давайте рассмотрим использование Google Search.

    Использовать поиск Google

    Мы можем использовать магию поиска Google для поиска XML-файлов. Мы также можем сузить поиск до определенного сайта.

    Для поиска файлов XML на BBC можно использовать поиск:

    inurl:bbc.co.uk тип файла:xml

    Это возвращает карту сайта:

    Если вы получаете много страниц в результатах, вы можете сузить их, выполнив поиск карты сайта в URL-адресе, например:

    сайт:example.com inurl:тип файла карты сайта:xml

    Не забывайте, что карты сайта также могут быть текстовыми файлами. Делая то же самое для Starbucks, вы можете найти карту сайта:

    сайт:starbucks.com inurl:карта сайтатип файла:txt

    Поиск выше возвращает карту сайта:

    Если вы все еще не можете его найти, давайте посмотрим, является ли это RSS-каналом.

    Вы можете использовать RSS-канал в качестве карты сайта, и многие блоги создают этот файл по умолчанию.

    Чтобы найти файлы, просмотрите исходный код HTML-страницы.

    Например, если мы откроем браузер Chrome и перейдем на страницу новостей SpaceX. Мы можем проверить исходный код страницы, щелкнув страницу правой кнопкой мыши и выбрав параметр «Проверить».

    Если вы находитесь на вкладке «Элементы», вы можете выполнить поиск по коду:

    application/rss+xml это показывает, что есть RSS-канал:

    Если нет RSS-канала и мы все еще не можем найти карту сайта. Осталось последнее место, куда можно заглянуть.

    Консоль поиска Google

    Если все вышеперечисленное не помогло, то получите доступ к сайтам Google Search Console.

    Чтобы помочь Google сканировать ваш веб-сайт, вы можете отправить карту сайта в Google Search Console.

    Если в Google Search Console добавлена ​​карта сайта, вы найдете ее в списке, выбрав Индекс > Файлы Sitemap.

    Любые отправленные карты сайта будут выглядеть так:

    Как найти карту сайта веб-сайта: заключительные мысли

    Теперь вы нашли карту сайта.

    This entry was posted in Популярное