Файлы Sitemap — Вебмастер. Справка

С помощью Sitemap можно сообщить Яндексу об актуальной структуре сайта.
Подробнее о формате и требованиях см. разделе Использование файла Sitemap.

Укажите на Sitemap специальной директивой в файле robots.txt или на странице Файлы Sitemap Яндекс Вебмастера:

1. Загрузить Sitemap
2. Обновить Sitemap
3. Удалить Sitemap
4. Вопросы и ответы

1. Перейдите на страницу Файлы Sitemap.

2. Выберите из списка сайт.

3. В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml.

4. Нажмите кнопку Добавить.

После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждого файла вы увидите один из статусов:

Если вы изменили добавленный в Яндекс Вебмастер файл Sitemap, его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки.

Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap, можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

В интерфейсе Яндекс Вебмастера можно удалить те файлы, которые были добавлены на странице Файлы Sitemap:

1. Выберите нужный сайт из списка.

2. Напротив нужного файла нажмите значок .

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс Вебмастера в течение нескольких недель.

Как организовать Sitemap для большого сайта

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap, которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование → Статистика обхода.

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap.

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

• Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap.

• Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

• Доступ к Sitemap запрещен в файле robots.txt, при обращении к Sitemap сервер возвращает HTTP-код, отличный от 200. Проверьте доступность файла для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Файл Sitemap находится в статусе «Документ не содержит текст»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что файл закрыт от индексирования — как правило, запрет прописан в HTTP-заголовке X-Robots-Tag. Директива запрещает файлу появляться в результатах поиска, но не влияет на обработку содержимого Sitemap. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Sitemap не обрабатывается

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

• Что Sitemap относится именно к тому сайту, для которого вы добавляете его в Вебмастер. Убедитесь, что адрес сайта совпадает: протокол (HTTP/HTTPS), наличие или отсутствие префикса www.

• Ответ сервера при запросе Sitemap. Если доступ к Sitemap запрещен в файле robots.txt или при обращении к нему возвращается HTTP-код, отличный от 200, файл не будет обработан роботом. Если при проверке отображается статус «Запрещен метатегом noindex», это не говорит об ошибке. Метатег noindex запрещает включение файла в поисковую базу, но не мешает роботу обрабатывать его содержимое.

• Корректность файла с помощью инструмента Анализ файлов Sitemap. Устраните ошибки, если они обнаружены.

Sitemap составлен корректно и доступен для робота, но не обрабатывается больше двух недель

Использование файла Sitemap — Вебмастер. Справка

Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

1. В каких случаях нужен файл Sitemap
2. Поддерживаемые Яндексом форматы
3. Требования к файлу
4. Как создать файл и сообщить о нем Яндексу
5. Вопросы и ответы

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.

«}}»> и Ссылка, которая расположена на другом сайте.»}}»> ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;

• отдельные страницы без навигационных ссылок;

• глубокая вложенность.

Яндекс поддерживает протокол Sitemap. Чтобы передать информацию, используйте следующие элементы:

Тег	Обязательно	Описание
loc	Да	Адрес страницы.
lastmod	Нет	Дата последнего обновления страницы. Максимальный размер — 100 байтов.
changefreq	Нет	Частота изменения страницы. Максимальный размер — 100 байтов.
priority	Нет	Значимость страницы. Робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта. Максимальный размер — 100 байтов.

Пример:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www. sitemaps.org/schemas/sitemap/0.9"> 
        <url>
            <loc>http://www.example.com/page1.html</loc>
            <lastmod>2005-01-01</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.8</priority>
        </url>
        ...
    </urlset>

Используйте этот формат, чтобы сообщить только об адресах страниц.

Пример:

https://www.example.com/page1.html
https://www.example.com/page2.html

Также с помощью Sitemap вы можете передать информацию о локализованных страницах сайта и об изображениях (см. раздел Справки Яндекс Картинок).

Чтобы передавать информацию о видео, в файле Sitemap укажите ссылки на XML-фиды (см. подробно в Справке поиска Яндекса по видео).

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap.

• Используйте кодировку UTF-8. Кириллические URL робот Яндекса распознает как в закодированном виде, так и в оригинале.

• Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap.

• Максимальный размер файла в несжатом виде — 50 МБ.

• Указывайте ссылки на страницы только того домена, на котором будет расположен файл.

• Разместите файл на том же домене, что и сайт, для которого он составлен.

• При обращении к файлу сервер должен возвращать HTTP-код 200.

1. Определите канонические URL для страниц, которые будут указаны в файле Sitemap. Это необходимо, если на сайте есть несколько страниц со схожей информацией.

2. Выберите формат и с помощью одного из сторонних ресурсов сформируйте файл.

3. Проверьте файл с помощью инструмента Анализ файлов Sitemap.

4. Укажите ссылку на файл в robots.txt или в разделе Файлы Sitemap Яндекс Вебмастера.

При необходимости вы можете удалить информацию о Sitemap.

Как организовать Sitemap для большого сайта

Как правило, в Sitemap принято включать все значимые страницы сайта. Если на сайте множество страниц, вы можете удалить из Sitemap уже известные Яндексу страницы и вносить в файл только новые или часто обновляющиеся.

Если вы используете файл индекса Sitemap отметьте тегом lastmod файлы Sitemap, которые часто обновляются.

Определить, какие страницы сайта уже известны Яндексу, можно в Вебмастере на странице Индексирование → Статистика обхода.

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap и других XML-файлов как исключенных страниц носит только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap.

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу. Не смотря на это файлы Sitemap не участвуют в поиске.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы. Если Вебмастер обнаружит в файле другие элементы, например, указание на мобильную версию, в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

• Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap.

• Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

• Доступ к Sitemap запрещен в файле robots.txt, при обращении к Sitemap сервер возвращает HTTP-код, отличный от 200. Проверьте доступность файла для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.

Если проблема с доступом актуальна, обратитесь к администратору сайта или сервера, на котором он расположен. Если файл составлен корректно, он будет повторно обработан в течение двух недель с момента последнего запроса роботом. Проверить файл можно с помощью инструмента Анализ файлов Sitemap.

Файл Sitemap находится в статусе «Документ не содержит текст»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что робот не может проиндексировать файл как обычную страницу сайта и включить его содержимое в результаты поиска. На обработку Sitemap этот статус не влияет. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Файл Sitemap находится в статусе «URL запрещён к индексированию тегом noindex»

Такой статус отображается в инструменте Проверка ответа сервера и сообщает, что файл закрыт от индексирования — как правило, запрет прописан в HTTP-заголовке X-Robots-Tag. Директива запрещает файлу появляться в результатах поиска, но не влияет на обработку содержимого Sitemap. Чтобы проверить корректность Sitemap используйте в Вебмастере инструмент Анализ файлов Sitemap.

Sitemap не обрабатывается

Как правило, файл Sitemap обрабатывается роботом в течение двух недель после добавления его в Вебмастер. Если этого не произошло, проверьте:

• Что Sitemap относится именно к тому сайту, для которого вы добавляете его в Вебмастер. Убедитесь, что адрес сайта совпадает: протокол (HTTP/HTTPS), наличие или отсутствие префикса www.

• Ответ сервера при запросе Sitemap. Если доступ к Sitemap запрещен в файле robots.txt или при обращении к нему возвращается HTTP-код, отличный от 200, файл не будет обработан роботом. Если при проверке отображается статус «Запрещен метатегом noindex», это не говорит об ошибке. Метатег noindex запрещает включение файла в поисковую базу, но не мешает роботу обрабатывать его содержимое.

• Корректность файла с помощью инструмента Анализ файлов Sitemap. Устраните ошибки, если они обнаружены.

Sitemap составлен корректно и доступен для робота, но не обрабатывается больше двух недель

Как найти карту сайта

Карта сайта — это список индексируемых страниц веб-сайта. Наиболее распространенный тип карты сайта, на который обычно ссылаются в SEO, отформатирован для поисковых систем, чтобы помочь их поисковым роботам найти все URL-адреса в домене. Карты сайта в формате HTML также могут существовать в виде страниц на сайте и обычно предназначены для помощи пользователям-людям, предоставляя список страниц для доступа ко всем из одного места.

Файлы Sitemap являются одним из основных элементов работоспособного веб-сайта, но если вы не соберете их вместе и не загрузите на свой сервер напрямую, вы можете не быть уверены, есть ли они у вас и если да, то где они расположены. Хотя карты сайта не требуются, они могут помочь убедиться, что Google обнаруживает все ваши URL-адреса. Они особенно полезны, если у вас плохая иерархия сайта и/или внутренние ссылки.

Основным органом, ответственным за стандарт для карт сайта, является sitemaps.org. Google поддерживает различные форматы файлов Sitemap, в том числе:

• XML
• RSS, mRSS и Atom 1.0
• Текст
• Сайты Google
• HTML

Кроме того, существует множество расширений, которые помогают предоставить дополнительную информацию о содержании, содержащемся в файле карты сайта. К ним относятся специальные протоколы для:

• Видео
• Изображение
• Новости

В дополнение к картам сайта URL вы также можете создать индексный файл карты сайта, который по сути является картой сайта для карт сайта. Включив ссылки на другие файлы карты сайта в индекс, вы можете упорядочить свои URL-адреса иерархически по разделам сайта или включить более 50 000 URL-адресов на карту сайта, требуемых Google.

Некоторые из распространенных причин, по которым вы можете захотеть найти мошенническую карту сайта, включают:

• Поиск старых карт сайта в вашем домене, которые могут быть устаревшими
• Получить список всех страниц веб-сайта
• Использование для конкурентного анализа (узнайте, как конкуренты структурируют свои индексы карты сайта или каталоги сайтов)
• Найдите URL-адрес вашей карты сайта для отправки поисковым роботам (особенно если ваша карта сайта автоматически создается CMS)

1. Проверьте общие местоположения

Файл карты сайта .xml обычно находится в корневом каталоге вашего домена (например, https://www.websitedomain.com/sitemap.xml). Имя файла может быть любым, определенным веб-мастером, и файл может находиться в любом месте, общедоступном на домене веб-сайта. Их можно поместить в подпапку, что иногда делается для того, чтобы скрыть карту сайта от конкурентов, ищущих простой способ обнаружить все URL-адреса в домене.

Если это ваш домен, вы можете получить доступ к каталогу файлов вашего веб-сайта через FTP, чтобы посмотреть, где может находиться XML-файл карты сайта. Если у вас нет прямого доступа к файлам вашего сайта, вы можете попробовать ввести некоторые общие соглашения об именах для карт сайта в свой браузер, чтобы увидеть, есть ли активные файлы, к которым вы можете получить доступ. Например:

• https://www.websitedomain.com/sitemap.xml
• https://www.websitedomain.com/sitemap_index.xml
• https://www.websitedomain.com/sitemap1.xml

2. Проверьте Robots.txt

Все сайты должны иметь файл robots.txt, в котором содержатся указания для поисковых роботов и ботов. Этот файл обычно включает ссылку на карту сайта, чтобы помочь поисковым системам быстро найти файл карты сайта и начать сканирование. Стандартное расположение файла robots.txt находится непосредственно в каталоге основного сайта, то есть: https://www.websitedomain.com/robots.txt

Вы можете попробовать это для любого домена, и если карта сайта объявлена, вы увидите запись строки, например:

• Карта сайта: https://www.websitedomain.com/sitemap.xml

Ознакомьтесь с нашим руководством на 2022 год, если вы не знаете, как читать файл Robots.txt.

3. Используйте операторы расширенного поиска

Существует ряд операторов расширенного поиска , которые могут помочь уточнить поиск в Google. Если в домене есть карта сайта, которая не находится в стандартном расположении или не объявлена ​​в robots.txt, это лучший способ найти карты сайта, которые Google обнаружил и проиндексировал.

Существует два способа поиска в домене файлов Sitemap в формате xml, оба используют поиск по сайту: поиск в домене идентифицированных типов XML-файлов. Попробуйте ввести один из них в Google, чтобы увидеть, возвращаются ли какие-либо результаты:

site:websitedomain. com filetype:xml

ИЛИ

site:websitedomain.com ext:xml

Если это возвращает много страниц файлов, которые не имеют отношения к делу вы можете уточнить поиск, добавив:

site:websitedomain.com filetype:xml inurl:sitemap

ИЛИ

site:websitedomain.com ext:xml inurl:sitemap

Это будет искать файлы XML в вашем домене со словом «карта сайта», включенным в имя файла или каталог подпапки.

4. Используйте инструмент (например, Google Search Console)

Если вы являетесь владельцем рассматриваемого веб-сайта (возможно, это новый клиент или вы новичок в команде) и уже настроено свойство Google Search Console для сайт, войдите в систему, чтобы узнать, объявлена ​​ли карта сайта, которую Google уже сканирует.

Кроме того, существуют другие инструменты, которые сканируют Интернет и предлагают инструменты для проверки доменов на наличие карт сайта. В SEO Site Checkup есть очень простой в использовании инструмент карты сайта: просто введите свой домен, и он сообщит вам, нашел ли он файл карты сайта (примечание: это не гарантируется).

5. Проверьте свою CMS

Если вы используете обычную CMS, возможно, она автоматически создает для вас карту сайта. Проверьте документацию в зависимости от вашей CMS, чтобы узнать, есть ли какие-либо подробности о картах сайта. Мы включили некоторую информацию о некоторых из наиболее распространенных CMS ниже:

Как найти свою карту сайта в WordPress

В WordPress нет встроенных функций для автоматического создания карт сайта, однако существует множество плагинов, обеспечивающих эту функцию. Наиболее распространенными плагинами являются Yoast SEO и Google XML Sitemaps.

Плагины не устанавливаются по умолчанию, поэтому это не относится к новым веб-сайтам, а только к существующим сайтам или сайтам, которые были настроены разработчиком, который мог установить их для дополнительных функций. Чтобы узнать, какие плагины установлены на вашем сайте WordPress, вам нужно щелкнуть ссылку «Плагины» в левой навигационной панели в разделе администратора WordPress. Если «Yoast SEO» является активным плагином, у вас будет ссылка «SEO» на левой боковой панели, и вы найдете файлы Sitemap под ссылкой «XML Sitemaps».

Если эти плагины специально не настроены для размещения карт сайта в определенных каталогах, вы обычно найдете их в стандартных местах/именах файлов, описанных в совете №1.

Помимо плагинов, вы также можете проверить любые пользовательские настройки темы, «Инструменты» и «Настройки» и найти любые настройки XML или Sitemap. Если вы сомневаетесь, проверьте свою документацию.

Как найти карту сайта на Squarespace, Shopify или Wix

Все три эти платформы автоматически генерируют карты сайта в формате XML и размещают их в виде файла sitemap.xml в вашем домене. Вы сможете найти свою карту сайта, добавив /sitemap.xml в конце вашего домена в браузере.

Пример: https://www.websitedomain.com/sitemap.xml

Хотя эти службы не позволяют вам напрямую изменять файлы карты сайта, они автоматически обновляются новыми URL-адресами при их создании, если вы явно не укажете, что они должны быть исключены на уровне страницы.

После того, как вы идентифицировали или создали свою карту сайта, вам нужно проверить, чтобы убедиться, что файл действителен. Вы можете использовать такой инструмент, как этот валидатор от XML-Sitemaps.com. Если у вас есть действующий файл карты сайта, выполните следующие действия для максимального воздействия на SEO:

1. Убедитесь, что ваша карта сайта обновлена, а URL-адреса действительны:  В дополнение к допустимому формату файла ваша карта сайта должна содержать только точные URL-адреса. Любые старые или неправильные карты сайта должны быть удалены, чтобы избежать путаницы для ботов.
2. Добавьте объявление карты сайта в файл robots.txt (необязательно):  Это хорошая идея для других поисковых систем, отличных от Google или Bing, но если вы беспокоитесь о том, что конкуренты получают ценную информацию через вашу карту сайта, это не требуется.
3. Отправьте свою карту сайта в Google через Google Search Console: GSC предоставляет ценную информацию о том, как Google обрабатывает ваш файл карты сайта.
4. Отправьте карту сайта в Bing с помощью инструментов Bing для веб-мастеров: Bing также предоставляет инструмент для отправки карты сайта.

Если вы пробовали все эти методы, возможно, у вас нет текущей карты сайта. Чтобы создать карту сайта, вы можете использовать плагин в своей CMS, создать его вручную или использовать поисковый робот, такой как Screaming Frog , чтобы просканировать ваш сайт и экспортировать файл карты сайта для загрузки.

Для получения дополнительной информации о картах сайта ознакомьтесь с Руководством Google для веб-мастеров по картам сайта.

Хотите расширить свои знания в области SEO? Подпишитесь на нашу рассылку, чтобы получать больше подобного контента прямо на ваш почтовый ящик!

Как найти карту сайта веб-сайта (7 вариантов)

Найти карту сайта любого веб-сайта относительно легко, и здесь мы поможем вам выполнить эту миссию. Мы начнем с наиболее распространенного формата карты сайта — XML, а затем рассмотрим несколько других. Во-первых, давайте начнем с основ.

Содержание

Что такое карта сайта?

Карта сайта XML — это список страниц на веб-сайте, предназначенный для помощи различным поисковым системам. Он предоставляет важную информацию об URL-адресах на вашем веб-сайте, включая страницы, видео, изображения, файлы и их связь. Наряду со страницами карты сайта XML также включают дополнительных метаданных о каждом URL-адресе:

• дату последнего обновления
• как часто он меняется и
• его приоритет по сравнению с другими страницами.

Что касается лучших практик SEO , карта сайта должна быть оптимизирована, чтобы включать только индексируемый и качественный контент. Любой битый (404), редирект или дубликат страницы внутри него могут запутать поисковые системы.

Карта сайта похожа на схему веб-сайта. Он построен в формате кода и обычно выглядит так:

или так:

Зачем вам нужен файл Sitemap?

Мы уже рассмотрели основы карт сайта, включая их основное назначение. Давайте теперь посмотрим, почему мы можем захотеть найти эти файлы в первую очередь.

Как мы уже говорили выше, карты сайта — это незаменимый и простой способ информировать поисковые системы и, в частности, их сканеры (например, Googlebot ) о важном содержании на нашем веб-сайте.

Прежде всего, вы можете проверить, есть ли у вас карта сайта в формате XML. Если он у вас есть, следующий шаг — проверить его и убедиться, что он правильно создан и содержит правильную информацию.

Наконец, если у вас нет карты сайта, вы можете создать ее и отправить в поисковые системы. Учтите, что XML-карты сайта ни в коем случае не являются обязательными. Тем не менее, они помогают поисковым роботам 90 147 находить, индексировать и, в конечном итоге, ранжировать 90 148 новых веб-сайтов и страниц более быстрым способом.

Теперь пришло время углубиться в детективную работу и найти эти карты сайта!

Готов? Пойдем!

Простые способы найти карту сайта

Давайте начнем наше путешествие с некоторых из самых простых способов найти карту сайта веб-сайта.

1) Ручная проверка общих местоположений карты сайта XML

Один из наиболее распространенных (и простых) способов найти карту сайта XML
— вручную проверить несколько стандартных местоположений. Это очень просто, и все, что вам нужно сделать, это ввести URL-адрес вашего веб-сайта в браузере, а затем попробовать несколько различных вариантов. Я покажу вам:

• www.YourWebsiteUrl.com/ sitemap.xml

Это самое популярное место, но не единственное. Поэтому, если нам не повезет с первой попыткой, попробуйте еще несколько быстрых проверок:

• /sitemap_index.xml (это индекс всех карт сайта, если на веб-сайте их несколько).

Это случай с нашей собственной картой сайта XML в этом блоге. Позвольте мне показать вам:

А вот как это выглядит:

По сути, это все отдельные карты сайта, разделенные по типам сообщений, которые они содержат.

Теперь, если нам все еще не повезло, давайте попробуем еще несколько вариантов:

• /Sitemap-index. xml
• /Sitemap.php
• /Sitemap.txt
• /SITEMAP.TXT
• /SITEMAP.TXT
• /SITEMAP.TXT
• /SITEMAP.TXT
• /Sitemap.txt. .gz
• /sitemap/
• /sitemap/sitemap.xml
• /sitemapindex.xml
• /sitemap/index.xml
• /sitemap1.xml

Примечание . Файлы XML — это только один из способов описания карты сайта. Существуют также форматы RSS и Atom .

Следовательно, нам нужно добавить еще несколько возможных местоположений карты сайта:

• /rss/
• /rss.xml
• /atom.xml

10 о них мы поговорим позже.

Просто для подтверждения — мы должны указать доменное имя веб-сайта перед «/», пробуя различные варианты.

2) Проверьте файл Robots.txt

Если вы все еще с нами, это означает, что вы либо не смогли найти файл, который является основной целью нашей статьи, либо вам просто интересно узнать больше.

На самом деле, какой бы ни была точная причина, у меня для вас хорошие новости — мы продолжим наше путешествие с еще одним очень простым советом .

Robots.txt — это специальный файл, известный SEO-специалистам (а также программистам), который содержит полезных директив для сканеров поисковых систем. Более того, это также место, где очень часто можно найти ссылку на карту сайта веб-сайта.

Идея состоит в том, что когда поисковые системы посещают эти файлы robots.txt , добавление туда ссылки на карту сайта имеет смысл. Таким образом, им будет проще обнаружить карту сайта в первую очередь и просканировать сайт.

Готовы к еще одной хорошей новости?! Вот он: чтобы получить доступ к файлу robots.txt веб-сайта, вам просто нужно добавить / robots.txt к вашему доменному имени в браузере и нажать « Enter ». Это похоже на предыдущий шаг, когда мы добавляли различные возможные маршруты карты сайта.

Что работает лучше, чем реальный пример? См. URL-адрес нашего собственного файла robots.txt:

https://seocrawl.com/robots.txt

Это крошечный, но простой и полезный файл с некоторыми важными функциями. Если вы уже открыли его, вы сможете увидеть почти мгновенно маленькую жемчужину, которую вы ищете — файл карты сайта:

Вуаля! Я обещал вам, что это будет легко 🙂

3) Проверьте Google Search Console

Хорошо, карта сайта все еще не найдена? Без проблем! У нас есть еще советы для вас, которые помогут нам найти свой путь.

Позвольте мне показать вам еще один простой и быстрый способ.

Консоль поиска Google (также известная как Инструменты для веб-мастеров в прошлом) — еще одно место, где можно найти путь, который мы ищем. Конечно, для того, чтобы это было возможно, вы должны быть владельцем веб-сайта или иметь доступ к нему.

Если вы соответствуете одному из этих критериев, следующим шагом будет вход в GSC и выбор в меню слева Sitemaps :

Теперь, если карта сайта (или карты сайта) уже отправлена ​​кем-то другим в прошлое, вы сможете увидеть его сразу:

Наряду с точным URL-адресом карты сайта имеется дополнительная информация , такая как тип карты сайта (индексные файлы, содержащие в них другие карты сайта или обычные карты сайта со страницами веб-сайта), когда она была отправлена, последнее чтение, статус и сколько URL внутри.

СОВЕТ : Если вы серьезно относитесь к поисковой оптимизации и улучшению органической производительности веб-сайта, Google Search Console является обязательным инструментом. Инсайты, которые вы можете получить от него, многочисленны.

Кроме того, GSC позволяет вам попробовать наш мощный инструмент SEOcrawl

4) Проверка инструментов Bing для веб-мастеров

Хорошей новостью является то, что Инструменты для веб-мастеров Bing работают почти так же, как Консоль поиска Google . Неудивительно, что последний раньше назывался Google Webmaster Tools , поскольку у них много общего.

Опять же, вам нужно войти в систему, а затем перейти на левую боковую панель, где у вас будет «9Доступен раздел 0165 Sitemaps ».

Нажмите на нее, и, если карта сайта/карты сайта уже были отправлены, вы сможете изучить их дальше.

Расширенные способы поиска карты сайта

Все еще с нами? Хорошо, это означает, что вы либо все еще ищете это драгоценное местоположение файла карты сайта, либо вы очень смелы, чтобы войти в расширенный раздел . В обоих случаях я хочу поздравить вас с достижением такого успеха и пожелать вам удачи 🙂

Обещаю, это будет не так сложно и страшно! Пойдем!

5) Используйте операторы поиска Google

Операторы поиска Google (также известные как команды ) могут быть очень эффективными для различных целей SEO (например, поиск возможностей для создания ссылок, идей контента, обнаружение технических проблем и т.  д.). Однако в этом случае мы будем использовать их для поиска XML-карты сайта изучаемого веб-сайта.

Для этого нам нужно будет воспользоваться « тип файла :” команда. Это может быть очень полезно, если мы объединим его с командой « site :». По сути, комбинация обоих будет искать определенные типы файлов только на том веб-сайте, который нам нужен.

Пример: site:chess.com filetype:xml

И вот что выдаст этот поиск в Google:

Вот оно! Все проиндексированные карты сайта отображаются в Google, и мы можем изучить их дальше.

При наличии нерелевантные результаты показаны, вы можете еще больше уточнить свой поиск. На этот раз мы добавим в свой арсенал оператор « inurl ».

Например: site:uefa.com filetype:xml inurl:sitemap

Примечание : как мы упоминали выше, карты сайта также могут быть текстовыми файлами. Чтобы найти их, мы можем выполнить аналогичный поиск, но с другим расширением.

Например: site:WebsiteURL inurl:sitem a p filetype:txt

Результатом будет следующее:

СОВЕТ : Эти команды откроют расположение карты сайта только в том случае, если она проиндексирована Google . Некоторые плагины WP, которые создают карты сайта, автоматически добавляют тег no follow, no index в файлы Sitemap. Так что, если вы не нашли результатов, не волнуйтесь!

Продолжим следующую идею.

6) Используйте онлайн-инструмент

Другой способ — попробовать онлайн-инструмент, такой как SEO Site Checkup , где вам нужно всего лишь вставить URL-адрес своего веб-сайта и нажать Checkup . Затем вы получите что-то вроде этого: Примечание . Этот инструмент работает путем проверки стандартных местоположений карты сайта, о которых мы упоминали ранее ( sitemap.xml, sitemap1.xml, sitemapindex.xml и т. д.). Поэтому он может не найти ваш сайт в других конкретных случаях.

7) Проверьте CMS веб-сайта

В зависимости от системы управления контентом, на которой работает сайт, XML-карты сайта могут располагаться в разных местах. Хорошей новостью является то, что самые популярные CMS имеют местоположений по умолчанию , с которых вы можете начать поиск.

Во-первых, нам нужно идентифицировать CMS веб-сайта. Это довольно простой процесс, и мы можем использовать как онлайн-инструменты, так и расширения браузера.

Например, один полезный аддон Built With идентифицирует не только CMS, но и многие другие программы и программное обеспечение, которые использует веб-сайт. Вот как он отображает информацию, которую вы ищете:

Если вы предпочитаете онлайн-инструмент, одним из возможных решений является WhatCMS:

Альтернативой является CMS Detect:

Теперь, когда мы знаем точную CMS, давайте рассмотрим некоторые из самых популярных систем управления контентом и то, где они обычно хранят XML-файлы.

WordPress

До 2020 года карты сайта создавались в основном с помощью плагинов. Однако в настоящее время, со встроенным функционалом WP, они должны располагаться по адресу /wp-sitemap.xml .

Тем не менее, если веб-сайт, который вы изучаете, использует плагин для создания карты сайта, вы можете попробовать некоторые из следующих мест:

• /sitemap.xml
• /TAG-sitemap.xml
• /Sitemap_index /XML
• /Catemary-sitemap.xml
• /Catemar путь туда.

  Wix, Shopify, Joomla, Squarespace, Magento

  Хорошей новостью является то, что все они автоматически генерируют XML-карты сайта для своих пользователей.
  Таким образом, расположение по умолчанию (если не изменено дополнительно):
  /sitemap.xml

  С примечанием, что доменное имя предшествует части «/».

  БОНУС: Букмарклет для Instant Sitemap.

  xml Discovery

  Если вы являетесь поклонником производительности и экономии времени на каждой маленькой задаче (разве не все мы оптимизаторы такие?!), то вы можете найти полезную быстрый букмарклет для мгновенной проверки XML-карты сайта веб-сайта.

  Вам нужно только добавить этот код javascript:

  javascript:void(location.href=’http://’ + location.host + ‘/sitemap.xml’)

  Добавьте его в закладки, и каждый раз, когда вы нажимаете на него, будет открываться файл Sitemap, если он находится в папке по умолчанию /sitemap.xml.

  Быстро и просто!

  Поиск других типов файлов Sitemap

  В основном мы говорили о файлах Sitemap в формате XML, поскольку они являются наиболее распространенным форматом для показа поисковым роботам того, что происходит в вашем домене. Тем не менее, стоит упомянуть и другие типы , которые также можно найти на некоторых сайтах.

  • HTML . Обычно это делается для удобства пользователей, и они очень полезны, особенно для крупных веб-сайтов.

  Например, Ebay предоставляет своим посетителям виртуальную « карту » с основными страницами и категориями: https://pages.ebay.com/sitemap.html

  • RSS . В некоторых случаях веб-сайты используют RSS-канал в качестве карты сайта, которая обычно находится по адресу: /rss/ или /rss.xml.
  • Атом . То же самое относится и к каналу Atom, который обычно можно найти по следующему адресу: /atom.xml
  • TXT . Это стандартный текстовый файл, как мы уже обсуждали один такой пример. Расположение: /sitemap.txt

  Нет карты сайта? Что делать в этом случае?

  Перебрав различные варианты поиска карты сайта, стоит сказать несколько слов о том, что делать , если нет уже созданной карты сайта . Это будет иметь место с большинством новых веб-сайтов, которые были онлайн в течение короткого периода времени. Или какие-то очень маленькие и крохотные сайты.

  This entry was posted in Популярное