Содержание
Как создать файл sitemap.xml? Всё об этом файле
Что такое sitemap
Это карта сайта для поисковых систем. Это XML-файл, в котором прописаны все URL с метаданными, данные об изображениях и видео и другая служебная информация.
Sitemap помогает поисковым роботам ориентироваться на сайте, сканировать и лучше индексировать его. Это своего рода гид по сайту для поисковиков.
- Какие именно данные содержит файл sitemap xml:
- Список URL адресов страниц сайта с датой их последнего изменения и указание на приоритетность.
- Информация о типах контента (изображение, видео) и данные о них (продолжительность, тема, тип лицензии).
- Данные об альтернативных версиях страницы.
Где находится файл sitemap
В корневом каталоге сайта. Ссылка на него выглядит так: http://site.com/sitemap.xml
Обязательно ли делать карту сайта
Нет. Создание файла sitemap является рекомендованным действием, но его отсутствие не является критической ошибкой.
Если у вас небольшой сайт-визитка, где максимум 5 страниц, и добавлять новые вы не планируете, но можно обойтись и без sitemap.
- В каких случаях точно нужна карта сайта:
- сайт большой;
- есть архив несвязанных друг с другом страниц;
- сайт новый и на него еще нет ссылок;
- на сайте есть мультимедийный контент;
Как сделать файл sitemap
Создать карту сайта можно как вручную, так и с помощью специальных онлайн-сервисов и инструментов.
Создание вручную
- Чтобы сделать sitemap, нужно в Excel создать XML файл, где прописывается:
- кодировка UTF-8
- тег с указанием стандарта протокола;
- список URL сайта с обязательными тегами:
- url — родительский тег для каждого url
- loc — указание url, начинается с http или https
- далее указываются дополнительные необязательные теги:
- lastmod — дата последнего изменения
- changefreq — частота изменения
- priority — приоритет адреса относительно других
С помощью бесплатных сервисов
Существует множество онлайн-генераторов, с помощью которых можно создать Sitemap для любого сайта.
Нужно только ввести адрес своего сайта и сервис сгенерирует карту сайта в течение нескольких минут. Этот способ подходит для небольших сайтов, у которых не планируется добавлять новые страницы.
Найти такой онлайн-генератор можно в любом поисковике, предложений множество.
Встроенные модули
CMS имеют встроенные модули для создания sitemap. Они сами автоматически составляют карту сайта, но плюс в том, что можно вручную добавлять или убирать url и управлять другими параметрами. Если на сайте после создания sitemap были добавлены новые страницы, то файл автоматически обновляется.
Примеры встроенных генераторов: Google XML Sitemaps для WordPress, PWT Sitemap для Joomla, Yandex Sitemap для OpenCart.
- Требования к sitemap:
- Ссылки в карте сайта должны быть в том же домене, что и сама XML карта.
- Ссылки должны использовать тот же протокол (http/https).
- Url должны вести на страницы в том же каталоге или его подкаталогах, что и сам sitemap.
- Прописываются канонические URL.
- Файл карты сайта должен содержать не более 50000 URL
- Вес файла не должен превышать 50 мб
Если же в карте сайта получается больше 50000 URL адресов, то необходимо создать несколько файлов sitemap и объединить в индексный сайтмап.
Файл индекса sitemap похож на обычный и может ссылаться только на XML карты.
Куда загрузить sitemap
После того, как карта сайта создана, ее нужно загрузить в корневой каталог сервера. Когда сайтмап загружен на сервер, нужно отправить информацию о нем в поисковые системы. Это можно сделать тремя способами:
1Через Google Search Console и Яндекс Вебмастер. Чтобы добавить sitemap в Search Console надо зайти в раздел «Файлы Sitemap». Добавить нужный файл и кликнуть «Отправить». Чтобы добавить sitemap.xml в Яндекс Вебмастер, надо зайти в раздел «Индексирование – Файлы Sitemap», ввести ссылку на карту и нажать «Добавить».
2Указав ссылку на Sitemap в файле robots.
txt
3Выслав HTTP-запрос. Чтобы отправить sitemap с помощью http запроса, нужно в строку браузера ввести следующую строку: http://www.google.com/ping?sitemap=url_sitemap (для Google) и http://yandex.ru/ping?sitemap=sitemap_url_sitemap (для Яндекс)
Sitemap для изображений
Иногда в карте сайте прописывается не только url, но и опубликованные на странице изображения. Это делается в том случае, если необходимо, чтобы поисковик просканировал и проиндексировал их. Или если нужно указать поисковику на картинки, которые он в обратном случае не увидел бы. Например, если они загружены через Java.
В sitemap можно указать не более 1000 изображений для одного url.
Нужен настоящий SEO-сайт и интернет-реклама? Пишите, звоните:
Наша почта:
Единая справочная: 8 (843) 2-588-132
WhatsApp: +7 (960) 048 81 32
Оставить заявку
Как сделать XML-карту и задать режим обхода сайта — SEO на vc.
ru
Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.
13 254
просмотров
Отличие XML-карты сайта от HTML версии
Под термином «карта сайта» понимают 2 вида документов:
- HTML (веб-страница) — перечень ссылок на страницы сайта. Нужна для навигации пользователей, обычно оформлена как древовидная структура, имеет адрес вида site.com/sitemap/ или site.com/karta-saita/ и т.п.
Пример оформления html-карты сайта
- XML — файл в корневой папке сайта, который содержит список URL с информацией об их последнем обновлении и приоритете в индексировании. Нужна для поисковых роботов, должна быть доступна по адресу site.com/sitemap.xml.
Фрагмент XML-карты сайта.
На сайте должны присутствовать и HTML карта, и XML.
Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.
XML-карту удобно использовать для парсинга данных с сайтов. Парсер мета-тегов и заголовков системы PromoPult: быстро, с любого сайта. Соберем мета-теги и заголовки h2 с любого сайта. Подгрузите список страниц или карту сайта.
Синтаксис файла sitemap.xml
Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:
<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:
- <urlset> — открывающий/закрывающий тег, в него заключаются все ссылки файла sitemap.
- <url> — заключает в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании.
- <loc> — ограничивает конкретный URL:
- <changefreq> — задает периодичность обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может понять, насколько часто меняется содержание в документе и нужно ли его сканировать. Тег необязателен и сейчас используется крайне редко.
- <lastmod> — указывает на дату последнего обновления страницы. Так робот понимает, изменилось ли что-нибудь с момента его предыдущего посещения.
- <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, остальные можно расставить в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).
Рекомендация по количеству ссылок в файле sitemap.
xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:
Модуль SEO в системе Promopult: все инструменты для улучшения качества сайта и поискового продвижения. Полный комплекс работ — с нами вы не упустите ни одной мелочи. Чек-листы, подсказки, прозрачная отчетность и рекомендации профессионалов. Гарантии, оплата работ в рассрочку.
XML-карта позволяет экономить краулинговый бюджет
Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.
Важно понимать, что указания в файлах robots.txt и sitemap.xml — только рекомендации для роботов.
Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.
Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.
Как рассказать поисковым роботам о карте сайта
1. Указать ссылку на файл в директиве sitemap файла robots.txt:
2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.
Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.
4 cпособа создать sitemap.xml
- Вручную, руководствуясь правилами синтаксиса, которые мы описали выше. Этот вариант подходит для небольших сайтов. Не забудьте разместить файл sitemap.xml в корневой папке сайта (потребуется доступ к хостингу или ftp) и проверить, открывается ли он корректно по адресу site.com/sitemap.xml.
- Использовать платные и бесплатные программы для генерации XML-карты сайта (например, Sitemap Generator, Sitemap Writer Pro, SiteMap XML Dynamic). Такой софт использовался до широкого распространения онлайн-генераторов. На момент написания статьи все три программы давно не обновлялись.
- Использовать генераторы карты сайта онлайн — самый простой и бесплатный способ создать файл sitemap.xml.
- Воспользоваться возможностями системы управления сайтом.
При любом способе обратите внимание на следующие моменты:
- Разместить файл sitemap. xml нужно в корень сайта.
- Ссылки в sitemap не должны конфликтовать с правилами в файле robots.txt. Иначе говоря, страниц, закрытых от индексации в robots.txt, не должно быть в XML-карте сайта.
- После автоматической генерации нужно проверить и скорректировать XML-карту на предмет попадания в нее ненужных для индексации URL.
xml нужно в корень сайта.Рассмотрим подробнее самые популярные способы создания XML-карты.
Онлайн генераторы карты сайта
Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.
Самые популярные:
- Mysitemapgenerator: бесплатно сканирует до 500 страниц, есть платный тариф и подписка на автоматически обновляемый файл sitemap.xml.
- Xml-sitemaps: бесплатно без регистрации позволяет просканировать до 500 страниц, есть платный аккаунт и php-версия для установки на сервер. Англоязычный сервис.
- Web-Site-Map: количество бесплатных страниц для генерации динамически меняется с учетом реальной нагрузки на сервер. Имеет валидатор и сообщает о битых ссылках.
- Gensitemap: бесплатно можно просканировать до 1000 страниц.
Имеет валидатор и сообщает о битых ссылках.Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.
Как создать sitemap.xml в разных CMS
Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.
1C-Битрикс: встроенная функция
Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:
Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:
Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:
То же самое проделайте во вкладке «Инфоблоки».
Сохраните все изменения и нажмите кнопку «Запустить»:
После создания карты сайта вы увидите сообщение, что генерация закончена:
WordPress: используйте плагины
XML-карта сайта настраивается в двух популярных SEO-плагинах: All in One SEO Pack и Yoast SEO. Есть также отдельный плагин для создания XML-карты — Google XML Sitemaps.
Покажем настройку на примере первого.
Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:
В нем активируем модуль, который отвечает за XML-карту:
После активации модуль становится доступным для редактирования:
Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.
В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.
xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.
Модули для других популярных CMS
- Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, фактически целый набор SEO-инструментов).
- Drupal: модуль XML Sitemap.
- Magento: настройте Site Map Configuration.
Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.
Как создать XML-карту сайта (и отправить ее в Google)
Джошуа Хардвик
Руководитель отдела контента @ Ahrefs (или, говоря простым языком, я отвечаю за то, чтобы каждое сообщение в блоге, которое мы публикуем, было EPIC).
СТАТИЯ СТАТИСТВА
Ежемесячный трафик 1 923
Связывание веб -сайтов 313
твиты 49
.
содержание. Как правило, чем больше веб-сайтов ссылаются на вас, тем выше ваш рейтинг в Google.
Показывает расчетный месячный поисковый трафик этой статьи по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3-5 раз больше.
Сколько раз этой статьей поделились в Твиттере. Поделиться этой статьей без карты сайта.
К счастью, создать и отправить XML-карту сайта в Google можно быстро и легко.
Ниже мы шаг за шагом рассмотрим, как это сделать.
Но сначала давайте рассмотрим несколько основ.
(Уже знаете основы? Нажмите, чтобы сразу перейти к созданию карты сайта.)
Что такое карта сайта?
Карта сайта — это XML-файл, в котором содержится весь важный контент вашего веб-сайта. Любая страница или файл, которые вы хотите отображать в поисковых системах, должны быть в вашей карте сайта.
Как выглядит XML-карта сайта?
XML-карты сайта созданы для поисковых систем, а не для людей.
Они могут выглядеть немного устрашающе, если вы никогда не видели их раньше.
<ссылка> https://ahrefs.com/ 2019-08-21T16:12:20+03:00 <ссылка>https://ahrefs.com.com/blog/ <последний мод>2019-07-31T07:56:12+03:00
Давайте разберем это.
Декларация XML
Это сообщает поисковым системам, что они читают файл XML. В нем также указывается используемая версия XML и кодировка символов. Для файлов Sitemap версия должна быть 1.0, а кодировка – – UTF-8.
Набор URL-адресов
Это контейнер для всех URL-адресов в карте сайта. Он также сообщает поисковым роботам, какой стандарт протокола используется. В большинстве карт сайта указан стандарт Sitemap 0.
90, который среди прочих поддерживается Google, Yahoo! и Microsoft.
URL
https://ahrefs.com/ 2019-08-21T16:12:20+03:00
Это родительский тег для каждого URL. Вы должны указать расположение URL-адреса во вложенном тег. Важно отметить, что это должны быть абсолютные, а не относительные канонические URL-адреса.
Хотя это единственный обязательный тег, есть несколько необязательных свойств:
-
-
-
Его задача — дать поисковым системам некоторое представление о том, как часто они могут захотеть повторно сканировать URL-адрес. Допустимые значения: всегда , ежечасно , ежедневно , еженедельно , ежемесячно , ежегодно и никогда .Ни один из этих необязательных тегов не является важным для SEO.
Для Гэри Ийес из Google заявляет, что они игнорируют его в большинстве случаев, поскольку «веб-мастера проделывают ужасную работу по обеспечению точности». Поскольку большинство генераторов карт сайта устанавливают текущую дату для всех страниц, а не дату последнего изменения файла, легко понять, почему.
Для <приоритет> , Google говорит, что игнорирует этот тег, потому что это просто «мешок шума».
Для Джон Мюллер говорит: «Приоритет и частота изменений больше не играют такой большой роли в файлах Sitemap».
Зачем мне карта сайта?
Google обнаруживает новый контент, сканируя Интернет.
Когда они сканируют страницу, они обращают внимание как на внутренние, так и на внешние ссылки на странице. Если обнаруженный URL-адрес отсутствует в их поисковом индексе, они могут проанализировать его содержимое и при необходимости проиндексировать.
Но Google не может найти весь контент таким образом. Если на веб-страницу нет ссылок с других известных страниц, они ее не найдут.
Здесь на помощь приходят карты сайта.
Файлы Sitemap сообщают Google (и другим поисковым системам), где найти наиболее важные страницы на вашем веб-сайте, чтобы они могли их сканировать и индексировать.
Это важно, потому что поисковые системы не могут ранжировать ваш контент без его предварительной индексации.
Как создать карту сайта
Некоторые CMS генерируют для вас карту сайта. Они автоматически обновляются, когда вы добавляете или удаляете страницы и сообщения с вашего сайта. Если ваша CMS этого не делает, обычно есть плагин, который это делает.
Создание карты сайта в WordPress
Несмотря на то, что WordPress поддерживает 34,5% веб-сайтов, он не создает для вас карту сайта. Чтобы создать его, вам нужно использовать плагин, такой как Yoast SEO.
Чтобы установить Yoast SEO, войдите в панель управления WordPress.
Перейдите в раздел Плагины > Добавить новый .
Найдите «Yoast SEO».
Нажмите «Установить сейчас» в первом результате, затем «Активировать».
Перейдите на страницу SEO > Общие > Функции . Убедитесь, что переключатель «XML Sitemaps» включен.
Теперь вы должны увидеть свою карту сайта (или индекс карты сайта) по адресу yourdomain.com/sitemap.xml или yourdomain.com/sitemap_index.xml.
Примечание.
Если ваша установка WordPress находится в подпапке или поддомене, то ваша карта сайта находится по этому пути. Например, карта сайта для нашего блога доступна по адресу ahrefs.com/blog/sitemap_index.
xml.
Создание карты сайта в Wix
Wix автоматически создает карту сайта. Вы можете найти это по адресу yourwixsite.com/sitemap.xml 9.0056 .
К сожалению, вы не можете контролировать страницы, которые включаются и не включаются в вашу карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настроек «SEO (Google)» для страницы и отключите переключатель «Показывать эту страницу в результатах поиска».
Обратите внимание, что при этом на страницу также добавляется метатег noindex, который исключает ее отображение в результатах поиска.
Примечание.
Если вы канонизируете URL-адрес в Wix, он не удалит его из вашей карты сайта. Хотя это, вероятно, не повлияет на большинство пользователей, имейте в виду, что включение канонизированных страниц в вашу карту сайта — не лучшая практика, и это может послать Google неоднозначные сигналы.
Создание карты сайта в Squarespace
Squarespace также автоматически создает для вас карту сайта.
Обычно его можно найти по адресу yoursquarespacesite.com/sitemap.xml .
В Squarespace невозможно вручную отредактировать карту сайта, хотя вы можете исключить (не индексировать) страницы из поисковых систем на вкладке «SEO».
Это также исключит страницу из вашей карты сайта.
Создание карты сайта в Shopify
Shopify автоматически создает для вас карту сайта. Найдите его в yourstore.com/sitemap.xml .
К сожалению, нет простого способа не индексировать страницу в Shopify. Вы должны редактировать код непосредственно в файлах .liquid.
Создание карты сайта без CMS
Если вы считаете, что на вашем сайте менее ~300 страниц, установите бесплатную версию Screaming Frog.
После установки перейдите в Mode > Spider .
Вставьте URL-адрес своей домашней страницы в поле с надписью «Введите URL-адрес для паука».
Нажмите «Старт».
Примечание.
Убедитесь, что вы используете каноническую (основную) версию своей главной страницы.
Если этого не сделать, Screaming Frog будет сканировать только один URL.
После завершения сканирования посмотрите в правый нижний угол.
Будет сказано что-то вроде этого:
Если число равно 499 или меньше, перейдите на страницу Sitemaps > XML-карта сайта .
Потому что Google не обращает особого внимания на , и <приоритет> , мы рекомендуем исключить их из файла карты сайта.
Нажмите «Далее» и сохраните карту сайта на свой компьютер. Выполнено.
Если число показывает «500 из 500», то нет смысла экспортировать карту сайта. Почему? Потому что это означает, что вы достигли предела сканирования до того, как он просканировал все страницы вашего сайта. В результате в экспортируемой карте сайта могут отсутствовать сотни страниц, что делает ее довольно бесполезной.
Один из способов решить эту проблему — найти бесплатного создателя карты сайта. Их много.
К сожалению, большинство из них ненадежны.
Мы протестировали самые популярные генераторы и обнаружили, что некоторые из них содержат неканонические URL-адреса, непроиндексированные страницы и перенаправления. Это плохая практика SEO.
| Генератор | Включает канонизированные URL-адреса? | Включает неиндексированные URL-адреса? | Включает перенаправления? |
|---|---|---|---|
| xml-sitemaps.com | Да ❌ | Нет ✅ | Нет ✅ |
| web-site-map.com | Yes ❌ | No ✅ | No ✅ |
| xmlsitemapgenerator.org | Yes ❌ | No ✅ | No ✅ |
| smallseotools.com/xml- sitemap-generator | Yes ❌ | Yes ❌ | Yes ❌ |
| freesitemapgenerator.com | Yes ❌ | Yes ❌ | Yes ❌ |
| duplichecker.com/xml-sitemap-generator.php | Да ❌ | Да ❌ | Да ❌ |
xsitemap. com | Да ❌ | Да ❌ | Да ❌ |
xml».
Это оранжевые квадраты. Нажмите на одну из них, чтобы увидеть все страницы в группе.Серверные решения | / | MySitemapGenerator |
| Плагины и компоненты CMS требуют не только первоначальной установки, но и регулярных обновлений и частых улучшений для обеспечения совместимости с текущей версией программного обеспечения или изменениями в структуре сайта. | / | Наш сервис видит ваш сайт так, как его видят живые посетители и роботы поисковых систем.
|