Индексирование сайта — Вебмастер. Справка

1. Добавьте сайт в Яндекс Вебмастер.

2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. На специальной странице сервиса можно загрузить Sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

   Disallow

   Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:

   Подробнее об этом см. в разделе Использование файла robots.txt.

   Clean param

   С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

   • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

   • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

   • Индексирование flash:

     1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

   • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

   • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since» . Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Быстрый старт — Вебмастер.

Справка

Войдите в Вебмастер с Яндекс ID или зарегистрируйтесь.

Примечание. В Вебмастер можно добавить только сайт с собственным доменом.

1. Перейдите в Вебмастер.

2. Нажмите кнопку Добавить сайт.

3. В поле укажите адрес сайта, по которому он будет участвовать в поиске:

   • по протоколу HTTP или HTTPS;

   • с префиксом www или без него.

   Например, https://www.example.com. Кириллический адрес будет автоматически перекодирован в Punycode. В этом случае кодировка URL страницы должна соответствовать кодировке самой страницы.

4. Нажмите кнопку Добавить. После этого сайт отобразится на странице Мои сайты.

На странице Права доступа выберите один из способов подтверждения. Чтобы подтвердить права, внесите изменения на сайт.

Если вы добавили в Вебмастер сайт и его поддомены, используйте упрощенное подтверждение прав.

После подтверждения прав на управление сайтом вы можете передать права другим пользователям Вебмастера. Пользователь, которому вы делегируете права, сможет использовать все возможности сервиса. Делегировать свои права другому пользователю он при этом не сможет. Подробно см. раздел Делегирование прав.

Примечание. Добавление сайта в Вебмастер не гарантирует, что сайт появится в результатах поиска. О том, что необходимо для появления сайта в результатах поиска, см. раздел Как добавить сайт в поиск.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Для добавления сайта в Вебмастер необходимо, чтобы сервер отвечал основному роботу Яндекса и роботу Вебмастера HTTP-кодом 200 OK (или перенаправлением на страницу, отвечающую HTTP-кодом 200 OK).

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Запись DNS не найдена

Данная ошибка произошла из-за того, что требуемая запись не была найдена в DNS вашего сайта. Это могло произойти по следующим причинам:

• Информация в DNS еще не успела обновиться (это может занять некоторое время). Попробуйте подтвердить права на следующий день.

• В DNS была создана запись не txt-типа;

• В DNS была создана запись для другого сайта. Домены http://www.site.ru и site.ru с точки зрения поисковой системы являются разными, поэтому txt-запись для каждого из них создается отдельно.

• Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если вы не знаете, как сделать txt-запись в DNS, обратитесь в службу поддержки сервиса, на DNS которого делегирован ваш сайт. Например, это может быть регистратор доменных имен.

Содержимое полученного HTML-файла отличается от требуемого

Для подтверждения прав на управление сайтом с помощью HTML-файла необходимо учитывать, что содержимое файла должно быть строго таким, как указано на сервисе. Если в коде файла будут присутствовать элементы дизайна страницы, метатеги или любой другой дополнительный код, то права подтвердить не удастся.

Если по каким-то причинам вам не удается создать HTML-файл со строго определенным содержимым, то необходимо проверить настройки сервера. Возможно, он автоматически добавляет код при создании страницы. В этом случае воспользуйтесь другим способом подтверждения прав.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Не удалось загрузить главную страницу

Робот Вебмастера не смог просмотреть главную страницу вашего сайта. Это могло произойти по следующим причинам:

• Главная страница вашего сайта перенаправляет на другую страницу (например, на страницу /index.html). В таком случае рекомендуем изменить настройки сервера таким образом, чтобы роботу с именем Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) сервер отвечал HTTP-кодом 200 OK.

• Главная страница вашего сайта недоступна. Проверьте, открывается ли она в браузере.

• Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если перенаправлений с главной страницы нет и она свободно открывается в браузере, но права на управление сайтом подтвердить не получается, напишите нам об этом.

Метатег не найден

Проверьте следующее:

• Метатег, который необходим для подтверждения прав на управление сайтом, должен располагаться в HTML-коде главной страницы сайта, в элементе head.

  <head>
  ...
  <meta name='yandex-verification' content='XXXXXXXXXXXXXX' />
  ...
  </head>

  Если вы добавите метатег в другое место главной страницы, то права подтвердить не удастся.

• Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

При проверке прав робот получил ответ, отличный от 200 OK

При обращении основного робота Яндекса или робота Вебмастера к документам на вашем сайте сервер отвечает кодом, отличным от 200 OK. Поэтому права не могут быть подтверждены.

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Необходимо настроить сервер таким образом, чтобы на запрос файла он отвечал роботам HTTP-кодом 200 ОК — в этом случае права на сайт в Вебмастере должны подтвердиться успешно.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Ошибки при делегировании прав

При делегировании прав сайт не добавится автоматически в учетную запись пользователя, которому делегируют права. Необходимо сделать это вручную. После того, как сайт будет добавлен, делегированные права подтвердятся автоматически.

Также нужно учитывать, что с точки зрения поисковой системы сайты https://www.example.com, https://example.com, http://www.example.com и http://example.com являются разными. Поэтому адрес сайта нужно добавлять в точности так, как он был добавлен пользователем, который делегирует права.

Другая ошибка

Уже подтвержденные права на управление сайтом могут быть аннулированы, если при очередной проверке робот сервиса не обнаружит код подтверждения, либо если сайт будет недоступен.

Наличие кода подтверждения проверяется регулярно и автоматически. Поэтому рекомендуем не допускать удаления кода — тогда ваши права не сбросятся. Чтобы вернуть аннулированные права, достаточно подтвердить их заново любым способом. При этом уже собранная статистика по сайту сохранится.

Информация, которая предоставляется на сервисе, является конфиденциальной и предназначена для владельцев сайтов или иных уполномоченных лиц, поэтому для управления сайтом в Вебмастере требуется подтверждение. Если вы не хотите подтверждать права, то вы не сможете воспользоваться данным сервисом.

Как запретить индексацию сайта или страниц?

Иногда необходимо, чтобы страницы сайта или размещенные на них ссылки не отображались в результатах поиска. Вы можете использовать файл robots.txt, HTML-разметку или авторизацию на сайте, чтобы скрыть содержимое сайта от индексации,

Если некоторые страницы или разделы сайта не должны индексироваться (например, те, которые содержат технические или конфиденциальные информации), для ограничения доступа к ним используйте следующие способы:

• В файле robots.txt укажите директиву Disallow.

• Укажите метатег robots с директивой noindex или none в HTML-коде страниц сайта. Дополнительные сведения см. в разделе Метатег Robots и заголовок HTTP X-Robots-Tag.

• Воспользоваться авторизацией на сайте. Мы рекомендуем этот метод, чтобы скрыть домашнюю страницу от индексации. Если главная страница запрещена в файле robots.txt или метатегом noindex, но на нее есть ссылки, то страница может быть включена в результаты поиска.

Скрыть часть текста страницы от индексации

• Добавить элемент noindex в HTML-код страницы. Примеры:

   текст, который не нужно индексировать 

  Элемент не чувствителен к вложенности — может располагаться в любом месте HTML-кода страницы. Если на странице нет закрывающего тега, все содержимое страницы считается скрытым. Не создавайте несколько вложенных тегов noindex, потому что разметка будет игнорировать все, что находится после первого закрывающего тега.

  Вы можете использовать тег в следующем формате, если необходимо сделать код сайта действительным:

   текст, который не должен индексироваться 

• Добавьте элемент noscript в HTML-код страницы. Примеры:

  Элемент noscript, как и noindex, запрещает индексацию, но скрывает содержимое сайта от пользователя, если его браузер поддерживает JavaScript.

  Примечание. JavaScript поддерживается всеми популярными браузерами, если эта функция специально не отключена пользователем.

  Вы можете просмотреть отчет о поддержке JavaScript в Яндекс.Метрике.

Скрыть ссылку на странице от индексации

Чтобы скрыть все ссылки на странице от индексации, в HTML-коде страницы укажите метатег robots с директивой nofollow. Робот не будет переходить по ссылкам при сканировании сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

Вы также можете добавить к ссылке атрибут rel=»nofollow». Примеры:

 текст ссылки 

Атрибут rel=»nofollow» воспринимается роботом как рекомендация игнорировать ссылку.

При использовании любой из перечисленных инструкций ссылка может быть обработана роботом и отображаться в Яндекс.Вебмастере как внутренняя или внешняя. Отображение или отсутствие ссылки в Яндекс.Вебмастере не означает, что поисковые алгоритмы ее никак не учитывают.

Индексация сайта с тегом Яндекс.

Метрики

Внимание. Этот метод не подходит для индексации:

• Турбо-страниц. Они индексируются с помощью специального робота.

• Публикации на Яндекс Дзен. Их регулярно сканирует основной робот Яндекса.

Робот Яндекса узнает о страницах на сайте из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу сканировать страницы с тегом.

Если вы хотите, чтобы робот как можно скорее зашел на ваш сайт, привяжите свою метку Яндекс.Метрики к проверенному в Яндекс.Вебмастере сайту и включите опцию обхода метки.

Who can request and confirm the linking

Where the request is sent from	Who sends the request	Who confirms the request
Yandex. Metrica.	Пользователь с правами редактирования тегов или представительским доступом.	Пользователь Яндекс.Вебмастер с правами на управление сайтом.
Яндекс.Вебмастер. Подробнее о том, как отправить запрос в Яндекс.Вебмастере.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.

После того, как робот просканирует страницы сайта, они могут появиться в результатах поиска при условии, что индексация не запрещена. Чтобы дать роботу лучшее представление о страницах, используйте файл Sitemap.

1. Шаг 1. Добавить сайт в Яндекс.Вебмастер
2. Шаг 2. В Яндекс.Метрике отправить запрос на привязку сайта
3. Шаг 3. Подтвердить запрос в Яндекс.Вебмастер
4. Шаг 4. Включить тег возможность сканирования вашего сайта в Яндекс.Вебмастере

Добавьте сайт с меткой Яндекс.Метрики в Яндекс.Вебмастер и подтвердите права на управление сайтом.

1. Перейти на страницу настроек (вкладка Тег).

2. Нажмите Ссылка на Яндекс.Вебмастер рядом с адресом сайта. Если в настройках тега указаны дополнительные адреса:

   • Субдомен — В Яндекс.Вебмастере подтвердите свои права упрощенным способом и отправьте запрос на привязку сайта.

   • Дополнительный адрес — Добавьте его в Яндекс.Вебмастер и отправьте запрос на привязку сайта.

   • Зеркало — Привязка тега к основному зеркалу сайта (адрес, который должен участвовать в поиске).

После того, как вы отправили запрос на подтверждение привязки сайта, пользователю Яндекс.Вебмастера будет отправлено уведомление на адрес электронной почты, указанный в настройках уведомлений (если пользователь подписан на уведомления о запросах Яндекс. Метрики ).

Когда запрос на привязку сайта отправлен, Вебмастер начинает поиск совпадений с доменом сайта. Протокол и наличие префикса www игнорируются. Если совпадения найдены, подтвердите запрос:

1. Перейдите в Настройки → Ссылка на Яндекс.Метрику.

2. Щелкните Подтвердить рядом с соответствующим идентификатором тега.

Отследить статус привязки тега к сайту можно:

• в Яндекс.Метрике, зайти в Настройки и открыть вкладку Тег.

• в Яндекс.Вебмастере перейдите в Настройки → Привязать к Яндекс.Метрике.

Состояние	Описание	Примечание
«Подтверждение AWAITING»
Выполняется проверка домена. После того, как домен найден, запрос ожидает подтверждения.	Пользователь Яндекс.Вебмастера должен подтвердить запрос.
«Связано»	Пользователь Яндекс.Вебмастер подтвердил запрос на привязку сайта.	Робот Яндекса начнет обход страниц сайта.
«Не проверено»	Пользователь Яндекс.Метрики или Яндекс.Вебмастер отменил привязку сайта.	Вы можете повторно отправить запрос на привязку тега к сайту.
«Ошибка подтверждения»	Тег не привязан к сайту. Возможные причины: Сайт не добавлен в Яндекс.Вебмастер. Не подтверждены права на управление сайтом в Яндекс. Вебмастере. Неверный идентификатор тега в Яндекс.Вебмастере на странице Настройки → Ссылка на Яндекс.Метрику.	Проверьте возможные причины и снова запросите подтверждение.

1. Перейдите в раздел Индексирование → Сканирование тегов.

2. Напротив метки Яндекс.Метрики, которую вы привязали к сайту, включите сканирование.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант будет применяться ко всем версиям сайта: как HTTP, так и HTTPS, а также с префиксом www или без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях сканирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц — Яндекс.Вебмастер показывает только примеры. Они могут помочь вам понять, какие группы страниц могут участвовать в поиске, а какие нет.

В зависимости от настроек может появиться уведомление о готовности списка к проверке:

• В Яндекс.Вебмастере, на страницах Уведомления и Диагностика.

• Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, с которым вы связали веб-сайт.

Если вы думаете, что в списке:

1. Проанализируйте список страниц — среди них могут быть, например:

2. Подождите, пока сервис обновит список — на адрес электронной почты, который вы указали в настройках уведомлений, будет отправлено письмо.

3. Еще раз проверьте образцы страниц.

4. Включить сканирование.

1. Убедитесь, что они готовы к отображению в результатах поиска — например, проверьте полноту содержимого, а также проверьте наличие и правильность заголовка элемента и метатега Description.

   This entry was posted in Популярное