Индексирование сайта — Вебмастер. Справка

1. Добавьте сайт в Яндекс Вебмастер.

2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. На специальной странице сервиса можно загрузить Sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим наиболее важные параметры, которые можно указать в этом файле:

   Disallow

   Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:

   Подробнее об этом см. в разделе Использование файла robots.txt.

   Clean param

   С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

   • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

   • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

   • Индексирование flash:

     1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

   • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

   • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since» . Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Индексирование сайта с помощью счетчика Метрики

Робот Яндекса узнаёт о страницах сайта из разных источников. Один из них — счетчик Яндекс Метрики. Вы можете сообщить Яндексу о том, что нужно обходить страницы, на которых установлен счетчик.

Чтобы робот быстрее посетил ваш сайт, привяжите счетчик Метрики к сайту, подтвержденному в Вебмастере, и включите обход сайта по данным счетчика.

Кто может запросить и подтвердить привязку

Откуда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс Вебмастер.	Пользователь с правами на управление сайтом.	Пользователь Метрики с правами на редактирование счетчика или с представительским доступом.
Яндекс Метрика. Подробнее о том, как отправить запрос в Метрике.	Пользователь с правами на редактирование счетчика или с представительским доступом.	Пользователь Вебмастера с правами на управление сайтом.

Когда робот обойдет страницы сайта, они смогут участвовать в результатах поиска, если их индексирование не запрещено. Чтобы робот получил более полное представление о страницах, дополнительно используйте файл Sitemap.

1. Шаг 1. В Вебмастере отправьте запрос на привязку
2. Шаг 2. В Метрике подтвердите запрос
3. Шаг 3. В Вебмастере включите обход сайта
4. Вопросы и ответы

Вы можете привязать несколько доменов к одному счетчику или несколько счетчиков к одному сайту. Например, можно привязать счетчик к основному домену и к поддомену. Для этого добавьте оба сайта в Вебмастер и подтвердите права на управление.

1. Выберите сайт, который хотите привязать к счетчику.

2. Перейдите на страницу Настройки → Привязка к Яндекс Метрике.

3. Нажмите кнопку Добавить счетчик.

4. В поле укажите номер счетчика, к которому нужно привязать сайт. При этом в Яндекс Метрике в настройках счетчика должен быть указан сайт, для которого вы настраиваете привязку.

После того как вы отправили запрос на подтверждение привязки, письмо об этом придет владельцу счетчика Метрики.

Примечание. Если вы одновременно владелец сайта и счетчика, то запрос будет подтвержден автоматически — счетчик привяжется к сайту. Переходите к следующему шагу.

Когда запрос на привязку отправлен, начинается поиск совпадений по домену сайта. Во время проверки не учитываются протокол и наличие префикса www. Если совпадения найдены, подтвердите запрос:

1. Перейдите на страницу Настройка (вкладка Счетчик).

2. Нажмите кнопку Подтвердить.

Вы можете отслеживать статусы привязки счетчика к сайту:

• в Яндекс Метрике — на странице Настройка, на вкладке Счетчик;

• в Яндекс Вебмастере — на странице Настройки → Привязка к Яндекс Метрике.

  Статус	Описание	Примечание
  «Ждет подтверждения»	Запрос на привязку отправлен. Определяется совпадение доменов. После этого запрос ожидает подтверждения пользователем Метрики.	Пользователь Метрики должен подтвердить запрос.
  «Связан»	Пользователь Метрики подтвердил запрос на привязку.	Робот Яндекса начнет обходить страницы сайта.
  «Не подтвержден»	Пользователь Метрики или Вебмастера отменил привязку.	Вы можете отправить запрос на привязку счетчика и сайта повторно.
  «Ошибка подтверждения»	Счетчик не привязан к сайту. Возможные причины: сайт не добавлен в Вебмастер; не подтверждены права на управление сайтом в Вебмастере; неверно указан номер счетчика в Вебмастере на странице Настройки → Привязка к Яндекс Метрике.	Проверьте возможные причины и отправьте запрос на подтверждение повторно.

1. Перейдите на страницу Индексирование → Обход по счетчикам.

2. Напротив счетчика Метрики, который вы привязали к сайту, включите обход.

Робот сможет обойти страницы, на которых установлен счетчик. Опция начнет действовать для всех версий сайта: доступных по протоколу HTTP и HTTPS, с префиксом www и без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях обход может остановиться, чтобы вы проверили страницы. Робот может найти множество страниц — Вебмастер покажет только примеры. Они помогут вам понять, каким группам страниц разрешить участие в поиске, а каким нет.

Уведомление о том, что список для проверки готов, вы сможете получить в зависимости от настроек:

• в Вебмастере на страницах Уведомления и Диагностика;

• на электронный адрес, который вы указали в настройках уведомлений.

Чтобы проверить примеры, перейдите на страницу Индексирование → Обход по счетчикам и нажмите кнопку Примеры страниц напротив счетчика, к которому вы привязали сайт.

Если вы считаете, что в списке:

1. Проанализируйте список страниц — среди них могут быть, например:

   Тип страницы	Что делать
   Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретите индексирование страниц
   Корзина с товаром.
   Персональная информация. Например, адреса доставки и телефоны ваших клиентов.	Ограничьте доступ к данным с помощью авторизации пользователей на сайте
   Страница сайта, которая повторяет содержимое другой страницы этого же\n сайта, но доступна по отличному адресу.»}}»>. Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите страницу, предпочитаемую для участия в поиске

2. Дождитесь, когда сервис обновит список — об этом придет письмо на электронный адрес, который вы указали в настройках уведомлений.

3. Проверьте примеры страниц снова.

4. Включите обход.

1. Проверьте, готовы ли они к показу в результатах поиска — например, полноту контента, наличие и корректность элемента title и метатега description.

2. Включите обход.

Кроме этого, рекомендуем добавить страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы они быстрее смогли попасть в результаты поиска.

Проверить, какие страницы появились в результатах поиска, можно на странице Страницы в поиске.

При выключенной опции робот перестает получать информацию о новых страницах сайта от Метрики. При этом он может проиндексировать страницы, узнав о них из других источников. Поэтому рекомендуем закрывать от индексирования непубличный контент. Выяснить, участвуют ли в поиске нежелательные страницы, можно на странице Страницы в поиске.

Также отключение обхода не удаляет страницы из результатов поиска. Посмотрите раздел Как удалить страницы из поиска.

Стоит ли включать обход по Метрике

Обход по счетчикам Метрики ускоряет индексирование сайта. Этот способ — сигнал для робота, чтобы посетить ваш сайт.

При включении обхода по счетчикам Метрики Вебмастер предложит примеры страниц, которые лучше скрыть от индексирования (например, приватные страницы). Ознакомьтесь с рекомендациями и закройте ненужные страницы от индексирования.

Что делать, чтобы ненужные страницы не попадали в поиск

Даже если вы не включите обход по Метрике, есть вероятность, что такие страницы могут попасть в поиск. Поэтому рекомендуем закрыть их от индексирования и включить обход.

Если у вас есть вопрос о работе инструмента, выберите подходящий вариант:

Посмотрите рекомендации в разделе Почему страницы долго не появляются в поиске.

Страницы отправлены на переобход, но не появились в поиске

Воспользуйтесь рекомендациями о том, как удалить страницы или разделы сайта из результатов поиска. Поисковая выдача обновляется в течение двух недель.

Страницы не пропали из поиска спустя две недели

Как запретить индексацию сайта или страниц?

Иногда необходимо, чтобы страницы сайта или размещенные на них ссылки не отображались в результатах поиска. Вы можете использовать файл robots.txt, HTML-разметку или авторизацию на сайте, чтобы скрыть содержимое сайта от индексации,

Если некоторые страницы или разделы сайта не должны индексироваться (например, те, которые содержат технические или конфиденциальные информации), для ограничения доступа к ним используйте следующие способы:

• В файле robots.txt укажите директиву Disallow.

• Укажите метатег robots с директивой noindex или none в HTML-коде страниц сайта. Дополнительные сведения см. в разделе Метатег Robots и заголовок HTTP X-Robots-Tag.

• Воспользоваться авторизацией на сайте. Мы рекомендуем этот метод, чтобы скрыть домашнюю страницу от индексации. Если главная страница запрещена в файле robots.txt или метатегом noindex, но есть ссылки, ведущие на нее, страница может быть включена в результаты поиска.

Скрыть часть текста страницы от индексации

• Добавить элемент noindex в HTML-код страницы. Примеры:

   текст, который не нужно индексировать 

  Элемент не чувствителен к вложенности — может располагаться в любом месте HTML-кода страницы. Если на странице нет закрывающего тега, все содержимое страницы считается скрытым. Не создавайте несколько вложенных тегов noindex, потому что разметка будет игнорировать все, что находится после первого закрывающего тега.

  Вы можете использовать тег в следующем формате, если необходимо сделать код сайта действительным:

   текст, который не должен индексироваться 

• Добавьте элемент noscript в HTML-код страницы. Примеры:

  Элемент noscript, как и noindex, запрещает индексацию, но скрывает содержимое сайта от пользователя, если его браузер поддерживает JavaScript.

  Примечание. JavaScript поддерживается всеми популярными браузерами, если эта функция специально не отключена пользователем.

  Вы можете просмотреть отчет о поддержке JavaScript в Яндекс.Метрике.

Скрыть ссылку на странице от индексации

Чтобы скрыть все ссылки на странице от индексации, в HTML-коде страницы укажите метатег robots с директивой nofollow. Робот не будет переходить по ссылкам при сканировании сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

Вы также можете добавить к ссылке атрибут rel=»nofollow». Примеры:

 текст ссылки 

Атрибут rel=»nofollow» воспринимается роботом как рекомендация игнорировать ссылку.

При использовании любой из перечисленных инструкций ссылка может быть обработана роботом и отображаться в Яндекс.Вебмастере как внутренняя или внешняя. Отображение или отсутствие ссылки в Яндекс.Вебмастере не означает, что поисковые алгоритмы ее никак не учитывают.

Индексирование — веб-мастер. Помощь

Расскажите нам, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Проверьте, отображаются ли страницы в поиске. Для этого введите URL страницы, которую хотите проверить, в строку поиска Яндекса:

Пример: url:https://example.com/page/.

Пример: https://example.com/page/.

Страница появляется в результатах поискаСтраница не отображается в результатах поиска

Это означает, что страница уже проиндексирована: она добавлена ​​в базу данных робота. Если вы не находите страницу по определенному запросу или она оказывается на низких позициях, попробуйте самостоятельно выяснить причину изменения рейтинга сайта.

Или уточнить вопрос:

Позиция сайта по запросам упалаСайт имеет низкий рейтинг в результатах поискаПо определенному запросу найдена другая страница сайтаСайт отсутствует в результатах поискаПосещаемость сайта уменьшиласьСообщить о несанкционированном копировании информации с моего сайта

Проверить выяснять причины изменения рейтинга, а также проверять сайт на предмет безопасности и нарушений. Если Яндекс.Вебмастер обнаружил угрозу или нарушение, следуйте рекомендациям, предоставленным в сервисе.

На сайте нет нарушений и угроз

Изменения в поисковом рейтинге сайта в большинстве случаев допустимы. Это может быть связано с постоянными корректировками алгоритмов и динамикой результатов поиска.

Обратитесь в службу поддержки, если изменение рейтинга сопровождается всеми перечисленными условиями:

• Сайт долгое время лидировал.

• Рейтинг сайта упал более чем на 30 пунктов (при небольших изменениях проверьте, соответствует ли ваш сайт рекомендациям, изложенным в этом разделе).

• Посещаемость сайта уменьшилась.

Заполните форму

Если ваш сайт не имеет высоких позиций по некоторым запросам, возможно, он еще не набрал достаточной релевантности. Проверьте показатели сайта, описанные в этом разделе.

Причины низкой позиции сайта остаются неясными

Используйте оператор [url] (пример), чтобы проверить, включена ли страница в поиск.

Страница не в поискеСтраница в поиске

• Страница может быть страницей сайта А, которая дублирует содержимое другой страницы того же сайта, но имеет другой URL.»}}»>. Сведения о том, как это проверить и исправить, см. в разделе Дублирование страниц. Также страница может не попасть в поиск или исчезнуть из него по другим причинам.

• Если сайт сменил адрес, но страница отображается в поиске по старому адресу, убедитесь, что вы правильно переместили сайт.

Специальный алгоритм определяет, будет страница отображаться в результатах поиска или нет. Например, чтобы страница отображалась, ее содержимое должно соответствовать поисковому запросу. Для получения дополнительной информации см. Этап 4. Формирование результатов поиска.

Страница в поиске вообще не соответствует запросу

Если вы не нашли новые страницы сайта в поиске, перейдите на страницу Как добавить сайт в поиск? раздел. Если страницы ранее были в поиске, а сейчас отсутствуют, ознакомьтесь с причинами исключения страниц.

Если вы заметили снижение посещаемости веб-сайта, проверьте, с какими источниками трафика связана эта проблема. Сделать это можно с помощью сводного отчета Источники в Яндекс.Метрике.

Трафик, полученный из результатов поиска, может уменьшиться по разным причинам, например:

• Рейтинг сайта изменился.

• Ранее популярные страницы исчезли из поиска. Чтобы отслеживать состояние поиска важных для вас страниц, настройте мониторинг.

• На веб-сайте обнаружены нарушения безопасности или проблемы.

Если трафик не изменится в течение двух недель после устранения описанных выше проблем, обратитесь в службу поддержки.

Рекомендации не помогли

Если другой ресурс имеет идентичный вашему контент, этого недостаточно для исключения сайта из результатов поиска.

Чтобы защитить свои авторские права, вы можете подать жалобу непосредственно администратору сайта, содержание которого, по вашему мнению, идентично вашему, или использовать другие законные средства для защиты своих прав.

Если вы не можете договориться с администрацией сайта, попробуйте написать хостинг-провайдеру сайта.

Рекомендации не помогли

Это означает, что сайт или часть страниц еще не проиндексированы роботом Яндекса. Подробнее о том, как робот сканирует сайты, читайте в разделе Как работает поиск Яндекса?.

Уточните вопрос:

Сайт добавлен в Яндекс.Вебмастер, но еще не появился в поискеНовые страницы сайта не попали в поискСайт или страницы исчезли из результатов поиска

Как правило, сайты добавлялись в Яндекс.Вебмастер появляются в результатах поиска в течение двух недель. Если этого не произошло, проверьте, не запрещена ли индексация сайта в файле robots.txt или метатегах.

Сайт также может быть недоступен из-за ошибки сервера. Вы можете проверить доступность сайта с помощью инструмента проверки ответа сервера.

Если URL-адрес сайта изменился, робот может не успеть его отследить. Проверьте, правильно ли настроены зеркала.

Сайт доступен для робота, но не отображается в поиске

Отправить страницы для посещения роботом с помощью инструмента Переиндексация страниц. Страницы появятся в поиске в течение двух недель.

Рекомендации не помогли

Ознакомьтесь с рекомендациями, которые помогут вам добавить страницы в поиск.

Страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более 2-х недель Почему страницы исключены из поиска? раздел.

Если проблема не решена, укажите причину:

Страница доступна для робота и отправлена ​​на переиндексацию, но не отображается в поискеРазные страницы сайта признаны дубликатамиСтраница признана маловостребованной и удалена из поискаДругие вопросы по исключению страниц

Страницы с разным содержанием могут считаться дубликатами, если они ответили роботу сообщением об ошибке (например, в случае страницы-заглушки на сайте). Проверьте, как страницы реагируют сейчас. Если страницы возвращают другой контент, отправьте их на переиндексацию — так они быстрее вернутся в результаты поиска.

Чтобы предотвратить исключение страниц из поиска, если сайт временно недоступен, настройте код ответа HTTP 503.

Исключение страниц из результатов поиска не является ошибкой сайта или робота-индексатора: оно исключает страницы, которые пользователи не смогут найти с помощью поисковых запросов. Поэтому их исключение не должно влиять на видимость проиндексированных страниц на сайте. Чтобы узнать больше, см. Страницы с низкой ценностью или низким спросом.

Обратитесь в службу поддержки, если:

• Страницы были высоко оценены в результатах поиска, прежде чем они были исключены.

• Позиции сайта после исключения страниц резко снизились.

• Количество переходов из поисковой системы значительно уменьшилось после исключения страниц.

Заполните форму

Чтобы ускорить появление изменений на страницах сайта в результатах поиска, см. Как переиндексировать сайт?.

Если остались вопросы или возникли трудности, укажите тему:

Страницы доступны для робота, но сохраняется статус «Ошибка» Страницы доступны для робота и отправлены на переиндексацию, но не отображаются в поиск более трех недельИнформация на сайте изменена, но в результатах поиска отображается старая версияСайт или отдельные страницы запрещены в robots. txt, но все еще находятся в поискеСтарые страницы удалены и перенаправлены на новые , но все еще присутствуют в поиске

Убедитесь, что:

• Страницы доступны для робота (используйте инструмент проверки ответа сервера).

• Информация о страницах присутствует в файле Sitemap.

• Запрещающие директивы Disallow и noindex, а также HTML-элемент noindex в файле robots.txt предотвращают индексацию только технических и дублирующих страниц.

Рекомендации не помогли

Если вы следовали инструкции при удалении страниц сайта и после последнего обхода роботом Яндекса прошло более двух недель, заполните форму ниже:

Если вы используете перенаправление, робот будет постепенно отслеживать перенаправления и старые страницы будут исчезать из результатов поиска по мере обхода сайта. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.

Если URL-адреса страниц изменились из-за того, что вы изменили доменное имя сайта, обновление данных поиска может занять более месяца. Проверьте, правильно ли настроены зеркала.

Страницы отправлены на переиндексацию, но не удаляются из поиска более двух недель

См. рекомендации в разделе Как исключить страницы из поиска? раздел.

Расскажите, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Сайт или отдельные страницы запрещены в robots.txt, но все еще находятся в поиске Старые страницы удаляются и перенаправляются на новые, но все еще присутствуют в поиске

Если вы следовали инструкции при удалении страниц сайта и после последнего обхода роботом Яндекса прошло более двух недель, заполните форму ниже:

Если вы использовали перенаправление, отправьте страницы на переиндексацию.

Страницы отправлены на переиндексацию, но не удаляются из поиска более двух недель

Чтобы задать вопрос, напишите в техподдержку сервиса Яндекс.Картинки.

This entry was posted in Популярное