Содержание
Как проверить индексацию сайта в поисковых системах
Как подготовиться к проверке индексации сайта
Как проверить индексацию в Яндекс Вебмастере
Как проверить индексацию в Google Search Console
Как проверить индексацию без доступа к сайту
Как проверить индексацию отдельных страниц
Как контролировать процесс индексации
Мы в Telegram
В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)
Подписаться
Станьте email-рокером 🤘
Пройдите бесплатный курс и запустите свою первую рассылку
Подробнее
Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO.
Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.
Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.
Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.
Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.
Теперь давайте обо всем по порядку.
Как подготовиться к проверке индексации сайта
Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.
Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы.
Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).
Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.
Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.
Как проверить индексацию в Яндекс Вебмастере
Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.
Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».
В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.
В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.
Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.
Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.
Здесь же можно посмотреть исключенные из поиска страницы.
В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.
Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц».
Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.
После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.
Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.
Как проверить индексацию в Google Search Console
Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».
Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:
- Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
- С ошибками.
- Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
- Исключенные.
Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.
Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.
Как проверить индексацию без доступа к сайту
Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.
Поисковые операторы
Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.
В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.
В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.
В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.
Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.
Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс.
Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.
SEO-сервисы и утилиты
Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.
Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.
Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.
Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.
Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.
SEO Magic.
Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.
Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.
RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.
Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует.
Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.
И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.
Как проверить индексацию отдельных страниц
Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.
Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.
Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».
Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».
Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).
Как контролировать процесс индексации
Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу.
Вот краткий список рекомендаций:
Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.
Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified).
Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).
Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.
Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.
Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.
Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.
Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.
Поделиться
СВЕЖИЕ СТАТЬИ
Другие материалы из этой рубрики
Не пропускайте новые статьи
Подписывайтесь на соцсети
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
«Честно» — авторская рассылка от редакции Unisender
Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы
и интервью с экспертами диджитала.
Оставляя свой email, я принимаю Политику конфиденциальности
Наш юрист будет ругаться, если вы не примете 🙁
Как запустить email-маркетинг с нуля?
В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️
*Вместе с курсом вы будете получать рассылку блога Unisender
Оставляя свой email, я принимаю Политику конфиденциальности
Наш юрист будет ругаться, если вы не примете 🙁
Как проверить индексацию сайта в поисковых системах
Как подготовиться к проверке индексации сайта
Как проверить индексацию в Яндекс Вебмастере
Как проверить индексацию в Google Search Console
Как проверить индексацию без доступа к сайту
Как проверить индексацию отдельных страниц
Как контролировать процесс индексации
Мы в Telegram
В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)
Подписаться
Станьте email-рокером 🤘
Пройдите бесплатный курс и запустите свою первую рассылку
Подробнее
Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.
Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.
Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.
Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.
Теперь давайте обо всем по порядку.
Как подготовиться к проверке индексации сайта
Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.
Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).
Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.
Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.
Как проверить индексацию в Яндекс Вебмастере
Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.
Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».
В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.
В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.
Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.
Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.
Здесь же можно посмотреть исключенные из поиска страницы.
В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap.
Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.
Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.
После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.
Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.
Как проверить индексацию в Google Search Console
Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».
Общая информация об индексировании представлена на графике.
Все страницы поделены на четыре категории:
- Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
- С ошибками.
- Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
- Исключенные.
Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.
Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.
Как проверить индексацию без доступа к сайту
Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.
Поисковые операторы
Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу.
Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.
В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.
В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.
В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.
Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.
Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью.
Особенно часто этим грешит Яндекс.
Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.
SEO-сервисы и утилиты
Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.
Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.
Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.
Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.
Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.
SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.
Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.
RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox.
В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.
Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.
И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.
Как проверить индексацию отдельных страниц
Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.
Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.
Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».
Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».
Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).
Как контролировать процесс индексации
Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу.
Вот краткий список рекомендаций:
Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.
Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).
Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.
Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.
Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.
Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.
Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.
Поделиться
СВЕЖИЕ СТАТЬИ
Другие материалы из этой рубрики
Не пропускайте новые статьи
Подписывайтесь на соцсети
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
«Честно» — авторская рассылка от редакции Unisender
Искренние письма о работе и жизни.
Свежие статьи из блога. Эксклюзивные кейсы
и интервью с экспертами диджитала.
Оставляя свой email, я принимаю Политику конфиденциальности
Наш юрист будет ругаться, если вы не примете 🙁
Как запустить email-маркетинг с нуля?
В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️
*Вместе с курсом вы будете получать рассылку блога Unisender
Оставляя свой email, я принимаю Политику конфиденциальности
Наш юрист будет ругаться, если вы не примете 🙁
Статистика сканирования — Вебмастер.
Справка
Робот-индексатор Яндекса регулярно просматривает страницы сайта и загружает их в базу поиска. Робот может не загрузить страницу, если она недоступна.
Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта сканирует робот. Вы можете просмотреть URL-адреса страниц, которые роботу не удалось загрузить из-за недоступности сервера хостинга или из-за ошибок в содержании страниц.
Информация о страницах доступна на странице Индексация → Статистика обхода в Яндекс.Вебмастере. Информация обновляется ежедневно в течение шести часов после посещения страницы роботом.
По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают известную Яндексу структуру сайта (кроме разделов, добавляемых вручную).
Если в списке нет страниц, которые должны быть включены в результаты поиска, сообщите о них Яндексу с помощью инструмента Переиндексация страниц.
Вы можете скачать информацию о страницах в формате XLS или CSV с помощью фильтров.
Примечание. Данные доступны с 20 февраля 2017 года.
Новые и измененные — количество страниц, просканированных роботом в первый раз, и страниц, статус которых изменился после того, как они были просканированы роботом.
Статистика сканирования — количество страниц, просканированных роботом, с кодом ответа сервера.
Изменения отображаются, если код ответа HTTP изменился при повторном доступе робота к странице. Например, 200 OK становится 404 Not Found. Если изменилось только содержимое страницы, то оно не будет отображаться в Яндекс.Вебмастере.
Чтобы просмотреть изменения, установите параметр Последние изменения. Может отображаться до 50 000 изменений.
Яндекс.Вебмастер показывает следующую информацию о страницах:
Дата последнего посещения страницы роботом (дата обхода).
Путь к странице из корневого каталога сайта.
Код ответа сервера, полученный при сканировании.
На основе этой информации можно узнать, как часто робот сканирует страницы сайта. Вы также можете увидеть, какие страницы были только что добавлены в базу данных, а какие были просканированы повторно.
- Страниц добавлено в базу поиска
Если страница сканируется в первый раз, в столбце Было отображается статус Н/д, а в столбце В настоящее время отображается ответ сервера (например, 200 ОК).
После успешной загрузки страницы в базу данных поиска она может отображаться в результатах поиска после обновления базы данных поиска. Информация об этом отображается на странице Страницы в поиске.
- Страницы переиндексированы роботом
Если робот просканировал страницу ранее, статус страницы может измениться при повторном просканировании: в столбце Был показан ответ сервера, полученный во время предыдущего посещения, в столбце В настоящее время показан полученный ответ сервера во время последнего обхода.
Предположим, что включенная в поиск страница стала недоступной для робота. В этом случае он исключается из поиска. Через некоторое время вы сможете найти его в списке исключенных страниц на странице Страницы в поиске.
Исключенная из поиска страница может оставаться в базе поиска, чтобы робот мог проверить ее доступность. Обычно робот продолжает запрашивать страницу до тех пор, пока на нее есть ссылки и это не запрещено в файле robots.txt.
Чтобы просмотреть список страниц, установите параметр Все страницы. Список может содержать до 50 000 страниц.
Вы можете просмотреть список просканированных роботом страниц сайта и следующую информацию о них:
Дата последнего посещения страницы роботом (дата обхода).
Путь к странице из корневого каталога сайта.
Код ответа сервера, полученный при последней загрузке страницы роботом.
Совет. Если в списке указаны страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов.
Чтобы робот не заходил на ненужные страницы, запретите индексацию директивой Disallow в файле robots.txt.
С помощью значка можно отфильтровать информацию о страницах и изменениях в базе поиска по всем параметрам (дата сканирования, URL страницы, код ответа сервера). Вот несколько примеров:
Соответствует любому из условий (соответствует оператору «ИЛИ»).
Соответствует всем условиям (соответствует оператору «И»).
По ответу сервера
Вы можете создать список страниц, которые робот просканировал, но не смог загрузить из-за ответа сервера 404 Not Found.
Можно фильтровать только новые страницы, которые были недоступны для робота. Для этого установите переключатель в положение Последние изменения.
Также вы можете получить полный список страниц, которые были недоступны для робота. Для этого установите переключатель на Все страницы.
По фрагменту URL
Вы можете создать список страниц, URL которых содержит определенный фрагмент. Для этого выберите из списка Содержит и введите фрагмент в поле.
По URL-адресу с использованием специальных символов
Вы можете использовать специальные символы для соответствия началу строки или подстроки, а также задавать более сложные условия с помощью регулярных выражений.
Для этого выберите совпадения URL из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них на новой строке.
Для условий доступны следующие правила:
| Character | Description | Example |
|---|---|---|
| * | Matches any number of any characters | Display data for all pages that start с https://example.com/tariff/, включая указанную страницу: Использование символа * Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: |
| @ | Отфильтрованные результаты содержат указанную строку (но не обязательно строго совпадают с ней) | Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff |
| ~ | Условие является регулярным выражением | Отображение данных для страниц с URL-адресами, которые соответствуют регулярному выражению. Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент ~стол|диван|кровать , повторяющийся один или несколько раз. |
| ! | Отрицательное условие | Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: !/tariff/* |
При использовании символов не учитывается регистр.
Символы @,!, ~ можно использовать только в начале строки. The following combinations are available:
| Operator | Example |
|---|---|
| !@ | Exclude pages with URLs containing tariff: !tariff |
| !~ | Exclude страницы с URL-адресами, соответствующими регулярному выражению |
Страницы медленнее попадают в результаты поиска, см. Почему страницы появляются в результатах поиска так долго? раздел.
Робот создает дополнительную нагрузку на сайт и хочет ее снизить. Следуйте рекомендациям.
Я создал сайт, но он до сих пор не проиндексирован.
Возможно, с момента создания сайта прошло слишком мало времени. Чтобы сообщить роботу о сайте, добавьте сайт в Яндекс.Вебмастер и подтвердите свои права на него. Также проверьте, не было ли сбоев сервера. В случае ошибки сервера робот Яндекса прекращает индексацию и делает новую попытку при следующем обходе сайта.
Сотрудники Яндекса не могут ускорить добавление страниц в базу поиска.
Как долго мне ждать, пока сайт попадет в поиск?
Мы не прогнозируем сроки индексации сайта и не можем гарантировать, что сайт будет проиндексирован. Обычно проходит от нескольких дней до двух недель с момента, когда робот находит сайт, до момента, когда страницы отображаются в результатах поиска.
Количество запросов на графике «История обхода» уменьшилось или увеличилось
Количество страниц, просканированных роботом Яндекса, может быть больше или меньше в разные дни. Эти изменения не влияют на индексацию сайта или ранжирование в результатах поиска.
Если вы заметили, что:
Вы пытаетесь загрузить конфиденциальную информацию с моего сервера. Что я должен делать?
Робот берет ссылки с других страниц. Это означает, что какая-то другая страница содержит ссылки на конфиденциальные разделы вашего сайта. Вы можете либо защитить их паролем, либо заблокировать от индексации роботом Яндекса в файл robots.txt . В обоих случаях робот не будет скачивать конфиденциальную информацию.
Чтобы сообщить об ошибке в статистике сканирования, заполните форму ниже.
Страниц в результатах поиска — Вебмастер. Справка
Результаты поиска Яндекса регулярно обновляются.
Страницы вашего сайта могут появляться в результатах поиска и исчезать из них.
С помощью информации, представленной в разделе Индексация → Страницы в поиске в Яндекс.Вебмастере, вы можете:
Отслеживать количество страниц в результатах поиска Яндекса и долю страницы А, включенной в поиск Яндекса. Может отсутствовать в результатах поиска, если он дублирует содержимое другой страницы, содержит спам или вирусы, перенаправляет на другой URL-адрес или если на стороне сервера произошла ошибка загрузки.»}}»> и \n
Страница добавлена в результаты поиска Яндекса, но затем исключена из них.
\n «}}»> страниц.
Узнать дату последнего обхода робота и обновления результатов поиска.
Узнайте, почему страница была исключена из результатов поиска.
Узнать статус новых страниц сайта. Даже если страницы были проиндексированы и включены в поиск сразу после публикации, данные в Яндекс.
Вебмастере могут обновляться с задержкой. Обычно для появления изменений требуется несколько дней.
Вебмастере могут обновляться с задержкой. Обычно для появления изменений требуется несколько дней.По умолчанию сервис предоставляет данные о сайте в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают известную Яндексу структуру сайта (кроме разделов, добавляемых вручную).
Примечание. Данные доступны с 12 октября 2016 года.
- Динамика статуса страниц
- Изменения страниц в результатах поиска
- Список страниц, включенных в поиск
- Список страниц, исключенных из поиска
- Фильтрация данных
- Загрузка информации в файл
Информация о странице представлена следующим образом:
Добавлено и удалено — Соотношение страниц, включенных и исключенных из поиска .
Исключено — Динамика страниц исключенных из поиска.
История — Динамика страниц, включенных в поиск. Каждый сегмент графика соответствует разделу сайта.
Распространение — Количество страниц, включенных в поиск. Каждый сегмент круговой диаграммы соответствует разделу сайта.
Общее количество страниц, включенных в поиск, может превышать общее количество страниц на диаграммах (учитываются только страницы и разделы, указанные на странице Структура сайта в Яндекс.Вебмастере).
Яндекс.Вебмастер информирует об изменениях в результатах поиска за последние три месяца:
Дата обновления результатов поиска.
Добавлена ли страница в результаты поиска (URL страницы отображается зеленым цветом) или удалена из них (отображается синим цветом).
Причина, по которой страница была удалена из поиска.
Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, с изменением структуры сайта или файла robots.txt.
Кроме того, сервис отображает общую информацию о странице:
Дата последнего сканирования роботом.
Путь к странице из корневого каталога сайта.
Заголовок страницы (элемент title).
Чтобы просмотреть изменения, установите параметр Последние изменения. Может отображаться до 50 000 изменений.
Вы можете просмотреть список страниц, включенных в поиск, и следующую информацию о них:
Дата последнего сканирования роботом.
Путь к странице из корневого каталога сайта.
Заголовок страницы (элемент заголовка HTML).
Наличие Турбо-страниц для URL.
Для просмотра списка страниц установите для параметра Все страницы. Список может содержать до 50 000 страниц.
Если в списке нет страниц, которые должны быть включены в результаты поиска, сообщите о них Яндексу с помощью инструмента Переиндексация страниц.
Если в списке есть страницы, которые не должны быть включены в результаты поиска, см. раздел Удаление сайта.
Страницы сайта могут исчезнуть из результатов поиска.
Подробнее о том, почему это может происходить, см. в разделе Почему страницы исключаются из поиска? раздел.
Чтобы просмотреть список исключенных страниц (до 50 000), установите параметр Исключенные страницы в Индексация → Страницы в поиске. Отображается следующая информация о страницах:
Дата последнего сканирования роботом.
Путь к странице из корневого каталога сайта.
Статус (причина исключения страницы).
Примечание. Наличие и количество исключенных страниц в Яндекс.Вебмастере не влияет на позицию сайта в результатах поиска.
Страница больше не числится исключенной из поиска через некоторое время после выполнения следующих условий:
Страница недоступна для робота-индексатора (HTTP-сервер возвращает 404 Not Found), или установлена переадресация 301 на странице.
Другие ресурсы не ссылаются на исключенную страницу.
Страница, которая удалена с сайта или не существует, может быть найдена в списке исключенных из поиска страниц, возможно, потому что на нее ссылаются другие ресурсы.
Чтобы удалить страницу из списка, запретите индексацию в файле robots.txt.
Вы можете быстро найти информацию о странице с помощью фильтров. Для этого нажмите на значок . Вы можете фильтровать данные по всем доступным параметрам. Например, вы можете использовать фильтрацию URL-адресов:
Соответствует любому из условий (соответствует оператору «ИЛИ»).
Соответствует всем условиям (соответствует оператору «И»).
Введите часть URL-адреса.
Чтобы составить список страниц с определенным текстом в URL-адресе, выберите URL-адрес из списка и введите фрагмент URL-адреса.
Используйте специальные символы.
Можно использовать специальные символы для соответствия началу строки или подстроки, а также задавать более сложные условия с помощью регулярных выражений. Для этого выберите совпадения URL из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них на новой строке.
Для условий доступны следующие правила:
| Описание | Пример | .0152 | Отображение данных для всех страниц, начинающихся с https://example.com/tariff/, включая указанную страницу: Использование символа * Символ * может быть полезен при поиске для URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: |
|---|---|---|
| @ | Отфильтрованные результаты содержат указанную строку (но не обязательно точно соответствуют ей) | Показать информацию для всех страниц с URL-адресами, содержащими указанную строку: @tariff |
| ~ | Условие является регулярным выражением | Показать данные для страниц с URL-адресами, которые соответствуют регулярному выражению. Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент ~стол|диван|кровать , повторяющийся один или несколько раз. |
| ! | Отрицательное условие | Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: !/tariff/* |
При использовании символов не учитывается регистр.
Символы @,!, ~ можно использовать только в начале строки. The following combinations are available:
| Operator | Example |
|---|---|
| !@ | Exclude pages with URLs containing tariff: !tariff |
| !~ | Exclude страницы с URL-адресами, соответствующими регулярному выражению |
Вы можете скачать информацию о страницах в формате XLS или CSV.
Файл может содержать следующие данные:
updateDate — Дата обновления поисковой базы.
url — URL страницы.
httpCode — HTTP-код, полученный роботом во время последнего сканирования.
статус — Статус страницы.
цель — URL-адрес, на который перенаправляется страница, или URL-адрес, отображаемый в результатах поиска.
lastAccess — Дата последнего обхода страницы роботом.
title — Заголовок страницы (содержимое HTML-элемента title).
событие — событие, которое произошло со страницей (независимо от того, включена она в поиск или исключена).
Файл может содержать следующие данные:
url — URL страницы.
lastAccess — Дата последнего обхода страницы роботом.
title — Заголовок страницы (элемент заголовка HTML).
Файл может содержать следующие данные:
url — URL страницы.
