Как проверить индексацию сайта в Яндекс и Google: советы и способы проверки

Поисковые системы по разным причинам индексируют не все страницы сайта. Крупные ресурсы и интернет-магазины теряют доход, если их товарные страницы отсутствуют в поиске, поэтому проверка индексации сайта в Яндекс и Google так важна. При обнаружении проблемы вебмастер должен провести своевременную аналитику.

Как узнать количество проиндексированных страниц?

Чтобы узнать, сколько страниц сайта не проиндексировано, необходимы данные об общем количестве. Существует несколько способов узнать это:

• Воспользоваться картой сайта. Ее можно найти по адресу: название ресурса/sitemap.xml. В файле отображаются все страницы сайта, но в некоторых случаях sitemap может генерироваться неверно и не все url могут корректно отображаться.

• Проверить индексацию сайта с помощью программ. Сервисы автоматически сканируют все страницы и выдают актуальные результаты. Вы можете воспользоваться платным ресурсом Screaming Frog Seo или бесплатным — Xenus Links Sleuth.

Основные методы проверки индексации

1. Панели Яндекс.Вебмастер и Google Search Console

После верификации можно проверить индексацию страниц сайта в поисковой системе Яндекс в панели управления вебмастера во вкладке «Индексирование», далее — «Страницы в поиске». Вы увидите перечень страниц, которые участвуют в индексации в Yandex поиске. Сохранить информацию для дальнейшего анализа можно в формате .xls и .csv.

Проверка в Google Search Console также начинается с подтверждения прав на владение сайтом, далее в панели управления вебмастера Гугл выбираем вкладку «Индекс», затем — «Покрытие». Полученные статистические данные по индексированным страницам примерные, так как. информация предоставляется на время последнего обновления системы. На текущий момент количество страниц может разниться, важно это учитывать.

Как узнать, проиндексирована ли конкретная страница в Google? Для этого необходимо вставить URL-адрес в поисковую строку Search Console. Если страница еще не проиндексирована, вы увидите следующее сообщение:

Так можно вручную отправлять выбранные страницы в очередь для индексации. В вебмастере Яндекс тоже имеется такой функционал. Для добавления страниц в очередь для индексации необходимо перейти во вкладку «Индексирование», далее — «Переобход страниц» и добавить необходимые url.

2. Поисковые операторы

Операторы поиска — набор команд, которые фильтруют и уточняют результат выдачи. Команда «site:» выдает данные о примерном количестве страниц, которые присутствуют в индексе. Чтобы проверить индексацию сайта в поисковых системах, нужно ввести «site:[url вашего сайта]» в строку поиска. Если информация в Google и Яндекс разительно отличается между собой, значит требуется провести аудит сайта и найти причину некорректной работы.

Для быстрого и расширенного поиска можно использовать дополнительные инструменты. Чтобы увидеть изменения в индексации за последние сутки, нужно воспользоваться вкладками (ниже поисковой строки) «Инструменты поиска» и выбрать диапазон «За год/месяц/неделю/24 часа/час».

3. Плагины и букмарклеты

Это javascript-программы для автоматизированной проверки сайта, которые браузер сохраняет в качестве закладок. Преимущество плагинов заключается в том, что не нужно заходить в Яндекс или Google и вводить нужный запрос каждый раз. Работа расширений настроена через специальные скрипты, которые автоматически произведут проверку.

Один из самых известных плагинов — RDS bar. Он анализирует и показывает данные относительно всего сайта и его отдельных страниц. Для полноценной работы плагина рекомендуется установить браузер Mozilla Firefox.

Плагин Seo Magic также предоставляет полезную информацию для анализа, в том числе данные о количестве индексированных страниц в Яндекса и Google.

4. Программы-помощники для SEO-специалистов

Проверка индексации страниц сайта может производиться через связку программ.

Netpeak Spider — полностью сканирует сайт и выдает список подробных данных о нем. Программа позволяет узнать следующие данные: заголовки, название, метаописания, canonical, код ответа, внешние и внутренние ссылки, редиректы, robots. txt, а также сигнализирует об ошибках в системе. Полученные URL-адреса необходимо выгрузить в Netpeak Checker, где и происходит проверка страниц на наличие в индексе.

Основные проблемы индексации сайта

Есть перечень причин, которые препятствуют страницам сайта индексироваться.

Как ускорить процесс индексации сайта?

Количество страниц, обрабатываемых поисковиками за раз, ограничено. В основном это зависит от выделенного краулингового бюджета. Вот еще несколько продуктивных методов ускорить процесс индексации:

1. Способ автоматического обновления карты сайта.

   Sitemap предоставляет роботам информацию о структуре сайта, в файле перечислены все адреса страниц. Важно указать частоту посещения и приоритетность страниц, поэтому позаботьтесь о том, чтобы все новые страницы сайта автоматически добавлялись в карту.

1. Устранение дублированных страниц и неуникального контента.

   Дубли страниц препятствуют индексации страниц сайта. Поисковый робот просто может не дойти до нужной страницы, поэтому вебмастер должен следить за состоянием ресурса.

1. Регулярный мониторинг внутренних редиректов и битых ссылок.

   Наличие на сайте битых ссылок и редиректов в большом количестве приводит к тому, что робот попадает на несуществующие страницы или те адреса, которые уже отсканировал. Важно контролировать количество внутренних редиректов и не допускать наличие битых ссылок на сайте.

1. Грамотная настройка robots.txt.

   Файл robots.txt. не является обязательной инструкцией к применению, но пренебрегать его возможностями не стоит. Корректная настройка откроет доступ к новым страницам сайта и облегчит поиск для роботов.

1. Улучшение скорости загрузки сайта.

   Скорость загрузки сайта — важный фактор ранжирования. Оптимальная скорость загрузки страницы составляет 3-5 секунд, а время ответа сервера — 200 мс. Для контроля и оптимизации можно использовать сервис PageSpeed Insights, в котором предложены основные рекомендации по оптимальным настройкам загрузки сайта.

1. Перелинковка

   Суть перелинковки заключается в грамотном распределении внутреннего веса между страницами сайта. Переходя по внутренним ссылкам, робот также быстро находит новые страницы и оперативно добавляет их в индекс.

1. Вывод превью новых товаров и свежих статей на главную страницу сайта.

   Чтобы пользователи и поисковики быстрее заметили новый товар или раздел каталога, ссылку на материал целесообразно разместить на главной странице.

1. Размещение ссылки в соцсетях.

   Публикация ссылки на новую страницу сайта увеличивает ее активность и соответственно ускоряет индексацию.

1. Постоянное обновление контента.

   Поисковики любят активные сайты. Поддержать актуальность ресурса поможет публикация интересного уникального контента, обновление каталога, размещение ссылок на новые материалы, дополнение старых страниц новой полезной информацией. Обновлять контент рекомендуется не реже 1 раза в неделю.

Чек-лист «Устранение ошибок при индексации сайта»

Проверка индексации сайта — важная задача SEO-специалиста. Что может улучшить индексацию?

Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

Оглавление:

1. 
   Проверка индексирования сайта через панель Яндекс. Вебмастера и Google Search Console

2. 
   Проверка количества проиндексированных страниц в ПС при помощи операторов

3. 
   Анализ индексации сайта при помощи плагинов и расширений

4. 
   Отслеживание проиндексированных страниц с помощью online сервисов

5. 
   Программы для контроля индексации сайта

6. 
   Проверка индексации страницы

7. 
   Почему сайт может не индексироваться

8. 
   Выводы SEO-специалиста Веб-Центра

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл

Читайте также

Обновлённый поиск Яндекса «Андромеда» — что нового и влияние на SEO

2.

Проверка количества проиндексированных страниц в ПС при помощи операторов

1. Оператор «site»

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

Пример использования команды «site» в Гугле

Но в использовании этого оператора есть особенность. Если на сайте более 2 тысяч страниц, то Яндекс часто показывает их некорректное количество. Поэтому сам Яндекс рекомендует уточнять информацию по количеству страниц в индексе через панель вебмастеров, о которой говорили выше.

С помощью оператора мы видим количество страниц – 2 тысячи, если смотреть через панель вебмастера, то число будет совсем другим – 7 808:

Оператор «host»

Оператор «host:» работает по принципу оператора «site», только он позволяет сузить область поиска до конкретного домена. Поддомены не учитываются и не выводятся в результатах поиска. Чтобы использовать оператор, введите в строке поиска «host:адрес_интересующего_сайта».

Если бы мы использовали оператор «site», в выдачу попали бы страницы с поддоменами других городов.

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

Установить расширение вы можете по ссылке

Пример использования расширения RDS bar

Установить расширение вы можете по ссылке

4.

Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru
вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

• 
  Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

  
  Проверяемая страница в поиске Яндекса

  
  

• 
  Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

  
  Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

Ранее, по типу оператора «url» в Яндекс, в поисковой системе Google был оператор «info». В 2019 году Google отключил данный поисковый оператор. Причиной этого решения стал тот факт, что эта команда мало используется, а получить эти данные можно с помощью инструмента проверки URL в Search Console.

Используя оператор info, можно было просмотреть канонический URL для конкретной страницы. Однако, поскольку эти данные доступны в инструменте проверки URL, то отдельный поисковый оператор, по мнению Google, больше не нужен.

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Если вы не смогли решить проблему с индексацией отдельных страниц, или хотите поручить поисковую оптимизацию сайта профессионалам, расскажите нам о вашем проекте. Команда Веб-Центра выводит в топ сайты любой тематики.

Выводы SEO-специалиста Веб-Центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале

А если у вас возникли трудности или вы не хотите тратить время, то можете заказать бесплатную SEO-консультацию у наших специалистов.

Индексация — Вебмастер. Справка

1. Добавить сайт в Яндекс.Вебмастер.

2. Карта сайта. Карта сайта — это специальный формат, разработанный для веб-мастеров и поисковых систем для описания структуры сайта. Представляет собой список ссылок на внутренние страницы сайта, представленный в формате XML. Яндекс также поддерживает этот формат. Вы можете загрузить карту сайта для своего сайта на специальной странице в Яндекс.Вебмастере. Используйте его, чтобы установить приоритет сканирования определенных страниц для робота. Например, если какие-то страницы обновляются чаще, сообщите об этом, чтобы робот правильно планировал сканирование.

3. Robots.txt — это файл для роботов поисковых систем. В этом файле вебмастер может указать параметры индексации для всех роботов или для каждой поисковой системы отдельно. Вот три наиболее важных параметра, указанные в этом файле:

   Disallow

   Эта директива используется для запрета индексации определенных разделов сайта. Используйте его, чтобы предотвратить индексацию технических страниц и страниц, которые не важны для пользователей и поисковых систем. В том числе:

   Дополнительные сведения см. в разделе Использование robots.txt.

   Очистить параметр

   Используйте эту директиву, чтобы указать роботу, какие параметры CGI в URL-адресе страницы не важны. Иногда URL-адреса страниц содержат идентификаторы сеансов. Формально страницы с разными ID разные, но содержание у них одинаковое. Если на сайте много таких страниц, робот может начать индексировать такие страницы, а не скачивать полезный контент. Дополнительные сведения см. в разделе Использование robots.txt.

4. Яндекс индексирует основные типы документов, распространяемых в сети. Но существуют ограничения, которые влияют на то, как документ индексируется и индексируется ли он вообще:

   • Большое количество параметров CGI в URL-адресе, большое количество вложенных каталогов и слишком длинные URL-адреса могут мешать индексированию документа.

   • Размер документа важен для индексации. Документы размером более 10 МБ не индексируются.

   • Indexing Flash:

     1. Робот индексирует файлы *.swf, если на них есть прямая ссылка или они встроены в HTML с тегами object или embed.

     2. Если Flash содержит полезное содержимое, исходный HTML-документ можно найти по содержимому, проиндексированному в swf-файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде изображений, не индексируется.

   • Яндекс индексирует документы в форматах Open Office XML и OpenDocument (включая документы Microsoft Office и Open Office). Но поддержка новых форматов может занять некоторое время.

   • Вы можете использовать теги и. Робот Яндекса индексирует загруженный в них контент и находит исходный документ по содержимому фреймов.

5. Если вы задали другое поведение сервера для несуществующих URL-адресов, убедитесь, что сервер возвращает код ошибки 404. Как только поисковая система получает код 404, она удаляет документ из индекса. Убедитесь, что все необходимые страницы на сайте отвечают кодом 200 OK.

6. Убедитесь, что заголовки HTTP указаны правильно. Ответ сервера на запрос «if-modified-since» важен. Заголовок Last-Modified должен содержать правильную дату последнего изменения документа.

7. Размещать версии сайта, адаптированные для мобильных устройств, а также языковые версии в поддоменах.

Примечание.

Управлять роботом Яндекса и запрещать индексацию страниц, не предназначенных для пользователей.

Далее

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Проверить статус URL — Вебмастер. Справка

Проверить статус URL — инструмент для отслеживания того, как ваш сайт индексируется Яндексом. Он позволяет узнать статус страницы в результатах поиска: просканирована ли она, участвует ли в поиске, а также почему она была исключена из результатов поиска.

1. Проверка страницы
2. Просмотр отчетов
3. Фильтрация данных

Чтобы получить информацию об индексации страницы, выполните следующие действия в Яндекс.Вебмастере:

1. Выберите из списка сайт, страницу которого нужно проверить.

2. Перейдите в раздел Индексирование → Проверить статус URL.

3. Введите URL страницы и нажмите Проверить.

   Примечание. В поле можно ввести полный URL или относительный путь от корня сайта, начинающийся с «/». Например, если вы введете URL как http://example.com система обрабатывает информацию о странице с URL http://example.com . Если вы введете /news , система обработает информацию о странице с URL http://my-website. com/news .

Система собирает данные о странице и формирует отчет.

Во время сбора данных отчет имеет статус «Проверяется». Сбор и обработка информации занимает несколько минут. В некоторых случаях это может занять несколько часов. Как только система закончит обработку данных, статус отчета изменится на «Завершен». Статус «Не удалось создать отчет» указывает на то, что на стороне сервиса произошла ошибка. В этом случае попробуйте проверить страницу позже.

Чтобы просмотреть отчет, нажмите кнопку Подробнее.

Отчет формируется на основе текущего состояния поисковой базы и последних данных, полученных от робота-индексатора:

• Статус страницы в поиске.

• Состояние страницы во время последнего обхода.

• Дата и время последнего построения базы данных поиска и последнего сканирования.

• URL страницы.

• Заголовок страницы (содержимое HTML-элемента заголовка).

Вы можете использовать фильтры для просмотра отчета, созданного для определенной страницы.

Чтобы удалить отчет, нажмите значок рядом с адресом страницы, затем нажмите Удалить.

Примечание. Если содержимое страницы было изменено, робот автоматически отследит это. Данные результатов поиска будут обновлены при следующем построении базы поиска.

Вы можете быстро найти отчеты о проверках определенных страниц. Вы можете отфильтровать данные по адресу страницы, нажав на иконку:

Введите часть URL-адреса.

Чтобы составить список страниц с определенным текстом в адресе, выберите URL содержит значение из списка и введите фрагмент адреса.

Используйте специальные символы.

Можно использовать специальные символы для соответствия началу строки или подстроки, а также задавать более сложные условия с помощью регулярных выражений. Для этого выберите совпадения URL из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них на новой строке.

Для условий доступны следующие правила:

• Соответствует любому из условий (соответствует оператору «ИЛИ»).

• Соответствует всем условиям (соответствует оператору «И»).

Characters used for filtering

Character	Description	Example
*	Matches any number of any characters	Отображение данных для всех страниц, начинающихся с https://example.com/tariff/, включая указанную страницу: / тариф / * Использование символа * Символ * может быть полезен при поиске для URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: /news/*/2017/ .
@	Отфильтрованные результаты содержат указанную строку (но не обязательно точно соответствуют ей)	Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff
~	Условие является регулярным выражением	Отображение данных для страниц с URL-адресами, которые соответствуют регулярному выражению. Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент ~стол|диван|кровать , повторяющийся один или несколько раз. This entry was posted in Популярное Рубрики Adsense (3) Chrome (2) Директ (86) Дорвеи (39) Ключевые слова (238) Лендинги (78) Популярное (12 235) Продвижение (498) Разное (41) Рся (6) Семантическое ядро (366) Спам (10) Ссылочное (73) Тиц (381) Подписаться на RSS 100+ Подписчиков Услуги и реклама Я свободен Контакты Скажи мне привет! © Копирование моих статей приветствуется, если вы поставите ссылку на мой блог будет просто математично!