Некорректно настроено отображение несуществующих файлов и страниц вебмастер: Диагностика сайта. Руководство разработчика |

Posted:

Мар 19, 2021

Comments:

Некорректно настроено отображение несуществующих файлов и страниц вебмастер: Диагностика сайта. Руководство разработчика

Содержание

Диагностика сайта. Руководство разработчика

FATAL
CONNECT_FAILED	Роботы не смогли посетить сайт. Ошибка может быть связана, например, с настройками сервера или высокой нагрузкой.
DISALLOWED_IN_ROBOTS	Сайт закрыт от индексирования в файле robots.txt.
DNS_ERROR	Не удалось подключиться к серверу из-за ошибки DNS.
MAIN_PAGE_ERROR	Главная страница сайта возвращает ошибку.
THREATS	Обнаружены нарушения или проблемы с безопасностью.
TURBO_FEED_BAN	Источник Турбо-страниц не соответствует требованиям: контент Турбо-страниц должен совпадать с контентом оригинальных страниц. Турбо-страницы пропадут из поиска в течение трех дней. Вместо них будут отображаться оригинальные версии страниц.
CRITICAL
INSIGNIFICANT_CGI_PARAMETER	На вашем сайте некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Подробно см. Дублирование страниц.
SLOW_AVG_RESPONSE_TIME	Долгий ответ сервера. Подробно см. в Справке.
SSL_CERTIFICATE_ERROR	Некорректная настройка SSL-сертификата. Подробно см. в Справке.
TURBO_HOST_BAN	Турбо-страницы сайта не соответствуют требованиям: контент Турбо-страниц должен совпадать с контентом оригинальных страниц.
TURBO_INVALID_CART_URL	Переход с Турбо-страниц в корзину отключен, так как на сайте в настройках добавления товара в корзину обнаружена ошибка.
TURBO_RSS_ERROR	В вашем RSS-канале, используемом для формирования Турбо-страниц, обнаружены ошибки, которые мешают обновлению. Для формирования Турбо-страниц будет использоваться предыдущая версия канала.
TURBO_URL_ERRORS	Турбо-страницы вашего сайта не попали в поиск. Чтобы страницы смогли участвовать в поиске, исправьте ошибки. Подробно см. Часто встречающиеся ошибки.
TURBO_YML_ERROR	В вашем YML-файле, используемом для формирования Турбо-страниц, обнаружены ошибки, которые мешают обновлению. Для формирования Турбо-страниц будет использоваться предыдущая версия файла.
URL_ALERT_4XX	Некоторые страницы сайта отвечают роботу HTTP-кодом 4xx в течение часа. Подробно см. Коды 4xx (ошибка клиента).
URL_ALERT_5XX	Некоторые страницы сайта отвечают роботу HTTP-кодом 5xx в течение часа. Подробно см. Коды 5xx (ошибка сервера).
POSSIBLE_PROBLEM
DISALLOWED_URLS_ALERT	Найдены полезные страницы, закрытые от индексирования.
DOCUMENTS_MISSING_DESCRIPTION	На многих страницах отсутствует метатег Description.
DOCUMENTS_MISSING_TITLE	На многих страницах отсутствует элемент title.
DUPLICATE_CONTENT_ATTRS	На некоторых страницах вашего сайта указаны одинаковые title и Description.
DUPLICATE_PAGES	Некоторые страницы вашего сайта содержат одинаковый контент.
ERROR_IN_ROBOTS_TXT	Ошибки в файле robots.txt.
ERRORS_IN_SITEMAPS	Обнаружены ошибки в файлах Sitemap.
FAVICON_ERROR	На сайте недоступен файл favicon.
MAIN_MIRROR_IS_NOT_HTTPS	Главное зеркало сайта не использует HTTPS-протокол. Рекомендуем использовать протокол HTTPS. Подробную информацию и инструкцию по переходу см. в Справке.
MAIN_PAGE_REDIRECTS	Главная страница перенаправляет на другой сайт.
NO_METRIKA_COUNTER_BINDING	К сайту не привязан счётчик Яндекс Метрики.
NO_METRIKA_COUNTER_CRAWL_ENABLED	Не включен обход по счетчикам Яндекс Метрики. Подробно об индексировании сайта с помощью счетчика читайте в Справке.
NO_ROBOTS_TXT	Не найден файл robots.txt.
NO_SITEMAPS	Нет используемых роботом файлов Sitemap.
NO_SITEMAP_MODIFICATIONS	Файлы Sitemap давно не обновлялись.
NON_WORKING_VIDEO	Робот не смог проиндексировать видео, размеченные на сайте.
SOFT_404	Некорректно настроено отображение несуществующих файлов и страниц.
TOO_MANY_DOMAINS_ON_SEARCH	В результатах поиска найдены поддомены сайта.
TURBO_HOST_BAN_INFO	Турбо-страницы и оригинальные страницы сайта должны быть максимально близки по контенту.
TURBO_LISTING_ERROR	На сайте возникли ошибки при формировании листингов для Турбо-страниц.
TURBO_RSS_WARNING	В RSS-канале, используемом для создания Турбо-страниц, были найдены ошибки. Это может привести к неполному отображению Турбо-страниц в результатах поиска.
TURBO_YML_WARNING	В YML-файле, используемом для создания Турбо-страниц, были найдены ошибки. Это может привести к неполному отображению Турбо-страниц в результатах поиска.
VIDEOHOST_OFFER_FAILED	Добавленное в Вебмастер пользовательское соглашение для отображения видео отклонено.
VIDEOHOST_OFFER_IS_NEEDED	Для сайта отсутствует пользовательское соглашение для отображения видео.
VIDEOHOST_OFFER_NEED_PAPER	Для сайта необходимо заключить специальное соглашение для сотрудничества с Яндексом.
RECOMMENDATION
BIG_FAVICON_ABSENT	Добавьте на сайт файл favicon в формате SVG или размером 120 × 120 пикселей. В таком формате логотип вашего сайта станет четче и заметнее на сервисах Яндекса, в том числе, в результатах поиска.
FAVICON_PROBLEM	Файл favicon не найден. Робот не смог загрузить файл с изображением, которое должно отображаться во вкладке браузера и может быть показано возле названия сайта в поиске. Подробнее о причинах и исправлении ошибки см. в Справке.
NO_METRIKA_COUNTER	Ошибка счетчика Яндекс Метрики.
NO_REGIONS	Не задана региональная принадлежность сайта.
NOT_IN_SPRAV	Сайт не зарегистрирован в Яндекс Справочнике.
NOT_MOBILE_FRIENDLY	Сайт не оптимизирован для мобильных устройств.
SPRAV_COMPANY_PROFILE_CREATED	Алгоритмы Яндекс Бизнеса посчитали, что ваш сайт очень похож на сайт компании, поэтому создали на его основе карточку организации. Проверьте, что данные заполнены корректно. После подтверждения данных карточка будет размещена в результатах поиска и на Яндекс Картах.

Что такое Яндекс.Вебмастер и как он работает

11 февраля 2022

SEO-продвижение

Вебмастер — это сервис Яндекса, который показывает, как поисковик проиндексировал ваш сайт. Вебмастер позволяет: мониторить страницы, обнаруживать фатальные и критические ошибки, добавлять robots.txt , sitemap и другое. Все эти действия помогают повысить позиции сайта в поиске.

В статье рассмотрим задачи и инструменты Яндекс.Вебмастера, которые вы можете использовать для SEO-продвижения вашего интернет-магазина.

Для чего нужен Яндекс Вебмастер

Для улучшения ранжирования в поиске нужно, чтобы поисковой робот правильно видел ваш сайт. Такие инструменты как Яндекс Вебмастер и Google Search Console отображают то, с какими характеристиками поисковики обнаружили ваши страницы. Если на сайте имеются ошибки — данный инструмент отобразит это. Поисковик в своем индексе учитывает каждую характеристику у обнаруженного сайта. Чем меньше ошибок обнаружил поисковой робот на вашем сайте, тем выше он поднимет его в выдаче. И наоборот: страница сайта окажется вне индекса или на самых низких позициях с большим количеством ошибок.

Подробная инструкция по работе с Google Search Console →

Итак, для того чтобы улучшить ранжирование сайта, поднять его в поисковиках до первых позиций, необходимо учитывать требования поисковых систем.

На данный момент учитывается огромное количество факторов при ранжировании сайтов. Некоторые из них как раз и можно проверить в Яндекс.Вебмастере. Например, учитывает ли поисковик внесенные изменения на сайте, как видит данную страницу, с каким ответом сервера: 200 ОК или 404. Яндекс Вебмастер также позволяет мониторить работоспособность сайта, дополнительно наблюдать за статистикой запросов.

Как добавить Яндекс.Вебмастер к сайту

Если у вас сайт с поддоменами, то каждый поддомен следует добавлять как отдельный сайт.

1. Зарегистрируйте почту на Яндексе или войдите в существующий аккаунт. Данную почту лучше не использовать в других целях.

2. Зайдите в Вебмастер по ссылке: https://webmaster. yandex.ru/welcome, нажмите кнопку «Перейти» → «Добавить сайт».

Вход в Яндекс.Вебмастер

3. Добавьте в строку адрес вашего сайта, к примеру: https://www.myshop.ru/.

Пример добавления адреса сайта в Вебмастер

4. Теперь нужно подтвердить права на сайт. Для этого Яндекс Вебмастер предлагает воспользоваться тремя способами на выбор: через HTML-файл, метатег или DNS-запись.

Варианты подтверждения прав на управление сайтом в Яндекс.Вебмастер

Инструкция: Как подтвердить сайт в Яндекс.Вебмастере, если ваш сайт на AdvantShop →

Основные инструменты Яндекс.Вебмастера

1. Сводка

В сводке отображены блоки с краткой информацией о состоянии сайта. Здесь следует обратить внимание на блок «Проблемы сайта».

Отображение проблем сайта в сводке

2. Диагностика

Проблемы сайта более подробно описываются во вкладке «Диагностика сайта». При мониторинге сосредоточьте внимание на наличие фатальных и критичных проблем сайта.

Фатальные проблемы — это ошибки, которые запрещают сайту попасть в поиск, соответственно, пользователи не смогут попасть на ваш сайт.

Примеры ошибок:

Нарушения правил поисковой системы;

Сайт закрыт к индексации в robots.txt;

Главная страница отвечает ошибкой 404.

Информация о фатальных ошибках в Яндекс.Вебмастере

Критичные проблемы — это ошибки, которые серьезно влияют на видимость сайта, понижая его в поисковой выдаче.

Пример ошибок:

Долгий ответ сервера;

Срок действия домена истекает в ближайшее время;

Низкое юзабилити сайта.

Информация о критичных ошибках в Яндекс.Вебмастере

Возможные проблемы — это мелкие недочеты, иногда владельцы сайтов намеренно оставляют их, однако устранение таких недочетов, часто приводит к повышению сайта в поиске.

Пример ошибок:

Нет используемых роботом файлов sitemap;

Ошибки в файлах sitemap;

Некорректно настроено отображение несуществующих файлов и страниц.

Информация о возможных ошибках в Яндекс.Вебмастере

Нарушения и угрозы безопасности

Данный блок показывает попал ли ваш сайт под такие фильтры Яндекса, как: АГС, Минусинск, Баден-Баден.

Причины санкций:

Некачественные ссылки с сайтов, рассылающие спам;

Вирусы — безопасность сайта для пользователей превыше всего;

Некачественный сайт.

Некачественными сайтами считаются:

Сайты-дорвеи — инструмент черного SEO, сайт, созданный для перенаправления пользователей на другой интернет-ресурс.

Сайты с избытком рекламы.

Сайты с ворованным контентом.

Сайты с нелегальным контентом.

Мошеннические сайты.

3. Качество сайта

Показатели качества

Показывает ИКС вашего сайта и сравнивает его с ИКС сайтов конкурентов.

ИКС (индекс качества сайта) — это показатель, оценивающий удовлетворенность пользователей вашим сайтом. Высокий показатель говорит о том, что ваш контент полезен и популярен у пользователей.

Отзывы

В данной категории отображаются комментарии пользователей о вашей компании. Чтобы видеть их, нужно иметь доступ к Яндекс.Бизнесу, к которому привязан ваш сайт.

4. Поисковые запросы

Данная категория дает возможность посмотреть запросы, по которым виден ваш сайт. Эти запросы вы можете выгрузить и дальше работать с файлом, используя его, например, для расширения семантического ядра.

Отображение категории Поисковые запросы в меню Вебмастера

В данной категории первые два пункта наиболее важные: статистика запросов и статистика страниц.

Начнем со статистики запросов — здесь показывают ваш трафик сайта по запросам: сколько показов, кликов было на вашем сайте, автоматически рассчитанный CTR и др.

В статистике по страницам вы увидите, какие страницы наиболее популярны у пользователей.

Пример статистики поисковых запросов

5. Индексирование

Это стратегически важная часть в мониторинге вашего сайта.

Статистика обхода

Тут отображается перечень ссылок, которые обошел поисковой робот Яндекса с полученным ответом сервера 200, 301 или 404 и др.

Обратите внимание на следующие коды ответов сервера:

200 ОК — все хорошо, ваша страница прочитана и попадает в индекс.

300 — редирект, перенаправляет на другую страницу.

404 — ошибка, данная страница не попадет в индекс Яндекса.

Страницы в поиске

Это страницы, которые прошли в индекс. Здесь подробно описана каждая страница, с присущими ей характеристиками. Данную категорию следует регулярно просматривать, чтобы быстро обнаруживать мусорные страницы на сайте: дубли, 404 ошибки и т. д.

Пример информации в категории Страницы в поиске

Разберем подробнее таблицу со страницами в поиске:

Статус и URL.

URL с плюсом — это добавление страницы в индекс.

URL с минусом — это удаление страницы из индекса.

Ниже под URL пишутся определенные характеристики страницы, такие как:

редирект;

дубль;

каноническое/неканоническое;

запрет в robots.txt;

ошибка 404;

статус неизвестен;

малоценная или мало востребованная страница и др.

Большинство из данных параметров являются ошибками, которые необходимо будет исправить.

Обновление

День, когда обновилась информация по данной странице в поиске, принялось какое-то решение по ней. То есть все это время робот ее изучал и наконец выдал ответ.

Последнее посещение

День, когда поисковой робот обошел страницу.

Заголовок

Title страницы, который отображается в поисковой выдаче.

Структура сайта

Отображается, если на сайте больше 10 страниц.

Проверить статус URL

Проверяйте страницы на нахождение в поиске с помощью данного инструмента. Здесь будут отображены ошибки из-за которых страницу не добавили в поиск.

Пример проверки URL

Мониторинг важных страниц

Отслеживайте работоспособность ваших страниц. Закрепите страницы, которые наиболее стратегически важны для продвижения, нажав кнопку «Отслеживать».

Пункты таблицы мониторинга важных страниц

Разберем на примере, что значит каждый пункт из таблицы:

Последнее изменение — 27 января, когда внесли изменения на странице.

Дата обхода — 28 января. Узнаем когда проиндексировалось изменение или еще не проиндексировалось.

Версия — от 25 января. Означает, что изменения не вступили в силу. В поиске используется старая версия страницы.

Переобход страниц

Позволяет в приоритете дать роботу новые или измененные страницы для индексации. Если вы добавили/ изменили страницу без использования данного инструмента, страница попадется роботу в течение двух недель, и только тогда попадет в индекс.

Если же вы использовали этот инструмент, робот Яндекса обойдет эту страницу вне очереди в ближайшее время.

Файлы sitemap

Добавьте в Вебмастер карту сайта, для того чтобы в дальнейшем поисковому роботу было проще считывать ваш сайт.

Пример отображения файлов Sitemap в Вебмастере

Переезд сайта

Когда переезжаете на https, указываете нужный протокол, к примеру https. Сохраняете, чтобы браузер понимал какое главное зеркало использовать для вашего сайта.

Скорость обхода

Выбирая настройки «Доверять Яндексу», робот будет загружать наибольшее количество страниц без лишней нагрузки на сервер. Рекомендуем оставить этот вариант по умолчанию.

Пример настройки скорости обхода в Вебмастере

Задать скорость обхода вручную может понадобиться, если на вашем сайте вы заметите большое количество обращений робота к серверу. Из-за перегрузки сервера скорость загрузки страниц может упасть. В этом случае вам может понадобиться снижение скорости обхода. Для этого обратитесь к следующей инструкции.

Заголовки и описания

Показывает страницы с одинаковыми title и description. Дублей title и description не должно быть, поэтому также эти ошибки надо исправлять.

6. Представление в поиске

Сниппеты и ответы, источники данных о товарах и предложениях — в этих разделах вы найдете рекомендации по улучшению сайта. Яндекс рассказывает, какие возможности можно использовать для усовершенствования сайта.

Пример представления в поиске

Быстрые ссылки. Формируются Яндексом автоматически и зависят от многих факторов (возраст, трастовость сайта и др.), повлиять на это можно только косвенно.

Регистр имени сайта. Можно поменять для удобства пользователей, но не любое имя Яндекс одобрит к изменению, следует будет учитывать следующие требования.

Настройка регистра имени сайта

Региональность. Следует обязательно добавить, если ваш сайт коммерческий и продвигается на какой-то определенный регион.

7. Ссылки

Внутренние — просматриваем есть ли неработающие ссылки внутри сайта.

Внешние — мониторим появление/ удаление ссылки с других сайтов и исправляем неработающие.

8. Турбо-страницы

Турбо-страницы в меню Вебмастера

Турбо-страницы — это создание с помощью Яндекса легких версий страниц сайта. Этот механизм позволяет увеличить скорость загрузки страниц, даже для пользователей с медленным и нестабильным интернетом.

Обычно устанавливают турбо страницы с помощью программистов, но если ваш интернет-магазин на платформе AdvantShop, то с помощью модуля, можно намного проще справиться с этой задачей.

9. Инструменты

Анализ robots.txt

Состоит из 3 блоков:

1 блок. Проверяет правильно ли у вас создан файл.

2 блок. Отображает ваш текущий файл.

3 блок. Если внедрили какие-то изменения, добавили какие-то команды в файл.

Здесь можно проверить, какие ссылки закрыты или открыты для индексации:

— директива Allow разрешает индексировать те или иные разделы или страницы сайта;

— директива Disallow запрещает к индексированию определенные разделы или страницы сайта.

Анализ файлов sitemap

В этой настройке проверяется содержимое карты сайта, в файле sitemap. Файл упрощает работу поисковому роботу с многостраничными сайтами глубокой вложенности. При наличии у сайта правильной структуры большее количество страниц окажется в индексе. Поэтому важно вовремя сообщать поисковой системе о действующей структуре сайта.

Проверка ответа сервера

Показывает какой код ответа сервера у данной страницы.

Пример проверки ответа сервера в Яндекс.Вебмастере

Удаление страниц из поиска

Инструмент для принудительного удаления страниц из индексации. К примеру, если закрыть файл от индексации в robots.txt, то страница удалится из индекса спустя некоторое время.

Проверка мобильных страниц

Эта опция нужна для выявления ошибок по мобильной верстке сайта.

Пример результатов проверки мобильных страниц

10. Настройки

Уведомления в меню Яндекс. Вебмастера

В данном разделе контролируете:

— какие уведомления хотите получать;

— передаете сотрудникам или партнерам права доступа на мониторинг сайта;

— связываете два сервиса: Яндекс.Вебмастер и Яндекс.Метрику;

— добавляете иконку ИКС на сайт.

Итог

Для корректной работы вашего сайта достаточно будет проверять показатели по критическим и фатальным проблемам сайта, мониторить статистику обхода и страницы в поиске два раза в неделю. Если на постоянной основе проверять сайт через Вебмастер и исправлять ошибки, то ваши шансы попасть в ТОП-10 поисковой выдачи будут значительно выше.

Создать аккаунт на AdvantShop

На платформе вы сможете быстро создать интернет-магазин, лендинг или автоворонку.

Воспользоваться консультацией специалиста

Ответим на любые ваши вопросы и поможем выйти на маркетплейсы.

Связаться

Как исправить ошибки сканирования в Google Search Console

Ошибки сайта — это проблемы, которые влияют на весь ваш веб-сайт, и им следует уделять первоочередное внимание. Ниже приведен пример того, что вы хотите увидеть — никаких ошибок сайта.

Примечание. Вы можете нажать на все скриншоты ниже, чтобы просмотреть их в большем размере.

Возможные ошибки сайта включают:

Ошибки DNS

Ошибки DNS являются серьезной проблемой. Это означает, что робот Googlebot не может подключиться к вашему домену из-за поиска DNS или тайм-аута DNS.

Ошибки подключения к серверу

Ошибки сервера обычно означают, что ваш сайт слишком долго отвечает, поэтому время запроса истекает. Это означает, что робот Googlebot может подключиться к вашему сайту, но не может загрузить страницу.

Ошибки загрузки файла robots.txt

Ошибка Robots означает, что робот Googlebot не может получить файл robots.txt из [example.com]/robots.txt. Однако файл robots.txt нужен только в том случае, если вы не хотите, чтобы Google сканировал определенные страницы. Если у вас нет файла robots.txt, сервер вернет ошибку 404, и робот Googlebot просто продолжит сканировать ваш сайт.

Ошибки URL влияют на отдельные страницы вашего сайта и классифицируются по настольным компьютерам или смартфонам.

Типы ошибок URL включают:

Ошибки сервера

Ошибки сервера происходят, когда робот Googlebot не может получить доступ к вашему URL, время ожидания запроса истекло или ваш сайт был занят.

Soft 404s

Статус Soft 404 возникает, когда страница отображается как 200 (найдена), тогда как она должна отображаться как не найденная (404). Для страниц, которые не существуют, они должны быть либо 404d, либо 301 перенаправлены на соответствующую страницу. Любые живые страницы, которые отображаются как программные 404, должны быть проверены, чтобы убедиться, что на них нет тонкого контента или контента, который может указывать на страницу 404.

Not Found (404)

Ошибка 404 означает, что Google пытался просканировать страницу на вашем сайте, которой нет или больше не существует. Googlebot находит страницы 404, когда другие сайты или страницы ссылаются на эту несуществующую страницу.

Если страница является важной страницей, следует немедленно решить проблему.

Доступ запрещен

Эта ошибка часто указывает на то, что URL-адрес требует входа в систему или ваш хостинг-провайдер блокирует доступ Google к вашему сайту.

Не отслеживается

Ошибки Not Followed часто могут указывать на проблемы со сканированием из JavaScript, Flash или других форм активного контента или неправильных перенаправлений.

Ошибка DNS

Ошибки DNS указывают на то, что роботу Googlebot не удалось подключиться к URL-адресу из-за поиска DNS или тайм-аута DNS.

Если вы обнаружили ошибку 404, есть несколько способов ее устранения с помощью Google Search Console.

Шаг 1: Войдите в Search Console, нажмите Сканировать , затем нажмите Ошибки сканирования

Шаг 2: Нажмите на вкладку Not Found , чтобы просмотреть ошибки 404 Ссылки с

Шаг 4: На вкладке Ссылки с вы можете увидеть, какие внутренние и внешние ссылки ведут на страницы 404.

Если URL-адрес был ранее существующей страницей, вы можете 301 перенаправить старый URL-адрес на соответствующую страницу. Если есть опечатка или ошибка, вы можете обратиться к поставщику неверного URL-адреса с просьбой обновить свою ссылку на правильный URL-адрес.

Шаг 5: Если страница имеет правильную ошибку 404d, вы можете либо проигнорировать ее, либо выбрать Пометить как исправленную , чтобы удалить 404 из отчета об ошибках Search Console.

Однако, если Google все еще находит URL-адрес (по ссылкам, в карте сайта и т. д.), он может повторно просканировать эту страницу позже и снова появиться в отчете об ошибках сканирования.

Как исправить ошибки сканирования в Google Search Console

8362

Инструкции

– 13 минут чтения

Читать позже

Ошибки сканирования появляются, когда поисковая система не может получить доступ к странице веб-сайта. Происходит это из-за ошибок в настройках сервера, сбоев CMS, изменения структуры URL и других причин. Ошибки могут повлиять на рейтинг сайта в поисковой выдаче, а также на отношение пользователей к ресурсу.

Где проверить сканирование сайта?

В инструментах Google Search Console есть все необходимое для проверки вашего веб-сайта. Консоль содержит отчеты по статистике обхода веб-ресурса, количеству показов и кликов, а также средней позиции в поиске.

Вы можете найти ошибки в отчетах о сканировании. Там же дается краткое пояснение для вебмастера: причины, почему они появились и как их решить.

Информация в Search Console задерживается. Поэтому он может отображать информацию об ошибках, которые уже были исправлены несколько недель назад.

Помимо консолей необходимо проверить сайт другими методами сканирования и аудита.

Ошибки сканирования в Search Console

Google делит ошибки на два типа:

ошибки сайта: появляются, если бот не может обойти весь ресурс;
Ошибки URL: указывают на проблему на отдельных страницах.

Первые нужно исправлять как можно быстрее: они влияют на процесс продвижения. Если сайт не оптимизирован, исправление этих ошибок мало повлияет на ранжирование в результатах поиска.

Ошибки сайта

Вот так панель вебмастера выглядит без ошибок:

При возникновении проблем вы увидите блоки с указанными реквизитами:

На скриншоте ниже видно, что Sitemap.xml — это URL-адрес, заблокированный noindex ярлык. Просто удалите этот тег, чтобы настроить сканирование:

Но ошибки появляются и по другим причинам.

Ошибки DNS

DNS — это система доменных имен, данные которой используются роботами при посещении ресурсов. Если возникают ошибки DNS, то поисковая система не может подключиться к сайту, а пользователи не могут его найти и открыть.

Google не сообщает об ошибке сразу: он может вернуть пару раз, и если все попытки не увенчались успехом, он выведет сообщение в консоль.

Разработчики Google говорят, что большинство ошибок DNS не влияют на продвижение, потому что они не мешают сканированию. Но их все равно нужно исправлять как можно скорее, иначе пользователи могут покинуть сайт из-за медленной загрузки страниц.

Как исправить ошибки DNS?

Свяжитесь с DNS-провайдером через хостинг-провайдера или DNS-регистратора и узнайте, нет ли проблем на их стороне.

Используйте инструмент «Просмотреть как Googlebot»: функция сканирования покажет, что подключение к веб-сайту нормальное. В настоящее время эта функция доступна только в старой версии консоли, но в конце марта 2019 года Google отключит ее, и пока секрет, останется ли она в своем нынешнем виде.

Посмотрите, выдает ли сервер коды ошибок HTTP 404 и 500 через веб-сниффер. По результатам исправить ошибки с помощью разработчика.

Убедитесь, что сайт доступен для посетителей. Воспользуйтесь сервисом downforeveryoneorjustme. Это помогает проверить доступность веб-сайта не только на вашем устройстве.

Настроить мониторинг доступности сайтов через специальные сервисы. Это поможет получать уведомления о недоступности сайта любым удобным способом.

Ошибки сервера

Ошибки возникают, если сервер долго обрабатывает запрос информации о странице от поискового робота. К основным причинам относятся:

Неподходящий сервер.

Возможно, сервер не работает из-за DDOS-атак.

Сервер может не справиться, если он просканирован Google или кем-то с помощью аудитора. См. пункт 1 в списке.

Хостеры могут искусственно ограничивать количество обрабатываемого трафика в месяц.

К выбору хостинг-провайдера необходимо подходить ответственно; он должен обеспечивать бесперебойную работу в любой ситуации.

Ошибки сервера также необходимо исправить в первую очередь. Если веб-сайт в настоящее время работает (проверьте с помощью сканера Google, который будет доступен до марта 2019 г.) и в консоли появляется сообщение об ошибке, возможно, он был обнаружен ранее.

Задача веб-мастера — сделать так, чтобы ситуация больше не повторилась. Если в новой версии консоли нет аналогичного инструмента, используйте программу-краулер. Например, Netpeak Spider.

Что может случиться?

тайм-аут: происходит, если время ожидания соединения истекло, код ошибки 408;

усеченные заголовки: робот подключился, но не полностью получил заголовки ответа сервера, код ошибки 304;

сброс соединения: запрос был обработан сервером, но бот не смог получить результат, код ошибки 205;
усеченное тело ответа: получено не полностью из-за преждевременного завершения работы, код ошибки 206;
сбой подключения: происходит, если CDN или сеть доставки контента не могут подключиться к веб-серверам, код ошибки 522. Другими словами, компьютер не может подключиться к серверу;

отсутствие ответа означает, что сервер или прокси-сервер не получил ответа от вышестоящего сервера для выполнения своего запроса, код ошибки 504;

время ожидания истекло: робот не может подключиться в течение времени, установленного системой, код ошибки 502. То есть время ожидания истекло до завершения операции. Либо сервер не ответил, так как истекло время до успешного соединения, либо все соединения уже были использованы.

Отличие этой точки от первого таймаута в том, что он подключился к хосту, но желаемого результата не получил. Это не проблема подключения: она может быть как в запросе, так и в самом хосте.

При отображении этих ошибок проверьте через краулер Google в консоли, может ли теперь поисковик получить доступ к ресурсу. Если вы все исправили, но ошибка повторилась, вам следует обратиться к хостеру. Происходит это из-за неправильных настроек или перегрузки сервера.

Ошибка доступа к robots.txt

Эта ошибка появляется, когда файл недоступен для поискового робота. Ошибка «недоступна» возникает, когда брандмауэр блокирует Google. Если это не исправить, сканирование будет отложено.

Корневой документ robots. txt для веб-ресурса создается для того, чтобы прописывать директивы и закрывать посещения поисковым роботам технических веб-страниц и других страниц, не содержащих полезной и уникальной информации. Кроме того, настройте процесс сканирования и укажите путь к карте сайта для лучшего сканирования.

Этот файл позволяет уменьшить количество запросов к вашему серверу, соответственно нагрузку на сайт.

Google воспринимает информацию в файле как директиву, а не прямое указание.

Для устранения проблемы проверьте правильность настройки robots.txt:

правильно ли указаны разделы и документы, запрещенные к обработке;
, доступен ли файл или дает ответ сервера 404.

Ошибки URL-адреса

Если есть ошибки URL-адреса, существует проблема сканирования страницы. Похожие страницы не будут отображаться в поиске. Чтобы установить этот факт, вам следует прочитать отчет Google Search Console «Ошибки URL».

Эти ошибки появляются, когда робот Googlebot не может обработать отдельные страницы из-за неправильных редиректов (цепочек бесконечных редиректов, редиректов на битые страницы), а также ошибок необновленного файла sitemap.xml. Отчет можно получить в Search Console. Для этого перейдите в раздел Покрытие из главного меню, как показано на скриншоте выше.

Такие проблемы легче исправить: при их анализе вы можете увидеть конкретные страницы, на которых есть проблемы.

Ошибки URL-адреса отображают список от наиболее важных до второстепенных проблем. Их нужно исправлять, так как у робота есть определенный «краулинговый бюджет»: если он будет все время просматривать несуществующие страницы, то на сайте не будет просканированных полезных страниц (или они будут долго индексироваться).

Ошибка «Soft 404». Появляется, когда:

удаленная страница не возвращает код ответа HTTP 404 на запрос пользователя или бота;
несуществующая страница перенаправляет пользователей на нерелевантную страницу. Например, если вы установили редирект с категории мотоциклов на категорию мотоциклов;

когда страница пуста, на ней нет содержимого.

Чтобы исправить эти ошибки, необходимо сделать следующее:

Удалить битые ссылки.

Правильно настроить переадресацию.

Настроить код ответа 404 для несуществующих страниц.

Закрыть от индексации или удалить страницы, на которых нет контента.

Аналогичные ошибки возникают при настройке перенаправления 301 на нерелевантные URL-адреса. Google может неправильно интерпретировать их. При этом нежелательно перенаправлять многие устаревшие страницы на главную страницу веб-ресурса, так как лучше ставить ссылки на похожие страницы или похожий контент. Так больше шансов, что пользователь получит правильный результат на свой запрос.

404 ошибка. Это происходит, когда робот сканирует несуществующую страницу, потому что на нее есть ссылки в других документах, включая sitemap. xml. Есть внутренние и внешние ошибки 404:

если ссылка на удаленную страницу находится внутри сайта, то разработчики могут ее удалить самостоятельно;
если ссылка внешняя, разработчики совместно с SEO-специалистом или контент-менеджером могут настроить 301 редиректы в файле .htaccess для передачи его ссылочного веса на любую релевантную страницу.

Доступ запрещен. Эта ошибка появляется, когда у робота нет доступа к URL-адресу. Например, в файле robots.txt используются директивы, запрещающие сканирование всего ресурса или отдельных каталогов и разделов. Или хостер заблокировал доступ к сайту.

Чтобы решить эту проблему, просто устраните причину, препятствующую доступу:

разрешить открытие страницы без авторизации;
правильно сгенерировать файл robots.txt и сделать его доступным для поискового робота;
проверить через поисковый робот Google, как поисковая система видит сайт со своей стороны.

Ошибки приостановки перехода. Обычно это происходит из-за ошибок перенаправления, а также из-за JavaScript. Как их исправить:

проверьте цепочки редиректов через онлайн-сервисы, например, redirectdetective.com. Учтите, что количество редиректов должно быть минимальным, желательно ограничиться одним;
работа со структурой сайта: на каждую страницу должна вести хотя бы одна статическая ссылка. Для этого проверьте все вручную или воспользуйтесь поисковыми системами/краулерами, если на вашем сайте более 1000 страниц;
замените URL-адреса перенаправления, найденные в службе, на URL-адрес назначения, записав в файле Sitemap.

Заключение

Ошибки краулера могут появиться по вине вебмастера или по другим причинам: хостинг и домен, CMS, контент-менеджеры, связь с другими API, сервисами, базами данных и другие проблемы.

Для сохранения позиций в поисковых системах необходимо регулярно проверять наличие ошибок и исправлять их как можно скорее.

Эта статья является частью контрольного списка Serpstat

Контрольный список — это готовый к выполнению список, который помогает вести отчеты о ходе работы над конкретным проектом. Инструмент содержит шаблоны с обширным списком параметров разработки проекта, куда вы также можете добавить свои элементы и планы.

Попробуйте контрольный список сейчас

Узнайте, как получить максимальную отдачу от Serpstat

Хотите получить личную демонстрацию, пробный период или множество успешных вариантов использования?

Отправьте запрос и наш специалист свяжется с вами 😉

Оцените статью по пятибалльной шкале

Статью уже оценили 3 человека в среднем 3,33 из 5

Нашли ошибку? Выберите его и нажмите Ctrl + Enter, чтобы сообщить нам

Posted:

Comments: