Содержание
Удаление сайта. Руководство разработчика
Удаляет сайт из списка сайтов пользователя.
- Формат запроса
- Формат ответа
- Коды ответа
DELETE https://api.webmaster.yandex.net/v4/user/{ Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user."}}">}/hosts/{Тип: host id (string). ID сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts."}}">}
user-id | Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user. |
host-id | Тип: host id (string). ID сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts. |
Тело ответа не передается.
Чтобы посмотреть структуру ответа подробнее, нажмите на причину.
Код | Причина | Описание |
---|---|---|
204 | NO_CONTENT | Сайт удален из списка пользователя. |
403 | INVALID_USER_ID | ID пользователя, выдавшего токен, отличается от указанного в запросе. В примерах ниже { "error_code": "INVALID_USER_ID", "available_user_id": 1, "error_message": "Invalid user id. {user_id} should be used." } <Data> <Описание |
404 | HOST_NOT_FOUND | Сайт отсутствует в списке сайтов пользователя. { "error_code": "HOST_NOT_FOUND", "host_id": "http:ya.ru:80", "error_message": "explicit error message" } <Data> <Описание |
Была ли статья полезна?
Как удалить сайт из поиска «Яндекс» и Google
Для удаления страницы из индекса можно использовать разные методы, и все они заметно различаются по принципу действия. Какой из них выбрать в вашем случае и как не навредить сайту, пытаясь удалить страницу из SERP? Узнаем сегодня.
Зачем удалять страницу из индекса
Удаление страниц из результатов поиска целесообразно проводить в следующих случаях:
- страница содержит устаревший контент;
- страница содержит персональные данные;
- страница с дублированным контентом;
- страница с неуникальным контентом;
- удаление технических / служебных страниц;
- страницы с ограниченным доступом.
Хостинг: как выбрать и на какие технические возможности обратить внимание
Крайне редко владельцам бизнеса удается самостоятельно выявить эти ошибки и принять меры по их устранению. Если вы не уверены, что ваш сайт работает идеально, – обратитесь аудитом и внутренней оптимизацией ресурса к «Текстерре». Выявим и устраним ошибки, сделаем сайт удобным для поиска, увеличим поисковый трафик и подготовим план дальнейшего продвижения.
Проверяем индексацию страницы
Прежде чем удалять страницу, необходимо проверить, находится ли она в индексе вообще. Отдельно проверяем индексацию в Google и отдельно – в «Яндекс». Начнем с первого.
Запускаем инструмент Index Coverage Report.
Откроется Google Search Console. Мы должны выбрать домен, на котором размещается проверяемая страница:
Вводим полный адрес интересующей веб-страницы и нажимаем Enter:
Если проблемная веб-страница уже «выпала» из индекса Google, вы получите такое сообщение:
Это значит, что проблемная веб-страница в настоящий момент не может присутствовать в поиске.
Как увеличить конверсию рекламных кампаний: боремся с низким CTR и отказами
Еще один способ проверить индексацию любой веб-страницы в Google (и, кстати, в «Яндексе» тоже) – ввести ее полный URL в поисковую строку:
Да, так просто. Если искомая веб-страница уже проиндексирована, вы увидите соответствующий результат:
Пример проиндексированной веб-странице в SERP Google
Пример проиндексированной страницы в «Яндексе»
Проверить индексацию любой веб-страницы в «Яндексе» можно при помощи инструментов «Яндекс. Вебмастер». Просто открываем его и в разделе «Индексация» выбираем пункт «Проверить статус URL». Можно проверять индексацию только у тех веб-страниц, которые относятся к подтвержденным доменам (у вас должны быть права на сайт, чтобы вы могли «стереть» URL). Если веб-страница находится в индексе отечественного поисковика, вы увидите у нее соответствующий статус:
Почему не стоит проверять индексацию оператором site:
Проблема оператора site: заключается в том, что показывает не только страницы в индексе, но и URL с перенаправлением или с настроенным каноникал. Если в прошлом сайт был перенесен на другой домен, то через site: вы можете увидеть страницу с абсолютно другим заголовком / описанием.
Шаблон или уникальный дизайн: что выбрать для сайта
Как удалить страницу сайта из поиска Google
Не срочное удаление страницы
Мне нужно удалить контент веб-страницы или всю страницу целиком, но не срочно. Например, контент перестал быть актуальным. Я согласен, если еще какое-то время (пару недель) она продолжит «болтаться» в кэше Google (значит, иногда появляться в SERP).
В вышеуказанном случае можно порекомендовать просто удалить содержимое страницы целиком.
Удаление веб-страницы немного отличается в каждой CMS. Например, в WordPress необходимо открыть страницу в редакторе и выбрать пункт «Удалить в корзину»:
Удаленная страница со временем начнет отдавать ошибку 404. Через несколько дней краулеры Google автоматически исключат такую страницу из индекса.
Страница 404: самые креативные, смешные и лаконичные варианты
Объединение нескольких страниц и указание главной
У меня есть несколько версий одной страницы. Я хочу объединить все эти страницы и перенести их на единый URL. Контент на этих страницах является практически не отличается.
В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google.
Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной.
Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.
Кстати, кроме тега можно использовать перенаправление (лучше 301-ое) и параметры после URL (параметры следуют сразу после знака «?»). О том, как блокировать обход дублированного контента, содержащего параметры, —в справке Google Search Console.
Каноникализацию можно сделать несколькими способами. Выбирайте тот инструмент, которым владеете лучше.
Срочное удаление страницы из результатов поиска
Мне нужно как можно быстрее удалить страницу из индекса. У меня нет времени возиться с канониклами / ограничением доступа / метатегами. Речь идет о конфиденциальных данных или об исполнении решения суда.
В этом случае нужно использовать «Инструмент удаления URL». Открываем инструмент и выбираем сайт:
Создаем запрос:
Указываем полный URL страницы, которую нужно скрыть:
Что должно быть в вашей CRM: ключевые возможности для бизнеса и сотрудников
Кстати, здесь же можно удалить все URL с текущим префиксом и скрыть кэшированную копию страницы. Подтверждаем запрос:
Инструмент не удаляет страницу из индекса в буквальном смысле, а лишь убирает ее оттуда на 6 месяцев, после чего вы должны принять финальное решение: удалить все содержимое страницы целиком либо ограничить доступ к странице.
Инструмент действует не мгновенно: скрывает проблемную страницу в течение 24-х часов.
Это самый быстрый способ показать Google, что страница должна быть удалена из результатов поиска.
Страницу нужно удалить из поиска, но она должна быть доступной
Мне нужно удалить всю страницу из индекса, но после этого она должна быть доступна определенным посетителям сайта.
В этом случае нужно использовать ограничение доступа к странице. Сервисов и инструментов для этого много, но чаще всего используется ограничение по IP или организация доступа к странице по паролю. Здесь, опять же, сложно советовать что-то конкретное, так как ваши конечные цели сложно предугадать. По сложности внедрения оба способа примерно одинаковые.
Ограничение доступа по IP или вход по паролю – отличный сценарий для тестовых этапов разработки сайта (например, при внедрении нового функционала) или для внутренних сетей. Страницы с ограниченным доступом никогда не попадут в индекс «Яндекс» и Google.
Ограничить доступ к определенной странице можно при помощи учетных записей на сайте, но это трудоемкий способ.
Ограничить доступ к странице всем пользователям и сохранить его для некоторых посетителей можно при помощи мета-тега robots. Для этого необходимо добавить в него директиву noindex. На практике выглядит такой тег следующим образом:
При помощи директивы noindex в robots вы даете понять краулеру: выбранная страница не должна находиться в SERP.
Удаление изображения из результатов поиска
Мне нужно удалить картинку из результатов поиска / «Google Картинок»
Здесь я рекомендую использовать атрибут disallow, который нужно указать в robots.txt. Никаких сложностей с этим точно не возникнет.
Как запустить вирусную видеорекламу: 7 составляющих вирального ролика
Вы можете ограничить обход как одной, так и сразу всех картинок. Все, что нужно для этого, – знать имя краулера. Это Googlebot – Image.
Например, мы хотим удалить картинку, значит, прописываем такой атрибут:
Удаление ссылки на страницу с контентом, защищенным копирайтом
Я хочу удалить материалы, нарушающие мои или чужие авторские права
Вам необходимо создать заявление в специальном инструменте для вебмастеров Google (называется DMCA).
Выбираем пункт «Создать новое заявление» и заполняем всю контактную информацию:
Указываем персональные данные, электронную почту, название компании и страну проживания:
Заполняем контактную информацию
«Подписываем» заявление
Как видим, потребуется описать произведение, защищенное копирайтом, и указать ссылку, где оно размещается легально. Потребуется указать и точное расположение материалов (в виде ссылки), ущемляющих ваши авторские права:
Не забываем отметить чекбоксы и дать согласие на то, что эта форма заполняется «под присягой»:
Составление семантического ядра: 5 типичных ошибок
Удаление ссылки на страницу, содержащую персональные данные
Я хочу удалить персональные данные, которые появились на определенном сайте в интернете.
Для этого используйте инструмент «Удаления конфиденциальности». Он создан специально для ЕС, но мне известны как минимум 2 случая, когда он помогал удалить персональные данные и граждан РФ.
Понадобится заполнить страну проживания, фамилию и имя, электронную почту. Можно отправить запрос от имени родственника / члена семьи / друга / клиента. В этом случае понадобится указать степень родства (если речь идет о родственнике):
Далее указываем ссылки на действующие веб-страницы, содержащие ваши персональные данные:
Указываем поисковую фразу (в этом случае – имя и фамилия), по которой в результатах поиска выводятся ссылки на веб-страницы, содержащие персональные данные (ваши или доверенного лица):
Читаем соглашение Google о ПДн, отмечаем чекбоксы и подписываем документ:
Как удалить / стереть страницу из результатов поиска «Яндекс»
Теперь о том, что предлагает «Яндекс» для удаления URL из поиска.
Для эффективного удаления URL навсегда отечественный поисковик советует использовать уже знакомую директиву disallow. Ее следует указывать прямо robots-файле.
Второй способ. На удаляемой странице нужно прописать метатег robots (не забываем про директиву noindex).
Взламываем «Яндекс» с помощью тега noindex: что это, зачем и как использовать
Здесь стоит отметить, что бот-краулер отечественного поисковика первым делом анализирует именно robots-файл и только потом начинает сканировать саму веб-страницу. Убедитесь, что robots.txt содержит корректные указания. Для этого вы можете использовать специальный инструмент:
Еще один вариант – настроить HTTР-статус (он должен быть настроен у самой удаляемой веб-страницы). В последнем случае вы должны настроить точное перенаправление (404-ый или же 403-ий редирект).
Индексирование в поисковиках: что это такое и как работает
Если вы сделали прямое запрещение на сканирование веб-страницы в системной файле robots, краулеры перестанут сканировать проблемную веб-страницу примерно спустя 24 часа (или быстрее).
Другой сценарий. Вы «сотрете» веб-страницу при помощи robots-тега (или же сразу настроите редирект http-статусом), а краулер продолжит сканирование проблемной веб-страницы (точно сказать нельзя, но в течение нескольких дней). Страница и спустя пару дней остается недоступной и не обновляется? Значит, она будет автоматически удалена из SERP «Яндекса » в ближайшее время.
Как ускорить удаление URL в «Яндексе»
Вы можете повлиять на скорость удаления URL. Первым делом уничтожьте веб-страницу через админку используемой CMS (URL должна отдавать 404-ой код). Вы можете удалить и целую группу URL, если в этом возникает необходимость.
Кстати, «Яндекс» позволяет удалить страницу из поиска даже в том случае, если вы не являетесь владельцем сайта и у вас отсутствуют права на домен (где размещается страница, которую вы хотите удалить) в «Яндекс.Вебмастере». Откройте инструмент и укажите проблемный URL:
Этот инструмент может помочь вам, только если для удаления URL есть какие-либо основания. К ним можно отнести 403-ий / 404-ый / 410-ый коды, прямое ограничение индексирования в robots.txt или запрещение метатегом noindex.
Если права на сайт в «Я.В» у вас подтверждены, вы сразу сможете стереть до пятисот URL в сутки.
Это все способы, при помощи которых Вы можете удалить страницу из индекса «Яндекс» и Google. Теперь предлагаю рассмотреть самые распространенные ошибки, которые могут возникнуть при удалении страниц.
Как не надо удалять страницу из поиска
Nofollow – только рекомендация
Использование Nofollow, когда требуется исключить страницу из индекса.
Этот способ вообще не работает, так как nofollow – всего лишь рекомендация для краулера и он, скорее всего, не будет ее соблюдать.
Тег noindex уже не работает
Использование тега noindex для запрещения индексации через robots.txt.
Раньше этот способ частично работал, но еще в 2019 году Google объявил, что отныне noindex в robots.txt не поддерживается.
Каноникал на другой URL
Страница с каноикл-тегом, которая ведет на иной URL.
Каноникал используется для указания главной страницы, требующей индексации. Noindex же говорит краулерам, что страница не должна находиться в индексе. Тут возникает конфликт. Поэтому не используйте страницы с каноникл-тегом, указывающие на другие URL.
Оптимизация сайта под «Яндекс»: топ-9 факторов для интернет-магазинов в 2021 году
Блокировка поисковых роботов в robots.txt
Блокировка краулеров через файл robots.txt.
Так вы лишь рекомендуете краулеру не обходить страницу, но он все равно может ее просканировать по своему усмотрению и даже включить ее в SERP.
Канониклы настраиваем в тех случаях, когда проблемная страница нужна в рамках сайта. Когда не нужна, настраиваем 301-ое / 404-ое перенаправление.
Удаление сайта. Руководство разработчика
Удаляет сайт из списка сайтов пользователя.
- Формат запроса
- Формат ответа
- Коды ответов
УДАЛИТЬ https://api.webmaster.yandex.net/v4/user/{Type: int64. Логин пользователя. Требуется при вызове всех ресурсов API Яндекс.Вебмастера. Чтобы получить его, используйте метод GET /v4/user."}}">}/hosts/{Type: идентификатор хоста (строка). Идентификатор сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts."}}">}
идентификатор пользователя | Тип: int64. Логин пользователя. Требуется при вызове всех ресурсов API Яндекс.Вебмастера. Чтобы получить его, используйте метод GET /v4/user. |
идентификатор хоста | Тип: идентификатор хоста (строка). Идентификатор сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts. |
Тело ответа не передано.
Чтобы подробно просмотреть структуру ответа, щелкните причину.
Код | Разум | Описание |
---|---|---|
204 | NO_Content | .![]() |
403 | INVALID_USER_ID | Идентификатор пользователя, выдавшего токен, отличается от указанного в запросе. В приведенных ниже примерах { "код_ошибки": "INVALID_USER_ID", "доступный_user_id": 1, "error_message": "Недопустимый идентификатор пользователя. Следует использовать {user_id}." } <Данные> < Описание |
404 | HOST_NOT_FOUND | Сайт отсутствует в списке сайтов пользователя. { "код_ошибки": "HOST_NOT_FOUND", "host_id": "http:ya.ru:80", "error_message": "явное сообщение об ошибке" } <Данные> < Описание |
Была ли статья полезной?
[PDF] Яндекс: Обзор инструментов для веб-мастеров и рекомендации
Яндекс: Обзор инструментов для веб-мастеров и рекомендации
Программа • Введение • Регистрация • Функции и инструменты
© COPYRIGHT, 2015, ICROSSING, INC. 0002 Что такое Яндекс • Яндекс — ведущая поисковая система в России. • Она занимает почти 60% рынка в России с опорными пунктами в Польше, Украине, Казахстане, Белоруссии и Турции. • Яндекс лучше для русскоязычного поиска. Яндекс был создан специально для российского рынка и лучше анализирует намерения пользователя, чем орфографию на русском языке. • Яндекс также предлагает поиск на английском языке, что означает, что у вас есть потенциал для извлечения трафика из России.
© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.
4
Алгоритм Яндекса • MatrixNet — российский алгоритм приоритета страниц (аналог PageRank). • Он измеряет популярность сайта, а также сумму и релевантность обратных ссылок для определения оценки тематического индекса цитирования (TIC), которая играет роль в MatrixNet. • TIC оценивается по шкале от 0 до 10 000 и одинаков для каждой страницы веб-сайта, поэтому он не зависит от страницы за страницей, как PageRank. • Плагин под названием Yandex Elements позволит вам увидеть этот счет: — https://elements. yandex.com.tr/
© COPYRIGHT 2015, ICROSSING, INC.
5
Регистрация
Возможности Яндекса без регистрации • Вы можете отправить свой сайт на Яндекс, не имея учетной записи Инструментов для веб-мастеров. • Функции, к которым вы можете получить доступ без регистрации, включают: — Отправка сайта — Проверка индексации вашего сайта Яндексом — Анализ файла robots.txt вашего сайта — Сообщение о результатах поиска спама и удаление вашего URL из поиска — Проверка файла Sitemap, XML-фида и микроформатов
© АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.
7
• Однако регистрация сайта и использование Инструментов для веб-мастеров могут помочь получить более глубокое понимание.
Регистрация аккаунта в Инструментах Яндекса для веб-мастеров • Получите аккаунт в Яндекс.Паспорте. Зарегистрируйтесь со следующей информацией: — Имя и фамилия (фамилия) — Имя пользователя — Пароль учетной записи — Мобильный телефон (сброс паролей) — Дополнительный адрес электронной почты (сброс паролей) — Контрольный вопрос (сброс паролей)
• Если вы зарегистрировались с номер мобильного телефона, Яндекс отправит вам SMS с кодом подтверждения, который необходим для завершения процесса регистрации. © АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.
Добавьте свой веб-сайт • После входа в систему нажмите ссылку «Добавить сайт». • Введите URL вашего сайта в поле и нажмите «Добавить сайт».
© COPYRIGHT 2015, ICROSSING, INC.
Регистрация учетной записи Yandex Webmaster Tools • У вас есть 4 варианта проверки сайта: простой и рекомендуемый метод. Скопируйте HTML-код и вставьте его в шапку вашего сайта. Обратите внимание, это должно быть на всех страницах вашего сайта — Файл Txt — Создайте пустой текстовый файл с указанным именем, предоставленным Яндексом, и загрузите его в корневой каталог вашего сайта — По DNS — Создайте запись CNAME, предоставленную Яндексом, в вашем настройка DNS сайта
• После проверки одним из этих способов опубликуйте и нажмите «Проверить», чтобы узнать, может ли Яндекс получить доступ к вашему сайту. © COPYRIGHT 2015, ICROSSING, INC.
Функции и инструменты
Отправка карты сайта • Добавление карты сайта: — — —
—
— —
© COPYRIGHT2 2015, ICROSSING, INC. в разделе «Параметры индексирования» на вкладку «Файлы Sitemap» в разделе «Параметры индексирования» и нажмите «Добавить». (Только для форматов XML и Text) Статус будет отображаться OK. Вы можете проверить свой файл Sitemap перед отправкой на наличие ошибок, используя их Sitemap Validator • https://webmaster.yandex.com/sitemaptest.xml «Дополнительная информация» покажет сведения о текущей версии, доступной в поиске, и последнем обновлении. Версия карты сайта Обработка новой версии роботом Яндекса может занять две недели. Яндекс не предоставляет возможность повторно отправить карту сайта. Единственный способ — сначала удалить существующий, а затем отправить новый
Инструмент проверки ответа сервера • Это похоже на «выбрать как Google», чтобы помочь веб-мастерам устранять неполадки со страницами с ошибками, которые не индексируются при поиске ЯндексБотом • Вы можете получить доступ к этому инструменту в нескольких местах: —
После входа в систему в свою учетную запись, вы можете увидеть ссылку справа в разделе «Мои сайты» — опция «HTTP-коды» доступна в разделе «Индексирование» — опция «Исключенная страница» доступна в разделе «Индексация»
• Как использовать этот инструмент: —
© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.
Введите правильный формат URL-адреса, выберите тип робота Яндекса и нажмите «Проверить» — Код ответа поможет вам проанализировать ошибки — Контент страницы позволяет увидеть контент так, как его видит YandexBot
Вариант «Исключенные страницы» • Перейти в «Исключенные страницы» опция доступна в разделе «Индексирование». Яндекс покажет страницы вашего сайта, не проиндексированные ЯндексБотом, по разным категориям: — — —
Страницы ошибок HTTP (404) URL-адреса, заблокированные Robots.txt Неподдерживаемые форматы страниц, например, Sitemap
• Вы можете установить уровень важности для этих кодов ошибок, нажав «Настройки». • Нажмите «Ссылки на страницы» в отчете о состоянии в формате HTML, чтобы просмотреть внешние и внутренние страницы, ссылающиеся на страницу с ошибкой. © COPYRIGHT 2015, ICROSSING, INC.
Сообщить о спаме • Алгоритм Яндекса учитывает исключительно взаимодействие с пользователем и показатели ранжирования ключевых слов, а не ссылки, поэтому он может отфильтровывать спам-ссылки. • Вы также можете сообщить о внешних ссылках на ваш сайт, если они содержат вирус, фишинг или спам в поисковых системах. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/delspam.xml
Удалить URL-адрес • Вы можете запросить удаление URL-адреса, когда страница больше не существует на вашем сайте. Это ускорит процесс удаления из индекса Яндекса. • Крайне важно, чтобы страница возвращала ошибку 404, чтобы Яндекс мог обработать ваш запрос. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/delurl.xml
Robots.txt • Вы можете загрузить файл robots.txt со своего сайта в этот инструмент и проверить, чтобы посмотреть, соблюдает ли робот Яндекса правила файла. • Вы также можете создать файл Robots.txt, который вам нужно будет вручную загрузить на свой веб-сайт, чтобы изменения вступили в силу. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/robots.xml
Структурированные данные • Яндекс имеет Валидатор микроформата для проверки семантической разметки вашего сайта: —
Микроданные
—
Schema.