Содержание
Как удалить страницы из поиска
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.
- Шаг 1. Запретите индексирование страницы или каталога
- Шаг 2. Ускорьте удаление страницы
- Как вернуть страницу в результаты поиска
- Вопросы и ответы
Сделать это можно несколькими способами:
- Если страница удалена с сайта
Укажите директиву Disallow в файле robots.txt.
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301.
Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.
Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта.
Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.- Если страница не должна отображаться в поиске
Укажите на странице метатег robots с директивой noindex.
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.
Подробнее см. Метатег robots и HTTP-заголовок X-Robots-Tag.
Примечание. Не ограничивайте такие странице в robots.txt, чтобы робот Яндекса смог их проиндексировать и обнаружить ваши указания.
Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.| Способ удаления | Поведение робота |
|---|---|
| Запрет в файле robots.txt | Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов. |
| HTTP-статус с кодом 404, 403 или 410 | Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. |
| Метатег robots с директивой noindex |
Адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс Вебмастера.
Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.
Удаленные из поисковой выдачи страницы могут отображаться в Яндекс Вебмастере до следующего обхода сайта.
Рекомендуем просмотреть урок Как удалить страницу из поиска.
Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.
Если ваш сайт не добавлен или не подтвержден в Яндекс Вебмастере:
Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
Если ваш сайт добавлен в Яндекс Вебмастер и вы подтвердили права на управление сайтом:
Перейдите на страницу Инструменты → Удаление страниц из поиска.
Установите переключатель в положение По URL.
В поле введите адрес страницы, например http://example.com/page.html.
Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс Вебмастер и вы подтвердили права на управление сайтом.
В Яндекс Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
Установите переключатель в положение По префиксу.
Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example.com/page? Можно отправить до 20 префиксов для одного сайта в сутки.
Нажмите кнопку Удалить.
Примечание. Робот удалит страницы, указанные в Яндекс Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.
После того, как URL отправлен в Яндекс Вебмастер, вы можете отслеживать изменение статуса на странице Инструменты → Удаление страниц из поиска:
| Статус | Описание |
|---|---|
| «В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
| «В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
| «Удалена» | Страница удалена из результатов поиска. |
| «Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
Редирект настроен на новые страницы, но в поиске присутствуют старые страницы
Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.
Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца.
Проверьте, правильно ли настроены зеркала.
Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:
Если при удалении страниц сайта вы следовали инструкциям и после того, как сайт посетил робот Яндекса, прошло больше двух недель, заполните форму ниже:
Если вы использовали редирект, отправьте страницы на переобход.
Страницы отправлены на переобход, но не удаляются из поиска дольше двух недель
Удаление веб-сайтов из предлагаемого списка в адресной строке
Поиск в Поддержке
Наладьте Firefox
Очистить Firefox
- Как это работает?
Загрузить свежую копию
Когда вы начинаете набирать текст в адресной строке, Firefox отображает выпадающий список предлагаемых сайтов. В этой статье описывается, как удалить отдельные записи или все записи из истории адресной строки.
- Чтобы управлять тем, какие предложения отображаются при вводе в адресную строку, прочитайте статьи Адресная строка автоматически дозаполняет предложения в Firefox и Поисковые предложения в Firefox.
Примечание: Нажав на адресную строку, вы увидите раскрывающийся список Топа сайтовЯрлыков (наиболее посещаемых сайтов) по умолчанию. Для получения дополнительной информации прочитайте Настройка ваших топ-сайтовНастройка ваших ярлыков
- 1 Удаление одной записи из истории адресной строки
- 2 Удаление всех записей для одного сайта
- 3 Удаление всех записей из истории адресной строки
Это работает и для записей истории просмотра, и для истории Поиска.
- Наберите или вставьте достаточно текста, чтобы Firefox отобразил элемент в выпадающем меню.
- Нажмите клавишу со стрелкой вниз ↓, чтобы подсветить этот элемент.
- Зажмите клавишу Shift и нажмите Delete на клавиатуре.
- Нажмите кнопку , чтобы открыть панель меню.
Нажмите на кнопку «Библиотека» на панели инструментов (если вы её не видите, нажмите кнопку меню и выберите Библиотеканажмите кнопку меню ).
Выберите Журнал, а затем нажмите «Показать весь журнал»«Управление журналом» в нижней части панели, чтобы открыть окно «Библиотека». - В правом верхнем углу наберите имя веб-сайта, о котором вы хотите забыть, в поле Поиск в журнале и нажмите EnterReturn.
- Щёлкните правой кнопкой мышиУдерживая клавишу control, щёлкните мышью
по сайту, о котором вы хотите забыть, и выберите Забыть об этом сайте.Примечание: Использование Забыть об этом сайте удалит все следы этого сайта из вашей истории. Для получения подробной информации прочитайте статью Удаление недавней истории веб-сёрфинга, поиска и загрузок.
- Закройте окно Библиотека.
Примечание: Если вы видите записи со звездочкой, то они являются закладками и не является частью вашей истории просмотра.
Это часть функции автозаполнения адресной строки Firefox. Если вы не хотите, чтобы закладки или другое содержимое отображались в предложениях адресной строки, прочитайте раздел Изменение настроек вашей адресной строки.
- Щёлкните по кнопке меню , щёлкните по Библиотека, а затем щёлкните по Журнал.Щёлкните по кнопке меню и затем щёлкните Журнал.
- Щёлкните по Удалить недавнюю историю…, чтобы открыть диалоговое окно.
- В окне Удаление недавней истории установите Удалить: во Всё.
- Чтобы удалить историю просмотра, убедитесь, что отмечен флажок рядом с Журнал посещений и загрузок. Чтобы удалить Историю поиска, отметьте флажок рядом с Журнал форм и поиска.
Примечание: Убедитесь, что вы отменили выбор любых других пунктов, которые вы не хотите удалять. Для получения дополнительной информации прочитайте статью Удаление недавней истории веб-сёрфинга, поиска и загрузок.
- Чтобы удалить все пункты в истории адресной строки, нажмите OK.
Поделитесь этой статьёй: https://mzl.la/3vWKZoB
Эти прекрасные люди помогли написать эту статью:
Unghost, Harry, Anticisco Freeman, Valery Ledovskoy, SwanMr.pound
Станьте волонтёром
Растите и делитесь опытом с другими. Отвечайте на вопросы и улучшайте нашу базу знаний.
Подробнее
Объяснение удаления URL-адресов
, часть I: URL-адреса и каталоги | Центральный блог Google Search
Вторник, 30 марта 2010 г.
Есть
много контента в Интернете в эти дни.
В какой-то момент в сети может появиться что-то, чего вы не хотели бы иметь там — что угодно.
от подстрекательского поста в блоге, о публикации которого вы сожалеете, до конфиденциальных данных, случайно попавших в
незащищенный. В большинстве случаев удаление или ограничение доступа к этому контенту приведет к его естественному
выпадают из результатов поиска через некоторое время.
Однако, если вам срочно нужно удалить нежелательные
контент, который был проиндексирован Google, и вы не можете дождаться, когда он исчезнет естественным образом, вы
может использовать наш инструмент для удаления URL-адресов, чтобы ускорить удаление контента из наших результатов поиска, если
так как он соответствует определенным критериям
(о чем мы поговорим ниже).
Мы приготовили для вас серию сообщений в блоге, объясняющих, как успешно удалять различные
типы контента и распространенные ошибки, которых следует избегать. В этом первом посте я расскажу о нескольких основных
сценарии: удаление одного URL-адреса, удаление всего каталога или сайта и повторное включение удаленных
содержание. Я также настоятельно рекомендую наш предыдущий пост на
управление доступной информацией о вас в Интернете.
Как правило, для того, чтобы ваши запросы на удаление были успешными, владелец URL(ов) в
вопрос — будь то вы или кто-то другой — должно быть, означал, что можно
удалить этот контент.
Для отдельного URL это может быть указано любым из трех способов:
- заблокировать страницу от сканирования через
файл robots.txt - заблокировать страницу от индексации через
noindexметатег - указать, что страница больше не существует, возвращая
404или410код состояния
Перед отправкой запроса на удаление вы можете проверить правильность блокировки URL-адреса:
- robots.txt: Вы можете проверить, правильно ли запрещен URL-адрес, используя
Получить как Googlebot
или
Тестовый файл robots.txt
функции в Инструментах для веб-мастеров. -
noindexmetatag: Вы можете использовать Fetch as Googlebot, чтобы убедиться, чтоmetatag
появляется где-то между тегами
хотите проверить страницу, которую не можете проверить в Инструментах для веб-мастеров, вы можете открыть URL-адрес в браузере, перейдите
на View > Page source и убедитесь, что вы видите
метатегмежду -
404и410код состояния: Вы можете использовать Fetch как Googlebot или
такие инструменты, как
Живые заголовки HTTP
или web-sniffer.net
чтобы проверить, действительно ли URL-адрес возвращает правильный код. Иногда «удаленные» страницы могут
сказать «404» или «Не найдено» на странице, но на самом деле вернуть
код состояния200в шапке страницы; так что хорошо использовать правильную проверку заголовков
инструмент для перепроверки.
Если вы Если нежелательный контент был удален со страницы, но страница не была заблокирована ни в одном из
указанными выше способами, вы не сможете полностью удалить этот URL из наших результатов поиска.
Чаще всего это происходит, когда вы не являетесь владельцем сайта, на котором размещен этот контент. Мы расскажем, что делать
в этой ситуации в следующем посте в
Часть II нашей серии переездов.
Если URL-адрес соответствует одному из указанных выше критериев, вы можете удалить его, перейдя в
инструмент удаления,
введите URL-адрес, который вы хотите удалить, и выберите «Веб-мастер уже заблокировал
страница». Обратите внимание, что вы должны ввести URL-адрес, по которому размещался контент, вместо URL
поиска Google, где он появляется. Например, введите
https://www.example.com/embarrassing-stuff.html , а не
https://www.google.com/search?q=embarrassing+stuff .
Статья нашего справочного центра
содержит более подробную информацию о том, как убедиться, что вы вводите правильный URL-адрес. Помните, что если вы не скажете
нам точный URL-адрес, который вас беспокоит, мы не сможем удалить контент, который вы имели в виду.
Удаление всего каталога или сайта
Чтобы удаление каталога или всего сайта было успешным, каталог или сайт должны быть
запрещено на сайте
файл robots.txt . Например, чтобы
удалить каталог https://www.example.com/secret/,
ваш файл robots.txt должен включать:
Пользовательский агент: * Запретить: /секрет/
Корню каталога недостаточно вернуть код состояния 404 ,
потому что каталог может вернуть 404 , но по-прежнему выдает файлы под ним.
Использование файла robots.txt для блокировки каталога (или всего сайта) гарантирует, что все URL-адреса в этом
каталог (или сайт) также заблокированы. Вы можете проверить, был ли заблокирован каталог
правильно используя либо
Получить как Googlebot
или
Тестовый файл robots.txt
функции в Инструментах для веб-мастеров.
Только подтвержденные владельцы сайта могут запросить удаление всего сайта или каталога в веб-мастере.
Инструменты. Чтобы запросить удаление каталога или сайта, нажмите на соответствующий сайт, затем перейдите к
Конфигурация сайта >
Доступ для сканера >
Удалить URL . Если вы укажете корень своего сайта в качестве URL-адреса, который хотите удалить, вы будете
попросили подтвердить, что вы хотите удалить весь сайт. Если вы входите в подкаталог, выберите
Опция «Удалить каталог» из выпадающего меню.
Повторное включение содержимого
Вы можете в любое время отменить запросы на удаление любого принадлежащего вам сайта, в том числе отправленные
другие люди. Для этого вы должны быть
подтвержденный владелец этого сайта
в Инструментах для веб-мастеров. Подтвердив право собственности, вы можете перейти к
Конфигурация сайта >
Доступ для сканера >
Удалить URL >
Удалены URL-адреса (или > Сделано другими ) и нажмите
«Отмена» рядом с любыми запросами, которые вы хотите отменить.
Остались вопросы? Оставайтесь с нами для остальной части нашей серии об удалении контента из Google.
результаты поиска. Если вам не терпится, об удалении URL уже написано много, и
устранение неполадок в отдельных случаях, в нашем
Справочный форум.
Если у вас остались вопросы после прочтения чужого опыта, вы можете задать их. Отметим, что в большинстве
случаев, трудно дать соответствующий совет по конкретному удалению, не зная сайта или
Сомнительный URL. Мы рекомендуем делиться своим URL-адресом с помощью
Сервис сокращения URL
чтобы URL-адрес, который вас беспокоит, не индексировался как часть вашего сообщения; некоторое сокращение
службы даже позволят вам отключить ярлык позже, как только ваш вопрос будет решен.
Другие сообщения из этой серии
- Часть II. Удаление и обновление кэшированного содержимого
- Часть III. Удаление контента, которым вы не владеете
- Часть IV: Отслеживание запросов, что нельзя удалять
Наконец, вам также может быть интересно прочитать о
управление доступной информацией о вас в Интернете.
Автор: Susan Moskwa, аналитик трендов для веб-мастеров
Как удалить URL-адрес из поиска Google
В то время как многие SEO-специалисты больше сосредоточены на быстрой индексации своего контента Google, часто требуется прямо противоположное — его быстрое удаление.
Возможно, вся ваша промежуточная среда была проиндексирована, конфиденциальный контент, который никогда не должен был быть доступен для Google, был проиндексирован, или спам-страницы, добавленные в результате взлома вашего веб-сайта, появляются в Google — что бы это ни было, вам понадобятся эти URL-адреса. быть удалены быстро.
В большинстве случаев удаление или ограничение доступа к этому контенту приведет к тому, что через некоторое время он естественным образом исчезнет из результатов поиска. Но иногда «некоторое время» может занять недели или даже месяцы.
Тем временем Google «думает», что вы хотите, чтобы этот контент был проиндексирован, и это потенциально может повредить вашему рейтингу, поскольку он рассматривает неверный URL-адрес как содержащий действительный, индексируемый контент.
Если вам срочно нужно удалить нежелательный контент, который был проиндексирован Google по какой-либо причине, и вы не можете дождаться его естественного исчезновения, вы можете использовать собственный инструмент удаления Google, чтобы ускорить удаление контента из результатов поиска Google.
Хотя очевидно, что существуют и другие поисковые системы, такие как Bing и Duck Duck Go, Google получает больше всего трафика, и в этой статье мы будем придерживаться этого варианта использования.
Когда следует удалять URL-адреса из поиска Google?
Дублированный контент
Могут быть случаи, когда вы случайно публикуете дублированный контент в своем домене. Удаление URL-адресов с дублирующимся контентом из поиска Google позволяет избежать риска того, что Google по существу «накажет» ваш контент, поскольку теперь существует две копии — какую копию вы хотите, чтобы она ранжировалась?
Дублированный контент существенно снижает ваш рейтинговый потенциал и, следовательно, поисковый трафик, из-за чего ваш контент не может ранжироваться на странице 1.
Устаревшее содержимое
Если ваш веб-сайт работает уже несколько лет, есть вероятность, что на нем есть устаревшее содержимое, например старые записи в блогах. Устаревший контент даже не обязательно должен быть устаревшим. Это также могут быть старые страницы продуктов, которые больше не доступны, или старые рекламные акции, срок действия которых истек.
Взломанный контент
Если на вашем веб-сайте возникла брешь в системе безопасности и на нем начинает появляться взломанный контент, есть вероятность, что Google продолжит его сканирование и индексирование с ваших серверов.
Чтобы пользователи не попадали на эти взломанные страницы, лучше всего удалить их из поиска Google, а также очистить свой веб-сайт и повысить его безопасность.
Личный контент
Если ваш веб-сайт содержит личный контент и должен быть доступен только вам и другим людям в вашей команде, вам следует удалить его из результатов поиска. В противном случае они будут доступны для общественности, и люди могут получить доступ к конфиденциальной информации.
Временное удаление URL-адресов с помощью Google Search Console
Google не оказывает поддержку в виде взаимодействия с человеком для решения этой проблемы. Тем не менее, они предлагают инструменты, которые позволяют быстро удалить URL-адреса из поиска Google через Google Search Console.
Важно отметить, что временное удаление на самом деле не удаляет ваш URL-адрес из индекса Google, а просто скрывает URL-адрес примерно на шесть месяцев от отображения в результатах поиска.
Даже после использования их инструмента удаления вам все равно придется навсегда заблокировать URL-адрес в будущем, например, используя 404, robots.txt или другой метод для блокировки URL-адреса.
Чтобы использовать этот инструмент, вы должны быть владельцем свойства Search Console
Чтобы получить доступ к инструменту удаления, войдите в Google Search Console, выберите параметр удаления в меню в левой части экрана, а затем нажав красную кнопку с надписью новый запрос:
Удаление одного URL-адреса
У вас есть возможность удалить один URL-адрес:
ПРИМЕР: https://test.