Как запретить индексирование сайта или страниц

Иногда нужно, чтобы страницы сайта или размещенные на них ссылки не появлялись в результатах поиска. Скрыть содержимое сайта от индексирования можно с помощью файла robots.txt, HTML-разметки или авторизации на сайте.

1. Запретить индексирование сайта, раздела или страницы
2. Запретить индексирование части текста страницы
3. Скрыть от индексирования ссылку на странице

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

• В файле robots.txt укажите директиву Disallow.

• В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none. Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.

• Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots. txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

Скрыть от индексирования часть текста можно несколькими способами:

• В HTML-код страницы добавьте элемент noindex. Например:

  <noindex>текст, индексирование которого нужно запретить</noindex>

  Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега.

  При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

  <!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->

• В HTML-код страницы добавьте элемент noscript. Например:

  <noscript>текст, индексирование которого нужно запретить</noscript>

  Элемент noscript, как и noindex, запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript.

  Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально.

  Посмотреть отчет о наличии JavaScript можно в Яндекс Метрике .

Рекомендуем использовать атрибут rel. Разные значения атрибута указывают на тип ссылки, что помогает поисковой системе лучше распознавать содержимое сайта.

• rel=»ugc». Используйте, если на вашем сайте есть форум или возможность оставить отзыв и вы не уверены в качестве ссылок, которые оставляют посетители.

• rel=»sponsored». Используйте, если ссылка носит рекламный характер, указывает на рекламное место или размещение в рамках партнерской программы с другим сайтом.

• rel=»nofollow». Указывайте, чтобы робот не проходил по ссылке, не зависимо от ее типа.

Можно комбинировать несколько значений. Пример:

<a href="url" rel="nofollow,sponsored">текст ссылки</a>
или
<a href="url" rel="nofollow sponsored">текст ссылки</a>

Значения атрибута rel воспринимаются роботом как рекомендация не принимать ссылку во внимание.

Чтобы скрыть от индексирования все ссылки на странице, укажите в HTML-коде страницы метатег robots с директивой nofollow. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

При использовании любого из перечисленных указаний ссылка может быть обработана роботом и отобразиться в Вебмастере как внутренняя или внешняя. Само отображение или отсутствие ссылки в Вебмастере не указывает на то, что поисковые алгоритмы учитывают ее.

Индексирование поиска в Windows 10: вопросы и ответы

Индексирование содержимого компьютера помогает быстрее получить результаты поиска файлов и других объектов. Узнайте, как это работает.

Что такое индексирование?

Индексирование — это процесс просмотра файлов, электронных сообщений и другого содержимого на компьютере и классификации информации о них, например содержащихся в них слов и метаданных. При выполнении поиска на компьютере после индексирования система анализирует индекс терминов, чтобы быстрее найти результаты.

Первое индексирование может занять несколько часов. После этого индексирование будет выполняться в фоновом режиме на компьютере во время его использования, при этом проводится только повторное индексирование обновленных данных.

Как индексирование ускоряет поисковые запросы?

Как и указатель в книге, цифровой индекс позволяет компьютеру и приложениям быстрее находить содержимое, анализируя термины или общие свойства, такие как дата создания файла. Полностью построенный индекс может возвращать ответы на такие операции поиска, как «Показать все песни Coldplay», за долю секунды, хотя без индекса эта операция может занять несколько минут.

Какие сведения индексируются?

По умолчанию индексируются все свойства файлов, в том числе имена и полные пути к файлам. Для файлов с текстом индексируются их содержимое, что позволяет искать слова в файлах.

Устанавливаемые приложения также могут добавлять собственные сведения в индекс для ускорения поиска. Например, Outlook 2016 по умолчанию добавляет все письма, синхронизированные с компьютером, в индекс и использует его для поиска в приложении.

Какие приложения используют индекс?

Многие из встроенных приложений на компьютере используют индекс тем или иным образом. Проводник, «Фотографии» и Groove применяют его для доступа к файлам и отслеживания изменений в них. Microsoft Edge использует индекс для отображения результатов журнала браузера в адресной строке. Outlook использует его для поиска почты. Кортана использует индекс для ускоренного предоставления результатов поиска на компьютере.

Многие приложения в Microsoft Store также применяют индекс для предоставления актуальных результатов поиска файлов и другого содержимого. Отключение индексировании приведет к тому, что эти приложения станут работать медленнее или совсем перестанут работать, в зависимости от интенсивности использования индекса.

Почему индексирование все время выполняется на компьютере автоматически?

Ваш компьютер с Windows 10 постоянно отслеживает изменения файлов и обновляет индекс, добавляя последние данные. Для этого он открывает недавно измененные файлы, изучает изменения и сохраняет новые сведения в индексе.

Где хранятся сведения об индексе?

Все данные, полученные в результате индексирования, хранятся локально на компьютере. Они не передаются на любой другой компьютер или корпорации Майкрософт. Однако приложения, устанавливаемые на компьютере, могут читать данные в индексе, поэтому будьте осторожны при установке и убедитесь, что вы доверяете источнику приложения.

Сколько места использует индекс?

Как правило, индекс занимает менее 10 процентов от размера индексированных файлов. Например, если у вас 100 МБ текстовых файлов, индекс для них будет занимать менее 10 МБ.

Индекс может занимать больше места, если у вас большое количество небольших файлов (< 4 КБ) или если индексируется компьютерный код. В обоих случаях размер индекса будет значительно увеличен относительно размера файлов. Если на компьютере множество небольших файлов и вы хотите сэкономить место, вы можете удалить расположение этих файлов из индекса, перейдя на страницу панели управления «Параметры индексирования» и выбрав Изменить.

Какие языки могут индексироваться?

Все языковые пакеты, установленные с Windows, содержат информацию для индексирования содержимого на этом языке. Если у вас есть файлы или другое содержимое на языке, который не установлен на компьютере, индекс попытается сделать их доступными для поиска, но это не всегда возможно.

Чтобы установить другие языковые пакеты, чтобы обеспечить возможность поиска на компьютере, перейдите в раздел Параметры> & язык > регион & язык, а затем выберите команду Добавить язык .

Какие типы файлов могут индексироваться?

Для просмотра списка типов файлов, которые могут быть проиндексированы, перейдите на страницу панели управления «Параметры индексирования» и выберите Дополнительно > Типы файлов.

Можно ли изменить объем индексируемых данных о файлах?

Да. Существует два способа индексирования файлов: только свойства или свойства и содержимое. При индексировании только свойств система не изучает содержимое файла или не делает его доступным для поиска. Вы по-прежнему сможете выполнять поиск по имени файла, но не по его содержимому.

Если вы решите не индексировать содержимое файлов, вы сможете уменьшить размер индекса, но в некоторых случаях файлы станет труднее найти.

Чтобы выбрать параметр для каждого типа файла, перейдите на страницу панели управления «Параметры индексирования» и выберите Дополнительно > Типы файлов.

Блокировать поисковое индексирование с помощью ‘noindex’ | Центр поиска Google | Документация

Вы можете предотвратить появление страницы или другого ресурса в поиске Google, включив noindex
метатег или заголовок в HTTP
отклик. Когда робот Googlebot в следующий раз просканирует эту страницу и увидит тег или заголовок, Google удалит
эту страницу полностью из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты.

Важно : Для noindex для вступления в силу, страница
или ресурс не должен быть заблокирован файлом robots.txt, и он должен быть в противном случае
доступным для поискового робота. Если страница заблокирована
robots.txt или сканер не сможет получить доступ к странице, сканер никогда не увидит
директива noindex , и страница может по-прежнему отображаться в результатах поиска, например
если на него ссылаются другие страницы.

Использование noindex полезно, если у вас нет root-доступа к вашему серверу, так как это
позволяет контролировать доступ к вашему сайту на постраничной основе.

Есть два способа реализовать noindex : как метатег и как HTTP-ответ.
заголовок. Они имеют тот же эффект; выберите способ, который более удобен для вашего сайта и
соответствует типу контента.

<мета> тег

Чтобы запретить большинству поисковых систем индексировать страницу на вашем сайте, поместите
следующий метатег в раздел вашей страницы:

Чтобы запретить только поисковым роботам Google индексировать страницу:

Имейте в виду, что некоторые поисковые системы могут интерпретировать
noindex директива иначе. В результате возможно, что ваша страница может
по-прежнему появляются в результатах других поисковых систем.

Узнайте больше о метатеге noindex .

Если вы используете CMS, например Wix или Blogger , вы не сможете напрямую редактировать свой HTML.
Вместо этого ваша CMS может иметь страницу настроек поиска или какой-либо другой механизм,
движки о метатегах.

Если вы хотите добавить метатег на свой веб-сайт, выполните поиск инструкций.
об изменении вашей страницы на вашей CMS (например,
найдите «wix добавить метатеги»).

Вместо метатега вы также можете вернуть заголовок X-Robots-Tag со значением
либо noindex , либо none в вашем ответе. Заголовок ответа может
использоваться для ресурсов, отличных от HTML, таких как PDF-файлы, видеофайлы и файлы изображений. Вот пример
Ответ HTTP с тегом X-Robots-Tag , указывающим поисковым системам не индексировать страницу:

HTTP/1.1 200 ОК
(…)
  X-Robots-Tag: noindex 
(…) 

Узнайте больше о заголовке ответа noindex .

Помогите нам найти ваши метатеги

Нам необходимо просканировать вашу страницу, чтобы увидеть метатеги и заголовки HTTP. Если страница все еще
появляется в результатах, возможно, это связано с тем, что мы не сканировали страницу с тех пор, как вы добавили
ярлык. Вы можете запросить у Google повторное сканирование страницы с помощью
Инструмент проверки URL.
Другая причина также может заключаться в том, что файл robots.txt блокирует URL-адрес из сети Google.
сканеры, поэтому они не могут видеть тег. Чтобы разблокировать свою страницу от Google, вы должны отредактировать
файл robots. txt. Вы можете редактировать и тестировать файл robots.txt с помощью
robots.txt Тестер
инструмент.

Как запретить Google индексировать страницу в поиске

Индексирование как можно большего количества страниц вашего веб-сайта может быть очень заманчивым для маркетологов, которые пытаются повысить свой авторитет в поисковых системах.

Но, несмотря на то, что публикация большего количества страниц, релевантных определенному ключевому слову (при условии, что они также высокого качества), действительно улучшит ваш рейтинг по этому ключевому слову, иногда на самом деле более ценным является сохранение определенных страниц на вашем веб-сайте из индекса поисковой системы.

… Что сказать?!

Оставайтесь с нами, ребята. В этом посте вы узнаете, почему вы можете захотеть удалить определенные веб-страницы из SERP (страниц результатов поисковой системы) и как именно это сделать.

Деиндексация страницы из Google

В некоторых случаях может потребоваться исключить веб-страницу или часть веб-страницы из сканирования и индексации поисковыми системами, например:

• Во избежание дублирования контента ( когда существует более одной версии страницы, проиндексированной поисковыми системами, например, версия вашего контента для печати) от индексации
• Использовать страницы администратора и входа для внутреннего использования, если только они не предназначены для использования сообществом
• Для страницы благодарности (т. е. страницы, на которую попадает посетитель после перехода на одну из ваших целевых страниц), где посетитель получает доступ к любому предложению, обещанному этой целевой страницей, например, к ссылке на электронную книгу PDF

Вот как выглядит страница благодарности для нашей электронной книги с советами по SEO, например:

Вы хотите, чтобы любой, кто попадает на вашу страницу благодарности, попадал туда, потому что он уже заполнил форму на лендинге страница — , а не , потому что они нашли вашу страницу благодарности в поиске.

Почему бы и нет? Потому что любой, кто найдет вашу страницу благодарности в поиске, может получить прямой доступ к вашим лидогенерирующим предложениям — без необходимости предоставлять вам свою информацию для прохождения через вашу форму захвата лидов. Любой маркетолог, который понимает ценность целевых страниц, понимает, насколько важно сначала привлечь этих посетителей в качестве лидов, прежде чем они смогут получить доступ к вашим предложениям.

Итог: Если ваши страницы благодарности легко найти с помощью простого поиска в Google, возможно, вы оставляете ценную информацию на столе.

Что еще хуже, вы даже можете обнаружить, что некоторые из ваших страниц с самым высоким рейтингом для некоторых из ваших ключевых слов с длинным хвостом могут быть вашими страницами благодарности, а это означает, что вы можете приглашать сотни потенциальных лидов, чтобы обойти захват лидов. формы. Это довольно веская причина, по которой вы хотите удалить некоторые из своих веб-страниц из поисковой выдачи.

Итак, как вы собираетесь «деиндексировать» определенные страницы из поисковых систем? Вот три способа сделать это.

3 способа деиндексировать веб-страницу из поисковых систем

Robots.txt для деиндексации

Используйте, если: вы хотите лучше контролировать то, что вы деиндексируете, и у вас есть необходимые технические ресурсы.

Один из способов удалить страницу из результатов поиска — добавить на сайт файл robots. txt. Преимущество использования этого метода заключается в том, что вы можете лучше контролировать то, что вы разрешаете индексировать ботам. Результат? Вы можете заблаговременно исключить нежелательный контент из результатов поиска.

В файле robots.txt вы можете указать, хотите ли вы блокировать ботов с одной страницы, всего каталога или даже только одного изображения или файла. Существует также возможность предотвратить сканирование вашего сайта, но при этом разрешить работу объявлений Google AdSense, если они у вас есть.

При этом из двух доступных вам вариантов, этот требует самого технического кунг-фу. Чтобы узнать, как создать файл robots.txt, прочтите эту статью, в которой подробно объясняется, как это сделать. здесь и узнайте, как настроить содержимое файла Robots.txt здесь.

Если вам не нужен полный контроль над файлом robots.txt и вы ищете более простое и менее техническое решение, тогда этот второй вариант для вас.

Htaccess No Index No Follow to De-Index

Используйте, если: Ваш веб-сайт работает на Apache и включен mod_headers, это быстрое решение.

В этом случае вы можете прикрепить эту единственную строку к вашему файлу .htaccess:

Заголовок установить X-Robots-Tag «noindex, nofollow»

Чтобы обозначить, что ваш веб-сайт может быть проиндексирован, но никогда не будет отображаться ни в одном поиске Google. полученные результаты.

Meta No Index No Follow to De-Index

Используйте, если: вам нужно более простое решение для деиндексации всей веб-страницы и/или деиндексации ссылок на всей веб-странице.

Использование метатега для предотвращения появления страницы в поисковой выдаче и/или ссылок на странице — это просто и эффективно. Это требует лишь небольшого количества технических ноу-хау — на самом деле это просто задание копирования/вставки, если вы используете правильную систему управления контентом.

Теги, которые позволяют вам это делать, называются «noindex» и «nofollow». Прежде чем я перейду к тому, как добавлять эти теги, давайте уделим немного времени определению и различию между ними. В конце концов, это две совершенно разные директивы, и их можно использовать как по отдельности, так и вместе друг с другом.

Что такое тег «noindex»?

Когда вы добавляете к веб-странице метатег noindex, он сообщает поисковой системе, что, хотя она и может сканировать страницу, она не может добавить ее в свой поисковый индекс.

Таким образом, любая страница с директивой «noindex» , а не попадет в поисковый индекс поисковой системы и, следовательно, не может быть показана на страницах результатов поисковой системы.

Что такое тег «nofollow»?

Когда вы добавляете метатег «nofollow» на веб-страницу, запрещает поисковым системам сканировать ссылки на этой странице. Это также означает, что любой ранжирующий авторитет страницы в поисковой выдаче будет , а не передан страницам, на которые она ссылается.

Таким образом, на любой странице с директивой «nofollow» все ссылки будут игнорироваться Google и другими поисковыми системами.

Как я уже говорил, вы можете добавить директиву «noindex» либо отдельно, либо вместе с директивой «nofollow». Вы также можете добавить директиву «nofollow» отдельно.

Когда использовать «noindex» и «nofollow» по отдельности

Добавляйте только тег «noindex» , когда вы не хотите , чтобы поисковая система индексировала вашу веб-страницу в поиске, но вы хотите этого переходить по ссылкам на этой странице, тем самым предоставляя ранжирование другим страницам, на которые ссылается ваша страница.

Прекрасным примером этого являются платные целевые страницы. Вы не хотите, чтобы поисковые системы индексировали целевые страницы, за просмотр которых люди должны платить, но вы можете захотеть, чтобы страницы, на которые они ссылаются, пользовались его авторитетом.

Добавьте только тег «nofollow» , когда вы хотите , чтобы поисковая система проиндексировала вашу веб-страницу в поиске, но не хотите, чтобы она переходила по ссылкам на этой странице.

Существует не так уж много примеров, когда вы добавляете тег «nofollow» на всю страницу без добавления тега «noindex». Когда вы решаете, что делать на данной странице, это больше вопрос о том, добавлять ли ваш тег «noindex» с тегом «nofollow» или без него.

Когда использовать «noindex, nofollow» вместе

Добавьте тег «noindex» и «nofollow» , если вы не хотите, чтобы поисковые системы индексировали веб-страницу в поиске, и вы не хотите, чтобы она переходила по ссылкам на этой странице.

Страницы благодарности — отличный пример такой ситуации. Вы не хотите, чтобы поисковые системы проиндексировали вашу страницу благодарности, и при этом вы не хотите, чтобы они перешли по ссылке на ваше предложение и начали индексировать содержание этого предложения.

Как добавить метатег noindex и/или nofollow

Шаг 1: Скопируйте один из следующих тегов.

Для «noindex»:

Для «nofollow»:

Для обоих «noindex » и «nofollow»:

Шаг 2: Добавьте тег в раздел HTML-кода вашей страницы, также известный как заголовок страницы.

Если вы клиент HubSpot, это очень просто — нажмите здесь или прокрутите вниз, чтобы найти инструкции для пользователей HubSpot.

Если вы , а не клиент HubSpot, , вам придется вручную вставить этот тег в код на своей веб-странице. Не волнуйтесь — это довольно просто. Вот как вы это делаете.

Сначала откройте исходный код веб-страницы, которую вы пытаетесь деиндексировать. Затем вставьте полный тег в новую строку в разделе HTML-кода вашей страницы, известном как заголовок страницы. Скриншоты ниже помогут вам в этом.

Тег означает начало вашего заголовка:

Вот метатег для «noindex» и «nofollow», вставленный в заголовок:

А тег означает конец заголовок:

Бум! Вот и все. Этот тег сообщает поисковой системе, что нужно развернуться и уйти, оставив страницу вне результатов поиска.

No Index No Follow в HubSpot

Добавление метатегов «noindex» и «nofollow» стало еще проще. Все, что вам нужно сделать, это открыть инструмент HubSpot на странице, на которую вы хотите добавить эти теги, и выбрать вкладку «Настройки».

Затем в разделе «Дополнительные параметры» нажмите «Заголовок HTML». В окно ниже вставьте соответствующий фрагмент кода. В приведенном ниже примере я добавил тег «noindex» и «nofollow», так как это страница благодарности.

Нажмите «Сохранить», и все готово.

Успешно No Index No Follow a Page

Вы только что волшебным образом удалили свою страницу из результатов поиска. Теперь вы можете снова начать захватывать больше потерянных лидов.

Имейте в виду, что вы не увидите результатов мгновенно. Ваши изменения не вступят в силу, пока поисковая система не просканирует вашу страницу в следующий раз. В зависимости от того, как часто вы обычно публикуете новые страницы на своем веб-сайте, это может занять несколько недель. Чем чаще вы публикуете контент, тем чаще поисковые системы будут сканировать ваш сайт.

This entry was posted in Популярное