Noindex и nofollow в метатеге Robots и другие способы запрета индексации

Содержание статьи

• Что такое мета тег Robots
  • Как прописать
• Как использовать noindex и nofollow в meta robots
  • Поговорим чуть больше о noodp
  • Чего нужно опасаться при использовании
• Что такое тег Noindex
  • Целесообразность использования тега
• Как пользоваться тегом Noindex
  • Валидный Noindex
• Для чего нужны теги, запрещающие индексацию
• Для чего нужен атрибут rel nofollow

Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

<meta name="robots" content="noodp"/>

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

<meta name =“robots” content=”noindex,nofollow”/>

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

• noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
• noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
• index, nofollow – страница индексируется, но переход по ссылкам запрещен;
• index, follow – разрешены к индексированию как страница, так и ссылки на ней;
• noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
• noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс. Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
• noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

<meta name=“robots” content=”noodp, nofollow”/>

Чего нужно опасаться при использовании

Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:

<meta name =”robots” content=”all”/>
<meta name =”robots” content=”noindex, nofollow”/>

Тут выбрано будет первое значение, так как там оно положительно.

Что такое тег Noindex

Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:

<noindex>скрываемый текст</noindex>

Noindex – парный тег, и его необходимо закрывать.

Noindex не чувствителен к вложенности.

Целесообразность использования тега

Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!

Раньше сеошники скрывали в него часть текста, чтобы не было переспама. Но лично я предпочитаю в целях борьбы с переспамом просто снижать количество ключей в наиболее важных зонах документа.

Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:

Как пользоваться тегом Noindex

Нужно просто обернуть им тег:

<noindex>текст, который нам не нужен</noindex>

Валидный Noindex

Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:

<!- -noindex- ->вот так все норм<!- -/noindex- ->

Для чего нужны теги, запрещающие индексацию

Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:

1. На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
2. Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.

Для чего нужен атрибут rel nofollow

Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:

<a href =”http://website.ru” rel=”nofollow”>скрытая ссылка</a> 

Зеленые вебмастера, которые впервые узнали о рел нофоллоу, сразу думают: «Отлично! Теперь я всем ссылкам его пропишу и вес не будет утекать никуда».

На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц. То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:

Вечные вопросы о мета-теге «robots noindex» или что означает «грустная мордочка» • ПРОДЗЕН

Опубликовано 18. 05.2021   ·  
Комментарии: 0

  ·  
На чтение: 9 мин
  ·  
Просмотры:

4 705

Грустный робот, грустная (или красная) мордочка, робот, ноиндекс, алл или нон — это неполный список того, как блогеры называют явление, связанное с тем, что иногда публикации могут быть отмечены мета-тегом <meta name=»robots» content=»noindex» />. Далее, когда в статье будет употребляться термин мета-тег, будет подразумеваться именно он.

Когда автор обнаруживает этот мета-тег у себя на канале, то начинает беспокоиться, рвать на себе волосы, и задавать вопросы, на которые я попытаюсь ответить.

Каждый раз мне приходится писать одно и то же, и наконец-то я решил, что надо написать одну большую и подробную статью, чтобы просто ссылаться на неё.

Если вам не терпится прочитать, как связаны мета-теги с ограничениями каналов можно перейти сразу сюда.

Как выглядит мета-тег и где его посмотреть

Вообще мета-тег — это обычный тег html, который используется при создании веб-страниц для хранения информации, предназначенной для браузеров и поисковых систем. Теоретически в мета-теге может содержаться абсолютно любая информация, но в контексте публикаций в Дзене обычно имеются в виду мета-теги <meta name=»robots» content=»noindex» /> или <meta property=»robots» content=»none» />.

Чтобы посмотреть, есть ли мета-тег на обычной странице, нужно кликнуть правой кнопкой мыши в любом месте страницы, и в меню выбрать пункт «Просмотр кода страницы».

Откроется окно с исходным кодом страницы, где среди множества понятных и не очень строчек можно найти нужные нам мета-теги.

Здесь немного другой мета-тег — видите «all»? Об этом поговорим чуть ниже.

Мета-тега на странице может и не быть или он может быть немного другим, и это может менять его значение.

Что означают мета-теги «robots»

<meta name=»robots» content=»noindex» />

Этот мета-тег является командой поисковому роботу (это программа поисковых систем, которая собирает информацию о страницах на различных сайтах). Обнаружив этот мета-тег, поисковый робот понимает, что эта страница не предназначена для включения её в поисковую базу данных и пропускает страницу.

В итоге страница не попадает в поисковую базу (или если она там уже есть  — исключается), после чего поисковик не будет включать эту страницу в результаты поиска.

Подробнее об этом можно прочитать в инструкции Google для веб-разработчиков.

В Дзене этот мета-тег может встречаться на страницах конкретных публикаций (статьи, галереи, видео). И означает лишь то, что по каким-то причинам Дзен решил, что эту статью не должны находить в поиске.

Если этого мета-тега нет, это значит публикация не исключена из поисковой индексации, значит на неё могут (теоретически) приходить читатели, которые ищут статьи в Яндексе или Google.

<meta property=»robots» content=»none» />

Этот мета-тег является, скорее всего, внутренним тегом Дзена. Он может встречается на главной странице канала, это означает, что у всех публикаций канала отключена индексация — т.е. в коде каждой публикации будет встречаться <meta name=»robots» content=»noindex» />.

В нормальном состоянии мета-тег канала должен выглядеть немного иначе — <meta property=»robots» content=»all» />.

Важно. В настоящее время на новых каналах всегда присутствует мета-тег <meta property=»robots» content=»none» />. После прохождения проверки этот мета-тег снимается (точнее в нём значение «none» меняется на «all»).

Примечание. Кроме этого, сейчас можно встретить мета-тег <meta name=»robots» content=»max-image-preview:large»/>. Этот мета-тег ничему не угрожает, он просто сообщает поисковикам изображения какого размера показывать на странице поиска. Подробнее об этом можно прочитать здесь.

Почему мета-теги называют «мордочками» или «рожицами»

Это связано с браузерным расширением «ПРОДЗЕН». В нём на страницах публикаций отображается пиктограмма «грустный робот», которую в итоге стали называть «красной мордой», «грустной мордочкой» и т.д.

Как с помощью расширения обнаружить статьи с мета-тегом?

Значок грустного робота на странице канала

При установленном расширении проверка главной страницы канала производится автоматически. Если канал отмечен как неиндексируемый, то в меню расширения пункт «Неиндексируемые» заменяется значением «Канал не индексируется».

Если в меню расширения в редакторе указано «Канал не индексируется», значит в коде страницы канала присутствует <meta property=»robots» content=»none» />

Ещё раз подчеркну, что наличие этого кода, а значит и соответствующего оповещения в меню — норма для новых каналов.

Значок «грустного робота» на странице публикации

При установленном расширении на странице публикации может отображаться значок грустного робота.

Если в публикации есть такой значок, значит в коде страницы есть <meta name=»robots» content=»noindex» />

Соответственно, для того чтобы его увидеть нужно зайти на страницу публикации. Но зато не нужно изучать исходный код страницы.

Поиск публикаций с мета-тегом

Если вы решите проверить не одну, а десяток публикаций, то придётся заходить в каждую и проверять наличие мета-тега в каждой из них. Вручную это неудобно, поэтому в расширении предусмотрена возможность автоматической проверки.

Для того чтобы начать поиск нужно выбрать пункт меню «Неиндексируемые».

Правда, этот пункт меню будет недоступен, если весь канал отмечен, как неиндексируемый — нет смысла запускать проверку, теги будут обнаружены на всех публикациях.

При первом запуске будет отображено большое страшное предупреждение о том, что процедура поиска производится на страх и риск пользователя.

Дело в том, что стандартной процедуры поиска публикаций с мета-тегом в Дзене не предусмотрено, и расширению приходится буквально открывать каждую проверяемую публикацию и заглядывать в код страницы.

Теоретически это может быть воспринято как DDOS-атака или как попытка накрутить просмотры. На практике с этим проблем не было, но предупредить я вас обязан.

Можно проверить все публикации на канале, а можно проверить лишь 20 последних.

Процедура поиска может занять продолжительное время, по завершении вы получите список публикаций, на которых обнаружен мета-тег.

На моём канале только на одной публикации есть этот мета-тег.

На мой странице (не) обнаружен мета-тег, а страница (не) видна в поиске

Действительно, так бывает, что статью из Дзена не удаётся найти в поиске, хотя на ней нет зловредного мета-тега; или наоборот — тег есть, но и на статью есть переходы из поиска.

Всё дело в том, что поисковики работают с определённой задержкой, кроме того у них свои алгоритмы, определяющие, отвечает ли статья на поисковый запрос и насколько она релевантна ему.

Статья, которая отлично чувствуют себя в Дзене, собирает сотни тысяч и миллионы показов, поисковику может показаться неинтересной, и тогда он не будет показывать ссылку на неё на первых страницах поиска.

Кроме того, индексирование может занимать продолжительное время, это значит, что после появления (или удаления мета-тега), должно пройти какое-то время, прежде чем изменение будет учтено поисковыми системами.

Как мета-теги связаны с ограничениями канала или публикации

Официально связь мета-тега с ограничениями публикаций не подтверждается. Если написать в техническую поддержку, то вам скорее всего посоветуют не обращать на него внимание.

Тем не менее, наличие мета-тега может говорить о следующих ситуациях:

• Канал новый, все статьи отмечены мета-тегом. Переживать не стоит, ждите проверки.
• Статья недавно опубликована или отредактирована. Сразу после публикации на статье установлен мета-тег, через некоторое время он пропадает.
• Мета-тег появился по непонятным причинам и говорит о каком-то сбое.
• Статья ограничена или находится в каком-то статусе, которые сводится к тому что статья не получает показов.

Важно. Публикация может быть ограничена, но при этом на ней будет установлен мета-тег.

Т.е. отсутствие мета-тега не говорит о том, что с публикацией всё в порядке. А вот наличие мета-тега говорит о том, что с публикацией что-то не так.

Специалисты поддержки часто на обращение с вопросом о мета-тегах могут говорить, что на мета-тег не нужно обращать внимания, а с публикацией всё хорошо (а то что показов всего лишь 9 штук, так это просто статья никому не интересна).

При этом, мне неизвестны такие случаи, чтобы статья с мета-тегом успешно транслировалась в ленту и получала показы.

Что делать если вы обнаружили на статье мета-тег

Ещё раз подчеркну, что наличие мета-тега — норма на новых, не прошедших модерацию каналов. Проверка (или, как говорят, «выход на алл») может занять какое-то время. Иногда каналы успевают достигнуть порога монетизации, в этом случае монетизация не будет подключена до прохождения проверки.

Если канал не новый, то возможны разные ситуации:

• Иногда мета-тег снимается простым переопубликованием (т.е. нужно отредактировать и снова её опубликовать, ничего не меняя).
• Если это не помогло, то высока вероятность того, что статья ограничена (возможно ошибочно). В этом случае поможет только обращение в службу поддержки Дзена, правда добиться этого не всегда бывает просто.

Как общаться с технической поддержкой о мета-тегах

Чтобы не тратить зря время, не упоминайте расширение ПРОДЗЕН и термины «красная рожица», «грустная мордочка», «значок робота» и т. п.

Сотрудники ТП не могут комментировать то, как работает расширение, не знают и не должны знать, что оно показывает и т.п. Поэтому упомянув расширение, вы гарантированно получите отказ его обсуждать, иногда даже с советом его не использовать.

Не ссылайтесь только лишь на наличие самого мета-тега.

Если статья новая и не получает показов — так и напишите.

Если публикация опубликована больше суток назад, успешно набирала просмотры, а потом внезапно получила мета-тег, посмотрите график конкретной статьи в метрике — там будет видно, что в какой-то момент резко прекратились просмотры. Приведите скриншот этого графика.

Т.е. основным в вашем письме должно быть то, что возникли проблемы с публикацией. Про мета-тег можно вообще не упоминать, или упоминать в качестве дополнения.

К сожалению, это может не помочь. Если менеджеры, помогающие участникам программы Нирвана, ещё готовы разбираться с проблемами, то сотрудники обычной поддержки очень часто начинают писать стандартные отписки, не сильно вникая в их смысл.

Иногда можно подождать, пока ваше обращение будет отмечено как завершённое и написать ещё раз — если повезёт, вам ответит сотрудник, настроенный как-то помочь вам.

Так же можно обратиться за помощью в официальные группы Дзена в ВК или в телеграме.

Если ничего добиться не удастся, то остаётся только грустить вместе с грустным роботом.

Нужно ли удалять публикации, отмеченные мета-тегом с канала

Итак, вы обнаружили мет-тег, но обращение в техподдержку не помогло.

Давайте рассуждать логически:

• Если статья не получает показы, то её никто не увидите в Дзене.
• Если статья не индексируется поисковыми системами, то на неё не будут переходить из поиска.

Т.е. фактически статья не существует. Удалять её или нет — это ваше личное решение.

Но если у вас есть свой сайт или блог на другой платформе, то я бы рекомендовал перенести статью туда. И удалить. Зачем ей бессмысленно болтаться там, где ей не рады.

Если какой-то трафик на статье есть (а, вдруг?!), то имеет смысла подождать пока ей не исполнится три месяца и тогда удалить.

Собственно, я стал активно публиковать статьи на prozen.ru после того, как мне пришлось перенести несколько статей, получивших «ноиндекс» в Дзене.

 
Метки: noindex, букварь дзена, мета-тег, робот

Что такое теги NoIndex и как они влияют на SEO?

Директивы «Нет индекса» предписывают поисковым системам исключить страницу из индекса, что делает ее непригодной для отображения в результатах поиска.

Теги Meta Robots «Noindex»

Самый распространенный способ запретить поисковым системам индексировать страницу — включить тег Meta Robots в тег HTML-страницы с директивой «noindex», как показано ниже:

Примерно в 2007 году основные поисковые системы начали поддерживать директивы «noindex» в тегах Meta Robots. Теги Meta Robots также могут включать другие директивы, такие как директива «follow» или «nofollow», которые предписывают поисковым системам сканировать или не сканировать ссылки, найденные на текущей странице.

Обычно веб-мастера используют директиву noindex для предотвращения индексации содержимого, не предназначенного для поисковых систем.

Некоторые распространенные варианты использования директив noindex:

• Страницы, содержащие конфиденциальную информацию
• Корзина покупок или страницы оформления заказа на веб-сайте электронной коммерции
• Альтернативные версии страниц для активных A/B или сплит-тестов
• «Промежуточные» (или находящиеся в процессе разработки) версии страниц, еще не готовые к публикации используйте 

Кроме того, поисковые системы поддерживают директиву noindex, доставляемую через заголовки ответа HTTP для данной страницы. Хотя этот подход менее распространен, и его может быть сложнее идентифицировать с помощью обычных инструментов SEO, инженерам или веб-мастерам иногда проще включить его в зависимости от конфигурации их сервера.

Имя и значение заголовка ответа «noindex» следующие:

X-Robots-Tag: noindex

1.

Избегайте использования «noindex» на ценных страницах

Случайное включение тега «noindex» или директива на ценной странице может привести к тому, что эта страница будет удалена из индексов поисковых систем и перестанет получать весь органический трафик.

Например, если запускается новая версия веб-сайта, но остаются теги «noindex», которые были включены для предотвращения индексации поисковыми системами новых версий страниц до того, как они были готовы, новая версия веб-сайта может немедленно перестать получать трафик из поиска

2. Поймите, что «noindex» в конечном итоге рассматривается как «nofollow». сканируется со следующим тегом Meta Robots:

Это обычно используется для страниц с разбивкой на страницы. Например, «noindex,follow» может быть применен к спискам архивов блога, чтобы предотвратить появление самих страниц архива в результатах поиска, но позволить поисковым системам сканировать, индексировать и ранжировать сообщения блога самостоятельно.

Однако этот подход может работать не так, как предполагалось, поскольку Google объяснил, что их системы в конечном итоге обрабатывают директиву «noindex,follow» как «noindex,nofollow» — другими словами, они в конечном итоге перестанут сканировать ссылки на любой странице. с директивой noindex. Это может предотвратить индексацию целевых страниц или снизить их PageRank или авторитетность, понизив их рейтинг по релевантным ключевым словам.

3. Избегайте использования правил «noindex» в файлах robots.txt

Официально поисковые системы никогда не поддерживали директивы «noindex» в правилах robots.txt в течение некоторого времени. Поскольку правила robots.txt с подстановочными знаками могут применяться ко многим страницам одновременно без внесения каких-либо изменений в сами страницы, этот метод предпочитали многие веб-мастера. Google не рекомендует использовать файлы robots.txt для установки директив noindex и устаревшего кода, который поддерживал эти правила в сентябре 2019 года.

Что такое Noindex и как он работает?

В то время как тег noindex указывает боту или сканеру не добавлять страницу в индекс результатов поиска, директива disallow указывает поисковым системам вообще не сканировать страницу. Это должно быть сделано через файл robots.txt и иногда используется в тандеме с noindex.

Хотя тег disallow является полезным инструментом, важно быть предельно осторожным при использовании директивы disallow. Запрещая страницу, вы, по сути, удаляете ее со своего сайта с точки зрения поиска, а также лишаете ее возможности передавать PageRank — значение, присваиваемое веб-странице поисковой системой, которое позволяет ей появляться в поисковой выдаче. Случайный запрет неправильной страницы — например, страницы, которая привлекает трафик на ваш сайт — может иметь катастрофические последствия для трафика и вашей тактики SEO.

Почему я должен запретить страницу?

Запрет страниц, которые не используются для чтения или SEO, может ускорить сканирование и индексацию вашего сайта ботами. Примером может служить функция поиска на сайте электронной коммерции. Хотя функция поиска представляет ценность для пользователя, различные страницы, которые она извлекает, не обязательно являются страницами, повышающими SEO-ценность вашего сайта.

Комбинация Noindex и Disallow

Если есть внешние ссылки или канонические теги — теги, сообщающие ботам, какая страница из группы похожих страниц должна быть проиндексирована — указывающие на страницу, которая была запрещена, она все еще может быть проиндексирована и ранжирована, даже если его нельзя просканировать. Это означает, что он все еще может отображаться в поисковой выдаче.

Чтобы применить обе директивы, добавьте их обе в файл robot.txt. Например:

• Запретить: /example-folder/example-page.html
• Noindex: /example-folder/example-page.html

Тег nofollow используется для указания поисковым системам не оценивать достоинства ссылок (или конкретной ссылки), существующих на странице. Мета-директивы nofollow также сообщают ботам, чтобы они не обнаруживали больше URL-адресов на сайте, устанавливая для всех ссылок значение «nofollow» — по умолчанию все ссылки на странице настроены на переход. Вы можете либо добавить тег nofollow к отдельным ссылкам, либо скрыть их с помощью метатега robots в заголовке HTML страницы. Ссылки Nofollow можно использовать в качестве тактики SEO, чтобы иметь возможность ссылаться на страницы, которые они хотят предоставить читателю, при этом бот или сканер не связывают эту страницу со своей собственной.

Например, одна ссылка nofollow может выглядеть так:

< a href=»https://example.com/» rel=»nofollow»>

Метатег nofollow в заголовке будет выглядеть так: это:

< meta name=”robots” content=”nofollow”>

Когда я должен Nofollow ссылки?

Теги Nofollow полезны при применении к ссылкам, которые вы не можете контролировать напрямую, например ссылкам в разделах комментариев, неорганическим или нерелевантным платным ссылкам, гостевым сообщениям, ссылкам на что-то не относящееся к теме веб-сайта или страницы или встраивание например, виджет или инфографика.

This entry was posted in Популярное