WordPress закрыть от индексации: ▷ Как закрыть сайт от индексации на WordPress, какие есть методы закрытия сайта от индексации на WordPress — спроси Inweb, вопрос №105

Содержание

▷ Как закрыть сайт от индексации на WordPress, какие есть методы закрытия сайта от индексации на WordPress — спроси Inweb, вопрос №105

Есть

ответ

Дата вопроса: 11.11.2019, 11:06

Владислав, здравствуйте.

Я сейчас создаю себе сайт на вордпрессе с платным шаблоном. Пока наполняю его информацией, как я понимаю, его нужно закрыть от поисковых систем, как это лучше сделать?

Автор: Кенша

Просмотров: 2524

Категория:

SEO

Оцените вопрос

Рекомендуйте нас друзьям

  • Подписаться на уведомления
  • Отписаться от уведомлений
ua/blog/answers/105/#answer-1242″ data-best-answer=»0″ data-spam=»0″ data-private=»0″ data-rating=»4″>

Частный ответ

Рейтинг автора

188

Дано ответов

77

Рейтинг ответа

Влад Наумов

Head of SEO

Добрый день.

Очень важно, при разработке сайта, не только на WordPress, но и на других CMS/framework’ах закрывать сайт от индексации. Это нужно для того чтобы поисковая система не оценивала качество сайта пока он в разработке.

Закрыть сайт от индексации сайт на WP, пока он в разработке, можно несколькими способами:

  1. Добавить директиву в файле Robots.txt:

    User-agent: *

    Disallow: /

    Это можно сделать через ftp либо же различные плагины, например, Clearfy Pro.

  2. В самой административной панели WordPress зайти в раздел «Настройки» -> «Чтение» и там поставить галочку в пункте «Видимость для поисковых систем».

    Таким образом ко всем страницам сайта добавится мета тег robots с параметрами noindex, nofollow и сайт не будет индексироваться.

  3. Добавить авторизацию при попытке входа на сайт, чтобы содержимое могли видеть только авторизованные пользователи.

Я бы рекомендовал использовать для закрытия сайта от индексации первый вариант, так как он самый простой в реализации.

Дата сообщения: 11.11.2019, 12:49

    Для того чтобы увидеть комментарии, в вашем браузере должен быть включен JavaScript.

Для того чтобы оставить вопрос, необходимо войти используя свой аккаунт одной из социальных сетей.

Закрыть сайт от индексации на WordPress: плагины и способы

Если вы заглядывали в серверную часть WordPress, то заметили настройку: «Попросить поисковые системы не индексировать сайт», и задались вопросом, что это означает. А может быть ищете способ скрыть свой сайт от нежелательных посетителей и задаетесь вопросом, достаточно ли этого маленького флажка, чтобы контент оставался конфиденциальным.

Что означает эта опция и что именно она делает с сайтом? И почему не следует полагаться на нее, если вы пытаетесь скрыть свой контент?

Ответы на эти вопросы и несколько способов закрыть сайт от индексации и блокировки доступа к определенным страницам будут рассмотрены ниже.

Как понимать «Попросить поисковые системы не индексировать сайт»

Вы задумывались, как поисковые системы индексируют сайт и оценивают его SEO? Они делают это с помощью автоматизированной программы, называемой пауком, также известной как робот или краулер. Пауки «ползают» по сети, посещая веб-сайты и регистрируя их контент. Google использует их, чтобы ранжировать и размещать веб-сайты в результатах поиска, извлекать фрагменты текста из статей для страницы результатов поиска и вставлять изображения в Картинки Google.

Когда устанавливается флажок «Попросить поисковые системы не индексировать сайт», WordPress изменяет файл robots.txt (файл, дающий паукам инструкции о том, как сканировать сайт). А еще может добавить метатег в заголовок сайта, который сообщает Google и другим поисковым системам, что сайт или какой-либо контент закрыт от индексации.

Ключевое слово здесь – «попросить»: поисковые системы не обязаны выполнять этот запрос, особенно поисковые системы, не использующие стандартный синтаксис robots. txt, который использует Google.

Сканеры по-прежнему смогут найти ваш сайт. Но правильно настроенные сканеры прочитают файл robots.txt и уйдут, не индексируя контент и не показывая его в результатах поиска.

В прошлом эта опция в WordPress не мешала Google показывать веб-сайт в результатах поиска, просто индексируя его контент. Вы по-прежнему можете видеть, что ваши страницы отображаются в результатах поиска с ошибкой типа «Информация для этой страницы недоступна» или «Описание этого результата недоступно из-за файла robots.txt сайта».

Хотя Google не индексировал страницу, он также и не скрывал ее полностью. Эта аномалия привела к тому, что люди могли посещать страницы, которые им не предназначались. Благодаря WordPress 5.3 теперь он работает правильно, блокируя как индексацию, так и листинг сайта.

Представляете, как это разрушит SEO сайта, если случайно будет включен этот флажок? Критически важно использовать эту опцию только в том случае, если вы действительно не хотите, чтобы кто-либо видел контент – и даже в этом случае это не единственная мера, которую нужно предпринять.

Почему иногда нужно закрыть сайт от индексации

Веб-сайты созданы для того, чтобы их видели люди: чтобы пользователи читали статьи, покупали продукты, потребляли контент. Зачем намеренно пытаться блокировать поисковые системы?

Есть несколько причин, по которым нужно скрыть часть или весь свой сайт:

  • Сайт находится в разработке и не готов к публикации.
  • Используете WordPress в качестве системы управления контентом, но хотите, чтобы указанный контент оставался конфиденциальным.
  • Пытаетесь скрыть конфиденциальную информацию.
  • Хотите, чтобы сайт был доступен только небольшому количеству людей по ссылке или только через приглашения, а не через общедоступные страницы поиска.
  • Планируете разместить некоторый контент для платного доступа (например, статьи, эксклюзивные предложения, информационные бюллетени).
  • Хотите сократить трафик к старым, устаревшим статьям.
  • Стараетесь предотвратить получение штрафов SEO на тестовых страницах или дублировании контента.

Для некоторых из этих пунктов есть лучшие решения – использование надлежащего автономного сервера разработки, установка приватности статей или размещение их под паролем. Но есть законные причины, по которым необходимо закрыть часть или весь свой сайт от индексации.

Как проверить, не отпугивает ли ваш сайт поисковые системы

Хотя могут быть законные причины для закрытия сайта от индексации, может быть ужасным шоком понимание, что вы включили этот параметр без намерения или оставили его включенным случайно. Если трафик с сайта нулевой, то есть подозрение, что сайт не индексируется. Как подтвердить это предположение?

Один из простых способов – установить флажок «На виду» на главном экране панели администратора.  Если видите сообщение «Поисковые системы не одобряют» (Search Engines Discouraged), значит, эта настройка активирована.

Еще более надежный способ – проверить файл robots.txt. Это можно легко проверить в браузере, даже не заходя на сайт.

Чтобы проверить robots.txt, добавьте/robots.txtв конец URL вашего сайта. Например:https://namesite.com/robots.txt

Если видите, Disallow: /значит, весь сайт заблокирован для индексации.

Если видите, что Disallow:за ним следует URL-путь, например Disallow: /wp-admin/, это означает, что любой URL-адрес с /wp-admin/путем заблокирован. Такая структура является нормальной для некоторых страниц, но если, например, она блокирует /blog/страницы, которые необходимо проиндексировать, это может вызвать проблемы.

Теперь, когда WordPress использует метатеги, а не robots.txt для закрытия сайта от индексации, нужно проверить свой заголовок на наличие изменений.

Войдите в свой бэкэнд и выберите «Внешний вид» > « Редактор тем». Найдите заголовок темы (header.php) и следующий код:

<meta name='robots' content='noindex,nofollow' />

Еще можете проверить functions. php на наличие noindexтега, так как через этот файл можно удаленно вставить код в заголовок.

Если найдете этот код в своих файлах темы, значит сайт не индексируется Google. Но вместо того, чтобы удалять его вручную, сначала попробуем отключить исходную настройку.

Как препятствовать индексации поисковыми системами в WordPress

Можно пропустить лишние шаги и сразу перейти к исходным настройкам, чтобы активировать или деактивировать опцию «Попросить поисковые системы не индексировать сайт» в WordPress.

Войдите в свою панель управления WordPress и перейдите в «Настройки» > «Чтение». Найдите параметр «Видимость для поисковых систем» с флажком «Попросить поисковые системы не индексировать сайт».

Если обнаружите, что он уже включен и хотите, чтобы сайт был проиндексирован, снимите флажок. Если собираетесь запретить индексирование сайта, ставьте флажок (и запишите где-нибудь заметку, напоминающую выключить его позже!).

Теперь нажмите «Сохранить изменения», и все готово. Переиндексация сайта или его удаление из результатов поиска может занять некоторое время.

Если сайт все еще закрыт от индексации, можно удалить noindexкод из файла заголовка или вручную отредактировать robots.txt, чтобы убрать флаг «Disallow».

Это достаточно просто, но по каким причинам следует избегать этого варианта или, по крайней мере, не полностью полагаться на него?

Недостатки использования опции «Попросить поисковые системы не индексировать сайт»

Это кажется простым – поставьте галочку, и никто не сможет увидеть ваш сайт. Разве этого не достаточно?

Когда включаете этот параметр или любой другой подобный ему, он просто добавляет тег в заголовок или в файл robots.txt. Как показывают более старые версии WordPress, которые по-прежнему позволяют отображать ваш сайт в результатах поиска, небольшой сбой или другая ошибка может привести к тому, что люди увидят ваши предположительно скрытые страницы.

Кроме того, поисковые системы должны выполнить запрос на запрет индексировать указанный сайт. Основные поисковые системы, такие как Google и Bing, обычно выполняют эту опцию. Но не все поисковые системы используют один и тот же синтаксис robots.txt, и не все пауки, сканирующие Интернет, рассылаются поисковыми системами.

Например, одна из служб, использующих поисковые роботы, – это Wayback Machine. А если контент проиндексирован такой службой, он навсегда останется в сети.

Можно думать, если на новом сайте нет ссылок, то он защищен от пауков, но это неправда. Существование на общем сервере, отправка электронного письма со ссылкой на веб-сайт или даже посещение сайта в браузере (особенно в Chrome) может открыть этот сайт для сканирования.

Если хотите скрыть контент, не рекомендуется просто добавлять параметр и надеяться, что он поможет. Давайте проясним: если контент, который закрыт от индексации, носит конфиденциальный или личный характер, ни в коем случае не следует полагаться на robots. txt или метатег, чтобы скрыть его.

И последнее, но не менее важное: эта опция полностью скроет сайт от поисковых систем, хотя во многих случаях нужно закрыть индексирование только определенные страницы.

Итак, что нужно делать вместо этого метода или вместе с ним?

Смотрите также:

Как исправить фатальную ошибку WordPress max_execution_time

Другие способы закрыть сайт от индексации

Хотя вариант, предоставляемый WordPress, обычно выполняет свою работу, в определенных ситуациях лучше использовать другие методы сокрытия контента. Даже сам Google говорит, что не используйте robots.txt для скрытия страниц.

Пока сайт имеет доменное имя и находится на общедоступном сервере, нет никакого способа гарантировать, что контент не будет виден или проиндексирован поисковыми роботами, если вы не удалите его или не скроете за паролем или требованием входа в систему.

Тем не менее, как лучше скрыть сайт или определенные страницы на нем?

Блокируйте поисковые системы с помощью .

htaccess

Хотя его реализация функционально такая же, как при простом использовании опции «Попросить поисковые системы не индексировать сайт», вы можете вручную использовать .htaccess, чтобы закрыть индексирование сайта.

Используйте программу FTP / SFTP для доступа к сайту и открытия файла .htaccess, который обычно находится в корневой папке (первая папка, которую видно при открытии сайта) или в public_html. Добавьте этот код в файл и сохраните:

Header set X-Robots-Tag "noindex, nofollow"

Примечание. Этот метод работает только для серверов Apache. Серверы NGINX должны вместо этого кода добавить другой код в файл .conf, который можно найти в / etc / nginx / (можете найти здесь пример реализации метатега):

add_header X-Robots-Tag "noindex, nofollow";

Защита секретных страниц паролем

Если есть определенные статьи или страницы, которые поисковые системы не должны индексировать, лучший способ закрыть их – защитить сайт паролем. Таким образом, только вы и желаемые пользователи сможете видеть этот контент.

К счастью, эта функция встроена в WordPress, поэтому устанавливать какие-либо плагины не нужно. Просто перейдите на Страницы записей и нажмите на ту, которую хотите скрыть. Отредактируйте свою страницу и найдите меню справа Статус и видимость > Видимость.

Если не используете Gutenberg, процесс будет аналогичным. Найдите такое же меню в поле «Опубликовать». Измените Видимость на «Защищено паролем» и введите пароль, затем сохраните – и теперь контент скрыт от широкой публики.

Что делать, если защитить паролем весь свой сайт не нужно? А требовать пароль для каждой страницы непрактично. Можно включить защиту паролем в Сайтах > Инструменты, потребовав как имя пользователя, так и пароль.

В противном случае вы можете использовать плагин ограничения контента (например, Password Protected). Установите и активируйте его, затем перейдите в «Настройки» > «Защищено паролем» и включите «Статус защиты паролем». Это дает более тонкий контроль, позволяя занести в белый список определенные IP-адреса.

Примечание: на момент написания статьи этот плагин не обновлялся более 11 месяцев. Он может больше не поддерживаться, что может повлечь за собой проблемы совместимости с последними версиями WordPress.

Установите плагин WordPress

Когда стандартной функциональности WordPress недостаточно, хороший плагин часто может решить ваши проблемы. Например, если вы хотите не индексировать определенные страницы, а не весь сайт, у плагина Yoast есть такая опция.

В Yoast SEO вы можете открыть страницу, которую хотите скрыть, и найти опцию на вкладке «Дополнительно»: Разрешить поисковым системам показывать эту запись в результатах поиска? Измените его на Нет, и страница будет закрыта.

Должны отметить, что оба плагина полагаются на те же методы, что и вариант WordPress по умолчанию, чтобы закрыть сайт от индексации поисковыми системами, и подвержены тем же недостаткам. Некоторые поисковые системы могут не удовлетворить ваш запрос. Поэтому нужно будет использовать другие методы, если вам действительно нужно полностью скрыть этот контент.

Другое решение – заплатить за доступ к вашему контенту или скрыть его за обязательным логином. Плагины Simple Membership или Ultimate Member помогут создать бесплатный или платный контент членства.

Используйте промежуточный сайт для тестирования

При работе над тестовыми проектами или незавершенными веб-сайтами лучше всего скрывать их, используя промежуточный или разрабатываемый сайт. Эти веб-сайты являются частными, часто размещаются на локальном компьютере, к которому никто, кроме вас и других доверенных лиц не могут получить доступ.

Многие веб-хосты предоставят  простые в развертывании промежуточные сайты и позволят отправить их на собственный общедоступный сервер, когда вы будете готовы.

Если у вас нет доступа к простому способу создания промежуточного сайта, плагин WP STAGING может продублировать установку и переместить ее в папку для легкого доступа.

Используйте Google Search Console для временного скрытия веб-сайтов

Консоль поиска Google – это служба, которая позволяет заявить о праве собственности на веб-сайты. Что дает возможность временно заблокировать Google от индексации определенных страниц.

У этого метода есть несколько проблем: он эксклюзивен для Google (поэтому такие сайты, как Bing, не будут затронуты) и действует всего 6 месяцев.

Но если нужен быстрый и простой способ временно удалить контент из результатов поиска Google, это способ прекрасно справится. Для этого нужно добавить сайт в Google Search Console, если его тап нет. После этого откройте «Удаление» и выберите «Временное удаление» > «Новый запрос». Затем нажмите «Удалить только этот URL-адрес» и укажите ссылку на страницу, которую хотите скрыть.

Это надежный способ блокировки контента, но, опять же, он работает исключительно для Google и длится всего 6 месяцев.

Есть много причин, по которым нужно закрыть контент на своем сайте, но использование опции «Попросить поисковые системы не индексировать сайт» – не лучший способ убедиться, что такой контент не виден. Воспользуйтесь рекомендациями, подробно предоставленными в этой статье, чтобы закрыть сайт от индексации.

Источник: kinsta.com

 

Смотрите также:

Изучает сайтостроение с 2008 года. Практикующий вебмастер, специализирующий на создание сайтов на WordPress. Задать вопрос Алексею можно на https://profiles.wordpress.org/wpthemeus/

Как запретить поисковым системам индексировать этот сайт в WordPress

Вордпресс

Расширенный

24 августа 2022 г.

Домантас Г.

3 минуты Чтение

Владельцы сайтов WordPress сделают все, чтобы их сайты были проиндексированы. Однако вы можете не захотеть, чтобы поисковые системы сканировали ваш веб-сайт, если он все еще находится в разработке. В таком случае рекомендуется запретить поисковым системам индексировать ваш сайт. Оставайтесь с нами, если хотите узнать больше об этой теме!

Почему вы хотите, чтобы поисковые системы не индексировали ваш сайт?

В некоторых случаях люди хотят запретить поисковым системам индексировать их сайты:

  • Незаконченные сайты — на этом этапе ошибок и испытаний лучше не показывать свой сайт в открытом доступе. Мы рекомендуем использовать промежуточную среду WordPress при выполнении тестов на вашем сайте.
  • Запрещенные веб-сайты — если вы планируете иметь веб-сайт только для приглашений, вы не хотите, чтобы он отображался в поисковой выдаче.
  • Тестовые учетные записи — владельцы веб-сайтов создают дубликат сайта для целей тестирования и тестирования. Поскольку эти сайты не предназначены для широкой публики, не позволяйте поисковым системам индексировать их.

Так как же запретить поисковым системам индексировать ваш сайт? Что ж, взгляните на несколько вариантов ниже и попробуйте сами.

1. Препятствование индексации сайтов WordPress поисковыми системами

Самый простой способ запретить поисковым системам индексировать ваш веб-сайт — запретить им его сканирование. Для этого вам нужно отредактировать файл robots.txt . Вот несколько способов добиться этого:

Использование встроенной функции WordPress

Редактировать файл robots.txt WordPress довольно просто, так как вам нужно использовать только встроенную функцию WordPress. Вот как:

  1. Войдите в админку WordPress и перейдите в Настройки -> Чтение .
  2. Прокрутите вниз и найдите параметр Видимость в поисковых системах .
  3. Установите флажок Запретить поисковым системам индексировать этот сайт.
  4. Сохранить изменения, и все! WordPress автоматически отредактирует для вас файл robots.txt .

Редактирование файла robots.

txt вручную

Если вы предпочитаете ручной вариант, вы можете использовать File Manager или FTP-клиент для редактирования файла robots.txt .

В этой статье мы покажем вам, как это сделать через файловый менеджер hPanel:

  1. Войдите в hPanel и найдите Файловый менеджер в области файлов .
  1. Перейдите в папку корневого каталога WordPress (в большинстве случаев это public_html) и найдите файл robots.txt . Если вы не можете его найти, создайте новый пустой файл.
  2. Щелкните файл правой кнопкой мыши и выберите Редактировать .
  3. Введите следующий синтаксис:
     Агент пользователя: *
    Запретить: /

Приведенный выше код не позволит поисковым системам индексировать весь ваш сайт . Если вы хотите применить правило запрета к определенной странице, напишите подкаталог страницы и ярлык. Например: Запретить /blog/food-review-2019.

Pro Tip

Синтаксис в файлах robots.txt чувствителен к регистру, поэтому будьте внимательны при редактировании.

2. Защита паролем вашего веб-сайта WordPress

Поисковые системы и поисковые роботы не имеют доступа к файлам, защищенным паролем. Вот несколько способов защитить паролем ваш сайт WordPress:

Использование панели управления хостингом

Если вы являетесь клиентом Hostinger, вы можете защитить паролем свой веб-сайт с помощью инструмента hPanel Password Protect Directorys :

  1. Получите доступ к hPanel и перейдите к Password Protect Directorys .
  2. Введите корневой каталог в первое поле.
  3. После выбора каталога введите свое имя пользователя и пароль и нажмите Защитить .
Pro Tip

Если ваш корневой каталог public_html , оставьте столбец каталога пустым.

Процесс в cPanel также очень похож:

  1. Войдите в свою учетную запись cPanel и перейдите к Directory Privacy .
  2. Выберите корневой каталог. В нашем случае это  public_html .
  3. Установите флажок Пароль для защиты этого каталога и укажите имя защищенного каталога. Нажмите Сохранить .
  4. Создайте нового пользователя для входа на защищенный сайт и все!

Использование плагинов WordPress

Существует множество плагинов, которые могут помочь защитить ваш сайт паролем. Тем не менее, плагин Password Protected может быть просто лучшим из существующих. Он был протестирован с новым обновлением WordPress и довольно прост в использовании.

После установки плагина и его активации перейдите в Настройки -> Защищено паролем и настройте параметры в соответствии с вашими потребностями.

3. Удаление проиндексированной страницы из Google

Не волнуйтесь, если Google проиндексировал ваш сайт. Вы можете удалить его из поисковой выдачи, выполнив следующие действия:

  1. Настройте Google Search Console для своего веб-сайта.
  2. Войдите в консоль поиска Google вашего недавно добавленного веб-сайта и прокрутите вниз до Устаревшие инструменты и отчеты -> Удаление.
  3. Нажмите кнопку Временно скрыть и введите URL-адрес, который вы хотите удалить из Google.
  4. В новом окне выберите Очистить URL из кеша и временно удалить из поиска, , затем Отправить запрос .

И все! Google временно удалит ваш сайт из результатов поиска. Обязательно примените предыдущие методы, чтобы запретить Google снова индексировать ваш сайт.

Заключение

Вот оно! Быстрые и простые способы запретить поисковым системам индексировать ваши сайты. Вот краткий обзор методов, которые мы сегодня изучили:

  • Отредактируйте файл robots.txt , который может выполняться автоматически или вручную.
  • Защитите свой сайт паролем с помощью плагина или панели управления хостингом.
  • Удалить проиндексированные страницы из Google через консоль поиска Google.

Если у вас есть какие-либо другие методы или у вас есть какие-либо вопросы, сообщите нам об этом в комментариях. Удачи!

Узнайте больше о WordPress SEO

WordPress Советы по SEO
Как создать карту сайта в WordPress
Как добавить разметку схемы WordPress
Как добавить мета-описание и мета-заголовок в WordPress
Как настроить AMP (ускоренные мобильные страницы) в WordPress
Как добавить хлебные крошки в WordPress

Домантас возглавляет группы по контенту и SEO, предлагая свежие идеи и нестандартные подходы. Обладая обширными знаниями в области SEO и маркетинга, он стремится распространить информацию о Hostinger во всех уголках мира. В свободное время Домантас любит оттачивать навыки веб-разработки и путешествовать по экзотическим местам.

Еще от Домантаса Г.

Как предотвратить индексацию WordPress поисковыми системами


  • Фейсбук


  • Твиттер


  • LinkedIn

Поисковые системы являются источником большей части трафика на веб-сайт в Интернете. Однако бывают случаи, когда вы не хотите, чтобы такие сайты, как Google, сканировали ваш контент. В таких случаях, возможно, вы хотите запретить индексацию WordPress в результатах поиска.

В конце концов, не все, что вы создаете в Интернете, должно сразу привлекать трафик.

В этом уроке я покажу вам, как запретить поисковым системам индексировать сайт, созданный с помощью WordPress.

Почему вы хотите предотвратить индексацию WordPress?

Хотя большинство веб-сайтов преуспевают в привлечении трафика из результатов поиска, есть несколько причин, по которым вы можете захотеть предотвратить это. На самом деле не все в Интернете должно отображаться в Google.

В некоторых случаях вы можете запретить поисковым системам индексировать сайт. Это помогло бы скрыть содержание от широкой публики.

Например, возможно:

  • Вы находитесь в процессе разработки веб-сайта.
    Независимо от того, создаете ли вы сайт для себя или для клиента, Google не нужно индексировать то, что находится в стадии разработки.
  • Вы создаете частный личный или семейный блог.
    Возможно, вы хотите создать центральный узел для общения вашей семьи и друзей. Вы также можете создать онлайн-журнал для своих личных нужд.
  • Вы настраиваете интрасеть для своего бизнеса.
    WordPress — это мощный инструмент для создания сложной платформы для любого бизнеса. Интранет может легко принести пользу всем, кто работает у вас.
  • Вы не хотите делиться определенными файлами или информацией с остальным миром.
    Весь мир не нуждается в доступе ко всей информации, которую вы хотите разместить на веб-сайте. Вам может просто понадобиться простой в использовании способ обмена видео- или аудиофайлами в командной среде.

Это лишь несколько причин, по которым некоторые хотели бы запретить поисковым системам индексировать веб-сайт. От информации о компании до обмена сообщениями в блогах о вечеринке по случаю дня рождения ваших племянников — не всем нужен доступ к этому контенту.

Вот шесть методов, которые могут помочь вам предотвратить сканирование сайта поисковыми системами.

1. Видимость для поисковых систем

В WordPress уже есть встроенный метод, помогающий запретить поисковым системам индексировать сайт. Однако это не всегда останавливает все поисковые системы. Некоторые из них могут просто проигнорировать запрос.

Однако основные поисковые системы, такие как Google и Bing, будут.

Перейдите в «Настройки» и нажмите «Чтение».

Установите флажок «Видимость в поисковых системах».

Нажмите кнопку «Сохранить изменения».

2. Использование плагина Yoast SEO

В Yoast SEO есть много отличных инструментов, даже если вы не планируете использовать его для поисковой оптимизации. Например, мне нравится анализ читабельности контента, и я использую его в нескольких частных блогах.

Если вы используете Yoast SEO, вы можете отключить сканирование страниц, сообщений и архивов.

Чтобы найти эти настройки, перейдите к значку Yoast слева и нажмите «Внешний вид поиска».

Нажмите «Типы контента» вверху.

На этой странице вы можете нажать «Нет», чтобы сообщения отображались в результатах поиска. У вас также есть возможность отключить поиск страниц на этой странице.

Щелкните вкладку «Архивы» вверху.

В этом экране вы можете изменить способ отображения архивов на сайте, а также в поисковых системах. Например, вы можете не показывать архивы авторов в результатах поиска.

Когда вы развернете «Настройки архивов дат», вы увидите, что архивы дат отключены по умолчанию для поисковых систем.

Если вы вносите какие-либо изменения в Yoast, убедитесь, что вы нажали кнопку «Сохранить изменения», доступную на каждой странице настроек.

3. Использование защищенного паролем подключаемого модуля

Многие люди предпочтут использовать защищенный паролем подключаемый модуль, доступный в WordPress. Это блокирует веб-сайт с помощью одного пароля. К сожалению, это не предотвращает доступ к изображениям или загруженным файлам.

Это означает, что если кто-то знает точный URL-адрес этих ресурсов, он все равно может их увидеть. Но для простого решения блокировки сайта, когда у вас нет загруженных изображений, этот плагин весьма полезен.

Установите и активируйте плагин «Защищено паролем».

Перейдите в «Настройки» и нажмите «Защищено паролем».

На этом экране вы можете настроить статус, а также различные разрешения для сайта. Вы также можете внести в белый список определенные IP-адреса для доступа к веб-сайту. Это делает его удобным в настройке клиентской разработки.

Когда вы закончите, просто нажмите кнопку «Сохранить изменения», чтобы заблокировать сайт.

4. Приватность ваших сообщений и страниц в WordPress

Если вы не слишком беспокоитесь о том, что люди увидят общий макет сайта, но хотите обеспечить безопасность сообщений и страниц, вы всегда можете защитить их паролем. Вы также можете изменить содержимое на личное, если хотите.

Это встроенная функция WordPress, которую легко настроить. На самом деле это часть функции публикации постов и страниц.

Откройте любую запись или страницу в WordPress.

В разделе «Публикация» сообщения вы увидите параметр «Видимость». По умолчанию это будет отображаться как Public .

Щелкните ссылку «Изменить» рядом с параметром «Видимость». Это расширит несколько дополнительных возможностей для вас.

Щелкните переключатель того, как вы хотите защитить содержимое. Вы можете защитить паролем или приватизировать публикацию или страницу.

Какая разница?

Защита содержимого паролем означает, что пользователи должны знать пароль для просмотра материала. Если изменить его на частный, сообщение или страница все равно будут отображаться для тех, кто вошел в систему и имеет определенные разрешения.

Выберите нужный вариант конфиденциальности и нажмите «ОК».

Теперь, когда вы обновляете или публикуете запись или страницу, вступают в силу настройки конфиденциальности.

5. Изменение файла robots.txt

Другой метод, который некоторые используют, чтобы запретить поисковым системам индексировать сайт, заключается в редактировании файла robots.txt. Это указывает поисковым системам полностью игнорировать содержимое веб-сайта.

Но, как и в случае с опцией выше для настройки видимости поисковой системы в WordPress, сканер может игнорировать файл robots.txt.

С другой стороны, самые популярные движки, такие как Google, Bing и Yahoo, учитывают файл и пропускают сайт.

Отредактируйте файл robots.txt со следующими строками: [ht_message mstyle=»info» title=»» show_icon=»» id=»» class=»» style=»» ]User-agent: *
Disallow: / [/ht_message]

6.

This entry was posted in Популярное