Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ индСксации вСсь сайт: robots.txt, Google meta-

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

Как ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ индСксации?

#ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
#Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#7

ΠΠΎΡΠ±Ρ€ΡŒ’17

17

ΠΠΎΡΠ±Ρ€ΡŒ’17

17

ΠŸΡ€ΠΎΒ Ρ‚ΠΎ, ΠΊΠ°ΠΊ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ от индСксации ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΡƒΡŽ страницу и для Ρ‡Π΅Π³ΠΎ это Π½ΡƒΠΆΠ½ΠΎ ΠΌΡ‹Β ΡƒΠΆΠ΅ писали. Но могут Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡƒΡ‚ΡŒ случаи, ΠΊΠΎΠ³Π΄Π° от индСксации Π½Π°Π΄ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ вСсь сайт ΠΈΠ»ΠΈ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π½Π΅Π΅. БущСствуСт нСсколько способов. ΠžΒ Π½ΠΈΡ… мы сСгодня и расскаТСм.

БущСствуСт нСсколько способов Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт от индСксации.

Π—Π°ΠΏΡ€Π΅Ρ‚ Π²Β Ρ„Π°ΠΉΠ»Π΅ robots.txt

Π€Π°ΠΉΠ» robots.txt ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ Π·Π°Β ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. Найти Π΅Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ Π²Β ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ ΠΏΠ°ΠΏΠΊΠ΅ сайта. Если ТС Π΅Π³ΠΎ нС сущСствуСт, Ρ‚ΠΎΒ Π΅Π³ΠΎ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ в любом тСкстовом Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π΅ и пСрСнСсти Π²Β Π½ΡƒΠΆΠ½ΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΡŽ. Π’Β  Ρ„Π°ΠΉΠ»Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒΡΡ всСго лишь Π΄Π²Π΅ строчки:


User-agent: *

Disallow: /

ΠžΡΡ‚Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ ΡƒΠ΄Π°Π»Π΅Π½Ρ‹.

Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ самый простой для скрытия сайта от индСксации.

Π‘Β ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚Π°-Ρ‚Π΅Π³Π° robots

ΠŸΡ€ΠΎΠΏΠΈΡΠ°Π² в шаблонС страниц сайта ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ <meta name=»robots» content=»noindex, nofollow»/> ΠΈΠ»ΠΈ <meta name=»robots» content=»none»/> Π²Β Ρ‚Π΅Π³Π΅ <head>, Π²Ρ‹Β Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚Π΅ Π΅Π³ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ.

Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ сайта от индСксации

Π—Π΅Ρ€ΠΊΠ°Π»ΠΎΒ β€” точная копия сайта, доступная ΠΏΠΎΒ Π΄Ρ€ΡƒΠ³ΠΎΠΌΡƒ Π΄ΠΎΠΌΠ΅Π½Ρƒ. Π’.Π΅. Π΄Π²Π° Ρ€Π°Π·Π½Ρ‹Ρ… Π΄ΠΎΠΌΠ΅Π½Π° настроСны Π½Π°Β ΠΎΠ΄Π½Ρƒ ΠΈΒ Ρ‚ΡƒΒ ΠΆΠ΅ ΠΏΠ°ΠΏΠΊΡƒ с сайтом. Π¦Π΅Π»ΠΈ создания Π·Π΅Ρ€ΠΊΠ°Π» ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅, но в любом случаС ΠΌΡ‹Β ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ ΠΏΠΎΠ»Π½ΡƒΡŽ копию сайта, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ рСкомСндуСтся Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ от индСксации.

Π‘Π΄Π΅Π»Π°Ρ‚ΡŒ это стандартными способами Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, Ρ‚.ΠΊ. по адрСсам domen1.ru/robots.txt ΠΈΒ domen2.ru/robots.txt открываСтся ΠΎΠ΄ΠΈΠ½ ΠΈΒ Ρ‚ΠΎΡ‚Β ΠΆΠ΅ Ρ„Π°ΠΉΠ» robots.txt с одинаковым содСрТаниСм. Π’Β Ρ‚Π°ΠΊΠΎΠΌ случаС Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ провСсти ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ настройки на сСрвСрС, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ позволят ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΈΠ·Β Π΄ΠΎΠΌΠ΅Π½ΠΎΠ² ΠΎΡ‚Π΄Π°Π²Π°Ρ‚ΡŒ Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‰ΠΈΠΉ robots.txt.

ΠŸΠΎΡ…ΠΎΠΆΠ΅Π΅

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

Атрибут rel=canonical

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ ссылок

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#133

Атрибут rel=canonical

Π”Π΅ΠΊΠ°Π±Ρ€ΡŒ’22

11306

22

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#119

Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ ссылок

ΠΠΏΡ€Π΅Π»ΡŒ’19

4484

30

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#111

ОписаниС ΠΈ настройка Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Clean-param

ΠΠΏΡ€Π΅Π»ΡŒ’19

8793

24

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#104

Как ΠΏΡ€ΠΈΠ²Π»Π΅Ρ‡ΡŒ быстроробота ЯндСкс

Π€Π΅Π²Ρ€Π°Π»ΡŒ’19

2199

21

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#94

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° индСкса сайта. Как Π½Π°ΠΉΡ‚ΠΈ мусорныС ΠΈΠ»ΠΈ Π½Π΅Π΄ΠΎΡΡ‚Π°ΡŽΡ‰ΠΈΠ΅ страницы

Π”Π΅ΠΊΠ°Π±Ρ€ΡŒ’18

8938

28

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#86

Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ссылки ΠΈ тСкст ΠΎΡ‚ поисковых систСм

ΠΠΎΡΠ±Ρ€ΡŒ’18

5655

22

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#82

ΠŸΠΎΡ‡Π΅ΠΌΡƒ ЯндСкс удаляСт страницы ΠΈΠ· поиска

ΠΠΎΡΠ±Ρ€ΡŒ’18

3079

19

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#60

ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ индСксация страниц ΠΏΠ°Π³ΠΈΠ½Π°Ρ†ΠΈΠΈ

Π€Π΅Π²Ρ€Π°Π»ΡŒ’18

7751

19

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#47

Как ΡƒΠ·Π½Π°Ρ‚ΡŒ Π΄Π°Ρ‚Ρƒ индСксации страницы

ΠΠΎΡΠ±Ρ€ΡŒ’17

7491

18

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#46

КакиС страницы Π½Π°Π΄ΠΎ Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΡ‚ индСксации

ΠΠΎΡΠ±Ρ€ΡŒ’17

10153

18

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#38

Как ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ страницу ΠΈΠ· индСкса ЯндСкса ΠΈ Google

ΠΠΎΡΠ±Ρ€ΡŒ’17

13370

20

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#37

Как Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ страницу Π² поиск ЯндСкса ΠΈ Google

ΠΠΏΡ€Π΅Π»ΡŒ’17

18950

19

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#2

Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта Π² поисковых систСмах

ΠΠΎΡΠ±Ρ€ΡŒ’17

17071

27

ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ сайта
Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ

#1

Как ΡƒΡΠΊΠΎΡ€ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ сайта

ΠΠΎΡΠ±Ρ€ΡŒ’17

5503

29

Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ сайта robots.

txt, способы Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ индСксации

ПослСднСС ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅: 08 ноября 2022 Π³ΠΎΠ΄Π°

31521

ВрСмя прочтСния: 6 ΠΌΠΈΠ½ΡƒΡ‚


Вэги: ЯндСкс, Google


О Ρ‡Π΅ΠΌ ΡΡ‚Π°Ρ‚ΡŒΡ?

  • Π—Π°Ρ‡Π΅ΠΌ Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ сайт ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²?
  • Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Π·Π°ΠΊΡ€Ρ‹Ρ‚ сайт ΠΎΡ‚ индСксации ΠΈΠ»ΠΈ Π½Π΅Ρ‚? robots.txt
  • Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ индСксации?
  • КакиС ошибки Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ ΠΏΡ€ΠΈ записи Ρ„Π°ΠΉΠ»Π° robots.txt?


ΠšΠΎΠΌΡƒ Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠΎΠ»Π΅Π·Π½Π° ΡΡ‚Π°Ρ‚ΡŒΡ?

  • Π’Π΅Π±-Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠ°ΠΌ.
  • ΠšΠΎΠ½Ρ‚Π΅Π½Ρ‚-Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π°ΠΌ.
  • ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€Π°ΠΌ.
  • Администраторам ΠΈ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Π°ΠΌ сайтов.


НСсмотря Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ всС рСсурсы стрСмятся ΠΏΠΎΠΏΠ°ΡΡ‚ΡŒ Π² Ρ‚ΠΎΠΏ поисковой Π²Ρ‹Π΄Π°Ρ‡ΠΈ, Π² процСссС Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ситуации, ΠΊΠΎΠ³Π΄Π° трСбуСтся ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ прямо ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΠΏΠΎΠ»ΠΎΠΆΠ½ΠΎΠ΅ β€” Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². Π’ ΠΊΠ°ΠΊΠΈΡ… случаях ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΠΈΡ‚ΡŒΡΡ Π·Π°ΠΏΡ€Π΅Ρ‚ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ, ΠΈ ΠΊΠ°ΠΊ это ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ, ΠΌΡ‹ расскаТСм Π² этой ΡΡ‚Π°Ρ‚ΡŒΠ΅.

Π—Π°Ρ‡Π΅ΠΌ Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ сайт ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²?


ΠŸΠ΅Ρ€Π²ΠΎΠ΅ врСмя послС запуска ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° ΠΎ Π½Π΅ΠΌ Π·Π½Π°ΡŽΡ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ ΠΈ Ρ‚Π΅ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΈ ссылку Π½Π° рСсурс. Π’ Π±Π°Π·Ρ‹ поисковых систСм ΠΈ, соотвСтствСнно, Π² Π²Ρ‹Π΄Π°Ρ‡Ρƒ сайт ΠΏΠΎΠΏΠ°Π΄Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ послС Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Π΅Π³ΠΎ Π½Π°ΠΉΠ΄ΡƒΡ‚ ΠΈ ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Ρ‹ (поисковыС Ρ€Π°Π±ΠΎΡ‚Ρ‹). Π‘ этого ΠΌΠΎΠΌΠ΅Π½Ρ‚Π° ΠΎΠ½ становится доступным для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ ЯндСкс ΠΈ Google.


Но всю Π»ΠΈ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‰ΡƒΡŽΡΡ Π½Π° страницах рСсурса, Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π²ΠΈΠ΄Π΅Ρ‚ΡŒ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ? ΠšΠΎΠ½Π΅Ρ‡Π½ΠΎ, Π½Π΅Ρ‚. Им, ΠΏΡ€Π΅ΠΆΠ΄Π΅ всСго, интСрСсны ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹: ΡΡ‚Π°Ρ‚ΡŒΠΈ, информация ΠΎ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ, Ρ‚ΠΎΠ²Π°Ρ€Π°Ρ…, услугах, Ρ€Π°Π·Π²Π»Π΅ΠΊΠ°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚. Π’Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ Ρ„Π°ΠΉΠ»Ρ‹, докумСнтация для ПО ΠΈ другая слуТСбная информация ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡΠΌ нСинтСрСсна, ΠΈ поэтому Π½Π΅ Π½ΡƒΠΆΠ½Π°. Если лишниС страницы Π±ΡƒΠ΄ΡƒΡ‚ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒΡΡ вмСстС с ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ΠΎΠΌ, это Π·Π°Ρ‚Ρ€ΡƒΠ΄Π½ΠΈΡ‚ поиск Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½ΡƒΠΆΠ½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈ Π½Π΅Π³Π°Ρ‚ΠΈΠ²Π½ΠΎ отразится Π½Π° позициях рСсурса Π² поисковой Π²Ρ‹Π΄Π°Ρ‡Π΅. Π’Ρ‹Π²ΠΎΠ΄ β€” ΡΠ»ΡƒΠΆΠ΅Π±Π½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ слСдуСт Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΡ‚ индСксации.


Π’ процСссС Ρ€Π°Π±ΠΎΡ‚Ρ‹ сайта Ρ‚Π°ΠΊΠΆΠ΅ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ ситуации, ΠΊΠΎΠ³Π΄Π° трСбуСтся ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ рСсурс ΠΎΡ‚ поисковиков. НапримСр, Π²ΠΎ врСмя тСхничСских Ρ€Π°Π±ΠΎΡ‚, внСсСния сущСствСнных ΠΏΡ€Π°Π²ΠΎΠΊ, измСнСния структуры ΠΈ Π΄ΠΈΠ·Π°ΠΉΠ½Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°. Если этого Π½Π΅ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ, сайт ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ проиндСксирован с ошибками, Ρ‡Ρ‚ΠΎ Π½Π΅Π³Π°Ρ‚ΠΈΠ²Π½ΠΎ ΠΎΡ‚Ρ€Π°Π·ΠΈΡ‚ΡŒΡΡ Π½Π° Π΅Π³ΠΎ Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³Π΅.


МнСниС экспСрта

Анастасия ΠšΡƒΡ€Π΄ΡŽΠΊΠΎΠ²Π°, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ Π³Ρ€ΡƒΠΏΠΏΡ‹ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€ΠΎΠ² Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ «Ашманов ΠΈ ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€Ρ‹Β»:


Β«Π§Ρ‚ΠΎΠ±Ρ‹ сайт быстрСС индСксировался, рСкомСндуСтся Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² мусорныС страницы: ΡƒΡΡ‚Π°Ρ€Π΅Π²ΡˆΠΈΠ΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹, ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΎ ΠΏΡ€ΠΎΡˆΠ΅Π΄ΡˆΠΈΡ… акциях ΠΈ мСроприятиях, Π° Ρ‚Π°ΠΊΠΆΠ΅ Π²ΡΠΏΠ»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ ΠΎΠΊΠ½Π° ΠΈ Π±Π°Π½Π½Π΅Ρ€Ρ‹. Π­Ρ‚ΠΎ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ сократит врСмя индСксации, Π½ΠΎ ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° сСрвСр, Π° поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ смогут ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ количСство качСствСнных страниц».

Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Π·Π°ΠΊΡ€Ρ‹Ρ‚ сайт ΠΎΡ‚ индСксации ΠΈΠ»ΠΈ Π½Π΅Ρ‚?


Если Π²Ρ‹ Π½Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½Ρ‹, индСксируСтся Π»ΠΈ сайт поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ, ΠΊΠ°ΠΊΠΈΠ΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹, страницы ΠΈ Ρ„Π°ΠΉΠ»Ρ‹ доступны для сканирования, Π° ΠΊΠ°ΠΊΠΈΠ΅ Π½Π΅Ρ‚, ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ рСсурс с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ сСрвисов ЯндСкс. ВСбмастСр ΠΈ Google Search Console. Как это ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ, ΠΌΡ‹ рассказали Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅ Β«ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Ρ„Π°ΠΉΠ»Π° robot.txtΒ». ΠŸΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΡƒΠΉΡ‚Π΅ рСсурс Π² ΠΎΠ±ΠΎΠΈΡ… сСрвисах, ΠΈ ΠΎΠ½ΠΈ ΠΏΠΎΠΊΠ°ΠΆΡƒΡ‚, ΠΊΠ°ΠΊΠΈΠ΅ url ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ.


Π’ качСствС Π°Π»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Ρ‹ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ бСсплатный инструмСнт Β«ΠžΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ возраста сайта» ΠΎΡ‚ «ПиксСль Вулс». Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ этого сСрвиса Π²Ρ‹ ΡƒΠ·Π½Π°Π΅Ρ‚Π΅ возраст Π΄ΠΎΠΌΠ΅Π½Π°, ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… страницы, Π΄Π°Ρ‚Ρƒ индСксации ΠΈ кэша. Π”Π°Π½Π½Ρ‹Π΅ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡ‚ΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ Π² ЯндСкс.ВСбмастСр ΠΈ Π²Ρ‹Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ CSV.

Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ индСксации?


Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ доступ ΠΊ сайту ΠΌΠΎΠΆΠ½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ слуТСбного Ρ„Π°ΠΉΠ»Π° robots.txt. Он находится Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ ΠΏΠ°ΠΏΠΊΠ΅. Если Ρ„Π°ΠΉΠ»Π° Π½Π΅Ρ‚, создайтС Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ Π² Notepad++ ΠΈΠ»ΠΈ любом Π΄Ρ€ΡƒΠ³ΠΎΠΌ тСкстовом Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π΅. Π”Π°Π»Π΅Π΅ слСдуйтС рСкомСндациям Π½ΠΈΠΆΠ΅.

Π—Π°ΠΏΡ€Π΅Ρ‚ индСксации всСго сайта


Π£ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ доступом ΠΊ рСсурсу, Π΅Π³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Π°ΠΌ ΠΈ страницам осущСствляСтся с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² User-agent, Disallow ΠΈ Allow. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° User-agent ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Π½Π° Ρ€ΠΎΠ±ΠΎΡ‚Π°, для ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ пСрСчислСнныС Π½ΠΈΠΆΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»Π°, Disallow β€” Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ, Allow β€” Ρ€Π°Π·Ρ€Π΅ΡˆΠ°Π΅Ρ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ.


Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΡƒΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ Π·Π°ΠΏΡ€Π΅Ρ‚ для всСх ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ², Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt слСдуСт ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ:

User-agent: *

Disallow: /


Π—Π°ΠΏΡ€Π΅Ρ‚ для всСх поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², ΠΊΡ€ΠΎΠΌΠ΅ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² ЯндСкса, Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /


Π—Π°ΠΏΡ€Π΅Ρ‚ для всСх поисковиков, ΠΊΡ€ΠΎΠΌΠ΅ Google, Ρ‚Π°ΠΊ:

User-agent: *

Disallow: /

User-agent: Googlebot

Allow: /


Π’Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ доступ для ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², Ρ€Π°Π·Ρ€Π΅ΡˆΠΈΠ² всСм ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹ΠΌ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π±Π΅Π· ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ. НапримСр, Π·Π°ΠΏΡ€Π΅Ρ‚ для Ρ€ΠΎΠ±ΠΎΡ‚Π° YandexImages, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ индСксируСт изобраТСния для ΠΏΠΎΠΊΠ°Π·Π° Π½Π° ЯндСкс.ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°Ρ…, Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ Ρ‚Π°ΠΊ:

User-agent: YandexImages

Disallow: /


Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ всСго Ρ‚Ρ€Π΅Ρ… Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ доступом ΠΊ сайту для ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² Π»ΡŽΠ±Ρ‹Ρ… поисковых систСм: Π·Π°ΠΏΡ€Π΅Ρ‰Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ всСм поисковикам, Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ доступ ΠΎΠ΄Π½ΠΈΠΌ ΠΈ ΠΎΡ‚ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ Π΄Ρ€ΡƒΠ³ΠΈΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ.

Π—Π°ΠΏΡ€Π΅Ρ‚ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ Ρ€Π°Π·Π΄Π΅Π»ΠΎΠ² ΠΈ страниц


Если Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π·Π°ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΡ‚ индСксации вСсь сайт, Π° Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΅Π³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ ΠΈΠ»ΠΈ страницы, это ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ‚Π΅Ρ… ΠΆΠ΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ². Для понимания ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅ΠΌ нСсколько ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ².

  1. ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ доступны всС Ρ€Π°Π·Π΄Π΅Π»Ρ‹, ΠΊΡ€ΠΎΠΌΠ΅ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π°:

    User-agent: *

    Disallow: /catalog
  2. ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ доступны всС страницы, ΠΊΡ€ΠΎΠΌΠ΅ ΠΊΠΎΠ½Ρ‚Π°ΠΊΡ‚ΠΎΠ²:

    User-agent: *

    Disallow: /contact.html
  3. ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ Π·Π°ΠΊΡ€Ρ‹Ρ‚ вСсь сайт, ΠΊΡ€ΠΎΠΌΠ΅ ΠΎΠ΄Π½ΠΎΠ³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Π°:

    User-agent: *

    Disallow: /

    Allow: /catalog
  4. ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ Π·Π°ΠΊΡ€Ρ‹Ρ‚ вСсь Ρ€Π°Π·Π΄Π΅Π», ΠΊΡ€ΠΎΠΌΠ΅ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΏΠΎΠ΄Ρ€Π°Π·Π΄Π΅Π»Π°:

    User-agent: *

    Disallow: /product

    Allow: /product/auto

    1. НСсмотря Π½Π° простоту управлСния, Ρ„Π°ΠΉΠ» robots.txt позволяСт Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ достаточно Π³ΠΈΠ±ΠΊΠΈΠ΅ настройки индСксации для ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² поисковых систСм ΠΈ ΠΈΠ·ΠΌΠ΅Π½ΡΡ‚ΡŒ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ доступа Π² зависимости ΠΎΡ‚ Ρ‚Π΅ΠΊΡƒΡ‰Π΅ΠΉ ситуации.

      Как ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ индСксации ссылки?


      Π—Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ сайт ΠΈΠ»ΠΈ Π΅Π³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Ρ‹, Π½ΠΎ ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ элСмСнты, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ссылки. Π‘Π΄Π΅Π»Π°Ρ‚ΡŒ это ΠΌΠΎΠΆΠ½ΠΎ двумя способами:

  • Π² html-ΠΊΠΎΠ΄Π΅ страницы ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΌΠ΅Ρ‚Π°Ρ‚Π΅Π³ robots с Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²ΠΎΠΉ nofollow;
  • Π²ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚ rel=”nofollow” Π² саму ссылку: <a href=”url” rel=”nofollow”>тСкст ссылки</Π°>.


Π’Ρ‚ΠΎΡ€ΠΎΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡Ρ‚ΠΈΡ‚Π΅Π»ΡŒΠ½Π΅Π΅, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚ rel=”nofollow” Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΠΎ ссылкС Π΄Π°ΠΆΠ΅ Π² Ρ‚ΠΎΠΌ случаС, Ссли поисковая систСма Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ Π΅Π΅ Ρ‡Π΅Ρ€Π΅Π· Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ вашСго сайта ΠΈΠ»ΠΈ сторонних рСсурсов.

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒ своСго подрядчика

Если Ρ€Π°Π±ΠΎΡ‚Π° SEO-подрядчика Π½Π΅ Π΄Π°Π΅Ρ‚ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌΡ‹Ρ… Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ², ΠΌΡ‹ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅ΠΌ провСсти Π°ΡƒΠ΄ΠΈΡ‚ Ρ‚Π΅ΠΊΡƒΡ‰Π΅Π³ΠΎ поискового продвиТСния. Наша экспСртиза ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π²Ρ‹ΡΠ²ΠΈΡ‚ΡŒ ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠ΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹.

КакиС ошибки Π²ΡΡ‚Ρ€Π΅Ρ‡Π°ΡŽΡ‚ΡΡ ΠΏΡ€ΠΈ записи Ρ„Π°ΠΉΠ»Π° robots.txt?


Если robots. txt Π±ΡƒΠ΄Π΅Ρ‚ записан с ошибками, ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Ρ‹ Π½Π΅ смогут ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» ΠΈ полСзная для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ информация Π½Π΅ ΠΏΠΎΠΏΠ°Π΄Π΅Ρ‚ Π² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡƒΡŽ Π²Ρ‹Π΄Π°Ρ‡Ρƒ. НаиболСС часто Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ Π΄ΠΎΠΏΡƒΡΠΊΠ°ΡŽΡ‚ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ ошибки:

  1. НСвСрныС (ΠΏΠ΅Ρ€Π΅ΠΏΡƒΡ‚Π°Π½Π½Ρ‹Π΅) значСния Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ².
    ΠΠ΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent: /

    Disallow: Yandex
    ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent: Yandex

    Disallow: /
  2. Π£ΠΊΠ°Π·Π°Π½ΠΈΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… URL Π² ΠΎΠ΄Π½ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅.
    ΠΠ΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    Disallow: /admin/ /tags/ /images/
    ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    Disallow: /admin/

    Disallow: /tags/

    Disallow: /images/
  3. ΠŸΡƒΡΡ‚ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ User-agent.
    ΠΠ΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent:

    Disallow: /
    ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent: *

    Disallow: /
  4. НСкоррСктный Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Disallow.
    ΠΠ΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent: Yandex

    Disallow: admin
    ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ:

    User-agent: Yandex

    Disallow: /admin/


ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots. txt Π½Π° Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ошибок ΠΌΠΎΠΆΠ½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ЯндСкс.ВСбмастСр ΠΈ Google Search Console. ΠŸΠΎΡ€ΡΠ΄ΠΎΠΊ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ ΠΌΡ‹ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ описали Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅ Β«ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Ρ„Π°ΠΉΠ»Π° robot.txtΒ».

Π’Ρ‹Π²ΠΎΠ΄Ρ‹

  • Π—Π°ΠΏΡ€Π΅Ρ‚ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ позволяСт ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΠΈ слуТСбныС Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹, Π½Π΅Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹ΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, ссылки, Π²ΡΠΏΠ»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ ΠΎΠΊΠ½Π° ΠΈ Π±Π°Π½Π½Π΅Ρ€Ρ‹, ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ сайту Π½Π° врСмя тСхничСских Ρ€Π°Π±ΠΎΡ‚.
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊΠΈΠ΅ страницы сайта ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ, ΠΌΠΎΠΆΠ½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ЯндСкс.ВСбмастСр, Google Search Console ΠΈ бСсплатных инструмСнтов, прСдоставляСмых сторонними рСсурсами.
  • Π—Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΈΠ»ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ Π΅Π³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ ΠΈ страницы ΠΎΡ‚ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ Ρ‡Π΅Ρ€Π΅Π· robots.txt, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ находится Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΌ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅.
  • Π“ΠΈΠ±ΠΊΠΈΠ΅ настройки ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ ΠΈΠ·ΠΌΠ΅Π½ΡΡ‚ΡŒ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ доступа Π² зависимости ΠΎΡ‚ Ρ‚Π΅ΠΊΡƒΡ‰Π΅ΠΉ ситуации.
  • ПослС внСсСния ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ Ρ„Π°ΠΉΠ» robots.txt Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Π½Π° Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ошибок. Π­Ρ‚ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ сСрвисов поисковых систСм ЯндСкс.ВСбмастСр ΠΈ Google Search Console.

Π‘Ρ‚Π°Ρ‚ΡŒΡ

ИзмСнСния Π² ЯндСксС Π½Π° 2022 Π³ΠΎΠ΄: Π½ΠΎΠ²Ρ‹Π΅ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠΈ качСства

#SEO, #ЯндСкс

Π‘Ρ‚Π°Ρ‚ΡŒΡ

ЯндСкс ΠΎΠ±Π½ΠΎΠ²ΠΈΠ» Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹: ΠΊΠ°ΠΊ ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ Ρ€Π°Π½ΠΆΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ сайта?

#SEO, #ЯндСкс

Π‘Ρ‚Π°Ρ‚ΡŒΡ

НСстандартноС SEO: 7 Π»Π°ΠΉΡ„Ρ…Π°ΠΊΠΎΠ² продвиТСния Π² Google ΠΎΡ‚ Π·Π°ΠΏΠ°Π΄Π½Ρ‹Ρ… спСциалистов

#SEO, #Google


Π‘Ρ‚Π°Ρ‚ΡŒΡŽ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΈΠ»ΠΈ:

ΠŸΡ€ΠΎΠΊΠΎΠΏΡŒΠ΅Π²Π° Ольга. Π Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ ΠΊΠΎΠΏΠΈΡ€Π°ΠΉΡ‚Π΅Ρ€ΠΎΠΌ, Π² свободноС врСмя ΠΏΠΈΡˆΠ΅Ρ‚ ΠΏΡ€ΠΎΠ·Ρƒ ΠΈ стихи. Π‘Π»ΠΈΠΆΠ°ΠΉΡˆΠΈΠ΅ ΠΏΡ€ΠΎΡ„Π΅ΡΡΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ†Π΅Π»ΠΈ — Π΄ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Ρ€ΠΎΠΌΠ°Π½ ΠΈ ΠΈΠ·Π΄Π°Ρ‚ΡŒ ΠΊΠ½ΠΈΠ³Ρƒ.

Β  Β Β 


Анастасия ΠšΡƒΡ€Π΄ΡŽΠΊΠΎΠ²Π°, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ Π³Ρ€ΡƒΠΏΠΏΡ‹ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€ΠΎΠ² «Ашманов ΠΈ ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€Ρ‹Β», ΠΎΠΏΡ‹Ρ‚Π½Ρ‹ΠΉ спСциалист ΠΏΠΎ SEO-ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, вСдущая Π²Π΅Π±ΠΈΠ½Π°Ρ€ΠΎΠ² для ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ.

Π’Π΅Π³ΠΈ:
SEO, ЯндСкс, Google

Google ΠΎΠ±ΡŠΡΡΠ½ΡΠ΅Ρ‚, ΠΊΠ°ΠΊ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ Π²Π΅Π±-сайт ΠΈΠ· Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² поиска

Google ΡƒΡ‚Π²Π΅Ρ€ΠΆΠ΄Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Π»ΡƒΡ‡ΡˆΠΈΠΉ способ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ Π²Π΅Π±-сайт ΠΈΠ· Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² поиска β€” ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ°Ρ€ΠΎΠ»ΡŒ, Π½ΠΎ Π΅ΡΡ‚ΡŒ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Ρ€Π°ΡΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ.

Π­Ρ‚Π° Ρ‚Π΅ΠΌΠ° освСщСна Π² послСднСм выпускС сСрии Π²ΠΈΠ΄Π΅ΠΎΡ€ΠΎΠ»ΠΈΠΊΠΎΠ² Ask Googlebot Π½Π° YouTube.

Π”ΠΆΠΎΠ½ ΠœΡŽΠ»Π»Π΅Ρ€ ΠΈΠ· Google ΠΎΡ‚Π²Π΅Ρ‡Π°Π΅Ρ‚ Π½Π° вопрос ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΏΡ€Π΅Π΄ΠΎΡ‚Π²Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° Π² поискС ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΎ Π»ΠΈ это Π΄Π΅Π»Π°Ρ‚ΡŒ Π²Π΅Π±-сайтам.

Β«ΠšΠΎΡ€ΠΎΡ‡Π΅ говоря, Π΄Π°, ΠΌΠΎΠΆΠ΅Ρ‚Π΅, β€” Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ ΠœΡŽΠ»Π»Π΅Ρ€.

Π•ΡΡ‚ΡŒ Ρ‚Ρ€ΠΈ способа ΡΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΈΠ· Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² поиска:

  • Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ°Ρ€ΠΎΠ»ΡŒ
  • ΠžΠ±Ρ…ΠΎΠ΄ Π±Π»ΠΎΠΊΠ°
  • Π˜Π½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡ Π±Π»ΠΎΠΊΠ°

Π’Π΅Π±-сайты ΠΌΠΎΠ³ΡƒΡ‚ Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΎΡ‚ΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ ΠΎΡ‚ индСксации, Π»ΠΈΠ±ΠΎ ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΈ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΎΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚Π° Googlebot с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ пароля.

Π‘Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠ° ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΎΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚Π° Googlebot Π½Π΅ ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΡ€Π΅Ρ‡ΠΈΡ‚ рСкомСндациям для Π²Π΅Π±-мастСров, Ссли ΠΎΠ½ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½ для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ.

НапримСр, Ссли сайт Π·Π°Ρ‰ΠΈΡ‰Π΅Π½ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ ΠΏΡ€ΠΈ сканировании Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ Googlebot, ΠΎΠ½ Ρ‚Π°ΠΊΠΆΠ΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ Π·Π°Ρ‰ΠΈΡ‰Π΅Π½ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ.

Π’ качСствС Π°Π»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Ρ‹ сайт Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΈΠΌΠ΅Ρ‚ΡŒ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Π·Π°ΠΏΡ€Π΅Ρ‰Π°ΡŽΡ‰ΠΈΠ΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ Googlebot ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сайт.

Π£ вас ΠΌΠΎΠ³ΡƒΡ‚ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡƒΡ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹, Ссли ваш Π²Π΅Π±-сайт прСдоставляСт Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ для Ρ€ΠΎΠ±ΠΎΡ‚Π° Googlebot, Ρ‡Π΅ΠΌ для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ.

Π­Ρ‚ΠΎ называСтся «маскировкой» ΠΈ ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΡ€Π΅Ρ‡ΠΈΡ‚ рСкомСндациям Google.

Π‘ ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ этого различия, Π²ΠΎΡ‚ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Π΅ способы скрытия ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΎΡ‚ поисковых систСм.

1. Π—Π°Ρ‰ΠΈΡ‚Π° ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ

Π‘Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠ° Π²Π΅Π±-сайта ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ часто являСтся Π»ΡƒΡ‡ΡˆΠΈΠΌ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠΌ, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ своСго сайта.

ΠŸΠ°Ρ€ΠΎΠ»ΡŒ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚, Ρ‡Ρ‚ΠΎ Π½ΠΈ поисковыС систСмы, Π½ΠΈ случайныС ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ сСти Π½Π΅ смогут ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ ваш ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚.

Π­Ρ‚ΠΎ обычная ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ° для Π²Π΅Π±-сайтов Π² Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅. ΠŸΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΡ Π²Π΅Π±-сайта Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ β€” это простой способ ΠΏΠΎΠ΄Π΅Π»ΠΈΡ‚ΡŒΡΡ с ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π°ΠΌΠΈ Π½Π΅Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚ΠΎΠΉ, Π½Π΅ позволяя Google ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ Π²Π΅Π±-сайту, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π΅Ρ‰Π΅ Π½Π΅ Π³ΠΎΡ‚ΠΎΠ² ΠΊ просмотру.

2. Π—Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сканированиС

Π•Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ способ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ Googlebot доступ ΠΊ Π²Π°ΡˆΠ΅ΠΌΡƒ сайту β€” Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сканированиС. Π­Ρ‚ΠΎ дСлаСтся с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ„Π°ΠΉΠ»Π° robots.txt.

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ этого ΠΌΠ΅Ρ‚ΠΎΠ΄Π° люди ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ Π²Π°ΡˆΠ΅ΠΌΡƒ сайту ΠΏΠΎ прямой ссылкС, Π½ΠΎ ΠΎΠ½Π° Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½Π° Β«ΠΏΡ€ΠΈΠ»ΠΈΡ‡Π½Ρ‹ΠΌΠΈΒ» поисковыми систСмами.

По словам ΠœΡŽΠ»Π»Π΅Ρ€Π°, это Π½Π΅ Π»ΡƒΡ‡ΡˆΠΈΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ поисковыС систСмы ΠΌΠΎΠ³ΡƒΡ‚ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ адрСс Π²Π΅Π±-сайта Π±Π΅Π· доступа ΠΊ Π΅Π³ΠΎ содСрТимому.

Π’Π°ΠΊΠΎΠ΅ случаСтся Ρ€Π΅Π΄ΠΊΠΎ, Π½ΠΎ ΠΎ Ρ‚Π°ΠΊΠΎΠΉ возмоТности Π²Π°ΠΌ слСдуСт Π·Π½Π°Ρ‚ΡŒ.

3. Π—Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ индСксированиС

Π’Ρ€Π΅Ρ‚ΠΈΠΉ ΠΈ послСдний Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ β€” Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ индСксированиС вашСго Π²Π΅Π±-сайта.

Для этого Π²Ρ‹ добавляСтС Π½Π° свои страницы ΠΌΠ΅Ρ‚Π°Ρ‚Π΅Π³ noindex robots.

Π’Π΅Π³ noindex ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ поисковым систСмам Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ эту страницу Π΄ΠΎ Ρ‚Π΅Ρ… ΠΏΠΎΡ€, ΠΏΠΎΠΊΠ° послС ΠΎΠ½ΠΈ Π΅Π΅ Π½Π΅ ΠΏΡ€ΠΎΡΠΊΠ°Π½ΠΈΡ€ΡƒΡŽΡ‚.

ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ Π½Π΅ видят ΠΌΠ΅Ρ‚Π°Ρ‚Π΅Π³ ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎ ΠΎΡ‚ΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ страницу.

Π—Π°ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ мысли ΠœΡŽΠ»Π»Π΅Ρ€Π°

ΠœΡŽΠ»Π»Π΅Ρ€ Π·Π°Π²Π΅Ρ€ΡˆΠ°Π΅Ρ‚ Π²ΠΈΠ΄Π΅ΠΎ, говоря, Ρ‡Ρ‚ΠΎ главная рСкомСндация Google β€” ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ°Ρ€ΠΎΠ»ΡŒ:

Β«Π’ Ρ†Π΅Π»ΠΎΠΌ, для частного ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΌΡ‹ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π·Π°Ρ‰ΠΈΡ‚Ρƒ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ. Π›Π΅Π³ΠΊΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Π»ΠΈ ΠΎΠ½, ΠΈ ΠΎΠ½ Π½Π΅ позволяСт Π½ΠΈΠΊΠΎΠΌΡƒ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ Π²Π°ΡˆΠ΅ΠΌΡƒ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Ρƒ.

Π‘Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠ° сканирования ΠΈΠ»ΠΈ индСксации β€” Ρ…ΠΎΡ€ΠΎΡˆΠΈΠ΅ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹, ΠΊΠΎΠ³Π΄Π° ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ Π½Π΅ являСтся частным. Или Ссли Π΅ΡΡ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ части Π²Π΅Π±-сайта, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ Π² поискС».

Π‘ΠΌ. ΠΏΠΎΠ»Π½ΠΎΠ΅ Π²ΠΈΠ΄Π΅ΠΎ Π½ΠΈΠΆΠ΅:


Π˜Π·Π±Ρ€Π°Π½Π½ΠΎΠ΅ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅: снимок экрана с сайта YouTube.com/GoogleSearchCentral, Π½ΠΎΡΠ±Ρ€ΡŒ 2021 Π³.

ΠšΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΡ
Новости
SEO

ΠžΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ индСксированиС поисковыми систСмами | Webflow University

Π’Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ ΠΊΠΎ всСм ΡƒΡ€ΠΎΠΊΠ°ΠΌ

Π’Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ ΠΊ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ΅ ΡƒΡ€ΠΎΠΊΠΎΠ²

ВсС ΡƒΡ€ΠΎΠΊΠΈ

ΠžΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ индСксированиС поисковыми систСмами

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° ΡƒΡ€ΠΎΠΊΠΎΠ²

ВсС ΡƒΡ€ΠΎΠΊΠΈ

Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ индСксированиС Π²Π°ΡˆΠΈΡ… страниц поисковыми систСмами, поисковыми систСмами

вСсь сайт ΠΈΠ»ΠΈ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ваш субдомСн webflow. io.

Π£ этого Π²ΠΈΠ΄Π΅ΠΎ старый ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ интСрфСйс. Π‘ΠΊΠΎΡ€ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ обновлСнная вСрсия!

ΠšΠ»ΠΎΠ½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ этот ΠΏΡ€ΠΎΠ΅ΠΊΡ‚

Π‘Ρ‚Π΅Π½ΠΎΠ³Ρ€Π°ΠΌΠΌΠ°

Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ поисковым систСмам, ΠΊΠ°ΠΊΠΈΠ΅ страницы ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, написав Ρ„Π°ΠΉΠ» robots.txt. Π’Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ поисковым систСмам ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Π΅ страницы, ΠΏΠ°ΠΏΠΊΠΈ, вСсь ваш сайт ΠΈΠ»ΠΈ субдомСн webflow.io. Π­Ρ‚ΠΎ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ Ρ‚Π°ΠΊΠΈΠ΅ страницы, ΠΊΠ°ΠΊ страница 404 вашСго сайта, ΠΎΡ‚ индСксации ΠΈ отобраТСния Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска.

Π’ этом ΡƒΡ€ΠΎΠΊΠ΅:Β 

  1. Как ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ индСксированиС субдомСна Webflow
  2. Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt
  3. Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡Π΅Π½ΠΈΡŽ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ
  4. Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы ΠΈ совСты ΠΏΠΎ ΡƒΡΡ‚Ρ€Π°Π½Π΅Π½ΠΈΡŽ Π½Π΅ΠΏΠΎΠ»Π°Π΄ΠΎΠΊ

Как ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ индСксированиС субдомСна WebflowΒ 

Π΄Ρ€ΡƒΠ³ΠΈΠΌ поисковым систСмам Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠ΄Π΄ΠΎΠΌΠ΅Π½ webflow.io вашСго сайта, ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΠ² индСксированиС Π² настройках сайта .

  1. ΠŸΠ΅Ρ€Π΅ΠΉΡ‚ΠΈ ΠΊ Настройки сайта > SEO Π²ΠΊΠ»Π°Π΄ΠΊΠ° > Π˜Π½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ€Π°Π·Π΄Π΅Π»
  2. УстановитС для ΠžΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ индСксированиС ΠΏΠΎΠ΄Π΄ΠΎΠΌΠ΅Π½ΠΎΠ² Webflow Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ Β«Π”Π°Β»
  3. НаТмитС Π‘ΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ измСнСния ΠΈ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ свой сайт ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ этот Π΄ΠΎΠΌΠ΅Π½.

    Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txtΒ 

    Π€Π°ΠΉΠ» robots.txt ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для пСрСчислСния URL-адрСсов сайта, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ поисковыми систСмами. Π’Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ ΠΊΠ°Ρ€Ρ‚Ρƒ сайта своСго сайта Π² Ρ„Π°ΠΉΠ» robots.txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ поисковых систСм, ΠΊΠ°ΠΊΠΎΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΈΠΌ слСдуСт ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ.

    Как ΠΈ ΠΊΠ°Ρ€Ρ‚Π° сайта, Ρ„Π°ΠΉΠ» robots.txt находится Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ Π²Π΅Ρ€Ρ…Π½Π΅Π³ΠΎ уровня вашСго Π΄ΠΎΠΌΠ΅Π½Π°. Webflow сгСнСрируСт Ρ„Π°ΠΉΠ» /robots.txt для вашСго сайта послС Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Π²Ρ‹ создадитС Π΅Π³ΠΎ Π² настройках сайта .

    Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt:

    1. ΠŸΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ ΠΊ Настройки сайта > SEO Π²ΠΊΠ»Π°Π΄ΠΊΠ° > Π˜Π½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ€Π°Π·Π΄Π΅Π»
    2. Π”ΠΎΠ±Π°Π²ΡŒΡ‚Π΅ Π½ΡƒΠΆΠ½Ρ‹Π΅ измСнСния robots. txt
    3. 9 НаТмитС Π‘ΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΈ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ свой сайт

    ‍ Π’Π°ΠΆΠ½ΠΎ: ΠšΠΎΠ½Ρ‚Π΅Π½Ρ‚ с вашСго сайта ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ проиндСксирован, Π΄Π°ΠΆΠ΅ Ссли ΠΎΠ½ Π½Π΅ просканирован. Π­Ρ‚ΠΎ происходит, ΠΊΠΎΠ³Π΄Π° поисковая систСма Π·Π½Π°Π΅Ρ‚ ΠΎ вашСм ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π΅ Π»ΠΈΠ±ΠΎ ΠΏΠΎΡ‚ΠΎΠΌΡƒ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ Π±Ρ‹Π» ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ Ρ€Π°Π½Π΅Π΅, Π»ΠΈΠ±ΠΎ Π΅ΡΡ‚ΡŒ ссылка Π½Π° этот ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΈΠ· Π΄Ρ€ΡƒΠ³ΠΎΠ³ΠΎ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° Π² Π˜Π½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅. Π§Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ Ρ€Π°Π½Π΅Π΅ проиндСксированная страница Π½Π΅ проиндСксирована, Π½Π΅ добавляйтС Π΅Π΅ Π² robots.txt. ВмСсто этого ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΌΠ΅Ρ‚Π°ΠΊΠΎΠ΄ noindex, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ этот ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΈΠ· индСкса Google.

    ΠŸΡ€Π°Π²ΠΈΠ»Π° robots.txt

    Π›ΡŽΠ±ΠΎΠ΅ ΠΈΠ· этих ΠΏΡ€Π°Π²ΠΈΠ» ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для заполнСния Ρ„Π°ΠΉΠ»Π° robots.txt.

    • АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: * ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ этот Ρ€Π°Π·Π΄Π΅Π» относится ΠΊΠΎ всСм Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ.
    • Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ:Β   прСдписываСт Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ Π½Π΅ ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒ сайт, страницу ΠΈΠ»ΠΈ ΠΏΠ°ΠΏΠΊΡƒ.
    Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ вСсь сайт

    User-agent: *

    Disallow: /

    Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ страницы

    User-agent: *

    Disallow: /page-name

    Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ всю ΠΏΠ°ΠΏΠΊΡƒ страниц

    АгСнт ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ: *

    Π—Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ: /имя-ΠΏΠ°ΠΏΠΊΠΈ/

    Π’ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ ΠΊΠ°Ρ€Ρ‚Ρƒ сайта

    ΠšΠ°Ρ€Ρ‚Π° сайта: https://your-site. com/sitemap.xml

    ΠŸΠΎΠ»Π΅Π·Π½Ρ‹Π΅ рСсурсы

    ΠžΠ·Π½Π°ΠΊΠΎΠΌΡŒΡ‚Π΅ΡΡŒ с Π΄Ρ€ΡƒΠ³ΠΈΠΌΠΈ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ robots.txt.

    ΠŸΡ€ΠΈΠΌΠ΅Ρ‡Π°Π½ΠΈΠ΅: Π›ΡŽΠ±ΠΎΠΉ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ Ρ„Π°ΠΉΠ»Ρƒ robots.txt вашСго сайта, поэтому ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ доступ ΠΊ Π²Π°ΡˆΠ΅ΠΌΡƒ Π»ΠΈΡ‡Π½ΠΎΠΌΡƒ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Ρƒ.

    Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ ΠΏΠΎ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡Π΅Π½ΠΈΡŽ ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈΒ 

    Если Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΏΡ€Π΅Π΄ΠΎΡ‚Π²Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠΉ страницы ΠΈΠ»ΠΈ URL-адрСса Π½Π° вашСм сайтС, Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ сканированиС URL-адрСса. ВмСсто этого ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ любой ΠΈΠ· ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΡ… Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ΠΎΠ²:Β 

    • Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΌΠ΅Ρ‚Π°ΠΊΠΎΠ΄ noindex, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ поисковым систСмам ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ваш ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΈ ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ ΠΈΠ· индСкса поисковых систСм.
    • БохраняйтС страницы с ΠΊΠΎΠ½Ρ„ΠΈΠ΄Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΌ содСрТимым ΠΊΠ°ΠΊ Ρ‡Π΅Ρ€Π½ΠΎΠ²ΠΈΠΊΠΈ ΠΈ Π½Π΅ ΠΏΡƒΠ±Π»ΠΈΠΊΡƒΠΉΡ‚Π΅ ΠΈΡ…. Π—Π°Ρ‰ΠΈΡ‚ΠΈΡ‚Π΅ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ страницы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Ρ‚ΡŒ.

    Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы ΠΈ совСты ΠΏΠΎ ΡƒΡΡ‚Ρ€Π°Π½Π΅Π½ΠΈΡŽ Π½Π΅ΠΏΠΎΠ»Π°Π΄ΠΎΠΊ

    ΠœΠΎΠ³Ρƒ Π»ΠΈ я ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots. txt для прСдотвращСния индСксации рСсурсов ΠΌΠΎΠ΅Π³ΠΎ сайта Webflow?

    НСвозмоТно ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt для прСдотвращСния индСксации рСсурсов сайта Webflow, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Ρ„Π°ΠΉΠ» robots.txt Π΄ΠΎΠ»ΠΆΠ΅Π½ Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒΡΡ Π² Ρ‚ΠΎΠΌ ΠΆΠ΅ Π΄ΠΎΠΌΠ΅Π½Π΅, Ρ‡Ρ‚ΠΎ ΠΈ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, ΠΊ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌΡƒ ΠΎΠ½ примСняСтся (Π² Π΄Π°Π½Π½ΠΎΠΌ случаС Ρ‚Π°ΠΌ, Π³Π΄Π΅ ΠΎΠ±ΡΠ»ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ΡΡ рСсурсы) . Webflow обслуТиваСт рСсурсы ΠΈΠ· нашСй глобальной CDN, Π° Π½Π΅ ΠΈΠ· ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΎΠ³ΠΎ Π΄ΠΎΠΌΠ΅Π½Π°, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ находится Ρ„Π°ΠΉΠ» robots.txt.

    Π― ΡƒΠ΄Π°Π»ΠΈΠ» Ρ„Π°ΠΉΠ» robots.txt ΠΈΠ· настроСк своСго сайта, Π½ΠΎ ΠΎΠ½ ΠΏΠΎ-ΠΏΡ€Π΅ΠΆΠ½Π΅ΠΌΡƒ отобраТаСтся Π½Π° ΠΌΠΎΠ΅ΠΌ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΌ сайтС. Как я ΠΌΠΎΠ³Ρƒ это ΠΈΡΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ?

    Π‘ΠΎΠ·Π΄Π°Π½Π½Ρ‹ΠΉ Ρ„Π°ΠΉΠ» robots.txt нСльзя ΡƒΠ΄Π°Π»ΠΈΡ‚ΡŒ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ. Однако Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°ΠΌΠ΅Π½ΠΈΡ‚ΡŒ Π΅Π³ΠΎ Π½ΠΎΠ²Ρ‹ΠΌΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ€Π°Π·Ρ€Π΅ΡˆΠΈΡ‚ΡŒ сканированиС сайта, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€:Β 

    User-agent: *Β 

    Disallow:

    ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ сохранитС измСнСния ΠΈ ΠΏΠΎΠ²Ρ‚ΠΎΡ€Π½ΠΎ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΡƒΠΉΡ‚Π΅ свой сайт. Если ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° Π½Π΅ устранСна ΠΈ Π²Ρ‹ ΠΏΠΎ-ΠΏΡ€Π΅ΠΆΠ½Π΅ΠΌΡƒ Π²ΠΈΠ΄ΠΈΡ‚Π΅ старыС ΠΏΡ€Π°Π²ΠΈΠ»Π° robots.txt Π½Π° своСм ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΌ сайтС, ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ΡΡŒ Π² слуТбу ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ.

    This entry was posted in ΠŸΠΎΠΏΡƒΠ»ΡΡ€Π½ΠΎΠ΅