ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ robots txt ΠΎΠ½Π»Π°ΠΉΠ½ google: Robots.txt Tester: ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ бСсплатный ΠΎΠ½Π»Π°ΠΉΠ½-инструмСнт для SEO

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

Robots.txt ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ

ПослСднСС ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅: 08 ноября 2022 Π³ΠΎΠ΄Π°

24748

ВрСмя прочтСния: 6 ΠΌΠΈΠ½ΡƒΡ‚


Вэги: ЯндСкс, Google


О Ρ‡Π΅ΠΌ ΡΡ‚Π°Ρ‚ΡŒΡ?

  • Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ΅Π½ robots.txt?
  • ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Ρ„Π°ΠΉΠ»Π° robots.txt
  • Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ robots.txt?
  • Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ»?


ΠšΠΎΠΌΡƒ Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠΎΠ»Π΅Π·Π½Π° ΡΡ‚Π°Ρ‚ΡŒΡ?

  • Π’Π΅Π±-Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠ°ΠΌ.
  • ВСхничСским спСциалистам.
  • ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€Π°ΠΌ.
  • Администраторам ΠΈ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Π°ΠΌ сайтов.


ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΈΠ»ΠΈ Π²Π΅Π±-ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Ρ‹ постоянно ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ страницы сайтов, ΡΠΎΠ±ΠΈΡ€Π°ΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΈ заносят Π΅Π΅ Π² Π±Π°Π·Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ… поисковых систСм. ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ Ρ„Π°ΠΉΠ», с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ начинаСтся ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ°, β€” это robots.txt. ИмСнно Π² Π½Π΅ΠΌ содСрТится вся нСобходимая ΠΈ ваТная для ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² информация. Π’ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ расскаТСм, ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ, Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ robots. txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ доступных инструмСнтов ЯндСкс ΠΈ Google.

Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ΅Π½ robots.txt?


Π€Π°ΠΉΠ» robots.txt β€” слуТСбный Ρ„Π°ΠΉΠ», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ содСрТит ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ страницы сайта доступны для сканирования поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ, Π° ΠΊΠ°ΠΊΠΈΠ΅ ΠΈΠΌ ΠΏΠΎΡΠ΅Ρ‰Π°Ρ‚ΡŒ нСльзя. Он Π½Π΅ являСтся ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ элСмСнтом, Π½ΠΎ ΠΎΡ‚ Π΅Π³ΠΎ наличия зависит ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ индСксации страниц ΠΈ ΠΏΠΎΠ·ΠΈΡ†ΠΈΠΈ рСсурса Π² поисковой Π²Ρ‹Π΄Π°Ρ‡Π΅.


Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ robots.txt Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°Π΄Π°Ρ‚ΡŒ ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ доступа ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ² ΠΊ сайту ΠΈ Π΅Π³ΠΎ Ρ€Π°Π·Π΄Π΅Π»Π°ΠΌ: ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ ΠΈΠ»ΠΈ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ сканированиС ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠ°ΠΏΠΎΠΊ, страниц, Ρ„Π°ΠΉΠ»ΠΎΠ², Π° Ρ‚Π°ΠΊΠΆΠ΅ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ рСсурс для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ относятся ΠΊ основным поисковым систСмам.


Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, созданиС ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Π°Ρ настройка robots.txt ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ ΡƒΡΠΊΠΎΡ€ΠΈΡ‚ΡŒ процСсс индСксации сайта, ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π½Π° сСрвСр, ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ отразятся Π½Π° Ρ€Π°Π½ΠΆΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ сайта Π² поисковой Π²Ρ‹Π΄Π°Ρ‡Π΅.


МнСниС экспСрта

АлСксСй Π“ΡƒΠ±Π΅Ρ€ΠΌΠ°Π½, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ ΠΎΡ‚Π΄Π΅Π»Π° поисковой ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ «Ашманов ΠΈ ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€Ρ‹Β»:


«НСкоторым сайтам Ρ„Π°ΠΉΠ» robots. txt Π½Π΅ Π½ΡƒΠΆΠ΅Π½ совсСм ΠΈΠ»ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΠ²Π°Ρ‚ΡŒΡΡ ΠΌΠ°Π»Ρ‹ΠΌ Π½Π°Π±ΠΎΡ€ΠΎΠΌ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ². НапримСр, ΠΏΡ€ΠΈ одностраничной структурС рСсурса-Π»Π΅Π½Π΄ΠΈΠ½Π³Π° Π·Π°Ρ‡Π°ΡΡ‚ΡƒΡŽ Ρ„Π°ΠΉΠ» robots.txt Π½Π΅ трСбуСтся β€” поисковыС систСмы ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ ΠΎΠ΄Π½Ρƒ страницу, лишниС слуТСбныС Ρ„Π°ΠΉΠ»Ρ‹ с ΠΌΠ°Π»ΠΎΠΉ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ Π±ΡƒΠ΄ΡƒΡ‚ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Ρ‹ Π² индСкс. НСбольшоС количСство ΠΏΡ€Π°Π²ΠΈΠ» Π² robots.txt Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ Π½Π°Π±Π»ΡŽΠ΄Π°Ρ‚ΡŒ ΠΈ Ρƒ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… сайтов с простой структурой, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Ρƒ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… рСсурсов. Π’Π°ΠΊ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΎΠ΄ΠΈΠ½ ΠΈΠ· ΠΊΡ€ΡƒΠΏΠ½Π΅ΠΉΡˆΠΈΡ… Π·Π°Ρ€ΡƒΠ±Π΅ΠΆΠ½Ρ‹Ρ… Π±Π»ΠΎΠ³ΠΎΠ² ΠΏΠΎ SEO https://backlinko.com/ ΠΈΠΌΠ΅Π΅Ρ‚ Π² robots.txt Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π΄Π²Π΅ простыС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹:

User-agent: *

Disallow: /tag/

Disallow: /wp-admin/Β».

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Ρ„Π°ΠΉΠ»Π° robots.txt


Π§Ρ‚ΠΎΠ±Ρ‹ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ³Π»ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ robots.txt, ΠΎΠ½ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ составлСн ΠΏΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΌ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌ. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° слуТСбного Ρ„Π°ΠΉΠ»Π° содСрТит ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹:

  • User-agent. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° User-agent опрСдСляСт ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ открытости сайта для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². Π—Π΄Π΅ΡΡŒ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ доступ всСм поисковикам ΠΈΠ»ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠΈΡ‚ΡŒ сканированиС Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΌ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌ. Для Π½Π΅ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½ΠΎΠ³ΠΎ доступа достаточно ΠΏΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ символ Β«*Β», для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Π½ΡƒΠΆΠ½ΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹.

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€:

    User-agent: * β€” сайт доступСн для индСксации всСм ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌ

    User-agent: Yandex β€” доступ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ЯндСкса

    User-agent: Googlebot β€” доступ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Google
  • Disallow. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Disallow опрСдСляСт, ΠΊΠ°ΠΊΠΈΠ΅ страницы сайта Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ для индСксации. Как ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, для сканирования Π·Π°ΠΊΡ€Ρ‹Π²Π°ΡŽΡ‚ вСсь слуТСбный ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, Π½ΠΎ ΠΏΡ€ΠΈ ΠΆΠ΅Π»Π°Π½ΠΈΠΈ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΈ Π»ΡŽΠ±Ρ‹Π΅ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠΌ страницам ΠΈ сайтам Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ индСксированиС, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅: «Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ индСксации Π² robots.txtΒ». ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ Π΄Π°ΠΆΠ΅ Ссли Π½Π° сайтС Π½Π΅Ρ‚ страниц, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ всС Ρ€Π°Π²Π½ΠΎ Π½ΡƒΠΆΠ½ΠΎ ΠΏΡ€ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ, Π½ΠΎ Π±Π΅Π· указания значСния. Π’ ΠΏΡ€ΠΎΡ‚ΠΈΠ²Π½ΠΎΠΌ случаС поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ³ΡƒΡ‚ Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt.

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 1:

    User-agent: * β€” ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½ΠΈΠΆΠ΅, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ для всСх ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ²

    Disallow: /wp-admin β€” слуТСбная ΠΏΠ°ΠΏΠΊΠ° со всСми влоТСниями Π·Π°ΠΊΡ€Ρ‹Ρ‚Π° для индСксации

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 2:

    User-agent: Yandex β€” ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½ΠΈΠΆΠ΅, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ЯндСкса

    Disallow: / β€” всС Ρ€Π°Π·Π΄Π΅Π»Ρ‹ сайта доступны для индСксации
  • Allow. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Allow опрСдСляСт, ΠΊΠ°ΠΊΠΈΠ΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ сайта доступны для сканирования поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ всС, Ρ‡Ρ‚ΠΎ Π½Π΅ Π·Π°ΠΏΡ€Π΅Ρ‰Π΅Π½ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²ΠΎΠΉ Disallow, индСксируСтся автоматичСски, здСсь достаточно ΠΏΡ€ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΈΠ· ΠΏΡ€Π°Π²ΠΈΠ». Π£ΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ всС доступныС ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ сайта Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ.

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 1:

    User-agent: * β€” ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½ΠΈΠΆΠ΅, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ для всСх ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ²

    Disallow: / β€” сайт ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°ΠΊΡ€Ρ‹Ρ‚ для всСх поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²

    Allow: /catalog β€” Ρ€Π°Π·Π΄Π΅Π» Β«ΠšΠ°Ρ‚Π°Π»ΠΎΠ³Β» ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ для всСх ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ²

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 2:

    User-agent: * β€” ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½ΠΈΠΆΠ΅, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ для всСх ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€ΠΎΠ²

    Disallow: / β€” сайт ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°ΠΊΡ€Ρ‹Ρ‚ для всСх поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²

    User-agent: Googlebot β€” ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½Π½Ρ‹Π΅ Π½ΠΈΠΆΠ΅, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Google

    Allow: / β€” сайт ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² Google
  • Sitemap. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Sitemap β€” это ΠΊΠ°Ρ€Ρ‚Π° сайта, которая прСдставляСт собой ΠΏΠΎΠ»Π½ΡƒΡŽ ссылку Π½Π° Ρ„Π°ΠΉΠ» Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ .xml ΠΈ содСрТит ΠΏΠ΅Ρ€Π΅Ρ‡Π΅Π½ΡŒ всСх доступных для сканирования страниц, Π° Ρ‚Π°ΠΊΠΆΠ΅ врСмя ΠΈ частоту ΠΈΡ… обновлСния.

    ΠŸΡ€ΠΈΠΌΠ΅Ρ€:

    Sitemap: https://site.ru/sitemap.xml

Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ robots.txt?


Π‘Π»ΡƒΠΆΠ΅Π±Π½Ρ‹ΠΉ Ρ„Π°ΠΉΠ» robots.txt ΠΌΠΎΠΆΠ½ΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π² тСкстовом Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π΅ Notepad++ ΠΈΠ»ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠΉ Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎΠΉ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ΅. Π’Π΅ΡΡŒ тСкст Π²Π½ΡƒΡ‚Ρ€ΠΈ Ρ„Π°ΠΉΠ»Π° Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ записан Π»Π°Ρ‚ΠΈΠ½ΠΈΡ†Π΅ΠΉ, русскиС названия ΠΌΠΎΠΆΠ½ΠΎ пСрСвСсти с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ любого Punycode-ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚Π΅Ρ€Π°. Для ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° Π²Ρ‹Π±ΠΈΡ€Π°ΠΉΡ‚Π΅ стандарты ASCII ΠΈΠ»ΠΈ UTF-8.


Π§Ρ‚ΠΎΠ±Ρ‹ robots.txt ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ индСксировался поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ, ΠΏΡ€ΠΈ создании Ρ„Π°ΠΉΠ»Π° слСдуйтС Π΄Π°Π½Π½Ρ‹ΠΌ Π½ΠΈΠΆΠ΅ рСкомСндациям:

  • ΠžΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΠΉΡ‚Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π² Π³Ρ€ΡƒΠΏΠΏΡ‹. Π§Ρ‚ΠΎΠ±Ρ‹ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ΠΏΡƒΡ‚Π°Π½ΠΈΡ†Ρ‹ ΠΈ ΡΠΎΠΊΡ€Π°Ρ‚ΠΈΡ‚ΡŒ врСмя индСксации, сгруппируйтС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π±Π»ΠΎΠΊΠ°ΠΌΠΈ для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ поискового Ρ€ΠΎΠ±ΠΎΡ‚Π° ΠΈ Ρ€Π°Π·Π΄Π΅Π»ΠΈΡ‚Π΅ Π±Π»ΠΎΠΊΠΈ пустой строкой. Π’Π°ΠΊ, ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Ρƒ Π½Π΅ придСтся ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вСсь Ρ„Π°ΠΉΠ» Π² поисках Π½ΡƒΠΆΠ½ΠΎΠΉ инструкции, Ρ€ΠΎΠ±ΠΎΡ‚ быстро Π½Π°ΠΉΠ΄Π΅Ρ‚ ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π½ΡƒΡŽ для Π½Π΅Π³ΠΎ строку User-agent ΠΈ, слСдуя Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°ΠΌ, ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹Π΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹ сайта.
  • Π£Ρ‡ΠΈΡ‚Ρ‹Π²Π°ΠΉΡ‚Π΅ рСгистр. ΠŸΡ€ΠΎΠΏΠΈΡΡ‹Π²Π°ΠΉΡ‚Π΅ имя Ρ„Π°ΠΉΠ»Π° строчными Π±ΡƒΠΊΠ²Π°ΠΌΠΈ. Если ЯндСкс ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΠ΅Ρ‚, Ρ‡Ρ‚ΠΎ для Π΅Π³ΠΎ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² рСгистр Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ значСния, Ρ‚ΠΎ Google Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅Ρ‚ ΡΠΎΠ±Π»ΡŽΠ΄Π°Ρ‚ΡŒ рСгистр.
  • НС ΡƒΠΊΠ°Π·Ρ‹Π²Π°ΠΉΡ‚Π΅ нСсколько ΠΏΠ°ΠΏΠΎΠΊ Π² ΠΎΠ΄Π½ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅. НС ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΠΉΡ‚Π΅ Π² ΠΎΠ΄Π½ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ Disallow нСсколько ΠΏΠ°ΠΏΠΎΠΊ/Ρ„Π°ΠΉΠ»ΠΎΠ². Π‘ΠΎΠ·Π΄Π°Π²Π°ΠΉΡ‚Π΅ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ Π½Π° ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Ρ€Π°Π·Π΄Π΅Π» ΠΈ Ρ„Π°ΠΉΠ». Π­Ρ‚ΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ ошибок ΠΏΡ€ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ΅ ΠΈ ускорит процСсс индСксации.
  • Π Π°Π±ΠΎΡ‚Π°ΠΉΡ‚Π΅ с Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ уровнями. Π’ robots.txt Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°Π΄Π°Π²Π°Ρ‚ΡŒ настройки Π½Π° Ρ‚Ρ€Π΅Ρ… уровнях: сайта, страницы, ΠΏΠ°ΠΏΠΊΠΈ. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ эту Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ, Ссли Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ Ρ‡Π°ΡΡ‚ΡŒ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² для поисковиков.
  • УдаляйтС Π½Π΅Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. НСкоторыС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ robots. txt устарСли ΠΈ ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊΡ€Π°ΡƒΠ»Π΅Ρ€Π°ΠΌΠΈ. Π£Π΄Π°Π»ΠΈΡ‚Π΅ ΠΈΡ…, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π½Π΅ Π·Π°ΡΠΎΡ€ΡΡ‚ΡŒ Ρ„Π°ΠΉΠ». На Π΄Π°Π½Π½Ρ‹ΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚ ΡƒΡΡ‚Π°Ρ€Π΅Π²ΡˆΠΈΠΌΠΈ ΡΠ²Π»ΡΡŽΡ‚ΡΡ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Host (Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ сайта), Crawl-Delay (ΠΏΠ°ΡƒΠ·Π° ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΎΠ±Ρ€Π°Ρ‰Π΅Π½ΠΈΠ΅ΠΌ поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ²), Clean-param (ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠ΅ Π΄ΡƒΠ±Π»ΠΈΡ€ΡƒΡŽΡ‰Π΅Π³ΠΎ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°).
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ соотвСтствиС sitemap.xml ΠΈ robots.txt. Π€Π°ΠΉΠ»Ρ‹ sitemap.xml ΠΈ robots.txt Π΄ΠΎΠΏΠΎΠ»Π½ΡΡŽΡ‚ Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Π°. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ информация Π² Π½ΠΈΡ… совпадала, ΠΈ sitemap Π±Ρ‹Π» Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ Π² ΠΎΠ΄Π½ΠΎΠΈΠΌΠ΅Π½Π½ΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ.


ПослС создания robots.txt, ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π΅Π³ΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€ Π½Π΅ ΠΏΡ€Π΅Π²Ρ‹ΡˆΠ°Π» 32 ΠšΠ‘. ΠŸΡ€ΠΈ большом объСмС Ρ„Π°ΠΉΠ»Π°, ΠΎΠ½ Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ Π²ΠΎΡΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒΡΡ поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ ЯндСкс.


РазмСститС robots.txt Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ сайта рядом с основным Ρ„Π°ΠΉΠ»ΠΎΠΌ index.html. Для этого ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ FTP доступ. Если сайт сдСлан Π½Π° CMS, Ρ‚ΠΎ с Ρ„Π°ΠΉΠ»ΠΎΠΌ ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Ρ‡Π΅Ρ€Π΅Π· Π°Π΄ΠΌΠΈΠ½ΠΈΡΡ‚Ρ€Π°Ρ‚ΠΈΠ²Π½ΡƒΡŽ панСль.

Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ»?


Π£Π΄ΠΎΡΡ‚ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒΡΡ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Ρ„Π°ΠΉΠ» составлСн ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ, ΠΌΠΎΠΆΠ½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструмСнтов ЯндСкс. ВСбмастСр ΠΈ Google Robots Testing Tool. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ каТдая систСма провСряСт robots.txt, ΠΎΡΠ½ΠΎΠ²Ρ‹Π²Π°ΡΡΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π° собствСнных критСриях, ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ Π² ΠΎΠ±ΠΎΠΈΡ… сСрвисах.

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° robots.txt Π² ЯндСкс.ВСбмастСр


ΠŸΡ€ΠΈ ΠΏΠ΅Ρ€Π²ΠΎΠΌ запускС ЯндСкс.ВСбмастСр Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π»ΠΈΡ‡Π½Ρ‹ΠΉ ΠΊΠ°Π±ΠΈΠ½Π΅Ρ‚, Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ сайт ΠΈ ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€Π΄ΠΈΡ‚ΡŒ свои ΠΏΡ€Π°Π²Π° Π½Π° Π½Π΅Π³ΠΎ. ПослС этого Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚Π΅ доступ ΠΊ инструмСнтам сСрвиса. Для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΉΡ‚ΠΈ Π² Ρ€Π°Π·Π΄Π΅Π» Β«Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚Ρ‹Β» ΠΏΠΎΠ΄Ρ€Π°Π·Π΄Π΅Π» «Анализ robots.txtΒ» ΠΈ Π·Π°ΠΏΡƒΡΡ‚ΠΈΡ‚ΡŒ тСстированиС. Если Π² Ρ…ΠΎΠ΄Π΅ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ сСрвис ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΡ‚ ошибки, ΠΎΠ½ ΠΏΠΎΠΊΠ°ΠΆΠ΅Ρ‚, ΠΊΠ°ΠΊΠΈΠ΅ строки Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²ΠΊΠΈ, ΠΈ Ρ‡Ρ‚ΠΎ Π½ΡƒΠΆΠ½ΠΎ ΠΈΡΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ.


МнСниС экспСрта

АлСксСй Π“ΡƒΠ±Π΅Ρ€ΠΌΠ°Π½, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ ΠΎΡ‚Π΄Π΅Π»Π° поисковой ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ «Ашманов ΠΈ ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€Ρ‹Β»:


Β«Π’ ΠΏΡƒΠ½ΠΊΡ‚Π΅ «ΠΠ½Π°Π»ΠΈΠ· robots.txt» Π²Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ «ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ» написаниС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² ΠΈ ΠΈΡ… влияниС Π½Π° статус индСксации. Если Π’Ρ‹ ΡΠΎΠΌΠ½Π΅Π²Π°Π΅Ρ‚Π΅ΡΡŒ Π² ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΠΈ написания Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ², Ρ‚ΠΎ ΡƒΠΊΠ°ΠΆΠΈΡ‚Π΅ Π² ΠΏΠΎΠ»Π΅ «Π Π°Π·Ρ€Π΅ΡˆΠ΅Π½Ρ‹ Π»ΠΈ URL?» Π½ΡƒΠΆΠ½Ρ‹Π΅ Π’Π°ΠΌ URL, послС Ρ‡Π΅Π³ΠΎ ВСбмастСр ΠΏΠΎΠΊΠ°ΠΆΠ΅Ρ‚ Π²Π°ΠΌ статус индСксации этих адрСсов ΠΏΡ€ΠΈ ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠΌ robots. txt.Β».

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° robots.txt Π² Google Robots Testing Tool


ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡΡ‚ΡŒ robots.txt Π² Google ΠΌΠΎΠΆΠ½ΠΎ Π² административной ΠΏΠ°Π½Π΅Π»ΠΈ Search Console. ΠŸΡ€ΠΎΡΡ‚ΠΎ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄ΠΈΡ‚Π΅ Π½Π° страницу ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ, ΠΈ систСма автоматичСски протСстируСт Ρ„Π°ΠΉΠ». Если Π½Π° страницС Π²Ρ‹ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅ Π½Π΅Π°ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΡƒΡŽ Π²Π΅Ρ€ΡΠΈΡŽ robots.txt, Π½Π°ΠΆΠΌΠΈΡ‚Π΅ ΠΊΠ½ΠΎΠΏΠΊΡƒ Β«ΠžΡ‚ΠΏΡ€Π°Π²ΠΈΡ‚ΡŒΒ» ΠΈ дСйствуйтС согласно инструкциям поисковой систСмы. Если Google Π½Π°ΠΉΠ΄Π΅Ρ‚ ошибки, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ ΠΈΡ… Π² сСрвисС ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ. Однако ΡƒΡ‡Ρ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎ систСма Π½Π΅ сохраняСт ΠΏΡ€Π°Π²ΠΊΠΈ автоматичСски. Π§Ρ‚ΠΎΠ±Ρ‹ исправлСния Π½Π΅ ΠΏΡ€ΠΎΠΏΠ°Π»ΠΈ, ΠΈΡ… Π½ΡƒΠΆΠ½ΠΎ внСсти Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ Π½Π° хостингС ΠΈΠ»ΠΈ Π² административной ΠΏΠ°Π½Π΅Π»ΠΈ CMS ΠΈ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ.

Π’Ρ‹Π²ΠΎΠ΄Ρ‹

  • Π€Π°ΠΉΠ» robots.txt β€” это слуТСбный Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ создаСтся для ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠΉ индСксации сайта поисковыми Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ. Он Π½Π΅ являСтся ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ элСмСнтом, Π½ΠΎ ΠΎΡ‚ Π΅Π³ΠΎ наличия зависит ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ индСксации страниц ΠΈ ΠΏΠΎΠ·ΠΈΡ†ΠΈΠΈ рСсурса Π² поисковой Π²Ρ‹Π΄Π°Ρ‡Π΅.
  • Π€Π°ΠΉΠ» создаСтся Π² Notepad++ ΠΈΠ»ΠΈ любом Π΄Ρ€ΡƒΠ³ΠΎΠΌ тСкстовом Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π΅. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° robots. txt содСрТит Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹: User-agent, Disallow, Allow ΠΈ Sitemap. Π§Ρ‚ΠΎΠ±Ρ‹ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ³Π»ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ robots.txt, ΠΎΠ½ΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ прописаны ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ.
  • Π—Π°ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Ρ„Π°ΠΉΠ» слСдуСт ΠΏΠΎ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌ, начиная с ΠΊΠΎΠ΄Π° User-agent. Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡ‚ΡŒ Π² Π³Ρ€ΡƒΠΏΠΏΡ‹, отдСляя Π±Π»ΠΎΠΊΠΈ пустой строкой. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Disallow ΠΈ Allow ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΡ€Π΅Ρ‰Π°Ρ‚ΡŒ ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ ΠΈΠ½Π΄Π΅ΠΊΡΠ°Ρ†ΠΈΡŽ страниц, ΠΏΠ°ΠΏΠΎΠΊ ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… Ρ„Π°ΠΉΠ»ΠΎΠ².
  • Π Π°Π·ΠΌΠ΅Ρ€ robots.txt Π½Π΅ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΏΡ€Π΅Π²Ρ‹ΡˆΠ°Ρ‚ΡŒ 32 ΠšΠ‘. Π Π°Π·ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ сайта рядом с основным Ρ„Π°ΠΉΠ»ΠΎΠΌ index.html.
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ robots.txt Π½Π° Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ошибок ΠΌΠΎΠΆΠ½ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ инструмСнтов ЯндСкс.ВСбмастСр ΠΈ Google Robots Testing Tools.

Π‘Ρ‚Π°Ρ‚ΡŒΡ

Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ сайт ΠΎΡ‚ индСксации Π² robots.txt

#SEO, #ЯндСкс, #Google

Π‘Ρ‚Π°Ρ‚ΡŒΡ

КСйс «Горторгснаб» β€” ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ»ΠΈ Π²ΠΈΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ сайта, число запросов ΠΈ Ρ‚Ρ€Π°Ρ„ΠΈΠΊ

#SEO, #ЯндСкс

Π‘Ρ‚Π°Ρ‚ΡŒΡ

ΠšΠΎΠ½Ρ‚Π΅ΠΊΡΡ‚Π½Π°Ρ Ρ€Π΅ΠΊΠ»Π°ΠΌΠ°

#ЯндСкс, #Google


Π‘Ρ‚Π°Ρ‚ΡŒΡŽ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΈΠ»ΠΈ:

ΠŸΡ€ΠΎΠΊΠΎΠΏΡŒΠ΅Π²Π° Ольга. Π Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ ΠΊΠΎΠΏΠΈΡ€Π°ΠΉΡ‚Π΅Ρ€ΠΎΠΌ, Π² свободноС врСмя ΠΏΠΈΡˆΠ΅Ρ‚ ΠΏΡ€ΠΎΠ·Ρƒ ΠΈ стихи. Π‘Π»ΠΈΠΆΠ°ΠΉΡˆΠΈΠ΅ ΠΏΡ€ΠΎΡ„Π΅ΡΡΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ†Π΅Π»ΠΈ — Π΄ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Ρ€ΠΎΠΌΠ°Π½ ΠΈ ΠΈΠ·Π΄Π°Ρ‚ΡŒ ΠΊΠ½ΠΈΠ³Ρƒ.

Β  Β Β 


АлСксСй Π“ΡƒΠ±Π΅Ρ€ΠΌΠ°Π½, Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ ΠΎΡ‚Π΄Π΅Π»Π° поисковой ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ «Ашманов ΠΈ ΠΏΠ°Ρ€Ρ‚Π½Π΅Ρ€Ρ‹Β».

Π’Π΅Π³ΠΈ:
SEO, ЯндСкс, Google

Π€Π°ΠΉΠ» Robots txt — настройка, ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ: ΠΏΡ€ΠΈΠΌΠ΅Ρ€ robots txt Π½Π° сайтС, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹

ВСкстовый Ρ„Π°ΠΉΠ», Π·Π°ΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‰ΠΈΠΉ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ инструкции для поискового Ρ€ΠΎΠ±ΠΎΡ‚Π°, ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ доступ ΠΊ содСрТимому Π½Π° http сСрвСрС, находящийся Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ Π²Π΅Π±-сайта ΠΈ ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΠΉ ΠΏΡƒΡ‚ΡŒ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΈΠΌΠ΅Π½ΠΈ самого сайта (/robots.txt ).

Robots.txt — ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ Ρ„Π°ΠΉΠ» robots.txt

Π€Π°ΠΉΠ» robots.txt позволяСт ΡƒΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ индСксациСй вашСго сайта. Π—Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ Ρ€Π°Π·Π΄Π΅Π» ΠΌΠΎΠΆΠ½ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²ΠΎΠΉ disallow, ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΡŒ — allow. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° ΠΈ Π°Π½Π°Π»ΠΈΠ· robots.txt.

Π’Ρ‹Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π² xls, Ρ„Π°ΠΉΠ», индСксация, сайт, Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°, яндСкс, настройка, Π·Π°ΠΏΡ€Π΅Ρ‚, ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ°, ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΎΡ€, Π°Π½Π°Π»ΠΈΠ·, страница, ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ, Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ, ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ, Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ, ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Π·Π°Π΄Π°Ρ‚ΡŒ, Π·Π°ΠΏΡ€Π΅Ρ‚ΠΈΡ‚ΡŒ, ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ, robots, txt, host, Π·Π°ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ, Π³Π΄Π΅, disallow

Robots. txt β€” тСкстовый Ρ„Π°ΠΉΠ», содСрТащий инструкции для поисковых Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², ΠΊΠ°ΠΊ Π½ΡƒΠΆΠ½ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сайт.

ΠŸΠΎΡ‡Π΅ΠΌΡƒ Π²Π°ΠΆΠ½ΠΎ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt для сайта

Π’ 2011 Π³ΠΎΠ΄Ρƒ ΡΠ»ΡƒΡ‡ΠΈΠ»ΠΎΡΡŒ сразу нСсколько Π³Ρ€ΠΎΠΌΠΊΠΈΡ… скандалов, связанных с Π½Π°Ρ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ Π² поискС ЯндСкса Π½Π΅ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ.

Π‘Π½Π°Ρ‡Π°Π»Π° Π² Π²Ρ‹Π΄Π°Ρ‡Π΅ ЯндСкса оказалось Π±ΠΎΠ»Π΅Π΅ 8 тысяч SMS-сообщСний, ΠΎΡ‚ΠΏΡ€Π°Π²Π»Π΅Π½Π½Ρ‹Ρ… ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡΠΌΠΈ Ρ‡Π΅Ρ€Π΅Π· сайт ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ «МСгаЀон». Π’ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π»ΠΈΡΡŒ тСксты сообщСний ΠΈ Ρ‚Π΅Π»Π΅Ρ„ΠΎΠ½Π½Ρ‹Π΅ Π½ΠΎΠΌΠ΅Ρ€Π°, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΎΠ½ΠΈ Π±Ρ‹Π»ΠΈ ΠΎΡ‚ΠΏΡ€Π°Π²Π»Π΅Π½Ρ‹.

Π—Π°ΠΌΠ΅ΡΡ‚ΠΈΡ‚Π΅Π»ΡŒ Π³Π΅Π½Π΅Ρ€Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€Π° «МСгаЀона» Π’Π°Π»Π΅Ρ€ΠΈΠΉ Π•Ρ€ΠΌΠ°ΠΊΠΎΠ² заявил, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ ΠΏΡƒΠ±Π»ΠΈΡ‡Π½ΠΎΠ³ΠΎ доступа ΠΊ Π΄Π°Π½Π½Ρ‹ΠΌ ΠΌΠΎΠ³Π»ΠΎ ΡΡ‚Π°Ρ‚ΡŒ Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ Ρƒ ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ² «ЯндСкс.Π‘Π°Ρ€Π°Β», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ считывал ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΈ отправлял поисковому Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ ЯндСкса.

Π£ ЯндСкса Π±Ρ‹Π»ΠΎ Π΄Ρ€ΡƒΠ³ΠΎΠ΅ объяснСниС:

Β«Π•Ρ‰Π΅ Ρ€Π°Π· ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€Π΄ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ страницы с SMS с сайта МСгаЀона Π±Ρ‹Π»ΠΈ ΠΏΡƒΠ±Π»ΠΈΡ‡Π½ΠΎ доступны всСм поисковым систСмам… ΠžΡ‚Π²Π΅Ρ‚ΡΡ‚Π²Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π·Π° Ρ€Π°Π·ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠ΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ Π² ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΠΎΠΌ доступС Π»Π΅ΠΆΠΈΡ‚ Π½Π° Ρ‚ΠΎΠΌ, ΠΊΡ‚ΠΎ Π΅Ρ‘ размСстил ΠΈΠ»ΠΈ Π½Π΅ Π·Π°Ρ‰ΠΈΡ‚ΠΈΠ» Π΄ΠΎΠ»ΠΆΠ½Ρ‹ΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. ..


Особо Ρ…ΠΎΡ‚ΠΈΠΌ ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ Π½ΠΈΠΊΠ°ΠΊΠΈΠ΅ сСрвисы ЯндСкса Π½Π΅ Π²ΠΈΠ½ΠΎΠ²Π°Ρ‚Ρ‹ Π² ΡƒΡ‚Π΅Ρ‡ΠΊΠ΅ Π΄Π°Π½Π½Ρ‹Ρ… с сайта МСгаЀона. Ни ЯндСкс.Π‘Π°Ρ€, Π½ΠΈ ЯндСкс.ΠœΠ΅Ρ‚Ρ€ΠΈΠΊΠ° Π½Π΅ ΡΠΊΠ°Ρ‡ΠΈΠ²Π°ΡŽΡ‚ содСрТимоС Π²Π΅Π±-страниц. Если страница Π·Π°ΠΊΡ€Ρ‹Ρ‚Π° для индСксации Π² Ρ„Π°ΠΉΠ»Π΅ robots.txt ΠΈΠ»ΠΈ Π·Π°Ρ‰ΠΈΡ‰Π΅Π½Π° Π»ΠΎΠ³ΠΈΠ½ΠΎΠΌ ΠΈ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΌ, Ρ‚ΠΎ ΠΎΠ½Π° нСдоступна ΠΈ поисковым Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ информация, размСщСнная Π½Π° Π½Π΅ΠΉ, Π½ΠΈΠΊΠΎΠ³Π΄Π° Π½Π΅ окаТСтся Π² ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ поисковой систСмС».

ВскорС послС этого ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ нашли Π² ЯндСксС нСсколько тысяч страниц со статусами Π·Π°ΠΊΠ°Π·ΠΎΠ² Π² ΠΎΠ½Π»Π°ΠΉΠ½-ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°Ρ… ΠΊΠ½ΠΈΠ³, ΠΈΠ³Ρ€, сСкс-Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ² ΠΈ Ρ‚.Π΄. По ссылкам с Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² поиска ΠΌΠΎΠΆΠ½ΠΎ Π±Ρ‹Π»ΠΎ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ ЀИО, адрСс ΠΈ ΠΊΠΎΠ½Ρ‚Π°ΠΊΡ‚Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π° ΠΌΠ°Π³Π°Π·ΠΈΠ½Π°, IP-адрСс, Π½Π°ΠΈΠΌΠ΅Π½ΠΎΠ²Π°Π½ΠΈΠ΅ Π΅Π³ΠΎ ΠΏΠΎΠΊΡƒΠΏΠΊΠΈ, Π΄Π°Ρ‚Ρƒ ΠΈ врСмя Π·Π°ΠΊΠ°Π·Π°. И снова ΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ ΡƒΡ‚Π΅Ρ‡ΠΊΠΈ стал Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ составлСнный (ΠΈΠ»ΠΈ Π²ΠΎΠΎΠ±Ρ‰Π΅ ΠΎΡ‚ΡΡƒΡ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΉ) Ρ„Π°ΠΉΠ» robots.txt.

Π§Ρ‚ΠΎΠ±Ρ‹ Π½Π΅ ΠΎΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ Π² ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Ρ… ситуациях, Π»ΡƒΡ‡ΡˆΠ΅ Π·Π°Ρ€Π°Π½Π΅Π΅ ΡΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ robots.txt Ρ„Π°ΠΉΠ» для сайта. Как ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ robots. txt Π² соотвСтствии с рСкомСндациями поисковых систСм, расскаТСм Π½ΠΈΠΆΠ΅.

Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ robots.txt для сайта

Настройка robots.txt начинаСтся с создания тСкстового Ρ„Π°ΠΉΠ»Π° с ΠΈΠΌΠ΅Π½Π΅ΠΌ Β«robots.txtΒ». ПослС заполнСния этот Ρ„Π°ΠΉΠ» Π½ΡƒΠΆΠ½ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΌ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅ сайта, поэтому Π»ΡƒΡ‡ΡˆΠ΅ Π·Π°Ρ€Π°Π½Π΅Π΅ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, Π΅ΡΡ‚ΡŒ Π»ΠΈ ΠΊ Π½Π΅ΠΌΡƒ доступ.

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ robots.txt

Π’ ΠΏΡ€ΠΎΡΡ‚Π΅ΠΉΡˆΠ΅ΠΌ Ρ„Π°ΠΉΠ»Π΅ robots.txt ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹:

  • User-agent

  • Disallow

  • Allow

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° User-agent

Π—Π΄Π΅ΡΡŒ ΡƒΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ΡΡ Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹ΠΌ инструкциям. НапримСр, User-agent: Yandex ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ Π±ΡƒΠ΄ΡƒΡ‚ Ρ€Π°ΡΠΏΡ€ΠΎΡΡ‚Ρ€Π°Π½ΡΡ‚ΡŒΡΡ Π½Π° всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² ЯндСкса. User-agent: YandexBot – Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π° основного ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‰Π΅Π³ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚Π°. Если Π² Π΄Π°Π½Π½ΠΎΠΌ ΠΏΡƒΠ½ΠΊΡ‚Π΅ ΠΌΡ‹ поставим *, ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ Ρ€Π°ΡΠΏΡ€ΠΎΡΡ‚Ρ€Π°Π½ΡΡ‚ΡŒΡΡ Π½Π° всСх Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ².

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Disallow

Π­Ρ‚Π° ΠΊΠΎΠΌΠ°Π½Π΄Π° сообщаСт Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ user-agent, ΠΊΠ°ΠΊΠΈΠ΅ URL Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. ΠŸΡ€ΠΈ составлСнии Ρ„Π°ΠΉΠ»Π° robots.txt Π²Π°ΠΆΠ½ΠΎ ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ эта Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚ΡŒΡΡ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΊ Ρ‚Π΅ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±Ρ‹Π»ΠΈ ΠΏΠ΅Ρ€Π΅Π΄ этим ΡƒΠΊΠ°Π·Π°Π½Ρ‹ Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π΅ user-agent. Если ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°ΡŽΡ‚ΡΡ Ρ€Π°Π·Π½Ρ‹Π΅ Π·Π°ΠΏΡ€Π΅Ρ‚Ρ‹ для Ρ€Π°Π·Π½Ρ‹Ρ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ², Ρ‚ΠΎ Π² Ρ„Π°ΠΉΠ»Π΅ Π½ΡƒΠΆΠ½ΠΎ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Ρ€ΠΎΠ±ΠΎΡ‚Π° ΠΈ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ disallow для Π½Π΅Π³ΠΎ.

Как Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ части сайта с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Disallow:

  • Если Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ сканирования вСсь сайт, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠΎΡΡƒΡŽ Ρ‡Π΅Ρ€Ρ‚Ρƒ (/): Disallow: /

  • Если Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΎΡ‚ сканирования ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ со всСм Π΅Π³ΠΎ содСрТимым, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ввСсти Π΅Π³ΠΎ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΈ ΠΊΠΎΡΡƒΡŽ Ρ‡Π΅Ρ€Ρ‚Ρƒ Π² ΠΊΠΎΠ½Ρ†Π΅: Disallow: /events/

  • Если Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ страницу, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ страницы послС косой Ρ‡Π΅Ρ€Ρ‚Ρ‹: Disallow: /file.html

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Allow

Π Π°Π·Ρ€Π΅ΡˆΠ°Π΅Ρ‚ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сайт ΠΈΠ»ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ URL.

Π’ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π½ΠΈΠΆΠ΅ robots.txt Π·Π°ΠΏΡ€Π΅Ρ‰Π°Π΅Ρ‚ Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ ЯндСкса ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вСсь сайт Π·Π° ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ страниц, Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΡ…ΡΡ с Β«eventsΒ»:

User-agent: Yandex

Allow: /events

Disallow: /

БпСцсимволы Π² Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π°Ρ…

Для Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ² Allow ΠΈ Disallow ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ спСцсимволы Β«*Β» ΠΈ Β«$Β».

  • Π—Π²Π΅Π·Π΄ΠΎΡ‡ΠΊΠ° (*) ΠΏΠΎΠ΄Ρ€Π°Π·ΡƒΠΌΠ΅Π²Π°Π΅Ρ‚ собой Π»ΡŽΠ±ΡƒΡŽ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ символов. НапримСр, Ссли Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ, Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‰ΠΈΠ΅ΡΡ с ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… символов: Disallow: /example*/

  • По ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ символ * ставится Π² ΠΊΠΎΠ½Ρ†Π΅ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ строки. Если Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΠΎΠ½Ρ‡ΠΈΡ‚ΡŒ строку ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΌ символом, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ спСцсимвол $. НапримСр, Ссли Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ URL, Π·Π°ΠΊΠ°Π½Ρ‡ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ΡΡ Π½Π° doc: Disallow: /*.doc$

  • БпСцсимвол # ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для написания ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² ΠΈ Π½Π΅ учитываСтся Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌΠΈ.

Π”ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ robots.txt

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host Π² robots.txt ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Ρ€ΠΎΠ±ΠΎΡ‚Ρƒ Π½Π° Π³Π»Π°Π²Π½ΠΎΠ΅ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ сайта.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€:

https://www.glavnoye-zerkalo.ru являСтся Π³Π»Π°Π²Π½Ρ‹ΠΌ Π·Π΅Ρ€ΠΊΠ°Π»ΠΎΠΌ сайта, ΠΈ для всСх сайтов ΠΈΠ· Π³Ρ€ΡƒΠΏΠΏΡ‹ Π·Π΅Ρ€ΠΊΠ°Π» Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΎΠΏΠΈΡΠ°Ρ‚ΡŒ Π² robots.txt:

User-Agent: *

Disallow: /forum

Disallow: /cgi-bin

Host: https://www.glavnoye-zerkalo.ru

ΠŸΡ€Π°Π²ΠΈΠ»Π° использования Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ Host:

  • Π’ Ρ„Π°ΠΉΠ»Π΅ robots.txt ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄Π½Π° Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host. Π ΠΎΠ±ΠΎΡ‚ всСгда ориСнтируСтся Π½Π° ΠΏΠ΅Ρ€Π²ΡƒΡŽ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρƒ, Π΄Π°ΠΆΠ΅ Ссли ΠΈΡ… ΡƒΠΊΠ°Π·Π°Π½ΠΎ нСсколько.

  • Если Π·Π΅Ρ€ΠΊΠ°Π»ΠΎ доступно ΠΏΠΎ Π·Π°Ρ‰ΠΈΡ‰Π΅Π½Π½ΠΎΠΌΡƒ ΠΊΠ°Π½Π°Π»Ρƒ, Π½ΡƒΠΆΠ½ΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ» HTTPS,

  • Π”ΠΎΠ»ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ ΡƒΠΊΠ°Π·Π°Π½ΠΎ ΠΎΠ΄Π½ΠΎ Π΄ΠΎΠΌΠ΅Π½Π½ΠΎΠ΅ имя ΠΈ Π½ΠΎΠΌΠ΅Ρ€ ΠΏΠΎΡ€Ρ‚Π° Π² случаС нСобходимости.

Если Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Host прописана Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ, Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Π΅Π΅ ΠΏΡ€ΠΎΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚.

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Crawl-delay

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Crawl-delay Π·Π°Π΄Π°Π΅Ρ‚ для Ρ€ΠΎΠ±ΠΎΡ‚Π° ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΠΊ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ ΠΎΠ½ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π·Π°Π³Ρ€ΡƒΠΆΠ°Ρ‚ΡŒ страницы. ΠŸΡ€ΠΈΠ³ΠΎΠ΄ΠΈΡ‚ΡΡ Π² случаС сильной Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Π½Π° сСрвСр.

НапримСр, Ссли Π½ΡƒΠΆΠ½ΠΎ Π·Π°Π΄Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΠΊ Π² 3 сСкунды ΠΌΠ΅ΠΆΠ΄Ρƒ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΎΠΉ страниц:

User-agent: *

Disallow: /search

Crawl-delay: 3

Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° Clean-param

ΠŸΡ€ΠΈΠ³ΠΎΠ΄ΠΈΡ‚ΡΡ для сайтов, страницы ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… содСрТат динамичСскиС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Π²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΈΡ… содСрТимоС (Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€Ρ‹ сСссий). Π”ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Π° позволяСт Ρ€ΠΎΠ±ΠΎΡ‚Π°ΠΌ Π½Π΅ ΠΏΠ΅Ρ€Π΅Π·Π°Π³Ρ€ΡƒΠΆΠ°Ρ‚ΡŒ Π΄ΡƒΠ±Π»ΠΈΡ€ΡƒΡŽΡ‰ΡƒΡŽΡΡ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Ρ‡Ρ‚ΠΎ ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ сказываСтся Π½Π° Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ΅ Π½Π° сСрвСр.

ИспользованиС ΠΊΠΈΡ€ΠΈΠ»Π»ΠΈΡ†Ρ‹

ΠŸΡ€ΠΈ составлСнии Ρ„Π°ΠΉΠ»Π° robots.txt нСльзя ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ кирилличСскиС символы. ДопускаСтся использованиС Punycode для Π΄ΠΎΠΌΠ΅Π½ΠΎΠ².

Как ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ robots.txt

Для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° robots. txt ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ЯндСкс.ВСбмастСр (Анализ robots.txt) ΠΈΠ»ΠΈ Google Search Console (Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ„Π°ΠΉΠ»Π° Robots.txt).

Как Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π½Π° сайт

Как Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ„Π°ΠΉΠ» robots.txt написан ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€Π΅Π½, Π΅Π³ΠΎ Π½ΡƒΠΆΠ½ΠΎ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π² Π²ΠΈΠ΄Π΅ тСкстового Ρ„Π°ΠΉΠ»Π° с Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ robots.txt ΠΈ Π·Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π² ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ Π²Π΅Ρ€Ρ…Π½Π΅Π³ΠΎ уровня сайта ΠΈΠ»ΠΈ Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΉ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³.

Π’Π΅Π±-парсСр robots.txt с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ Google Код

Изюминка: Π½Π΅Π΄Π°Π²Π½ΠΎ я ΠΈΠ³Ρ€Π°Π» с ΠΈΠ³Ρ€ΡƒΡˆΠ΅Ρ‡Π½Ρ‹ΠΌ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠΌ ΠΈ Ρ€Π°Π·Π²Π΅Ρ€Π½ΡƒΠ» Π΅Π³ΠΎ ΠΊΠ°ΠΊ бСсплатный Π²Π΅Π±-инструмСнт для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Google Π±ΡƒΠ΄Π΅Ρ‚ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²Π°ΡˆΠΈΡ… Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ². txt, учитывая, Ρ‡Ρ‚ΠΎ ΠΈΡ… собствСнный ΠΎΠ½Π»Π°ΠΉΠ½-инструмСнт Π½Π΅ воспроизводит Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Ρ€ΠΎΠ±ΠΎΡ‚Π° Googlebot. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ это Π½Π° realrobotstxt.com.

Π“ΠΎΡ‚ΠΎΠ²ΡΡΡŒ ΠΊ ΠΌΠΎΠ΅ΠΉ Π½Π΅Π΄Π°Π²Π½Π΅ΠΉ ΠΏΡ€Π΅Π·Π΅Π½Ρ‚Π°Ρ†ΠΈΠΈ Π² SearchLove London, я Π±Ρ‹Π» слСгка ΠΎΠ΄Π΅Ρ€ΠΆΠΈΠΌ Ρ‚Π΅ΠΌ, Ρ‡Ρ‚ΠΎ Ρ‡Π΅ΠΌ Π³Π»ΡƒΠ±ΠΆΠ΅ я копался Π² Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ Ρ„Π°ΠΉΠ»Ρ‹ robots.txt, Ρ‚Π΅ΠΌ большС ΡƒΠ΄ΠΈΠ²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Π²Π΅Ρ‰Π΅ΠΉ я Π½Π°Ρ…ΠΎΠ΄ΠΈΠ» ΠΈ Ρ‚Π΅ΠΌ большС я Π½Π°Ρ…ΠΎΠ΄ΠΈΠ» мСст, Π³Π΄Π΅ противорСчивая информация ΠΈΠ· Ρ€Π°Π·Π½Ρ‹Ρ… источников. ΠŸΠ°Ρ€ΡΠ΅Ρ€ Google robots.txt с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Π» всС ΡƒΠΏΡ€ΠΎΡΡ‚ΠΈΡ‚ΡŒ, Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ соотвСтствуя ΠΈΡ… Π½Π΅Π΄Π°Π²Π½ΠΎ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΌΡƒ Ρ‡Π΅Ρ€Π½ΠΎΠ²ΠΎΠΌΡƒ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρƒ спСцификации, Π½ΠΎ ΠΈ, ΠΏΠΎ-Π²ΠΈΠ΄ΠΈΠΌΠΎΠΌΡƒ, являясь Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ производствСнным ΠΊΠΎΠ΄ΠΎΠΌ Google.

Π”Π²Π΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ Π·Π°Π²Π΅Π»ΠΈ мСня дальшС Π² ΠΊΡ€ΠΎΠ»ΠΈΡ‡ΡŒΡŽ Π½ΠΎΡ€Ρƒ, Ρ‡Ρ‚ΠΎ Π² ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠΌ ΠΈΡ‚ΠΎΠ³Π΅ ΠΏΡ€ΠΈΠ²Π΅Π»ΠΎ ΠΊ созданию Π²Π΅Π±-инструмСнта:

  1. Π­Ρ‚ΠΎ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ C++, поэтому Π΅Π³ΠΎ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΊΠΎΠΌΠΏΠΈΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚ хотя Π±Ρ‹ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π½Π°Π²Ρ‹ΠΊΠΎΠ² программирования/администрирования ΠΊΠΎΠ΄Π°, поэтому я Π½Π΅ чувствовал, Ρ‡Ρ‚ΠΎ это Π±Ρ‹Π»ΠΎ особСнно доступно для Π±ΠΎΠ»Π΅Π΅ ΡˆΠΈΡ€ΠΎΠΊΠΎΠ³ΠΎ поискового сообщСства
  2. Когда я скомпилировал Π΅Π³ΠΎ ΠΈ поэкспСримСнтировал с Π½ΠΈΠΌ, я ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ», Ρ‡Ρ‚ΠΎ Π² Π½Π΅ΠΌ ΠΎΡ‚ΡΡƒΡ‚ΡΡ‚Π²ΡƒΡŽΡ‚ Π²Π°ΠΆΠ½Ρ‹Π΅ спСцифичСскиС для Google Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠ΅ Π½Π°ΠΌ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ, ΠΊΠ°ΠΊ поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Google, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ изобраТСния ΠΈ Π²ΠΈΠ΄Π΅ΠΎ, Π±ΡƒΠ΄ΡƒΡ‚ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ»Ρ‹ robots.txt

Π§Π΅ΠΌ этот инструмСнт отличаСтся ΠΎΡ‚ Π΄Ρ€ΡƒΠ³ΠΈΡ… рСсурсов

Помимо Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ прСдставляСт собой Π²Π΅Π±-инструмСнт, Π° Π½Π΅ Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚ компиляции для локального запуска, ΠΌΠΎΠΉ инструмСнт realrobotstxt. com Π΄ΠΎΠ»ΠΆΠ΅Π½ Π½Π° 100Β % ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Ρƒ спСцификации, ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΌΡƒ Google, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΎΠ½ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ основан Π½Π° ΠΈΡ… инструмСнтС с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ, Π·Π° ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ Π΄Π²ΡƒΡ… ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ я внСс, Ρ‡Ρ‚ΠΎΠ±Ρ‹ привСсти Π΅Π³ΠΎ Π² соотвСтствиС с ΠΌΠΎΠΈΠΌ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ΠΌ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ настоящиС поисковыС Ρ€ΠΎΠ±ΠΎΡ‚Ρ‹ Google:

  1. Googlebot-image, Googlebot-video ΠΈ Googlebot-news(*) всС Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π²Π΅Ρ€Π½ΡƒΡ‚ΡŒΡΡ ΠΊ ΠΏΠΎΠ΄Ρ‡ΠΈΠ½Π΅Π½ΠΈΡŽ Googlebot Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹, Ссли Π½Π΅Ρ‚ Π½Π°Π±ΠΎΡ€ΠΎΠ² ΠΏΡ€Π°Π²ΠΈΠ» ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎ Π½Π°Ρ†Π΅Π»Π΅Π½Ρ‹ Π½Π° ΠΈΡ… собствСнныС ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠ΅ Π°Π³Π΅Π½Ρ‚Ρ‹ – ΠΌΡ‹ ΡƒΠ±Π΅Π΄ΠΈΠ»ΠΈΡΡŒ, Ρ‡Ρ‚ΠΎ это, ΠΏΠΎ ΠΊΡ€Π°ΠΉΠ½Π΅ΠΉ ΠΌΠ΅Ρ€Π΅, Ρ‚ΠΎ, ΠΊΠ°ΠΊ Π±ΠΎΡ‚ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Π²Π΅Π΄Π΅Ρ‚ сСбя Π² Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΌ ΠΌΠΈΡ€Π΅
  2. Π£ Google Π΅ΡΡ‚ΡŒ ряд Π±ΠΎΡ‚ΠΎΠ² (AdsBot-Google, AdsBot-Google-Mobile ΠΈ Π±ΠΎΡ‚ AdSense, Mediapartners-Google), ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅, ΠΏΠΎ-Π²ΠΈΠ΄ΠΈΠΌΠΎΠΌΡƒ, ΠΈΠ³Π½ΠΎΡ€ΠΈΡ€ΡƒΡŽΡ‚ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹ User-agent: * ΠΈ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠΎΠ΄Ρ‡ΠΈΠ½ΡΡŽΡ‚ΡΡ Π½Π°Π±ΠΎΡ€Π°ΠΌ ΠΏΡ€Π°Π²ΠΈΠ», ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎ ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π½Ρ‹ΠΌ для ΠΈΡ… ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ. Π°Π³Π΅Π½Ρ‚Ρ‹

[(*) ΠŸΡ€ΠΈΠΌΠ΅Ρ‡Π°Π½ΠΈΠ΅: Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΡ ΠΊ настройкам, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ я сдСлал, Π½ΠΎ ΠΈΠΌΠ΅Π΅Ρ‚ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ я упомянул Googlebot-news, ΠΎΡ‡Π΅Π½ΡŒ ΠΌΠ°Π»ΠΎ извСстно, Ρ‡Ρ‚ΠΎ Googlebot-news Π½Π΅ являСтся поисковым Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ ΠΈ Π½Π΅ Π±Ρ‹Π» ΠΈΠΌ с 2011 Π³ΠΎΠ΄Π°, ΠΏΠΎ всСй видимости. Если Π²Ρ‹ этого Π½Π΅ Π·Π½Π°Π»ΠΈ, Π½Π΅ ΠΏΠ΅Ρ€Π΅ΠΆΠΈΠ²Π°ΠΉΡ‚Π΅ β€” Π²Ρ‹ Π½Π΅ ΠΎΠ΄ΠΈΠ½ΠΎΠΊΠΈ. Π― ΡƒΠ·Π½Π°Π» ΠΎΠ± этом Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π΅Π΄Π°Π²Π½ΠΎ, ΠΈ довольно слоТно ΠΎΡ‚Π»ΠΈΡ‡ΠΈΡ‚ΡŒ Π΅Π³ΠΎ ΠΎΡ‚ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΠΈ, которая рСгулярно Π½Π°Π·Ρ‹Π²Π°Π΅Ρ‚ Π΅Π³ΠΎ поисковым Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ. ЕдинствСнная Ρ€Π΅Π°Π»ΡŒΠ½Π°Ρ ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Π°Ρ ссылка, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ я ΠΌΠΎΠ³Ρƒ Π½Π°ΠΉΡ‚ΠΈ, — это сообщСниС Π² Π±Π»ΠΎΠ³Π΅, ΠΎΠ±ΡŠΡΠ²Π»ΡΡŽΡ‰Π΅Π΅ ΠΎ Π΅Π³ΠΎ Π²Ρ‹Ρ…ΠΎΠ΄Π΅ ΠΈΠ· эксплуатации. Π― имСю Π² Π²ΠΈΠ΄Ρƒ, Ρ‡Ρ‚ΠΎ для мСня это ΠΈΠΌΠ΅Π΅Ρ‚ смысл, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ Ρ€Π°Π·Π½Ρ‹Ρ… сканСров для Π²Π΅Π±-поиска ΠΈ поиска новостСй ΠΎΡ‚ΠΊΡ€Ρ‹Π²Π°Π΅Ρ‚ опасныС возмоТности маскировки, Π½ΠΎ ΠΏΠΎΡ‡Π΅ΠΌΡƒ Ρ‚ΠΎΠ³Π΄Π° Π² Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΠΈ ΠΎΠ½ упоминаСтся ΠΊΠ°ΠΊ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΠΉ Π°Π³Π΅Π½Ρ‚ сканСра? Π­Ρ‚ΠΎ каТСтся , хотя я Π½Π΅ смог ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ это Π² Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈ, ΠΊΠ°ΠΊ Π±ΡƒΠ΄Ρ‚ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»Π°, нСпосрСдствСнно Π½Π°Ρ†Π΅Π»Π΅Π½Π½Ρ‹Π΅ Π½Π° Googlebot-news, Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΡŽΡ‚ ΠΊΠ°ΠΊ noindex для Google News. Π­Ρ‚ΠΎ ΠΎΡ‡Π΅Π½ΡŒ сбиваСт с Ρ‚ΠΎΠ»ΠΊΡƒ, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ обычная Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠ° Googlebot , Π° Π½Π΅ ΡƒΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ URL-адрСса Π²Π½Π΅ Π²Π΅Π±-индСкса, Π½ΠΎ Π²ΠΎΡ‚ Ρ‚Π°ΠΊ.]

Π― оТидаю скорого прСкращСния ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ срСдства ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ robots.txt Π² Search Console

ΠœΡ‹ наблюдаСм постСпСнный ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ старыС Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Search Console, ΠΈ я оТидаю, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ° ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ robots. txt скоро Π±ΡƒΠ΄Π΅Ρ‚ ΡƒΠ΄Π°Π»Π΅Π½Π°. Π‘ΠΎΡ‚Ρ€ΡƒΠ΄Π½ΠΈΠΊΠΈ Google Π½Π΅Π΄Π°Π²Π½ΠΎ Π³ΠΎΠ²ΠΎΡ€ΠΈΠ»ΠΈ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ΠΈ Π½Π΅ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‚ Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ ΠΈΡ… настоящиС сканСры, ΠΈ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ различия Π² нашСм собствСнном тСстировании:

Π­Ρ‚ΠΈ случаи, каТСтся, ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ синтаксичСским Π°Π½Π°Π»ΠΈΠ·Π°Ρ‚ΠΎΡ€ΠΎΠΌ с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ β€” Π²ΠΎΡ‚ ΠΌΠΎΠΉ Π²Π΅Π±-инструмСнт ΠΏΠΎ Ρ‚ΠΎΡ‡Π½ΠΎ Ρ‚Π°ΠΊΠΎΠΌΡƒ ΠΆΠ΅ ΡΡ†Π΅Π½Π°Ρ€ΠΈΡŽ:

Π­Ρ‚ΠΎ показалось ΠΌΠ½Π΅ Π΅Ρ‰Π΅ ΠΎΠ΄Π½ΠΎΠΉ ΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ для выпуска ΠΌΠΎΠ΅ΠΉ Π²Π΅Π±-вСрсии, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ СдинствСнный ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΉ Π²Π΅Π±-инструмСнт, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Ρƒ нас Π΅ΡΡ‚ΡŒ, устарСл ΠΈ, вСроятно, исчСзнСт. ΠšΡ‚ΠΎ Π·Π½Π°Π΅Ρ‚, выпустит Π»ΠΈ Google ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½Π½ΡƒΡŽ Π²Π΅Ρ€ΡΠΈΡŽ Π½Π° основС своСго парсСра с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ, Π½ΠΎ ΠΏΠΎΠΊΠ° этого Π½Π΅ ΠΏΡ€ΠΎΠΈΠ·ΠΎΠΉΠ΄Π΅Ρ‚, ΠΌΠΎΠΉ инструмСнт ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌ для Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… людСй.

Π― Π±Ρ‹ Ρ…ΠΎΡ‚Π΅Π», Ρ‡Ρ‚ΠΎΠ±Ρ‹ докумСнтация обновлялась

К соТалСнию, хотя я ΠΌΠΎΠ³Ρƒ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ запрос Π½Π° Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ исходного ΠΊΠΎΠ΄Π°, я Π½Π΅ ΠΌΠΎΠ³Ρƒ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ‚ΠΎ ΠΆΠ΅ самоС с Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΠ΅ΠΉ Google. НСсмотря Π½Π° заявлСния Google ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ старая ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ° ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Search Console Π½Π΅ синхронизирована с Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠΌ Googlebot, ΠΈ, ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, Π΅ΠΉ Π½Π΅ слСдуСт Π΄ΠΎΠ²Π΅Ρ€ΡΡ‚ΡŒ ΠΊΠ°ΠΊ Π°Π²Ρ‚ΠΎΡ€ΠΈΡ‚Π΅Ρ‚Π½ΠΎΠΌΡƒ ΠΎΡ‚Π²Π΅Ρ‚Ρƒ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ Google Π±ΡƒΠ΄Π΅Ρ‚ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots. txt, ссылки Π½Π° Π½Π΅Π΅ ΠΏΠΎ-ΠΏΡ€Π΅ΠΆΠ½Π΅ΠΌΡƒ ΡˆΠΈΡ€ΠΎΠΊΠΎ распространСны Π² Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΠΈ. :

  • Π’Π²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² robots.txt
  • Π˜Π·Π±Π΅Π³Π°ΠΉΡ‚Π΅ распространСнных ошибок
  • Π‘ΠΎΠ·Π΄Π°ΠΉΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅ Ρ„Π°ΠΉΠ» robots.txt с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ тСстСра robots.txt
  • ΠžΡ‚ΠΏΡ€Π°Π²ΡŒΡ‚Π΅ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½Π½Ρ‹ΠΉ robots.txt Π² Google
  • ΠžΡ‚Π»Π°Π΄ΠΊΠ° Π²Π°ΡˆΠΈΡ… страниц

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, хотя Π²ΠΏΠΎΠ»Π½Π΅ СстСствСнно, Ρ‡Ρ‚ΠΎ старыС сообщСния Π² Π±Π»ΠΎΠ³Π°Ρ… ΠΌΠΎΠ³ΡƒΡ‚ Π½Π΅ ΠΎΠ±Π½ΠΎΠ²Π»ΡΡ‚ΡŒΡΡ Π½ΠΎΠ²ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠ΅ΠΉ, ΠΎΠ½ΠΈ ΠΏΠΎ-ΠΏΡ€Π΅ΠΆΠ½Π΅ΠΌΡƒ Π·Π°Π½ΠΈΠΌΠ°ΡŽΡ‚ Π²ΠΈΠ΄Π½ΠΎΠ΅ мСсто Π² Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… связанных поисковых запросах:

  • Новая функция robots.txt ΠΈ ΠΌΠ΅Ρ‚Π°Ρ‚Π΅Π³ΠΈ REP
  • ВСстированиС Ρ„Π°ΠΉΠ»ΠΎΠ² robots.txt стало ΠΏΡ€ΠΎΡ‰Π΅

ΠšΡ‚ΠΎ Π·Π½Π°Π΅Ρ‚. ΠœΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ, ΠΎΠ½ΠΈ обновят Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹ со ссылками Π½Π° ΠΌΠΎΠΉ инструмСнт πŸ˜‰

Π”Π°ΠΉΡ‚Π΅ ΠΌΠ½Π΅ Π·Π½Π°Ρ‚ΡŒ, Ссли это Π±ΡƒΠ΄Π΅Ρ‚ Π²Π°ΠΌ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ

Π’ любом случаС. Π― надСюсь, Ρ‡Ρ‚ΠΎ Π²Ρ‹ Π½Π°ΠΉΠ΄Π΅Ρ‚Π΅ ΠΌΠΎΠΉ инструмСнт ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌ β€” ΠΌΠ½Π΅ ΠΏΠΎΠ½Ρ€Π°Π²ΠΈΠ»ΠΎΡΡŒ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎΠΊΠΎΠ²Ρ‹Ρ€ΡΡ‚ΡŒΡΡ с C++ ΠΈ Python, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Π΅Π³ΠΎ β€” ΠΈΠ½ΠΎΠ³Π΄Π° Ρ…ΠΎΡ€ΠΎΡˆΠΎ ΠΈΠΌΠ΅Ρ‚ΡŒ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ Β«ΡΠΎΠ·Π΄Π°Ρ‚Π΅Π»ΡŒΒ» Π½Π° Ρ…ΠΎΠ΄Ρƒ, ΠΊΠΎΠ³Π΄Π° ваша повсСднСвная Ρ€Π°Π±ΠΎΡ‚Π° Π½Π΅ связана с доставкой ΠΊΠΎΠ΄Π°. Если Π²Ρ‹ Π·Π°ΠΌΠ΅Ρ‚ΠΈΠ»ΠΈ ΠΊΠ°ΠΊΠΈΠ΅-Π»ΠΈΠ±ΠΎ странности, вопросы ΠΈΠ»ΠΈ просто нашли это ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΌ, Π½Π°ΠΏΠΈΡˆΠΈΡ‚Π΅ ΠΌΠ½Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ я Π·Π½Π°Π». Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π½Π°ΠΉΡ‚ΠΈ мСня Π² Π’Π²ΠΈΡ‚Ρ‚Π΅Ρ€Π΅.

Robots.txt для элСктронной Ρ‚ΠΎΡ€Π³ΠΎΠ²Π»ΠΈ

Если Ρƒ вас Π΅ΡΡ‚ΡŒ Π²Π΅Π±-сайт элСктронной ΠΊΠΎΠΌΠΌΠ΅Ρ€Ρ†ΠΈΠΈ ΠΈ Π²Ρ‹ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚Π΅ с Ρ…ΠΎΡ€ΠΎΡˆΠΈΠΌ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠΌ, Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, Ρƒ вас ΡƒΠΆΠ΅ Π΅ΡΡ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt Π² ΠΊΠΎΡ€Π½Π΅Π²ΠΎΠΌ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Π΅. ΠŸΠΎΠΈΡΠΊΠΎΠ²Ρ‹Π΅ систСмы ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Ρ€ΠΎΠ±ΠΎΡ‚ΠΎΠ² (Ρ‚Π°ΠΊΠΆΠ΅ извСстных ΠΊΠ°ΠΊ ΠΏΠ°ΡƒΠΊΠΈ ΠΈΠ»ΠΈ сканСры) для поиска ΠΈ классификации Π²Π΅Π±-сайтов, Π° страницы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΎΠ½ΠΈ находят Π²ΠΎ врСмя сканирования, β€” это страницы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска, ΠΊΠΎΠ³Π΄Π° ΠΊΡ‚ΠΎ-Ρ‚ΠΎ выполняСт поиск Π² Google, Bing ΠΈΠ»ΠΈ любом Π΄Ρ€ΡƒΠ³ΠΎΠΌ ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΌ Π²Π΅Π±-сайтС. поисковый Π΄Π²ΠΈΠΆΠΎΠΊ. Π’Π°Ρˆ Ρ„Π°ΠΉΠ» robots.txt β€” это эффСктивный способ ΡΠΎΠΎΠ±Ρ‰ΠΈΡ‚ΡŒ поисковым систСмам, ΠΊΠ°ΠΊΠΈΠ΅ области Π²Π΅Π±-сайта слСдуСт , Π° Π½Π΅ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒΡΡ ΠΈΠ»ΠΈ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ.

ΠŸΠΎΠ»Π·Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ Π½Π΅ ΠΏΠΎΠ»Π·Π°Ρ‚ΡŒ? Π’ΠΎΡ‚ Π² Ρ‡Π΅ΠΌ вопрос

Π‘Π΅Π· Ρ„Π°ΠΉΠ»Π° robots.txt ваш Π²Π΅Π±-сайт элСктронной ΠΊΠΎΠΌΠΌΠ΅Ρ€Ρ†ΠΈΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ ΠΈ доступСн для сканирования, Ρ‡Ρ‚ΠΎ Π·Π²ΡƒΡ‡ΠΈΡ‚ ΠΊΠ°ΠΊ Ρ…ΠΎΡ€ΠΎΡˆΠ°Ρ Π²Π΅Ρ‰ΡŒ. Но использованиС полосы пропускания для Π½Π΅Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½ΠΎΠ³ΠΎ ΠΈ ΡƒΡΡ‚Π°Ρ€Π΅Π²ΡˆΠ΅Π³ΠΎ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€ΠΎΠΈΡΡ…ΠΎΠ΄ΠΈΡ‚ΡŒ Π·Π° счСт сканирования ΠΈ индСксации Π²Π°ΠΆΠ½Ρ‹Ρ… ΠΈ Ρ†Π΅Π½Π½Ρ‹Ρ… страниц. Π£ вас ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Π΄Π°ΠΆΠ΅ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ страницы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΏΡ€ΠΎΠΏΡƒΡΠΊΠ°ΡŽΡ‚ΡΡ.

Если Ρ„Π»Π°ΠΆΠΎΠΊ Π½Π΅ установлСн, Ρ€ΠΎΠ±ΠΎΡ‚ поисковой систСмы ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ссылки Π½Π° Π²Π°ΡˆΡƒ ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ ΠΏΠΎΠΊΡƒΠΏΠΎΠΊ, ссылки Π½Π° список ΠΏΠΎΠΆΠ΅Π»Π°Π½ΠΈΠΉ, страницы Π²Ρ…ΠΎΠ΄Π° администратора, ваш сайт Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈΠ»ΠΈ тСстовыС ссылки ΠΈΠ»ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска. Π‘ΠΊΠ°Π½Π΅Ρ€Ρ‹ ΠΌΠΎΠ³ΡƒΡ‚ Π½Π°ΠΉΡ‚ΠΈ Π»ΠΈΡ‡Π½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ Ρ„Π°ΠΉΠ»Ρ‹, страницы администрирования ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ страницы, содСрТащиС ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, доступ ΠΊ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Ρ‹, Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, Π½Π΅ ΠΏΠΎΠ΄ΠΎΠ·Ρ€Π΅Π²Π°Π»ΠΈ.

Π’Π°ΠΆΠ½ΠΎ ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρƒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Π²Π΅Π±-сайта Π΅ΡΡ‚ΡŒ Β«Π±ΡŽΠ΄ΠΆΠ΅Ρ‚ сканирования» β€” ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½ΠΎΠ΅ количСство страниц, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ Π² сканированиС. Π’Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ ваши самыС Π²Π°ΠΆΠ½Ρ‹Π΅ страницы проиндСксированы ΠΈ Ρ‡Ρ‚ΠΎ Π²Ρ‹ Π½Π΅ Ρ‚Ρ€Π°Ρ‚ΠΈΡ‚Π΅ врСмя Π½Π° поиск Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… Ρ„Π°ΠΉΠ»ΠΎΠ².

ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅

Π₯отя Ρ„Π°ΠΉΠ» robots. txt ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΠΎΠ»Π΅Π·Π΅Π½ для Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ Π½Π΅ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, ΠΈΠ½ΠΎΠ³Π΄Π° Ρ„Π°ΠΉΠ»Ρ‹ robots.txt Π½Π΅ΠΏΡ€Π΅Π΄Π½Π°ΠΌΠ΅Ρ€Π΅Π½Π½ΠΎ Π±Π»ΠΎΠΊΠΈΡ€ΡƒΡŽΡ‚ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π΄Π΅Π»Π°ΡŽΡ‚ Π²Π»Π°Π΄Π΅Π»ΡŒΡ†Ρ‹ Π²Π΅Π±-сайтов трСбуСтся ΠΏΡ€ΠΎΡΠΊΠ°Π½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Если Ρƒ вас Π²ΠΎΠ·Π½ΠΈΠΊΠ»ΠΈ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ с Ρ‚Π΅ΠΌ, Ρ‡Ρ‚ΠΎ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠ· Π²Π°ΡˆΠΈΡ… ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… страниц Π½Π΅ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ, Ρ„Π°ΠΉΠ» robots.txt β€” Ρ…ΠΎΡ€ΠΎΡˆΠ΅Π΅ мСсто для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π²Ρ‹ΡΠ²ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ. РСкомСндуСтся ΡΠ»Π΅Π΄ΠΈΡ‚ΡŒ Π·Π° содСрТимым Ρ„Π°ΠΉΠ»Π° robots.txt ΠΈ ΠΎΠ±Π½ΠΎΠ²Π»ΡΡ‚ΡŒ Π΅Π³ΠΎ.

БущСствуСт ряд SEO-инструмСнтов, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» robots.txt, ΠΈ ΠΎΠ΄ΠΈΠ½ ΠΈΠ· Π»ΡƒΡ‡ΡˆΠΈΡ… инструмСнтов ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΠΉΡ‚ΠΈ бСсплатно Π² Google Search Console.

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ тСстСра robots.txt Tester Google Search Console Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΡ€ΠΎΡ‚Π΅ΡΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Π΅ страницы, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ·Π½Π°Ρ‚ΡŒ, ΡΠΊΠ°Π½ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΎΠ½ΠΈ ΠΈΠ»ΠΈ Π½Π΅Ρ‚. НС Π·Π°Π±ΡƒΠ΄ΡŒΡ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ» Sitemap Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ XML, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ список страниц, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Google сканировал. Если Π²Ρ‹ автоматичСски создаСтС свой Ρ„Π°ΠΉΠ» Sitemap Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ XML, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π½Π΅ΠΏΡ€Π΅Π΄Π½Π°ΠΌΠ΅Ρ€Π΅Π½Π½ΠΎ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ Π² Ρ„Π°ΠΉΠ» robots.

This entry was posted in ΠŸΠΎΠΏΡƒΠ»ΡΡ€Π½ΠΎΠ΅