Posted:
Дек 4, 2020
Comments:
0 Comments

Ip адреса роботов яндекса: Как проверить, что робот принадлежит Яндексу

Как проверить, что робот принадлежит Яндексу

Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)

Скачивает страницы для проверки их доступности пользователям.

Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера.

Нет
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)Робот Рекламной сети Яндекса.Да
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)Робот поиска по блогам, индексирующий комментарии постов.Да
Mozilla/5. 0 (compatible; YandexBot/3.0; +http://yandex.com/bots)Основной индексирующий робот.Да
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)Определяющий зеркала сайтов.Да
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)Робот Яндекс Календаря. Скачивает файлы календарей по инициативе пользователей, которые часто располагаются в запрещенных для индексации каталогах.Нет
Mozilla/5.0 (compatible; YandexDialogs/1.0; +http://yandex.com/bots)Отправляет запросы в навыки Алисы.Нет
Mozilla/5. 0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)Скачивает информацию о контенте сайтов-партнеров Рекламной сети Яндекса, чтобы уточнить их тематику для подбора релевантной рекламы.Нет
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/botsГенерирует динамические баннеры.Нет
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)Скачивает файл фавиконки сайта для отображения в результатах поиска.Нет
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)Скачивает целевые страницы рекламных объявлений для проверки их доступности и уточнения тематики. Это необходимо для размещения объявлений в поисковой выдаче и на сайтах-партнерах.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots)Робот почты для домена, используется при проверке прав на владение доменом.Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)Индексирует изображения для показа на Яндекс Картинках.Да
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)Робот мобильных сервисов.Да
Mozilla/5. 0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)Определяет страницы с версткой, подходящей под мобильные устройства.Нет
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) Робот Яндекс Маркета.Да
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)Нет
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)Индексирует мультимедийные данные.Да
Mozilla/5. 0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)Скачивает страницы сайта для проверки их доступности, в том числе проверяет целевые страницы объявлений Яндекс Директа.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)Робот Яндекс Метрики.Нет
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)Нет
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)Робот Яндекс Метрики. Скачивает и кэширует CSS-стили для воспроизведения страниц сайта в Вебвизоре.Нет. Робот не использует файл robots.txt, поэтому игнорирует директивы, установленные для него.
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots)Делает снимок мобильной страницы.Нет
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)Робот Яндекс Новостей.Да
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots)Робот объектного ответа.Да
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots)Робот объектного ответа, скачивающий динамические данные.Нет
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)Обращается к странице при валидации микроразметки через форму Валидатор микроразметки.Да
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots)Скачивает информацию о контенте сайтов-партнеров ЯндексаНет
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)Собирает данные для формирования превью. Например, для расширенного отображения сайта в поиске.Нет
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1. 0; +http://yandex.com/bots)

Загружает ресурсы для рендеринга страницы с JavaScript.

Игнорирует указания в robots.txt, если HTML-страница, на которой эти ресурсы размещены, доступна для робота Яндекса.

Робот не обращается к ресурсам, если в robots.txt запрещены HTML-страницы, где эти ресурсы используются.

Нет
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots)Скачивает YML-файлы каталогов товаров (по инициативе пользователей), которые часто располагаются в запрещенных для индексации каталогах.Нет
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots)Проверяет доступность страниц, которые используются в качестве быстрых ссылок.Да
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots)Робот Яндекс Бизнеса.Да
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots)Робот Яндекс Трекера.Нет
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots) Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс Вебмастера и директиву Crawl-delay.Да
Mozilla/5. 0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots)Проксирует действия пользователей на сервисах Яндекса: отправляет запросы в ответ на нажатие кнопок, скачивает страницы для перевода онлайн и т. д.Нет
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)Робот поисковых вертикалей.Да
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)Робот Яндекс Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс Работа, Яндекс Отзывы.Да
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)Индексирует видео для показа в поиске Яндекса по видео.Да
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)Индексирует видео для показа в поиске Яндекса по видео.Нет
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)Робот Яндекс Вебмастера.Да
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots)Делает снимок страницы.Нет

ТОП 200 IP ботов Яндекса. Рейтинг YandexBot 2019

  1. Главная
  2. ТОП 200 IP ботов Яндекса

Для благих нужд (хотя смотря в чьих руках) необходимо знать IP адреса поисковых роботов, например для идентификации подлинности поискового робота (основного индексирующего робота), что его не «подделали» и запросы на сервер действительно выполняет робот Яндекса. Проверить IP адрес на принадлежность к поисковой системе можно в сервисе «Валидатор ботов».

Основываясь на данных логов сервера одного из сайтов я собрал IP адреса бота YandexBot за 19 месяцев. Период актуальности: с 01.01.2019 по 31.07.2020. В таблице не будет указываться кол-во запросов к серверу, так как для всех сайтов оно индивидуально и на мой взгляд в данном случае больше полезна оценка популярности одного по отношению к другому. Пояснение к колонкам:

  • ТОП — ранжирование IP адресов по частоте запросов к серверу
  • IP YandexBot — проверенный IP адрес, который принадлежит боту Яндекса и идентифицируется в логах сервера как «YandexBot»
  • Доля активности — рассчитал исходя из общего кол-ва запросов к серверу всех IP адресов в таблице и индивидуального значения каждого. Тем самым, у какого IP больше процентное значение, тот больше всего производил запросов к серверу (так сказать самый «активный»).

Для наглядности в таблице выделен ТОП 10 самых часто используемых ботов Яндекса.

 

ТОП IP адресов YandexBot

ТОПIP YandexBotДоля активности
1141.8.132.304,69%
2178.154.200.244,07%
3141.8.142.63,63%
495.108.213.223,55%
5178.154.244.413,43%
6141.8.142.1373,16%
737.9.113.183,14%
8141.8.183.142,89%
9141.8.142.1822,70%
10141.8.142.1112,32%
1193.158.166.52,19%
12141.8.183.412,15%
13178.154.200.12,02%
14141.8.188.612,02%
15178. 154.200.1301,94%
165.45.207.601,86%
17178.154.200.101,63%
18141.8.188.671,60%
19141.8.183.81,59%
20178.154.200.2451,57%
21141.8.188.411,52%
22141.8.142.1301,52%
23213.180.203.1181,47%
24213.180.203.781,41%
25178.154.171.1561,41%
2693.158.166.111,35%
27178.154.200.591,30%
28178.154.200.601,23%
29141.8.189.21,19%
3087.250.224.921,10%
3195.108.213.601,04%
32178.154.200.81,04%
33213. 180.203.661,03%
34178.154.200.200,94%
35178.154.200.1080,90%
36178.154.200.1460,83%
37141.8.142.1060,78%
38178.154.200.560,72%
3937.9.113.730,70%
40213.180.203.890,69%
41213.180.203.1930,66%
42178.154.200.2000,63%
435.255.253.1030,59%
44178.154.200.2380,58%
45178.154.200.1950,57%
46141.8.142.2120,55%
475.45.207.700,54%
48213.180.203.1010,52%
49141.8.132.200,52%
505.255.253.700,49%
51178. 154.200.750,49%
5287.250.224.670,47%
53178.154.200.620,46%
54213.180.203.600,44%
55213.180.203.610,44%
56213.180.203.60,40%
575.45.207.1030,38%
58178.154.200.580,38%
59178.154.200.2170,37%
605.45.207.160,37%
61178.154.200.450,36%
62213.180.203.390,34%
6395.108.181.430,33%
64141.8.142.1620,33%
65213.180.203.720,32%
66178.154.200.2160,29%
67178.154.200.1160,29%
68178.154.200.300,29%
69178. 154.200.860,28%
70213.180.203.440,26%
71213.180.203.990,26%
72213.180.203.870,25%
73213.180.203.1480,23%
7487.250.224.2140,22%
75213.180.203.1830,22%
76213.180.203.980,20%
775.45.207.1270,19%
7895.108.181.1080,18%
79178.154.200.1060,18%
80178.154.200.1720,18%
81178.154.200.2080,18%
8295.108.181.640,17%
835.45.207.840,17%
84213.180.203.620,16%
85178.154.200.530,16%
86213.180.203.310,15%
87213. 180.203.680,14%
88213.180.203.760,14%
89178.154.200.20,14%
90178.154.200.2030,14%
91178.154.200.260,13%
92213.180.203.1100,12%
9387.250.224.2120,12%
94213.180.203.1890,12%
95213.180.203.970,12%
96141.8.142.440,11%
97178.154.200.1090,10%
98213.180.203.1760,10%
99213.180.203.570,10%
100213.180.203.1920,10%
101178.154.200.990,10%
102178.154.200.1600,10%
103178.154.200.1140,09%
104178.154.200.870,09%
105178. 154.200.1660,09%
106178.154.200.960,09%
107178.154.200.1810,08%
108213.180.203.1560,08%
109141.8.142.90,08%
110213.180.203.430,08%
111213.180.203.1740,08%
112178.154.200.1850,07%
113141.8.189.30,07%
114213.180.203.1420,07%
115178.154.200.900,07%
116213.180.203.380,06%
117178.154.171.1010,06%
118213.180.203.820,06%
1195.45.207.830,06%
120178.154.200.2330,06%
12195.108.213.590,06%
122178.154.200.570,06%
123178. 154.200.840,06%
124178.154.200.1440,06%
125213.180.203.790,06%
126213.180.203.940,06%
127213.180.203.2000,06%
12837.9.113.1410,06%
12993.158.166.170,06%
130213.180.203.1210,06%
131178.154.200.250,06%
132213.180.203.300,06%
1335.45.207.660,06%
134213.180.203.1510,06%
13587.250.224.740,06%
136213.180.203.1220,06%
13737.9.113.660,05%
138178.154.200.790,05%
139178.154.200.40,05%
140213.180.203.290,05%
141178. 154.200.2460,05%
142178.154.200.670,05%
14337.9.113.850,05%
144213.180.203.1710,05%
145213.180.203.1460,05%
146213.180.203.1340,05%
147178.154.171.370,05%
148141.8.183.2120,05%
149178.154.200.2010,05%
150141.8.183.2130,05%
151213.180.203.1840,05%
15287.250.224.410,05%
153213.180.203.400,05%
154178.154.200.1900,04%
155178.154.200.410,04%
156213.180.203.220,04%
157178.154.171.270,04%
158213.180.203.1370,04%
159141. 8.142.2140,04%
160213.180.203.450,04%
161178.154.200.1180,04%
162213.180.203.1670,04%
16393.158.166.100,04%
16437.9.113.1000,04%
165213.180.203.360,04%
166178.154.244.670,04%
167213.180.203.900,04%
168141.8.183.2140,04%
169178.154.200.1530,04%
170213.180.203.1450,04%
171213.180.203.110,04%
172178.154.200.1880,04%
173141.8.142.250,04%
174213.180.203.1170,04%
175178.154.200.70,04%
17695.108.213.200,04%
177141. 8.132.180,04%
17837.9.113.770,04%
179178.154.200.770,04%
18037.9.113.810,04%
181178.154.200.1590,04%
182141.8.142.50,03%
183213.180.203.1400,03%
184141.8.142.80,03%
185178.154.200.1170,03%
186213.180.203.1000,03%
187178.154.200.2260,03%
188141.8.142.1800,03%
189213.180.203.1240,03%
190213.180.203.1020,03%
19187.250.224.380,03%
192178.154.200.360,03%
193178.154.200.1580,03%
194178.154.200.280,03%
195141. 8.183.160,03%
196178.154.200.650,03%
197213.180.203.1080,03%
198178.154.171.510,03%
199178.154.200.470,03%
200178.154.200.160,03%

В таблице указана доля активности запросов именно с User-Agent «YandexBot», но с этих же IP приходили и другие.

 

Разные User-Agent с одного IP

С этих же IP адресов могут поступать запросы от разных ботов, с разными User-Agent:

User-AgentЧастота вхождения
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)94,55%
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)2,76%
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)1,72%
Mozilla/5. 0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.1060,430%
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)0,326%
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots)0,101%
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)0,078%
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)0,019%
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)0,010%
Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/536.5 (KHTML, like Gecko) YaBrowser/1.0.1084.5402 Chrome/19.0.1084.5409 Safari/536.50,002%
Mozilla/5. 0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)0,0005%
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,0003%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.360,0002%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.360,000103%
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.00,000056%
Mozilla/5.0 (Linux; Android 6.0.1; SM-G570F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,000053%
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36 (compatible; YandexMetrika/3. 0; +http://yandex.com/bots)0,000050%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.360,000048%
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)0,000036%
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)0,000031%
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)0,000028%
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)0,000013%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.360,0000094%
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)0,0000079%
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)0,0000025%
Mozilla/5. 0 (compatible; YandexPagechecker/2.0; +http://yandex.com/bots)0,0000010%
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)0,0000005%

Сюрприз для тех, кто дошел до конца страницы — скисок всех IP адресов YandexBot (1023 шт.), о которых мне было известно.

Как проверить принадлежность робота Яндексу

Mozilla/5.0 (совместимо; YandexAccessibilityBot/3.0; +http://yandex.com/bots)

YandexAccessibilityBot загружает страницы для проверки их доступности для пользователей.

Отправляет до 3 запросов на сайт в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера.

 Нет
Mozilla/5.0 (совместимо; YandexAdNet/1.0; +http://yandex.com/bots) Робот рекламной сети Яндекса. Да
Mozilla/5.0 (совместимый; YandexBlogs/0.99; robot; +http://yandex.com/bots) Поисковый робот по блогам, который индексирует комментарии к сообщениям. Да
Mozilla/5.0 (совместимо; YandexBot/3.0; +http://yandex.com/bots) Основной робот-индексатор. Да
Mozilla/5.0 (совместимый; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) Обнаружение зеркал сайта. Да
Mozilla/5.0 (совместимый; YandexCalendar/1.0; +http://yandex.com/bots) Робот Яндекс. Календаря. Загружает файлы календаря по запросам пользователей. Эти файлы часто находятся в каталогах, индексация которых запрещена. Нет
Mozilla/5.0 (совместимо; YandexDirect/3.0; +http://yandex.com/bots) Загружает информацию о содержании сайтов-партнеров Рекламной сети Яндекса для определения их тематических категорий в соответствии с релевантной рекламой . Нет
Mozilla/5.0 (совместимо; YandexDirectDyn/1.0; +http://yandex.com/bots Генерирует динамические баннеры. +http://yandex.com/bots) Загружает файл фавикона сайта для отображения в результатах поиска Нет
Mozilla/5. 0 (совместимо; YaDirectFetcher/1.0; Dyatel; +http://yandex. com/bots) Загружает целевые страницы объявлений для проверки их наличия и тематики.Это необходимо для размещения объявлений в результатах поиска и на партнерских сайтах. Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы.
Mozilla/5.0 (совместимый; YandexForDomain/1.0; +http://yandex.com/bots) Робот Яндекс.Почты для домена, используемый для проверки прав владения доменом. Да
Mozilla/5.0 (совместимо; YandexImages/3.0; +http://yandex.com/bots) Индексирует изображения для отображения в Яндекс.Изображениях. Да
Mozilla/5. 0 (совместимый; YandexImageResizer/2.0; +http://yandex.com/bots) Робот мобильных устройств. Да
Mozilla/5.0 (iPhone; ЦП iPhone OS 8_1, например Mac OS X) AppleWebKit/600.1.4 (KHTML, например Gecko) Версия/8.0 Mobile/12B411 Safari/600.1.4 (совместимый; YandexMobileBot/3.0 ; +http://yandex.com/bots) Определяет страницы с макетом, подходящим для мобильных устройств. Нет
Mozilla/5.0 (совместимо; ЯндексМаркет/1.0; +http://yandex.com/bots) Робот Яндекс.Маркета. Да
Mozilla/5.0 (совместимо; YandexMarket/2.0; +http://yandex.com/bots) Нет
Mozilla/5. 0 (совместимо; YandexMedia/3.0; +http:// yandex.com/bots) Индексирует мультимедийные данные. Да
Mozilla/5.0 (совместимо; ЯндексМетрика/2.0; +http://yandex.com/bots yabs01) Загружает страницы сайта для проверки их доступности, в том числе целевые страницы объявлений Яндекс.Директа. Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы.
Mozilla/5.0 (совместимо; ЯндексМетрика/2.0; +http://yandex.com/bots) Робот Яндекс.Метрики. №
Mozilla/5.0 (совместимо; ЯндексМетрика/3.0; +http://yandex.com/bots) №
Mozilla/5. 0 (совместимо; ЯндексМетрика/4.0; +http:// yandex.com/bots) Робот Яндекс.Метрики. Загружает и кэширует стили CSS для отображения страниц сайта в Webvisor. Нет. Робот не использует файл robots.txt и игнорирует заданные для него директивы.
Mozilla/5.0 (совместимо; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) Делает скриншот мобильной страницы. Нет
Mozilla/5.0 (совместимо; YandexNews/4.0; +http://yandex.com/bots) Робот Яндекс.Новости. Да
Mozilla/5.0 (совместимый; YandexOntoDB/1.0; +http://yandex.com/bots) Робот реагирования объекта. Да
Mozilla/5.0 (совместимый; YandexOntoDBAPI/1.0; +http://yandex.com/bots) Объектно-ответный робот, загружающий динамические данные. Нет
Mozilla/5.0 (совместимо; YandexPagechecker/1.0; +http://yandex.com/bots) Доступ к странице для проверки микроразметки через валидатор структурированных данных. Да
Mozilla/5.0 (совместимо; YandexPartner/3.0; +http://yandex.com/bots) Загружает информацию о содержании сайтов-партнеров Яндекса. Нет
Mozilla/5.0 (совместимо; YandexRCA/1. 0; +http://yandex.com/bots) Собирает данные для создания превью. Например, предварительный просмотр мастера. Нет
Mozilla/5.0 (совместимо; YandexSearchShop/1.0; +http://yandex.com/bots) Загружает каталоги товаров в YML-файлах по запросам пользователей. Эти файлы часто размещаются в каталогах, запрещенных для индексации. Нет
Mozilla/5.0 (совместимо; YandexSitelinks; Дятел; +http://yandex.com/bots) Проверяет наличие страниц, используемых в качестве быстрых ссылок. Да
Mozilla/5.0 (совместимо; ЯндексСправБот/1.0; +http://yandex.com/bots) Робот Яндекс. Бизнес. Да
Mozilla/5.0 (совместимо; ЯндексТрекер/1.0; +http://yandex.com/bots) Робот Яндекс.Трекер. Нет
Mozilla/5.0 (совместимо; YandexTurbo/1.0; +http://yandex.com/bots) Сканирует RSS-канал, созданный для создания Турбо-страниц. Он отправляет до 3 запросов на сайт в секунду. Робот игнорирует настройки в интерфейсе Яндекс.Вебмастера и директиву Crawl-delay. Да
Mozilla/5.0 (совместимо; YandexVertis/3.0; +http://yandex.com/bots) Поисковый робот по вертикали. Да
Mozilla/5. 0 (совместимо; ЯндексВертикали/1.0; +http://yandex.com/bots) Робот Яндекс.Вертикали: Авто.ру, Янекс.Недвижимость, Яндекс.Работа, Яндекс.Отзывы. Да
Mozilla/5.0 (совместимый; ЯндексВидео/3.0; +http://yandex.com/bots) Индексирует видеоклипы для отображения в Яндекс.Видео. Да
Mozilla/5.0 (совместимый; YandexVideoParser/1.0; +http://yandex.com/bots) Индексирует видеоклипы для отображения в Яндекс.Видео. Нет
Mozilla/5.0 (совместимый; YandexWebmaster/2.0; +http://yandex.com/bots) Робот Яндекс.Вебмастер. Да
Mozilla/5. 0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/W.X.Y.Z* Safari/537.36 (совместимый; YandexScreenshotBot/3.0; +http://yandex.com/bots) Делает скриншот страницы. Нет

веб-приложение — Нужно ли блокировать Яндекс Бота?

спросил

Изменено
3 года, 2 месяца назад

Просмотрено
45 тысяч раз

У меня есть веб-приложение, к которому паук Яндекса пытается получить доступ несколько раз. После этих поисков пауков осталось несколько российских IP-адресов, которые также пытались получить доступ к серверной части, и им не удалось получить доступ.

Заблокировать Яндекс или предпринять другие действия?

Обновление:

Паук Яндекса посещает внутренний URL примерно раз в 2-3 дня. Мы не выпускали какие-либо внутренние URL-адреса во внешнем интерфейсе.

« back-end » означает:
интерфейс веб-приложения позволяет нашему администратору управлять приложением

  • веб-приложение
  • бот

8

Стоит ли заблокировать яндекс

Почему?
Во-первых, если бот является законным ботом поисковой системы (и ничем иным), вас не взломают. Если нет, блокировка агента пользователя не поможет, они просто будут использовать другой.
Если ваш пароль правильный, fail2ban настроен, программное обеспечение обновлено и т. д., просто дайте им попробовать. Если нет, вам нужно это исправить, независимо от ботов Яндекса.

Чтобы убедиться, что проблема действительно в Яндексе, попробуйте запретить его в robots.txt и посмотреть, остановится ли он.
Нет => не Яндекс.

(Несколько недель назад настроил новый веб-сервер. Через час после выхода в сеть, у которого еще не было даже домена, «гуглбот» начал пробовать SQL-инъекции для несуществующего WordPress. никаких других HTTP-запросов, но я не блокировал Google из-за этого.)

4

Наряду с согласием с ответом @deviantfan и конкретно с этим пунктом

Во-первых, если бот является законным ботом поисковой системы (и ничем иным), они вас не взломают. Если нет, блокировка агента пользователя не поможет, они просто будут использовать другой.

Я хотел бы отметить, что как Яндекс , так и другие боты поисковых систем в целом могут намеренно не хотеть получить доступ к вашему серверу. Помните, что боты сканируют сайты, переходя по ссылкам, так что представьте, если бы злоумышленники поместили некоторые URL-адреса вашего бэкэнда на страницы какого-то другого веб-сайта, а поисковая система просто проиндексировала бы эти страницы и теперь пытается перейти по ссылкам оттуда. Таким образом, это будет выглядеть так, как будто поисковая система пытается получить доступ к вашему бэкенду, но она просто сканирует сеть: она не знает, что это ваш бэкэнд.

Подобное может произойти случайно. Допустим, пользователь, не разбирающийся в технологиях, разместил URL-адрес на каком-то форуме, который доступен только тогда, когда вы вошли в систему — при сканировании поисковая система попытается перейти по этим ссылкам, и вы в конечном итоге увидите журналы, как я предполагаю, что вы это сделали.

ОБНОВЛЕНИЕ: Я думаю, вы можете установить в своем правиле robots.txt, чтобы запретить yandex доступ к определенным URL-адресам. Кстати, вам лучше определить конкретное правило его именем, я не уверен, но может случиться так, что яндексбот может игнорировать User-agent: * , так что вы можете сделать что-то вроде этого (в соответствии с вашими бэкенд-адресами)

 User-agent: Яндекс
Запретить: /admin/*

Таким образом, вы запретите ему пытаться получить доступ к внутренним URL-адресам, соответствующим этому шаблону, но в то же время он (yandexbot) сможет свободно сканировать другие страницы вашего сайта.

0

Не стоит блокировать легитимного бота Яндекса, но вы можете убедиться, что это действительно легитимный бот, а не кто-то, кто просто использует User-Agent Яндекса.

From: https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.xml

  • Определите IP-адрес рассматриваемого агента пользователя, используя журналы вашего сервера. Все роботы Яндекса представлены заданным агентом пользователя.
  • Используйте обратный поиск DNS полученного IP-адреса, чтобы определить имя домена хоста.
  • Определив имя хоста, вы можете проверить, принадлежит ли оно Яндексу. Все роботы Яндекса имеют имена, оканчивающиеся на «yandex.ru», «yandex.net» или «yandex.com». Если имя хоста имеет другое окончание, робот не принадлежит Яндексу.
  • Наконец, убедитесь, что имя указано правильно. Используйте прямой поиск DNS, чтобы получить IP-адрес, соответствующий имени хоста. Он должен совпадать с IP-адресом, используемым при обратном поиске DNS. Если IP-адреса не совпадают, это означает, что имя хоста является поддельным.

Практически все крупные поисковые системы предоставляют аналогичные способы проверки User-Agent. Это работает потому, что кто-то может подделать обратный поиск DNS, но не прямой DNS этого поддельного адреса.

Хотя я согласен с ответом @deviantfan, я хотел бы добавить, что — поскольку ваш первоначальный вопрос звучит как путь в ад, я видел, как кто-то падал несколько лет назад — даже если вы попытаетесь полностью заблокировать паука, а не просто сказав, чтобы он ушел через robots.txt (что вы, вероятно, должны сделать для частей администратора в любом случае), вы закончите бесконечной игрой в придурки, в которой вы не сможете выиграть.

Несколько лет назад кто-то на другом сайте, о котором я читал, разглагольствовал о том, что Google/Microsoft/Yandex/и т. д. все «DDoSing» его веб-сайт. Судя по всему, сайт был «частным, и только несколько его друзей должны иметь доступ, и он не должен отображаться ни в каких поисковых системах». Однако очевидно, что по крайней мере один из его пользователей размещал ссылки на внутренние местоположения, которые находили различные веб-пауки. (В отличие от того, что они просто знают о www.whatever.tld из записей DNS.)

Человек, запустивший его, решил, что иметь файл robots.txt, чтобы поисковые роботы, которые находили ссылки на него, просто читали файл и уходили, было неприемлемо. Им нужно было навсегда игнорировать его сайт и никогда больше к нему не прикасаться ни при каких обстоятельствах. (Он так и не дал разумного объяснения, почему это был единственный приемлемый вариант. Очевидно, что-то делали с теми, кто размещал ссылки на внутренние местоположения на его сайте, которые находили пауки, или просто требовал аутентификации, чтобы боты просто сбрасывались на страница входа без содержания.)

Вместо этого он просто начал заносить в черный список все IP-адреса веб-пауков, чтобы любые попытки запроса, которые они делали, истекали без ответа. Сделав это, он обнаружил, что вместо того, чтобы перейти по одной ссылке, чтобы получить файл robots.

This entry was posted in Популярное