Как работают поисковые системы и почему это важно для бизнеса?

Поисковые системы — это окно в Интернет для бизнеса. Они собирают колоссальные объемы информации на каждом веб-сайте, разбивают ее и принимают решение о том, насколько хорошо тот отвечает на конкретный запрос. Но с таким большим количеством данных, как на самом деле работают поисковые системы?

Для более эффективного поиска, классификации и ранжирования миллиардов страниц, составляющих Интернет, поисковые системы используют сложные алгоритмы, которые принимают решения о качестве и релевантности статьи или видеоролика.

Это сложный процесс, который предполагает обработку значительных объемов данных, и все они должны быть представлены в максимально удобном для конечного пользователя виде.

Поисковые системы анализируют все это через многочисленные различные факторы ранжирования на основе запроса пользователя. Это актуальность вопроса, введенного пользователем, качество контента, скорость, метаданные и многое другое.

Каждая точка данных объединяется, чтобы помочь поисковой системе рассчитать общее «качество» страницы. Затем сайт оценивается на основе этих расчетов и предоставляется пользователю ниже или выше на странице результатов поиска (SERP).

Знание скрытых закулисных процессов, которые происходят в поисковых системах для принятия этих решений, помогает компаниям понять, почему определенные фрагменты контента имеют высокий рейтинг, но также помогает создавать новый контент с потенциально более высоким ранжированием.

Давайте взглянем на общие процедуры, на которых построен каждый алгоритм поисковой системы, а затем разберем механизмы их работы на примере гигантов Google и Youtube.

Как работают поисковые системы

Чтобы быть эффективными, поисковые системы должны точно интерпретировать доступную информацию и логически представлять ее пользователям. Для этого системы выполняют три основных действия — это сканирование, индексация и ранжирование.

Благодаря этим действиям они обнаруживают недавно опубликованный контент, сохраняют информацию на своих серверах и организуют ее для нашего потребления. Давайте разберем, что происходит во время каждого из этих действий:

• 
  Сканирование. Поисковые системы отправляют веб-сканеры, известные как боты или пауки, для просмотра содержимого сайта. Уделяя пристальное внимание новым веб-сайтам и недавно измененному контенту, сканеры анализируют URL-адреса, карты сайта и код, чтобы определить тип отображаемого контента.

• 
  Индексация. После сканирования сайта системы должны решить, как организовать информацию. Процесс индексации заключается в том, что они проверяют данные веб-сайта на наличие положительных и отрицательных сигналов ранжирования и сохраняют их в соответствующем месте на своих серверах.

• 
  Ранжирование. В процессе индексации поисковые системы начинают принимать решения о том, где отображать конкретный контент на странице результатов поиска. Ранжирование осуществляется путем оценки ряда факторов на основании предпочтений запроса пользователя, качества и релевантности.

В ходе этого процесса компьютеры должны определить ценность, которую любой веб-сайт может потенциально предоставить конечному пользователю. Эти решения руководствуются алгоритмом. Понимание того, как работает поисковый алгоритм, помогает создавать эффективный контент, который оценивается выше для каждой платформы.

Будь то RankBrain для Google и YouTube, «Дерево граф и пространственных разделов» (SPTAG) для Bing или проприетарная кодовая база для DuckDuckGo, каждая платформа использует уникальную серию факторов ранжирования.

Если бизнес будет учитывать эти факторы при создании контента для веб-сайта, адаптировать определенные страницы для хорошего ранжирования станет проще.

Алгоритмы поисковых систем Google
и Youtube

Каждая поисковая система обрабатывает результаты поиска по-своему. Мы рассмотрим две наиболее популярные платформы на сегодняшнем рынке (включая платформу для видео), и разберем, как они принимают решения о качестве и релевантности контента.

Как работает поисковая система Google

Google — самая популярная поисковая система на планете. Она занимает более 90% рынка, получая более 3,5 миллиарда индивидуальных поисковых запросов ежедневно. Известно, что алгоритмы поиска Google довольно хитро определяют приоритеты веб-сайтов и порой вызывают недоверие и критичное отношение пользователей.

Новые сайты создаются каждый день. Google может найти эти страницы, перейдя по ссылкам из существующего контента, который они просканировали ранее, или когда владелец веб-сайта отправит свою карту сайта напрямую.

Любые обновления существующего контента также могут быть отправлены в Google, если попросить пересмотреть определенный URL. Это делается через Google Search Console.

Хотя Google не сообщает, как часто просматриваются сайты, в конечном итоге любой обновленный контент, связанный с существующим контентом, обязательно находят.

Когда боты собирают достаточно информации, они возвращают ее Google для индексации.

Индексация начинается с анализа данных сайта, включая текстовый контент, изображения, видео и техническую структуру сайта. Google ищет позитивные и негативные рейтинговые сигналы, такие как ключевые слова и свежесть сайта, чтобы понять качество просканированной страницы и ее важность для пользователя.

Индекс сайтов Google содержит миллиарды страниц и 100 000 000 гигабайт данных.

Для организации этой информации Google использует алгоритм машинного обучения под названием RankBrain и базу знаний Knowledge Graph. Они работает вместе, чтобы помочь системе предоставить наиболее релевантный контент для пользователя. Как только индексация сайта завершена, Google переходит к ранжированию.

Все происходящее до этого момента выполняется незримо для людей, в фоновом режиме, прежде чем пользователь начнет взаимодействовать с поисковыми функциями Google.

Ранжирование происходит в зависимости от того, что ищет пользователь.

При этом Google смотрит на пять основных факторов:

• 
  Значение запроса. Какова цель конечного пользователя? Google использует запросы, чтобы определить намерения человека (например, купить машину или посмотреть ее характеристики). Он анализирует каждый запрос, используя сложные языковые модели, основанные на прошлых поисках и поведении людей.

• 
  Релевантность веб-страницы. После того как Google определил цель поискового запроса пользователя, он просматривает содержание веб-страниц с рейтингом, чтобы определить, какая из них является наиболее релевантной. Основным фактором является анализ ключевых слов. Ключевые слова на веб-сайте должны соответствовать пониманию Google вопроса, заданного пользователем.

• 
  Качество контента. Подбирая ключевые слова, Google делает еще один шаг и проверяет качество контента на нужных страницах. Это помогает точнее расставлять приоритеты, глядя на авторитет данного сайта, а также рейтинг страницы и свежесть.

• 
  Удобство использования страниц. Google отдает предпочтение сайтам, которые просты в использовании. Юзабилити охватывает все, от скорости до отзывчивости.

• 
  Дополнительный контекст и настройки. Этот шаг настраивает поиск по прошлому взаимодействию с пользователем и определенным настройкам на платформе Google.

Как только весь этот объем информации будет качественно обработан, алгоритм Google предоставит на экран монитора результаты поиска, которые выглядят примерно так:

Давайте разберем страницу результатов поиска:

• 
  Пользовательский запрос. Вопрос, заданный пользователем Google.

• 
  Покупки в Google. Система рассматривает цель запроса как поиск товары для покупки. В результате из индекса извлекают продукты, соответствующие этому назначению, и отображают их первыми в результатах.

• 
  Избранный фрагмент. Google представляет конкретную информацию из результатов поисковой выдачи, чтобы пользователю можно было легче просматривать, не покидая страницу результатов поиска.

• 
  Результаты с самым высоким рейтингом. Первый сайт, указанный в результатах — это сайт, который, по мнению Google, наилучшим образом соответствует цели запроса пользователя. Лучший результат выбирается, основываясь на пяти факторах ранжирования, которые мы обсуждали ранее.

• 
  Люди также ищут. данное поле является результатом Knowledge Graph. Оно дает пользователям быстрый способ переходить к другому поиску, который может лучше соответствовать их намерениям.

Такое подробное предоставление информации стало возможным только потому, что система разобрала на фрагменты и сохранила в памяти миллиарды страниц. Прежде чем пользователь выполнит поиск, Google проверил сайты, чтобы выяснить, каким ключевым словам и намерениям они лучше всего соответствуют.

Этот процесс позволяет в течение доли секунды заполнять страницы результатов при выполнении поиска и помогает Google выдавать нам наиболее релевантный контент.

Как самая популярная поисковая система в мире, Google более или менее сумел создать основу того, как остальные современные поисковики сегодня смотрят на контент.

Большинство маркетологов специально адаптируют свой контент для ранжирования в Google. С одной стороны, это правильное использование сил и бюджетов. С другой стороны, они потенциально упускают возможности на продвижения контента на других платформах.

Алгоритм поиска YouTube

Платформа YouTube является самым популярным видео-хостингом. Их поисковая система эффективно работает по правилам, аналогичным правилам Google, которому принадлежит платформа, и она фокусируется на ключевых словах и релевантности.

Алгоритм разбит на две отдельные функции — ранжирование видео и поиск соответствующих рекомендаций. Ниже мы разберем их более подробно.

Конкретные причины, по которым одни видео стоят выше других, как и все внутри Google, скрыты от посторонних глаз. Тем не менее, большинство экспертов склоняются к новизне видео и частоте загрузки канала как к наиболее важным факторам.

С точки зрения рекомендаций, в недавнем исследовательском документе были подробно перечислены основные приоритеты YouTube, такие как масштаб, свежесть и шум:

• 
  Масштаб. 300 часов видео загружается на YouTube каждую минуту, и платформа насчитывает уже около 1,3 миллиарда пользователей. Это значительно усложняет анализ информации, поэтому теперь основной задачей алгоритма является просеивание огромного объема данных для каждого пользователя.

• 
  Свежесть. YouTube пытается уравновесить свой выбор, основываясь на том, как давно было загружено видео, а также на поведении пользователей в прошлом.

• 
  Шум. Из-за разного контента, который большинство пользователей смотрят на YT, искусственному интеллекту трудно в любой момент проанализировать, что является наиболее актуальным — анализ «шума» помогаем отсеять ненужное.

Эти и, возможно, другие факторы ранжирования приводят к формированию страниц с рекомендациями для каждой отдельной учетной записи пользователя. В результате мы наслаждаемся теми роликами, которые нам действительно интересны.

Это показывает, как «Подписки» влияют предоставление результатов поиска YouTube. Когда пользователь подписывается на определенный канал, это повышает его рейтинг в результатах поиска, рекомендациях и выборе, что смотреть дальше.

Остальные факторы ранжирования включают то, что пользователь смотрит, как долго он увлечен различными видео, и какова общая популярность видео на YouTube.

Разберем результаты поиска на примере:

Лучший результат — наиболее просматриваемое видео. Затем следует более новая загрузка с меньшим количеством просмотров, но с точным соответствием ключевых слов. Третье видео имеет больше просмотров, чем второе, но без точного соответствия ключевых слов — это также несколько более старая загрузка.

Исходя из этих результатов, мы видим, что популярность рождает популярность и является одним из важнейших факторов ранжирования YouTube — и даже выше, чем новизна видео с точным соответствием ключевых слов.

Чтобы получить хорошие рейтинги на YouTube, вам потребуется авторитетный профиль и постоянный темп загрузки. Их ориентация на популярность и силу профиля требует больше инвестиций в маркетинг — эти вложения быстро окупаются для брендов, которые концентрируют свои усилия на видеоплатформе.

Заключение

Понимание того, как работают поисковые системы, помогает создавать лучший контент.

Когда вы знаете, как те или иные платформы отображают свои результаты, легче создавать контент с потенциалом ранжирования. Это понимание также помогает вам диагностировать, почему другие типы контента оцениваются лучше или хуже, чем ваши собственные.

На основе этого мы собрали пять советов, которые помогут создать лучший контент:

• 
  Понимание намерений пользователя. Каждая поисковая система предпочитает контент, который наиболее релевантный поисковому запросу пользователя.

• 
  Соответствующие ключевые слова. Включение релевантных ключевых слов в контент поможет поисковым системам легче находить и индексировать страницы.

• 
  Знание целевой аудитории. Сопоставление ключевых слов потребует глубокого понимания клиентов и того, как они думают о вашем продукте и вашем рынке.

• 
  Новый контент помогает повысить рейтинг. Публикация нового контента или обновление существующего помогает повысить рейтинг сайта и авторитет бренда.

• 
  Получение авторитетных ссылок. Чем больше людей ссылаются на страницу, тем лучше она будет выглядеть для поисковых систем. Это будет говорить о ее высокой ценности для пользователей и соответствии содержания.

В конце концов, все сводится к пониманию клиента. Вы не можете создавать контент, который занимает хорошие позиции, если не знаете, что нужно целевой аудитории.

Поисковая система: что это такое, как она работает

Поисковая система (поисковик) — это специальная программа, которая в ответ на запрос пользователя через веб-интерфейс (сайт) выдает список ресурсов, отсортированных по релевантности этому запросу.

Хорошая поисковая система предлагает материалы, которые наиболее корректно отвечают на запрос пользователя. При этом многие поисковики могут искать нужное не только по словам, но и по картинке или голосовому сообщению.

Прародителем всех поисковых систем считают программу Арчи — первый инструмент для поиска контента в интернете. Арчи предлагал пользователям архив со списком доступных файлов и возможностью поиска по ним. 

Лишь в 1994 году появилась первая полноценная поисковая система — WebCrawler, которая стала индексировать не только названия файлов или заголовки страниц, но и их содержимое. А уже через три года, в 1997 году, на рынок вышли привычные нам Google и Яндекс — самые популярные поисковые системы в России, по данным Яндекс.радар.

Если обратиться к мировой статистике, то здесь лидирует Google (84,8%), а «Яндекс» (1,06%) уходит на 6-е место.

Доля рынка наиболее часто используемых поисковых систем по всему миру по состоянию на сентябрь 2022 г. Источник

Зачем нужна поисковая система

Без поисковых систем обычный пользователь вряд ли найдет в интернете нужную информацию, так как без них не будет привычного нам списка сайтов. Придется вручную вбивать адрес каждого ресурса, чтобы проверить, есть ли там то, что вы ищите. К счастью, алгоритмы поисковиков уже знают, какая информация есть на большинстве сайтов, и в ответ на запрос выдают список страниц, которые больше всего соответствуют этому запросу.

Кроме того, современные поисковые системы давно вышли за границы обычных поисковиков и превратились в целые экосистемы, которые помогают пользователям решать множество бытовых и бизнес-задач. В том же «Яндексе» есть электронная почта, маркетплейс, онлайн-кинотеатр, такси, доставка еды, карты, различные сервисы для бизнеса, а еще собственная платежная система и знакомый многим голосовой помощник Алиса.

У Яндекса столько разных сервисов, что они не поместились на одном экране даже мелким шрифтом

Этапы работы поисковиков

У каждой поисковой системы — свой алгоритм работы, который держится в строгом секрете. Однако условно весь процесс подбора нужной информации поисковиком можно разделить на три этапа: сканирование (поиск и сохранение страниц), индексация и ранжирование.

Сканирование

Чтобы поисковая система смогла найти нужную информацию в большом количестве сайтов, эти сайты должны быть ей известны, то есть прочитаны и сохранены в памяти.

 

Можно сравнить с библиотекой: если вы не знаете, какие книги стоят на полках и никогда не заглядывали в них, то вероятность того, что вы быстро сориентируетесь и найдете нужную цитату, равна нулю.

Поисковая система узнает о содержимом сайтов с помощью специального робота — краулера, или паука. Название происходит от английского crawler (ползающее насекомое, ползунок). Робот обходит все страницы, переходит по ссылкам и постепенно охватывает миллиарды веб-страниц в сети, сохраняет их и отправляет на индексацию.

Индексация

Следующий этап — подробный анализ загруженных страниц и добавление информации о том, какие сведения в них содержатся, в базу поисковой системы (создание индекса).

Индексный робот разбивает каждую сохраненную страницу на части (заголовки, текст, ссылки, теги html и т. д), изучает их содержимое, переваривает и структурирует. В результате получается упорядоченный список адресов страниц и размещенной на них информации.

 

По аналогии с библиотекой недостаточно знать, какие книги есть на полках. Важно составить подробный и удобный каталог, который расскажет, в каких книгах и на каких страницах искать нужную информацию.

Другой пример — предметный указатель в справочниках, который помогает без труда найти ответ на нужный вопрос. Все термины здесь размещены по алфавиту с указанием страниц, на которых они встречаются

Пока страница не проиндексирована, для поисковика она не существует. Поэтому важно, чтобы сайт был открыт для индексации. При необходимости можно закрыть от поисковых роботов отдельные страницы, например личный кабинет и корзину, чтобы они не попали в выдачу.

 

Как ускорить индексацию страниц

Если страница открыта для индексации, то самая распространенная причина того, что она не появляется в выдаче — она новая, и поисковый робот просто не успел ее проиндексировать.  

В зависимости от характеристик сайта и возможностей поисковых роботов обновление или апдейт страниц может занять от нескольких минут до нескольких недель.

Проверить индексирование страницы можно в «Яндекс.Вебмастере» раздел «Индексирование», а в Google Search Console «Проверка URL».

Яндекс.Вебмастер помогает понять, виден ли сайт в поисковой выдаче

Также в «Яндекс Вебмастере» можно направить страницы сайта на индексацию вручную с помощью функции «Переобход страниц», а в Google Search Console — сделать запрос индексирования.

Ранжирование и поисковая выдача

Когда человек вводит запрос в поисковую строку, поисковик выбирает все страницы, которые имеют отношение к запросу, прогоняет их через свои алгоритмы и выдает список сайтов в определенном порядке. При этом чем выше сайт оказался в выдаче, тем лучше он соответствует запросу пользователя и требованиям поисковика.

Процесс сортировки сайтов по определенному списку критериев называется ранжированием. На результаты ранжирования влияет релевантность контента запросу, качество и удобство сайта, его технические и пользовательские характеристики и многое другое. Точный список критериев поисковые системы держат в секрете и постоянно обновляют свои алгоритмы.

По итогам ранжирования можно получить разные результаты поисковой выдачи:

• в разных поисковиках, так как используются различные критерии фильтрации;
• в разных регионах, так как в запросах учитывается местонахождение пользователя;
• на разных устройствах — в десктопной и мобильной версии, так как имеет значение удобство использования сайта на разных устройствах;
• по одинаковым запросам у разных пользователей, так как учитывается индивидуальная история поиска. 

По запросу «Муми тролли» «Яндекс» и Google выдают разные результаты, на первой странице совпадает только один сайт из шести

Ранжирование позволяет пользователям быстрее получить нужную и достоверную информацию, а компаниям использовать поисковую выдачу для продвижения своего сайта.

Альтернативные поисковые системы

Большинству поисковых систем далеко до Яндекса и Гугла, и все же некоторые из них могут быть полезны в той или иной ситуации. Вот несколько примеров поисковиков, которые ориентируются на определенную нишу или предлагают больше конфиденциальности.

DuckDuckGo — поисковая система с открытым исходным кодом. Не собирает и не хранит данные о посетителях, а значит, обеспечивает максимальную конфиденциальность своим пользователям. Кроме того, Google и Яндекс стремятся персонализировать выдачу и учитывают предпочтения посетителя. В DuckDuckGo такого нет, поэтому поисковая выдача получается чуть более объективной. Например, через поисковик удобнее искать информацию на иностранном языке.

FindSounds — поисковик по звукам. Можно ввести текстовый запрос или загрузить образец. Запросы на русском не поддерживаются, но есть большой список русскоязычных тегов. Можно уточнить запрос, выбрав желаемый формат и качество звучания. Легко найти рев леопарда, жужжание осы, тикание часов и даже звук дыхания Дарта Вейдера. Все найденные звуки доступны для скачивания. 

BoardReader — поиск по форумам, сервисам вопросов и ответов и другим сообществам. Специальные настройки помогут быстро найти посты и комментарии, которые соответствуют заданным критериям: языку, дате публикации и названию сайта.

Главные мысли

Индексирование веб-сайтов для поисковых систем: как это работает?

Индексирование веб-сайтов является одним из первых шагов (после сканирования) в сложном процессе понимания того, что представляют собой веб-страницы, чтобы они были ранжированы и обслуживались поисковыми системами в качестве результатов поиска.

Поисковые системы постоянно совершенствуют методы сканирования и индексации веб-сайтов.

Понимание того, как Google и Bing подходят к сканированию и индексированию веб-сайтов, необходимо для технического SEO и полезно при разработке стратегий улучшения видимости в поиске.

Индексирование: как работают поисковые системы сегодня

Давайте рассмотрим основные принципы работы поисковых систем.

Эта статья посвящена индексации. Итак, давайте углубимся.

Веб-индексирование

Индексирование — это то, с чего начинается процесс ранжирования после сканирования веб-сайта.

Индексирование, по сути, означает добавление содержимого веб-страницы в Google для рассмотрения при ранжировании.

Когда вы создаете новую страницу на своем сайте, ее можно проиндексировать несколькими способами.

Самый простой способ проиндексировать страницу — ничего не делать.

Поисковые роботы Google переходят по ссылкам, и, таким образом, при условии, что ваш сайт уже находится в индексе и на новый контент есть ссылка с вашего сайта, Google в конечном итоге обнаружит его и добавит в свой индекс. Подробнее об этом позже.

Как ускорить индексацию страницы

Но что, если вы хотите, чтобы робот Googlebot быстрее попадал на вашу страницу?

Это может быть важно, если у вас своевременный контент или если вы внесли важное изменение на страницу, о которой нужно знать Google.

Я использую более быстрые методы, когда оптимизирую важную страницу или корректирую заголовок и описание, чтобы повысить число кликов.

Я хочу точно знать, когда они были обнаружены и отображены в поисковой выдаче, чтобы знать, с чего начинается измерение улучшения.

В таких случаях можно использовать несколько дополнительных методов.

1. XML-карты сайта

XML-карты сайта — это самый старый и в целом надежный способ привлечь внимание поисковых систем к контенту.

XML-карта сайта предоставляет поисковым системам список всех страниц вашего сайта, а также дополнительную информацию о нем, например дату последнего изменения.

Карта сайта может быть отправлена ​​в Bing через Bing Webmaster Tools, а также в Google через Search Console.

Однозначно рекомендуется!

Но когда вам нужна немедленная индексация страницы, это не особо надежно.

2. Запросить индексирование с помощью Google Search Console

В Search Console вы можете «Запросить индексирование».

Вы начинаете с нажатия на верхнее поле поиска, которое по умолчанию гласит: «Проверить и URL-адрес в домене.com».

Введите URL-адрес, который вы хотите проиндексировать, затем нажмите Enter.

Если страница уже известна Google, вам будет представлена ​​куча информации. Мы не будем вдаваться в подробности здесь, но я рекомендую войти в систему и посмотреть, что там есть, если вы еще этого не сделали.

Для наших целей важная кнопка появляется независимо от того, была ли страница проиндексирована или нет — это означает, что она подходит для обнаружения контента или просто для запроса Google, чтобы понять недавнее изменение.

Вы найдете кнопку, показанную ниже.

Скриншот из Google Search Console, декабрь 2022 г.

В течение от нескольких секунд до нескольких минут вы можете выполнить поиск нового контента или URL-адреса в Google и найти измененный или новый контент.

3. Участвуйте в IndexNow Bing

Bing использует открытый протокол, основанный на методе push-уведомлений поисковых систем о новом или обновленном контенте.

Этот новый протокол индексации поисковой системы называется IndexNow.

Это называется push-протоколом, потому что идея состоит в том, чтобы предупреждать поисковые системы с помощью IndexNow о новом или обновленном контенте, что заставит их прийти и проиндексировать его.

Примером протокола извлечения является старый способ XML-карты сайта, который зависит от сканера поисковой системы, который решает посетить и проиндексировать его (или получить его с помощью Search Console).

Преимущество IndexNow заключается в том, что он тратит меньше ресурсов веб-хостинга и центра обработки данных, что не только более экологично, но и экономит ресурсы полосы пропускания.

Однако самым большим преимуществом является более быстрая индексация контента.

IndexNow в настоящее время используется только Bing и Яндекс.

Внедрить IndexNow очень просто:

• Существует плагин IndexNow для WordPress.
• Модуль Drupal IndexNow.
• IndexNow поддерживается Cloudflare.
• IndexNow поддерживается Akamai.

4. Инструменты Bing для веб-мастеров

Помимо участия в IndexNow рассмотрите возможность использования учетной записи Bing для веб-мастеров.

Если у вас нет учетной записи Bing Webmaster Tools, я не могу ее рекомендовать.

Предоставленная информация является существенной и поможет вам лучше оценить проблемные области и улучшить свой рейтинг в Bing, Google и где-либо еще — и, возможно, обеспечит лучший пользовательский интерфейс.

Но чтобы проиндексировать ваш контент, вам просто нужно нажать: Настроить личный сайт > Отправить URL-адреса.

Введите URL-адреса, которые вы хотите проиндексировать, и нажмите «Отправить».

Скриншот из Bing Webmaster Tools, январь 2023 г.

Итак, это большая часть того, что вам нужно знать об индексации и о том, как это делают поисковые системы (с прицелом на то, куда идут дела).

Дополнительные сведения см. на странице справки Инструментов для веб-мастеров Bing.

Существует также Bing Webmaster Tools Indexing API, который также может сократить время появления контента в результатах поиска Bing в течение нескольких часов.

Дополнительные сведения об API индексирования Bing см. здесь.

Бюджет сканирования

Мы не можем говорить об индексации, не говоря о бюджете сканирования.

По сути, краулинговый бюджет — это термин, используемый для описания количества ресурсов, которые Google затрачивает на сканирование веб-сайта.

Назначенный бюджет основан на сочетании факторов, двумя основными из которых являются:

• Насколько быстр ваш сервер (т. е. сколько Google может сканировать без ухудшения вашего пользовательского опыта)?
• Насколько важен ваш сайт?

Если вы управляете крупным новостным сайтом с постоянно обновляемым контентом, о котором пользователи поисковых систем захотят знать, ваш сайт будет часто сканироваться (осмелюсь сказать — постоянно).

Если у вас небольшая парикмахерская, у вас есть пара десятков ссылок, и вы по праву не считаетесь важным в этом контексте (вы можете быть важным парикмахером в этом районе, но вы не важны, когда речь идет о краулинговом бюджете) , то бюджет будет низким.

Подробнее о краулинговых бюджетах и ​​о том, как они определяются, можно прочитать в пояснении Google.

У Google есть два вида сканирования

Индексирование Google начинается со сканирования, которое бывает двух видов:

• Первый вид сканирования — это обнаружение, когда Google обнаруживает новые веб-страницы для добавления в индекс.
• Второй вид сканирования — это обновление, когда Google находит изменения на уже проиндексированных веб-страницах.

Узнайте, как работают поисковые системы

Оптимизация веб-сайтов для поисковых систем начинается с хорошего контента и заканчивается его отправкой на индексацию.

Независимо от того, делаете ли вы это с помощью XML-карты сайта, инструмента отправки URL-адресов в Google Search Console, инструментов Bing для веб-мастеров или IndexNow, индексирование этого контента происходит, когда ваша веб-страница начинает свой путь к вершине результатов поиска (если все работает!) .

Вот почему важно понимать, как работает поисковая индексация.

Узнайте больше о ключевых факторах, влияющих на страницы результатов поисковых систем, в статье «Как работают поисковые системы».

Рекомендуемое изображение: Overearth/Shutterstock

Категория
SEO
Техническое SEO

Подробное руководство по работе поиска Google | Центр поиска Google | Документация

Поиск Google – это полностью автоматизированная поисковая система, использующая программное обеспечение, известное как поисковые роботы.
регулярно исследуйте Интернет, чтобы найти страницы для добавления в наш индекс. На самом деле, подавляющее большинство
страницы, перечисленные в наших результатах, не отправляются вручную для включения, а обнаруживаются и добавляются
автоматически, когда наши поисковые роботы исследуют Интернет. Этот документ объясняет этапы того, как
Поиск работает в контексте вашего сайта. Наличие этих базовых знаний может помочь вам исправить
проблем со сканированием, проиндексируйте свои страницы и узнайте, как оптимизировать внешний вид вашего сайта в
Поиск Гугл.

Ищете что-то менее техническое? Проверьте наши
сайт «Как работает поиск»,
который объясняет, как работает поиск с точки зрения пользователя.

Несколько замечаний, прежде чем мы начнем

Прежде чем мы углубимся в детали работы Поиска, важно отметить, что Google не
принимать оплату, чтобы чаще сканировать сайт или повышать его рейтинг. Если кто-нибудь скажет вам
в противном случае они ошибаются.

Google не гарантирует, что он будет сканировать, индексировать или обслуживать вашу страницу, даже если она
следует за Google Search Essentials.

Знакомство с тремя этапами поиска Google

Поиск Google работает в три этапа, и не все страницы проходят через каждый этап:

1. Сканирование: Google загружает текст, изображения и видео
   со страниц, найденных в Интернете с помощью автоматических программ, называемых поисковыми роботами.
2. Индексирование: Google анализирует текст, изображения и
   видеофайлы на странице и сохраняет информацию в индексе Google, который является большим
   база данных.
3. Подача результатов поиска: Когда пользователь ищет на
   Google, Google возвращает информацию, относящуюся к запросу пользователя.

Ползание

Первый этап — выяснить, какие страницы существуют в Интернете. Нет центрального реестра
все веб-страницы, поэтому Google должен постоянно искать новые и обновленные страницы и добавлять их в свои
список известных страниц. Этот процесс называется «обнаружение URL». Некоторые страницы известны, потому что
Гугл их уже посещал. Другие страницы обнаруживаются, когда Google переходит по ссылке из
известной страницы на новую страницу: например, центральная страница, такая как страница категории, ссылается на новую
Сообщение блога. Другие страницы обнаруживаются, когда вы отправляете список страниц (
карта сайта) для сканирования Google.

Как только Google обнаружит URL-адрес страницы, он может посетить (или «просканировать») страницу, чтобы узнать, что находится на ней.
это. Мы используем огромное количество компьютеров для сканирования миллиардов страниц в Интернете. Программа, которая
выборка называется Googlebot
(также известный как сканер, робот, бот или паук). Googlebot использует алгоритмический процесс для
определить, какие сайты сканировать, как часто и сколько страниц получать с каждого сайта.
Поисковые роботы Google
также запрограммированы таким образом, что стараются не сканировать сайт слишком быстро, чтобы не перегружать его.
Этот механизм основан на ответах сайта (например,
Ошибки HTTP 500 означают «медленнее»)
и
настройки в Search Console.

Однако робот Googlebot не сканирует все обнаруженные страницы. Некоторые страницы могут быть
запрещен для сканирования
владельцем сайта, другие страницы могут быть недоступны без авторизации на сайте.

Во время сканирования Google отображает страницу и
запускает любой найденный JavaScript
используя последнюю версию
Chrome, подобно тому, как ваш
браузер отображает страницы, которые вы посещаете. Рендеринг важен, потому что веб-сайты часто полагаются на
JavaScript для доставки контента на страницу, и без рендеринга Google может этого не увидеть.
содержание.

Сканирование зависит от того, могут ли поисковые роботы Google получить доступ к сайту. Некоторые распространенные проблемы с
Доступ к сайтам робота Googlebot включает:

• Проблемы с сервером, обрабатывающим сайт
• Проблемы с сетью
• Правила robots.txt, запрещающие роботу Googlebot доступ к странице

Индексация

После сканирования страницы Google пытается понять, о чем эта страница. Этот этап
называется индексированием и включает в себя обработку и анализ текстового контента и ключевого контента
теги и атрибуты, такие как
<название> элемента
и атрибуты alt,
изображений,
видео и
более.

В процессе индексации Google определяет, является ли страница
дубликат другой страницы в Интернете или канонической.
Каноническая — это страница, которая может отображаться в результатах поиска. Для выбора канонического мы
сначала сгруппируйте вместе (также известное как кластеризация) страницы, которые мы нашли в Интернете, которые
имеют схожее содержание, а затем мы выбираем тот, который наиболее репрезентативен для группы.
другие страницы в группе являются альтернативными версиями, которые могут обслуживаться в другом контексте, например
если пользователь ищет с мобильного устройства или ищет очень конкретную страницу из
тот кластер.

Google также собирает сигналы о канонической странице и ее содержании, которые могут использоваться в
следующий этап, где мы обслуживаем страницу в результатах поиска. Некоторые сигналы включают язык
страницы, страны, в которой находится контент, удобство использования страницы и т. д.

Собранная информация о канонической странице и ее кластере может храниться в Google
index, большая база данных, размещенная на тысячах компьютеров. Индексация не гарантируется; не каждый
страница, которую обрабатывает Google, будет проиндексирована.

Индексация также зависит от содержания страницы и ее метаданных. Некоторые распространенные проблемы с индексацией
может включать:

• Качество контента на странице низкое
• Роботы мета-правила запрещают индексирование
• Дизайн сайта может затруднить индексацию

Обслуживание результатов поиска

Google не принимает плату за повышение ранжирования страниц, а ранжирование выполняется программно.
Узнайте больше о рекламе в поиске Google.

Когда пользователь вводит запрос, наши машины ищут в индексе соответствующие страницы и возвращают
результаты, которые мы считаем наиболее качественными и наиболее соответствующими запросу пользователя. Релевантность
определяется сотнями факторов, которые могут включать в себя такую ​​информацию, как
местоположение, язык и устройство (рабочий стол или телефон). Например, при поиске «ремонт велосипедов
магазины» покажет пользователю в Париже разные результаты, чем пользователю в Гонконге.

В зависимости от запроса пользователя функции поиска, которые появляются на странице результатов поиска, также
изменять. Например, поиск по запросу «мастерские по ремонту велосипедов» скорее всего покажет местные результаты и
нет результатов изображения,
однако поиск «современного велосипеда» с большей вероятностью покажет результаты изображения, но не местного
Результаты. Вы можете изучить наиболее распространенные элементы пользовательского интерфейса веб-поиска Google в нашем
Галерея визуальных элементов.

This entry was posted in Популярное