Как Яндекс перепридумал поиск для разработчиков / Хабр

У вас бывало, что открываешь поиск, ищешь что-то по программированию и не находишь ответ? Тогда эта история для вас. 

Меня зовут Алексей Степанов, я руковожу службой исследований машинного обучения поиска Яндекса. Сегодня я расскажу непростую историю. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Расскажу про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже расскажу, куда без них.

Этот пост основан на моём докладе с Data Fest 2022, но не во всём (мой коллега Максим Хурсанов @Maxim2207 существенно расширил историю).

К нам в команду поиска регулярно прилетают жалобы от коллег на качество ранжирования по тем или иным запросам, специфичным для разработчиков. Например, выдача по запросу [C++ list find] ещё недавно выглядела вот так: 

Слова все нужные, а ответа нет

Однако у нас были продуктовые метрики, которые говорили: ребята, успокойтесь, у вас всё хорошо, вы как минимум не хуже коллег по индустрии. В результате у нас сложилось противоречие. С одной стороны, метрики говорили, что с качеством всё хорошо. А с другой, мы сами пользовались поиском в работе и сами регулярно были недовольны результатами. В один прекрасный день нам надоело это терпеть, и мы решили наконец-то разобраться.

Исправляем метрики 

Метрики — это инструмент, с помощью которого мы ставим задачи и контролируем качество их исполнения. Невозможно что-то улучшить в такой сложной системе, как ранжирование, если у вас нет корректных метрик для измерения изменений. Поэтому наша история начинается именно с них. 

Больше года назад мы собрались небольшой компанией разработчиков в переговорке, заказали пиццу, начали вводить в поиск реальные запросы пользователей по программированию и оценивать результаты, ориентируясь на свой опыт и знания в предметной области. 

В любой непонятной ситуации заказывай пиццу

Итак, нам нужно было выяснить, какая из поисковых систем лучше отвечает на специфичные запросы про разработку. Что значит «лучше отвечает»? Предположили, что это означает более полезный документ (так мы называем страницы в интернете) в топ-1 результатов выдачи. Мы взяли около 30 программистских запросов и документы в топ-1 Яндекса и Google. Перемешали, чтобы никто не знал, какие ответы откуда. Участникам нужно было сказать, какой из двух документов лучше решает задачу из запроса, или отметить, что они одинаково полезны. Три десятка попарных оценок показали, что Яндекс как минимум не выигрывает. Статистически значимой такую выборку, конечно, не назвать, но этого было достаточно, чтобы начать копать по-крупному. 

Мы решили отмасштабировать встречу в переговорке с пиццей на всю компанию: писали посты в этушку (это такие внутренние блоги), выступили с призывом на хурале (еженедельной встрече всех сотрудников). Придумали процесс, в котором участники не только выбирали лучший ответ, но ещё и обсуждали свой выбор с другими разработчиками, если их мнения разошлись. Более того, взяли за привычку каждую пятницу созваниваться с разработчиками из других компаний. Так нам удалось за несколько недель собрать уже не 30, а 1500 попарных оценок! К сожалению, выводы остались теми же: мы отвечаем существенно хуже, чем говорят нам метрики. Почему? Чтобы понять причину, нужно немного рассказать, как именно оцениваются результаты поиска. 

С оценкой качества поиска нам помогают асессоры. Это специалисты, которые умеют отвечать на сложные смысловые вопросы и делают это лучше, чем любой ML-алгоритм. В том числе они оценивают, насколько веб-документ полезен по запросу. И наш процесс разметки не гарантировал, что на вопрос, связанный с программированием, будет отвечать асессор с опытом в программировании. Главная причина в том, что мы таких асессоров-программистов просто не наняли в достаточном количестве. 

Представьте, что вас просят оценить пользу от документа на китайском языке. Как вы будете это делать, не зная язык? Правильно, искать иероглифы из запроса в тексте документа. В ряде случаев это нормальная стратегия, но далеко не всегда. К примеру, просим неспециалиста, который никогда не программировал, оценить ответ по запросу [C++ find_if]. Он видит, что в документе вполне себе есть и C++, и find, и даже if. Этот документ будет отмечен как хороший. 

Смотрим на документ глазами неспециалиста

На самом деле среди асессоров мог найтись тот, кто разбирается в программировании. Вот только каждое задание проходит через нескольких асессоров. Если вердикт асессора с опытом не совпадал с ответами других для этого же задания, то оценка просто усреднялась и качество разметки падало.

Как решить эту проблему? Нанять больше людей с опытом в программировании размечать запросы. Так мы и поступили. Непросто найти специалистов, которые смогут разобраться в специфических запросах и прочитать код на веб-страницах. Для этого мы проверили более тысячи кандидатов и наняли сотню лучших. Но оно того стоило: оценки новых асессоров не только были согласованы друг с другом, но и коррелировали с оценками яндексоидов! Метрика, построенная на новых оценках, на порядок лучше подсвечивала проблемы ранжирования. А это значило, что мы наконец-то починили «компас» и теперь знали, куда двигаться. Дальше наш взор устремился на модель, которая и отвечает за ранжирование документов.

Улучшаем ранжирование

Задача поиска в интернете довольно сложная. У нас есть сотни миллиардов документов. Нам надо найти среди них десять наиболее релевантных всего за сотню миллисекунд. Поэтому большинство документов отсеиваются простыми, но зато очень быстрыми алгоритмами. А вот дальше начинается самое интересное. 

Финальное решение о релевантности каждого документа принимает модель на базе нашей опенсорсной технологии градиентного бустинга CatBoost. На вход модели подаются разные факторы о запросе и документе, на выходе получаем предсказание релевантности документов. Факторов исторически очень много. Но с 2020 года можно однозначно выделить самый главный — тот, что выдаёт текстовая нейросеть YATI. Это огромная сеть с архитектурой Transformer, для работы которой требуются наши суперкомпьютеры. Мой коллега Саша Готманов уже подробно рассказывал о ней на Хабре. Самое главное, что тут надо знать: технология YATI стала самым большим прорывом в истории поиска с момента внедрения Матрикснета в 2009-м. Если убрать все-все остальные факторы, то качество поиска хоть и ухудшится, но не фатально. Ни один другой фактор в одиночку удержать качество не сможет.

Упрощённая схема ранжирования в поиске

Итак, у нас есть модели YATI и CatBoost — два ключевых компонента, от которых зависит качество поиска. Давайте улучшим их для нашей задачи! 

Мы решили обучить отдельный трансформер на базе YATI, который будет в первую очередь хорошо решать задачи по программированию. Недолго думая, назвали его CS YATI (Computer Science). Почему отдельный, а не в рамках универсального YATI? Запросов, связанных с программированием, в общем потоке очень мало. Поэтому мы можем позволить себе применять более мощную модель с бóльшим числом параметров. Кроме того, мы можем итеративно обновлять и обучать её без риска что-то поломать в основной модели.

Начали с того, что скормили трансформеру огромное число текстов, связанных с программированием. Так наша новая модель выучила все специализированные словечки и лексику из области компьютерных наук.

Дальше мы собрали поисковые логи программистских запросов и документов, на которые пользователи кликали по этим запросам. И обучили CS YATI именно на них. Правда, не без хитростей. 

У нас была проблема: размер документов по программированию часто довольно большой. Это значит, что наша большая модель может отрабатывать на них непростительно долго. Но при этом резать тексты и терять информацию очень не хотелось. Хотелось, наоборот, выжать из неё как можно больше качества при сохранении производительности. 

Мы поисследовали различные способы оптимизации модели и пришли к следующему трюку. Вместо того чтобы сокращать число слоёв нейросети, мы стали итеративно уменьшать длину входа каждого слоя. Само по себе это ухудшает качество. Но вся соль в том, что при этом и потребление ресурсов падает, а значит, мы можем подавать больше информации на вход. В результате тонкая оптимизация позволила не только не просадить качество, но и повысить его за счёт увеличения входной информации в полтора раза.

Однако некоторые документы по программированию все равно имеют слишком большой объём. Можно было бы просто брать начало текста, но это слишком грубый способ, снижающий качество. Мы начали выбирать из документов N наиболее релевантных предложений по данному запросу и уже их передавали в трансформер. Причём мера релевантности тоже оптимизировалась под программистские тексты. Финально мы зафайнтюнили CS YATI, ориентируясь на оценки асессоров с опытом в программировании.

Итак, мы создали нейросетевую модель CS YATI, которая может похвастаться пониманием языка программистов и умеет угадывать их выбор в поиске. Осталось придумать, как это всё внедрить в текущий процесс, применить на каждом запросе и не лечь под нагрузкой. Взгляните на схему:

Выглядит логично. Применяем дополнительную нагрузку в виде CS YATI не всегда, а только для узкого среза программистских запросов. Но есть нюанс: кто будет классифицировать каждый запрос перед развилкой? 

Решили, что и тут без CS YATI не обойтись. Благодаря тем же самым асессорам-программистам мы собрали датасет и с его помощью обучили CS YATI работать ещё и в режиме классификатора запросов — отличать программистские от всех остальных. Но главную проблему это всё равно никак не решало: модель была слишком тяжёлой, чтобы применять её на каждом запросе. 

Мы воспользовались уже хорошо зарекомендовавшим себя способом — дистилляцией. Специалисты сразу поймут, о чём я, но для всех остальных скажу: дистилляция — это обучение более лёгкой нейросети «подражать» поведению более тяжёлой. Мы взяли лёгкую DSSM-подобную сеть и обучили её на результатах работы нашего трансформера CS YATI. Понятно, что качество классификации немного просело, но при этом мы сэкономили огромные вычислительные ресурсы и смогли внедрить модель в продакшен.

Схема стала выглядеть так:

Внимательный читатель в этот момент может спросить: если у нас появилась специальная версия YATI, то, может быть, нужна и специальная версия CatBoost, которая будет учитывать специфику? Мы тоже сначала посчитали это хорошей идеей. Но давайте обо всём по порядку. 

Мы сделали отдельный CS CatBoost, который, подобно CS YATI, будет обучен ранжировать запросы и документы по программированию. А ещё он будет независим от основного компонента CatBoost — значит, мы сможем обновлять и экспериментировать с ним без оглядки на остальную часть поиска. Для его обучения мы использовали уже собранные нами оценки асессоров-программистов. Звучит хорошо, не правда ли?

Но у такого решения были и минусы. Однажды мы на этом попались. В апреле наши коллеги выпустили в опенсорс технологию YDB и очень громко пошумели об этом (в том числе на Хабре). Настолько, что пользователи пошли в поиск и стали вводить там запрос [YDB]. Наша быстрая нейросетка IS CS QUERY DSSM корректно определяла его как программистский. Дальше правильно отрабатывал трансформер CS YATI. А вот CS-версия CatBoost не показывала ни одной новости о событии.

Чтобы осознать суть беды, нужно добавить немного контекста. В поиске есть особые запросы, которые мы называем «свежими». Это запросы, ответы на которые появились в интернете совсем недавно — от нескольких минут до нескольких дней назад. Чтобы правильно отвечать на них, недостаточно быстро индексировать интернет. Необходимо обучать модель на примерах запросов, по которым пользователи хотят видеть свежие документы, и на самих свежих документах, которые хорошо на такие запросы отвечают. Если этого не делать, то модель на подобных документах будет вести себя неадекватно. Свежие ответы либо вовсе пропадут из топа выдачи, либо будут нерелевантными.

Мы проверили, что основная версия CatBoost, которая специально обучается на свежих запросах, хорошо справлялась с запросом [YDB]. А в обучении CS CatBoost свежих запросов не было, это и приводило к проблеме. Решение с отдельной версией CatBoost для CS, которое вначале нам показалось простым, привело к тому, что мы сломали ранжирование свежих программистских запросов. Усложнять ими обучение CS CatBoost мы не хотели, и решили, что самый простой способ — объединить две модели в одну. Сейчас это так и работает в проде.

Окей, у нас есть новые метрики, новый CS YATI, обновлённый CatBoost. Что ещё можно было сделать для улучшения качества ранжирования? Например, убедиться, что в данных для обучения моделей ранжирования есть всё, что нужно. 

В последнее время я часто читаю новые посты по машинному обучению в телеграме. Часть постов мне потом хотелось перечитать, я шёл в поиск и… не находил их. На самом деле это логично, потому что посты из веб-версии мессенджера плохо оптимизированы для поисковых систем. Начали думать, что же мы можем сделать на своей стороне, чтобы помочь похожим на нас пользователям.

Мы собрались с командой и посмотрели, как асессоры оценивают посты в телеграме. Обнаружили, что в обучающей выборке таких постов почти не было. Мы решили это исправить: намайнили и разметили асессорами-программистами больше документов из телеграма.

Дообучение сработало. Наш поиск научился находить полезные посты в телеграме. Не просто каналы, а конкретные посты из каналов! 

Итак, мы починили метрики, улучшили ранжирование и долили новые данные. Но на этом мы не остановились.  

Добавляем быстрые ответы и сниппеты

Цель поиска — не просто ранжировать ссылки, а помогать людям быстро решать свои задачи. Поэтому, помимо работы над ранжированием, мы развиваем и другие форматы. Например, совершенствуем быстрые ответы. Это такие специальные блоки, в которых поиск сразу приводит краткий ответ на запрос. По нашим подсчётам, они экономят пользователям десятки тысяч часов в сутки.

Мы улучшили в поиске быстрые ответы для сайтов, популярных среди разработчиков. Например, теперь там можно встретить ответы на вопросы со Stack Overflow. Поначалу это был просто наиболее рейтинговый ответ с платформы, который выводился в блоке справа. Отзывы коллег помогли усовершенствовать его: появился выбор из нескольких ответов, число оценок, комментариев и даже сам вопрос. 

Расширенным стал не только быстрый ответ, но и сниппет в результатах поиска. 

Ещё один интересный пример: мы доработали сниппет Гитхаба. Теперь прямо в выдаче можно увидеть рейтинг проекта, число форков и даже дату последнего коммита. Это поможет быстрее сделать правильный выбор.

А вот, например, новый сниппет, который помогает быстро найти команду для установки пакетов из npm, brew, pip, Pub и nuget — или сразу получить основную информацию о пакете.

Мы продолжим развивать быстрые ответы, а также добавлять сниппеты и для других сайтов тоже.  

Выученные уроки

• Если метрика говорит, что мы у пользователей самые лучшие, то стоит проверить эту метрику.

• На скорую руку можно только прод поломать (ну или свежие CS-запросы).

• Если сделали новую метрику и по ней выиграли, то это не значит, что продукт некуда улучшать. Реальную обратную связь можно получить только от пользователей. Попробуйте наш поиск для запросов по программированию и присылайте фидбэк. Теперь поделиться отзывом просто: внизу выдачи появился пункт «Сообщить об ошибке». Вместе мы можем упростить жизнь огромному числу разработчиков. Спасибо!

«Яндекс» перешел на поиск нового поколения.

Он будет искать не только по сайтам, но и по сущностям

Интернет
Веб-сервисы
Техника

28 Ноября 2022 13:1728 Ноя 2022 13:17

|

Поделиться

Компания «Яндекс» переосмыслила свой поисковик. Теперь российские пользователи могут не ограничиваться информацией только на русском языке — заработал синхронный перевод видео и трансляций, также появились детский аккаунт, поиск для профессионалов, а результаты поиска по «большим темам» сохраняются в отдельный блок.

«Яндекс» сделал редизайн

«Яндекс» запустил новую версию поиска Y2, сообщили CNews представители компании. Теперь система может искать информацию по видео с закадровым переводом, объектам, фильтрует контент для детских аккаунтов и позволяет разбираться с большими темами.

Визуально изменились главная страница «Яндекса» и мобильное приложение. Теперь они сфокусированы только на поиске. С главной страницы убрали все сервисы кроме поисковой строки, информации о погоде, курсе валют и пробках. Остальные продукты компании: «Яндекс Картинки», «Авто.ру», «Яндекс Музыку» и т.д. разработчики вынесли в отдельную вкладку в нижнем левом углу сайта.

«“Яндекс” по прежнему будет искать по сайтам, но теперь движется и в сторону поиска по сущностям. — рассказали эксперты «Яндекса» в презентации. — Потому что чаще всего нужны не сайты, а что-то конкретное: товар, услуга, песня, или даже человек».

Поиск для профи

Поиск Y2 лучше отвечает на вопросы разработчиков и специалистов по машинному обучению. Для этого в поиск внедрили нейросеть-трансформер CS YATI, которую обучили на запросах по программированию и оценках разработчиков. Новая нейросеть учитывает в полтора раза больше параметров, чем запущенная два года назад YATI.

«Яндекс» запустил новую версию поиска Y2

«На срезе программистских запросов мы увидели, что стандартные способы обучения алгоритмов не очень хорошо подходят для профессиональных запросов, — рассказала Екатерина Серажим, руководитель отдела качества «Яндекс Поиска». — Хотя наш поиск показывал условно корректные ответы по программированию, но это не те ответы, которые порекомендовал бы профессиональный программист. Проблема оказалась в том, что результаты поиска оценивают специалисты, которые не понимают в программировании. Мы сначала наняли специалистов программистов для этой задачи, а потом обучили нейросеть на основе их оценок. Сейчас помимо прочих алгоритмов при поиске срабатывает нейронная сеть, которая классифицирует, что запрос относится к программированию и тогда включается “большая” нейронная сеть».

Со временем также будут развивать выдачу для медиков, финансистов и других профессионалов.

Детский аккаунт

Появился в «Яндексе» и детский аккаунт, его можно привязать к аккаунту родителей. Он будет работать не только в поиске, но и на других сервисах платформы.

«В детском аккаунте фильтруется контент в поисковой системе по самым сложным вопросам: насилие, наркотики и секс, — рассказала Елена Бубнова, руководитель «Яндекс Поиска». — Нейросеть определяет контент который мы собираемся показать и ограждает детей от опасной, шокирующей или неподходящей по возрасту информации. входят треки без мата в приложении “Яндекс.Музыка”, специальная детская подборка в “Кинопоиске”».

Большие темы в одном блоке

По словам представителей «Яндекса», Y2 научился видеть за отдельными запросами долгосрочный интерес к той или иной теме и структурировать собранную человеком информацию.

«Теперь стало проще вернуться к вопросам, к которым пользователь уже проявлял интерес. — рассказала Елена Бубнова. — Алгоритм также посоветует в какие нюансы нужно еще погрузиться. Он соберет запросы, которые пользователь еще не задавал, но скорее всего задаст. К подборке можно будет вернуться в один клик».

Сейчас поиск выделяет такие большие темы, как образование, карьера, финансы, семья, квартира, ремонт и так далее. Для этого «Яндекс» применяет сложный классификатор на основе генеративной нейронной сети YaLM.

CNews, ВТБ и «Сколково» объявили победителей премии Data Fusion Awards

Меняется и онлайн-шопинг. Теперь не надо заходить на все сайты подряд, обновленный поиск, по словам Елены Бубновой, соберет самое важное о товаре в одну карточку и покажет в выдаче. Сейчас это работает в категории электроники и бытовой техники.

Видео с автопереводом

В новой версии поисковика от «Яндекс» появились фильтры для поиска видео с автоматическим голосовым переводом на русский язык, сообщают представители компании.

Нейросеть может найти подходящее видео на иностранном языке и «на ходу» перевести его. Сейчас россиянам доступны видео с автопереводом с английского, немецкого, французского, итальянского и испанского языков.

Напомним, что «Яндекс» презентовал технологию автоперевода видео еще в июле 2022 г. Российский ИТ-гигант продемонстрировал возможности прототипа на подборке из дюжины Youtube-роликов, в том числе и на прямых трансляциях.

«Ланит Омни» представила свою low-code платформу

ПО

«Русскоязычного контента во всей сети меньше 10%. Теперь можно смотреть видео и даже не задумываться на каком языке оно сделано — отметили эксперты «Яндекса». — Машинным переводом в мире занимается не там много компаний, это довольно сложный процесс. Трудно определить, что такое идеальный машинный перевод, но мы опробовали. Как и человек, нейросеть обучается на примерах. Ей нужно показать много примеров параллельных предложений — это одни и те же предложения, но на разных языках. Показываем 10 млн, 100 млн примеров и нейросеть все запоминает. На видео мы не смотрим, мы работает только с аудиодорожкой. Технология распознает речь, определяет какие спикеры говорят каждую реплику. Дальше каждую фразу надо перевести, синтезировать речь, озвучить ее подходящим голосом (у нас в общей сложности 12 разных мужских и женских голосов). После этого, к дорожке с переведенной речью добавляется исходный саундтрек — и готово. С трансляциями и прямыми эфирами работа сложнее. Здесь нет возможности досмотреть видео до конца, значит меньше контекста и шансов правильно все перевести, но нейросеть справляется».

Как отметили пользователи, этот сервис действительно удобен, однако перевода русского на другие языки пока нет.

Что еще происходит с «Яндексом»

В конце ноября 2022 г. стало известно, что совет директоров Yandex (владелец российского «Яндекса») готовится к разделению компании. У Yandex останутся международные части ряда направлений компании, включая разработку беспилотных автомобилей, облачные технологии, образовательные сервисы и платформа по разметке данных. В то же время российская часть этих направлений останется у российского «Яндекса».

Ранее агентство Bloomberg сообщало, что основатель и главный акционер Yandex Аркадий Волож ведёт переговоры с заместителем главы Администрации Президента России Сергеем Кириенко и главой Счётной палаты Алексеем Кудриным.

• Приложения для слежки за чужим смартфоном, за которые вам ничего не будет

Юлия Божко

Поисковые команды Яндекса для тех, кто не говорит по-русски (часть 1) « SEO Warrior

Яндекс — крупнейшая поисковая система России, и ее основное внимание уделяется русскоязычным сайтам. Если вы не говорите, не читаете и не пишете по-русски, это может быть вам бесполезно. Тем не менее, он имеет огромный индекс, и даже носители других языков могут использовать его команды расширенного поиска, чтобы найти то, что они ищут. Команд Яндекса много, поэтому я разделю этот пост на 2 части. Это часть 1 шпаргалки поисковых команд Яндекса.

Команда	Пример	Пояснение
клавиша w1 и клавиша w2 [& … ]	бесплатно и испанский и уроки	Ввод ключевых слов с помощью «&» приведет к тому, что запрос будет искать текст со всеми словами в одном предложении. Это полезно для поиска именно той страницы, которую вы ищете, по предложению с нее.
клавиша w1 && клавиша w2 [&& …]   ключ w1 << ключ w2	бесплатные уроки && испанского &&	Это похоже на «&», за исключением того, что вы можете искать ключевые слова в том же документе. Обратите внимание, что «<<» работает таким же образом.
«<ключевое слово>»	«Бесплатные уроки испанского»	Поиск по ключевому слову/фразе, но точное совпадение текста между кавычками.
ключ w1 /+n ключ w2	поставить /+3 грамматически Примечание: обязательно указать положительное значение /n с символом +. В противном случае вы получите смешанные результаты.	Поиск ключевых слов, но ключевое слово, следующее за /, должно быть смещено в прямом направлении на указанное количество слов. В примере поиск найдет все документы со словом «грамматически», расположенным через 3 слова после «доставить». Преимущество заключается в том, что вы можете очень точно найти именно тот документ, который вам нужен, учитывая, что у вас есть исходный текст.
ключ w1 /-n ключ w2	поставить /-3 грамматически	Это похоже на предыдущую команду, за исключением того, что знак минус указывает системе искать второе ключевое слово за n слов до первого.
ключ w1 && /n ключ w2	поставить && /3 грамматически	Символ «&&» указывает, что ключевое слово и ключевое слово смещения должны существовать в одном предложении. Символ + в этом случае не нужен, и тесты показали, что его включение дает смешанные результаты.
ключ w1 /(x y) ключ w2	поставить /(-2 +3) грамматически	Эта команда находит ключевые слова в диапазоне слов, указанном x (смещение клавиши w2 влево от клавиши w1) и y (смещение клавиши w2 вправо от клавиши w1).
!ключевое слово	!политика	! оператор говорит поисковой системе найти ключевое слово в строгой форме. В этом примере будут найдены все страницы с точным словом «политика», но не страницы со словами «политика» или «политический».
клавиша w1 ~~ клавиша w2	Испанский ~~ учебники	Оператор ~~ указывает исключить из результатов поиска страницы, содержащие ключ w2
ключ w1 ~ ключ w2	Испанский ~ учебники	Этот оператор аналогичен предыдущему, за исключением того, что он указывает, что исключение происходит, когда ключевые слова встречаются в одном предложении.
ключ w1 | Ключw2	Испанский (уроки | самоучители)«Уроки испанского» | «Уроки английского»	Символ вертикальной черты является оператором ИЛИ. В этом примере поисковой системе нужно искать ключевое слово испанский и либо уроки, либо учебные пособия. Вы также можете использовать ключевые фразы, если они заключены в кавычки.
$ якорь(выражение)	$ якорь (CNN)	Эта команда ищет выражение в якорном тексте ссылок. Якорный текст — это текст, который вы видите в ссылке на другой сайт.

Продолжение следует…

Метки: Яндекс, Шпаргалка Яндекса, Поисковые команды Яндекса

Опубликовано администратором

Блог, Шпаргалки

Подписаться на RSS канал

Бесплатный поисковик Яндекса длиннохвостый

www.keyword.io – Поисковик Яндекс длиннохвостый

Исследование ключевых слов с длинным хвостом для SEO и PPC на основе поисковой системы Яндекс

Всякий раз, когда речь идет об интернет-маркетинге, слова «Поисковая оптимизация» приобретают чрезвычайно важное значение. В концепции поисковой оптимизации большое внимание уделяется ключевым словам. Ключевые слова являются очень важным фактором для поиска любого продукта на онлайн-платформе. Нет никаких сомнений в том, что Google является самой популярной поисковой системой в мире. Однако многие новые поисковые системы, такие как Яндекс, также дают о себе знать.
Молодое поколение более «компьютерно подковано» по сравнению с более ранним поколением. Они взялись за интернет-маркетинг, как утка за воду. Интернет-маркетинговые компании прекрасно оценили это качество и разрабатывают больше продуктов, чтобы удовлетворить эту конкретную часть населения. Молодое поколение — нетерпеливый народ. У них может не быть времени или желания вводить длинные ключевые слова для выполнения поиска. В таких случаях пригодится программное обеспечение для поиска ключевых слов с длинным хвостом.
Один из таких популярных программных инструментов доступен на сайте www.keyword.io. Этот инструмент может выдавать наиболее релевантные поисковые запросы. Пары слов достаточно, чтобы получить наиболее часто используемые ключевые слова. Инструмент использует поисковые системы, такие как Яндекс, для расширения своей базы данных.

Google — самая популярная поисковая система, используемая сегодня. Исследования показывают, что Яндекс также быстро догоняет Google во многих отношениях. Преимущество Яндекса в том, что это молодой поисковик по сравнению с Google. Поэтому он больше нравится молодому поколению. У них свои вкусы. Яндекс стремится удовлетворить именно эти вкусы молодого поколения. Это дает жизнеспособную альтернативную базу данных поиска. Этот инструмент использует длинные ключевые слова Яндекса из автозаполнения Яндекса и поставляется с изысканным набором «длинных хвостов» ключевых слов. Вы можете использовать эти ключевые слова, чтобы получить идеальную комбинацию.

Где вы можете использовать инструмент поиска ключевых слов yandex?

Яндекс предоставляет подходящую альтернативу Google. Чтобы добиться успеха, в бизнесе должна быть здоровая конкуренция. Яндекс предоставляет эту дополнительную специю. Следует знать о предпочтениях подрастающего поколения, пользующихся альтернативными поисковыми системами. Это может дать любому бизнесмену фору в отрасли. На самом деле не только бизнесмены, но и любой человек может использовать этот инструмент, чтобы получить доступ к огромной базе данных ключевых слов с длинными хвостами.

Как использовать этот бесплатный инструмент поиска ключевых слов yandex longtail:

По сравнению с предыдущей версией инструмента вам не нужно регистрироваться, чтобы получить доступ к инструменту. Вам нужно только создать бесплатную учетную запись, позволяющую загружать сгенерированный список. Открыть счет очень просто.
Следующим шагом является предоставление исходного ключевого слова и выбор языка из раскрывающегося списка, предназначенного для этой цели. Существует ряд вариантов в зависимости от страны вашей аудитории и языка.
Придется немного подождать, пока система загрузится.

Затем инструмент соберет ключевые слова из магазина приложений Google, что может занять от пяти до двадцати секунд, в зависимости от вашего подключения.

Программное обеспечение должно сделать много запросов из этих источников, чтобы предоставить вам переменные параметры. Если вы разместите слишком много запросов за короткое время, их система может заблокировать ваши запросы на короткое время.
При успешном поиске новые ключевые слова отображаются в левой части экрана.
Вы можете подобрать все релевантные для вас ключевые слова и добавить их в правый список.
Выбранные ключевые слова останутся в этом списке, даже если вы выполните новый поиск по другим источникам, запросам или будете использовать другие источники, такие как наш поисковик ключевых слов amazon.

Это позволяет вам составлять списки из тысяч ключевых слов, чего не позволит вам ни один другой инструмент!

Чтобы лучше управлять этими списками, вы можете фильтровать их по любому термину или фразе и добавлять или удалять только подходящие. Мы даже даем вам список полезных терминов для фильтрации!

Преимущества использования этого инструмента:

• собирать наиболее релевантные поисковые запросы, выполненные пользователями в поиске Google
• включают другие источники, такие как инструмент подсказки ключевых слов Google Playstore для проведения поиска
• сэкономите себе много времени, заходя в каждую поисковую систему для поиска или даже пытаясь провести мозговой штурм
• используйте удобный фильтр для сужения области поиска
• без блокировки ваших данных, вы можете скачать всю информацию бесплатно и использовать ее с любыми другими инструментами, которые вам нравятся
• загрузите загруженный файл результатов в планировщик ключевых слов Google, чтобы получить больше информации об объемах поиска по всем этим запросам

Интернет-маркетинг во многом зависит от использования ключевых слов, и есть много еще неиспользованных источников.
Этот инструмент идеально подходит для предоставления вам часто используемых релевантных ключевых слов с длинными хвостами, о которых Google вам не сообщает.

Примеры ключевых слов Яндекса для исходного ключевого слова «исследование ключевых слов»

• лучший курс по исследованию ключевых слов
• поиск ключевых слов в копирайтинге
• исследование ключевых слов конкурентов
• дешевый инструмент для исследования ключевых слов
• бесплатные инструменты исследования ключевых слов конкурентов
• бесплатное исследование популярности ключевых слов
• конкуренты по поиску ключевых слов
• критерии исследования ключевых слов
• стратегия исследования ключевых слов
• программное обеспечение для исследования ключевых слов
• услуги по исследованию ключевых слов
• служба исследования ключевых слов
• продукт электронной коммерции для исследования ключевых слов
• исследование ключевых слов шаг за шагом
• исследование ключевых слов SEO
• служба исследования ключевых слов Великобритания
• функция исследования ключевых слов может помочь вам
• инструмент для исследования ключевых слов яндекс
• лучший инструмент для исследования ключевых слов
• исследование ключевых слов в яндексе
• инструмент исследования конкурентных ключевых слов
• инструмент для исследования ключевых слов ebay
• исследование ключевых слов гугл
• инструмент для исследования ключевых слов гугл
• бесплатный инструмент для исследования ключевых слов
• исследование ключевых слов
• инструмент исследования ключевых слов
• инструменты исследования ключевых слов
• API исследования ключевых слов
• исследователь ключевых слов
• бесплатный инструмент для исследования ключевых слов
• исследование ключевых слов бесплатно
• исследование ключевых слов гугл
• специалист по ключевым словам
• инструмент для исследования ключевых слов яндекс
• советы по исследованию ключевых слов
• руководство по исследованию ключевых слов
• планировщик исследования ключевых слов
• специалист по исследованию ключевых слов
• бесплатные инструменты для исследования ключевых слов
• исследование ключевых слов как
• ключевые словаwebinar. com
• исследование ключевых слов яндекс
• инструмент для исследования ключевых слов гугл
• вебинар по исследованию ключевых слов
• плагин исследования ключевых слов
• SEO-исследование ключевых слов
• исследование ключевых слов semrush
• исследовать рекламу яндекс по ключевым словам
• исследование ключевых слов ютуб
• инструмент исследования ключевых слов Yahoo
• инструмент для исследования ключевых слов ютуба
• исследование ключевых слов adwords
• инструмент для исследования ключевых слов adword
• инструмент для исследования ключевых слов adwords
• исследование ключевых слов гугл адвордс
• инструмент для исследования ключевых слов google adwords
• исследование ключевых слов adwords
• поиск и анализ ключевых слов
• анализ исследования ключевых слов
• SEO и исследование ключевых слов
• демографическое исследование ключевых слов
• исследование ключевых слов
• espree devora исследование ключевых слов и рыночная ниша
• демистифицированное исследование ключевых слов pdf
• инструменты исследования ключевых слов для SEO
• инструмент для исследования ключевых слов в яндекс рекламе
• онлайн-инструмент для исследования ключевых слов
• учебник по исследованию ключевых слов
• обзоры инструментов исследования ключевых слов
• шаблоны исследования ключевых слов
• инструмент для исследования ключевых слов торрент
• инструмент для поиска ключевых слов в яндексе
• инструмент для исследования ключевых слов фейсбук
• зачем проводить исследование ключевых слов
• бесплатное исследование ключевых слов
• исследование ключевых слов в яндекс рекламе
• исследование ключевых слов электронной коммерции
• исследование ключевых слов предпринимателей. com
• Google внешний инструмент исследования ключевых слов
• механизм исследования ключевых слов
• исследователь ключевых слов про торрент
• исследователь ключевых слов про сколько это стоит
• исследование ключевых слов в гугле
• отчет об исследовании ключевых слов
• упражнения по ключевым словам для исследования
• исследование ключевых слов в поисковых системах
• лучшее бесплатное исследование ключевых слов
• api для исследования ключевых слов в yandex
• бесплатный инструмент яндекс для исследования ключевых слов
• критерии исследования ключевых слов
• бесплатный инструмент для исследования ключевых слов в яндексе
• бесплатные инструменты для исследования ключевых слов
• исследование ключевых слов для SEO
• исследование ключевых слов для яндекс
• исследование ключевых слов для начинающих
• бесплатный инструмент для исследования ключевых слов
• исследование ключевых слов для сайта
• исследование ключевых слов для ютуба
• исследование ключевых слов для партнерского сайта
• формула исследования ключевых слов
• функция исследования ключевых слов
• бесплатный инструмент для исследования ключевых слов SEO
• инструменты для исследования ключевых слов
• учебник по исследованию ключевых слов
• как исследовать ключевые слова
• международное исследование ключевых слов
• важно ли исследование ключевых слов
• ниндзя исследования ключевых слов
• поиск по ключевым словам в исследованиях
• что такое исследование ключевых слов
• почему важно исследовать ключевые слова
• обратные ссылки для исследования ключевых слов
• Библия исследования ключевых слов plr
• SEO книга инструмент исследования ключевых слов
• лучший инструмент для исследования ключевых слов
• исследование ключевых слов google бесплатно
• исследование ключевых слов гугл аналитикс
• исследование ключевых слов
• лучшие практики управления исследованием ключевых слов
• показатели исследования ключевых слов
• исследование ключевых слов Великобритания
• поиск работы по поиску ключевых слов
• исследование ключевых слов Amazon Kindle
• бесплатное локальное исследование ключевых слов
• исследование ключевых слов на Mac
• moz исследование ключевых слов
• исследование мобильных ключевых слов
• исследование рынка ключевых слов
• исследование ключевых слов ниши
• инструмент исследования ключевых слов ниши
• исследование ниши ключевых слов
• Инструмент исследования ключевых слов Яндекса.

  This entry was posted in Популярное