Возвращаем Яндекс-поиск в Firefox / Информационная безопасность, Законы, Программы, ПО, сайты / iXBT Live

Для работы проектов iXBT.com нужны файлы cookie и сервисы аналитики.
Продолжая посещать сайты проектов вы соглашаетесь с нашей
Политикой в отношении файлов cookie

Вероятно, поддавшись последним веяниям, компания Mozilla, в обновлении 98.0.1 от 14 марта, удалила поиск Yandex и Mail.ru в своем весьма популярном браузере Firefox, сделав активным, по умолчанию, поиск Google. Не то чтобы слишком печально, но неприятно, если привык именно к Яндексу. Однако, совсем немного потыкавшись в менюшках браузера, привычный поиск вполне можно вернуть без всяких сложностей. 

Пользователи, у которых Firefox обновляется автоматически до новой версии, при перезагрузке браузера после обновления, под строкой меню, получили сообщение, что Yandex-поиск был заменен на поиск Google. Об этом же можно почитать на официальной странице:

Соответственно, после такого обновления, вбивая текстовый запрос на поиск в строке адреса или в окошке поиска, даже если в браузере ранее по умолчанию был пользователем установлен поиск от Яндекса, теперь стал открываться Google. Также нет возможности выбрать «Яндекс», нажав на лупу в окошке поиска:

Заходя в «Настройки»  -> «Поиск» также нет возможности выбрать Яндекс (или Mail.ru):

И в значках поисковых систем он также пропал:

Таким образом, из настроек фактически его никак ввернуть нельзя. Однако, это можно сделать просто внимательно почитав руководство пользователя на сайте Mozilla. Один из способов оказался не закрыт. Заключается он в добавлении поисковой системы из адресной панели браузера. Чем и воспользуемся. 

Просто заходим на Яндекс, кликаем на адресной строке правой кнопкой мышки и, в выпадающем меню, жмем «Добавить „Яндекс“:

Теперь он также появляется в меню выбора поисковика (при нажатии на лупу в строке поиска буква „Я“):

Ну а теперь заходим в „Настройки“-> „Поиск“ и выбираем по умолчанию, в качестве поисковика Яндекс, который опять появился в меню:

Всё! Мы все починили. Теперь по умолчанию снова работает поиск от Яндекса:

Проверяем… При наборе поискового текста в адресной строке или в окошке поиска. ….

… вываливаются поисковые запросы от Яндекс:

Чтобы Firefox больше так не пакостил, можно отменить автоматическую установку обновлений. 

Почему производитель „проглядел“ такую возможность простого восстановления поиска не очень понятно, ну и ладно. С mail.ru такой способ не сработал. 

Новости

Публикации

Социальная инженерия – это психологическое воздействие на людей, через манипуляции, обман и внушение. Цель: побуждение человека к каким-либо действиям, получение конфиденциальной информации,…

«Горшочек, больше не вари!» — вспомнилась мне сказка братьев Гримм при взгляде на электрическую мультиварку mc-5100 от GOODHELPER. Сегодня в обзоре хочу рассказать о данной мультиварке, отметив…

Электрический
чайник давно вошел в повседневную жизнь каждого человека. Сейчас редко можно
увидеть на кухне обычный эмалированный чайник, даже если у вас газовая плита.
По сути своей они все очень…

Хорошая новость в том, что провисание и связанные с ним проблемы можно легко предотвратить. Источник: www.palit.com Во что в конце концов выльются бесконтрольно растущие размеры…

Человек существо социальное, мы постоянно общаемся с множеством людей, в том числе невербально (жестами и языком тела без слов). Мы все привыкли кивать головой на утверждение (когда говорим «да»)…

Как
уже можно было убедиться ранее, Hoco – достаточно специфический бренд, продукты которого
могут вызывать смешанные впечатления. Достаточно давно было заказано данное
зарядное устройство, но…

Причины удаления страницы из индекса поисковой системы Яндекс?

#Оптимизация сайта
#Индексация

#82

Ноябрь’18

19

Ноябрь’18

19

Анализируя индексацию сайта в поисковой системе Яндекс, можно увидеть, что некоторые страницы сайта были исключены из индекса.

Основные причины удаления страниц из поиска

Ошибки ответа сервера — 3**, 4**, 5**

• Код ответа 3** связан с переадресацией страниц. Наиболее простой пример, когда из индекса удаляется страница — когда она имеет 301 редирект.

• Код ответа 4** связан с недоступностью страницы. Самые популярные ошибки — 404 и 403.

Первый код означает, что страница больше не открывается по данному адресу, и соответственно Яндекс удаляет ее из поиска.

Важно: если вы поменяли адрес странице, но она уже была в индексе, то необходимо настроить 301 редирект на новую страницу.

403 код ответа сервера указывает на то, что отсутствует доступ к данному ресурсу. В таком случае необходимо разобраться с настройками хостинга.

• Из-за проблем с сервером (коды ошибок 5**) страницы также удаляются из индекса.

Запрет к индексации

Страница запрещена к индексации через файл robots.txt или через мета-тег noindex.

Страница имеет атрибут rel=«canonical»

Тег <link> с данным атрибутом указывает, какую ссылку необходимо индексировать ПС.

Дубликаты страницы

Обычно из индекса удаляются страницы, имеющие одинаковый контент, но открывающиеся по различным адресам. Но на скриншоте выше разные страницы https://tk9.ru/in/maslo_rapsovoe_neraf/ и https://tk9.ru/catalog/ признаны дубликатами. В таких ситуациях рекомендуется сообщать технической поддержке об ошибке и отправлять страницы на переобход.

Недостаточное качество страницы

Как вовремя реагировать на изменения

Чтобы быть в курсе всех изменений, рекомендуется настроить уведомления в панели вебмастера:

Также рекомендуется добавить целевые страницы в инструмент «Мониторинг важных страниц».

Что делать, если Яндекс удалил нужную страницу из поиска

В таком случае необходимо устранить причину удаления и отправить ее на переобход https://webmaster.yandex.ru/site/indexing/reindex/. Страница вернется в поиск в ближайшие апдейты.

Похожее

Оптимизация сайта
Индексация

Атрибут rel=canonical

Оптимизация сайта
Индексация

Индексация ссылок

Оптимизация сайта
Индексация

#133

Атрибут rel=canonical

Апрель’23

12751

23

Оптимизация сайта
Индексация

#119

Индексация ссылок

Апрель’19

4864

30

Оптимизация сайта
Индексация

#111

Описание и настройка директивы Clean-param

Апрель’19

10221

24

Оптимизация сайта
Индексация

#104

Как привлечь быстроробота Яндекс

Февраль’19

2379

21

Оптимизация сайта
Индексация

#94

Проверка индекса сайта. Как найти мусорные или недостающие страницы

Декабрь’18

10184

28

Оптимизация сайта
Индексация

#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь’18

6668

22

Оптимизация сайта
Индексация

#60

Правильная индексация страниц пагинации

Февраль’18

8777

19

Оптимизация сайта
Индексация

#47

Как узнать дату индексации страницы

Ноябрь’17

8427

19

Оптимизация сайта
Индексация

#46

Какие страницы надо закрывать от индексации

Ноябрь’17

11350

19

Оптимизация сайта
Индексация

#38

Как удалить страницу из индекса Яндекса и Google

Ноябрь’17

15043

20

Оптимизация сайта
Индексация

#37

Как добавить страницу в поиск Яндекса и Google

Апрель’17

21025

19

Оптимизация сайта
Индексация

#7

Как закрыть сайт от индексации

Ноябрь’17

10679

18

Оптимизация сайта
Индексация

#2

Как проверить индексацию сайта в поисковых системах

Ноябрь’17

18560

27

Оптимизация сайта
Индексация

#1

Как ускорить индексацию сайта

Ноябрь’17

6743

29

Утечка факторов ранжирования в поиске Яндекса: информация

Сообщество поискового маркетинга пытается разобраться в просочившемся репозитории Яндекса, содержащем файлы, перечисляющие то, что выглядит как факторы ранжирования в поиске.

Некоторые могут искать действенные подсказки SEO, но это, вероятно, не реальная ценность.

По общему мнению, это будет полезно для общего понимания того, как работают поисковые системы.

Если вам нужны хаки или ярлыки, их здесь нет. Но если вы хотите больше узнать о том, как работает поисковая система. Есть золото.

— Райан Джонс (@RyanJones) 29 января 2023 г.

Есть чему поучиться

Райан Джонс (@RyanJones) считает, что эта утечка имеет большое значение.

Он уже загрузил некоторые модели машинного обучения Яндекса на свою машину для тестирования.

Райан убежден, что есть чему поучиться, но для этого потребуется гораздо больше, чем просто изучение списка факторов ранжирования.

Райан объясняет:

«Хотя Яндекс — это не Google, мы можем многому научиться из этого с точки зрения сходства.

Яндекс использует множество технологий, изобретенных Google. Они ссылаются на PageRank по имени, используют Map Reduce и BERT и многое другое.

Очевидно, что факторы будут различаться, и веса, применяемые к ним, также будут различаться, но методы компьютерной науки того, как они анализируют релевантность текста, связывают текст и выполняют вычисления, будут очень похожи в разных поисковых системах.

Я думаю, что мы можем почерпнуть много информации из факторов ранжирования, но одного лишь просмотра просочившегося списка недостаточно.

Когда вы смотрите на веса по умолчанию (до машинного обучения), вы видите отрицательные веса, которые SEO-специалисты считают положительными, или наоборот.

Кроме того, в коде рассчитывается НАМНОГО больше факторов ранжирования, чем указано в списках факторов ранжирования.

Этот список, по-видимому, представляет собой только статические факторы и не учитывает, как они вычисляют релевантность запроса, или многие динамические факторы, связанные с набором результатов для этого запроса».

Более 200 факторов ранжирования

На основе утечки часто повторяют, что Яндекс использует 1923 фактора ранжирования (некоторые говорят, что меньше).

Кристоф Цемпер (профиль LinkedIn), основатель Link Research Tools, говорит, что друзья сказали ему, что существует гораздо больше факторов ранжирования.

Кристоф поделился:

«Друзья видели:

• 275 факторов персонализации
• 220 факторов «свежести в Интернете»
• 3186 факторов поиска изображений
• 2 314 факторов поиска видео

Еще многое предстоит нанести на карту.

Наверное, самое удивительное для многих то, что у Яндекса сотни коэффициентов для ссылок».

Дело в том, что это намного больше, чем 200+ факторов ранжирования, которые раньше заявлял Google.

И даже Джон Мюллер из Google сказал, что Google отошел от 200+ факторов ранжирования.

Так что, возможно, это поможет индустрии поиска отойти от того, чтобы думать об алгоритме Google в таких терминах.

Никто не знает весь алгоритм Google?

Что поразительно в утечке данных, так это то, что факторы ранжирования были собраны и организованы таким простым способом.

Утечка ставит под сомнение идею о том, что алгоритм Google тщательно охраняется и что никто, даже в Google, не знает всего алгоритма.

Возможно ли, что в Google есть таблица с более чем тысячей факторов ранжирования?

Кристоф Семпер сомневается в том, что никто не знает алгоритма Google.

Кристоф прокомментировал журнал Search Engine:

«Кто-то сказал в LinkedIn, что не может себе представить, чтобы Google просто так «документировал» факторы ранжирования.

Но именно так нужно строить подобную сложную систему. Эта утечка исходит от очень авторитетного инсайдера.

У Google есть код, который также может стать предметом утечки.

Часто повторяющееся утверждение о том, что даже сотрудники Google не знают факторов ранжирования, всегда казалось абсурдным для такого технического специалиста, как я.

Людей, у которых есть все детали, будет очень мало.

Но это должно быть в коде, потому что код — это то, что запускает поисковую систему.

Какие части Яндекса похожи на Google?

Просочившиеся файлы Яндекса дают представление о том, как работают поисковые системы.

Данные не показывают, как работает Google. Но он дает возможность просмотреть часть того, как поисковая система (Яндекс) ранжирует результаты поиска.

То, что содержится в данных, не следует путать с тем, что может использовать Google.

Тем не менее, между двумя поисковыми системами есть интересные сходства.

MatrixNet — это не RankBrain

Одна из интересных идей, которую некоторые находят, связана с нейронной сетью Яндекса под названием MatrixNet.

MatrixNet — более старая технология, представленная в 2009 году (ссылка на объявление на сайте archive.org).

Вопреки утверждениям некоторых, MatrixNet не является Яндекс-версией Google RankBrain.

Google RankBrain — это ограниченный алгоритм, ориентированный на понимание 15% поисковых запросов, которые Google раньше не видел.

Статья в Bloomberg раскрыла информацию о RankBrain в 2015 году. В статье говорится, что RankBrain был добавлен в алгоритм Google в том же году, через шесть лет после появления Yandex MatrixNet (снимок статьи на Archive.org).

В статье Bloomberg описывается ограниченное назначение RankBrain:

«Если RankBrain увидит слово или фразу, с которыми он не знаком, машина может предположить, какие слова или фразы могут иметь похожее значение, и соответствующим образом отфильтровать результат, что сделает его более эффективным при обработке невиданных ранее поисковых запросов».

MatrixNet, с другой стороны, представляет собой алгоритм машинного обучения, который делает множество вещей.

Одной из его задач является классификация поискового запроса и последующее применение к этому запросу соответствующих алгоритмов ранжирования.

Это часть того, что говорится в анонсе алгоритма 2009 года на английском языке за 2016 год:

«MatrixNet позволяет создать очень длинную и сложную формулу ранжирования, которая учитывает множество различных факторов и их комбинаций.

Еще одной важной особенностью MatrixNet является возможность настройки формулы ранжирования для определенного класса поисковых запросов.

Кстати, настройка алгоритма ранжирования, скажем, для поиска музыки не повлияет на качество ранжирования для других типов запросов.

Алгоритм ранжирования похож на сложный механизм с десятками кнопок, переключателей, рычагов и датчиков. Обычно любой поворот любого отдельного переключателя в механизме приводит к глобальным изменениям во всей машине.

Однако

MatrixNet позволяет настраивать определенные параметры для конкретных классов запросов, не вызывая капитального ремонта всей системы.

Кроме того, MatrixNet может автоматически выбирать чувствительность для определенных диапазонов факторов ранжирования».

MatrixNet делает гораздо больше, чем RankBrain, но очевидно, что это не одно и то же.

Но что классно в MatrixNet, так это то, что факторы ранжирования являются динамическими, поскольку он классифицирует поисковые запросы и применяет к ним различные факторы.

MatrixNet упоминается в некоторых документах по факторам ранжирования, поэтому важно поместить MatrixNet в правильный контекст, чтобы факторы ранжирования рассматривались в правильном свете и имели больше смысла.

Возможно, будет полезно узнать больше об алгоритме Яндекса, чтобы разобраться в утечке Яндекса.

Прочтите: Искусственный интеллект и алгоритмы машинного обучения Яндекса

Некоторые факторы Яндекса соответствуют практике SEO

У Доминика Вудмана (@dom_woodman) есть несколько интересных наблюдений об утечке.

Некоторые из просочившихся факторов ранжирования совпадают с некоторыми методами SEO, такими как изменение анкорного текста:

Меняй якорный текст, детка!

4/х pic. twitter.com/qSGh5xF5UQ

— Доминик Вудман (@dom_woodman) 27 января 2023 г.

Алекс Буракс (@alex_buraks) опубликовал в Твиттере мегатред на эту тему, которая имеет отголоски практики SEO.

Один из таких факторов, который выделяет Алекс, относится к оптимизации внутренних ссылок для минимизации глубины сканирования важных страниц.

Джон Мюллер из Google уже давно призывает издателей делать ссылки на важные страницы заметными.

Мюллер не рекомендует закапывать важные страницы глубоко в архитектуру сайта.

Джон Мюллер поделился в 2020 году:

«Итак, мы увидим, что домашняя страница действительно важна, вещи, связанные с домашней страницей, как правило, также очень важны.

А потом… по мере того, как он будет удаляться от главной страницы, мы подумаем, что это менее критично».

Очень важно, чтобы важные страницы находились рядом с главными страницами, на которые заходят посетители сайта.

Таким образом, если ссылки ведут на домашнюю страницу, то страницы, на которые есть ссылки с домашней страницы, считаются более важными.

Джон Мюллер не говорил, что глубина сканирования является фактором ранжирования. Он просто сказал, что это сигнализирует Google, какие страницы важны.

Правило Яндекса, на которое ссылается Алекс, использует глубину сканирования с главной страницы в качестве правила ранжирования.

#1 Глубина сканирования является фактором ранжирования.

Держите важные страницы ближе к главной странице:
– главные страницы: 1 клик от главной страницы
– важные страницы: <3 клика pic.twitter.com/BB1YPT9Egk

— Алекс Буракс (@alex_buraks) 28 января 2023 г.

Имеет смысл рассматривать домашнюю страницу как отправную точку важности, а затем вычислять меньшую важность, чем дальше от нее щелкают вглубь сайта.

Есть также исследовательские работы Google, в которых есть похожие идеи (модель разумного пользователя, модель случайного пользователя), которые рассчитывают вероятность того, что случайный посетитель может оказаться на данной веб-странице, просто перейдя по ссылкам.

Алекс обнаружил фактор, определяющий приоритет важных главных страниц:

#3 Обратные ссылки с главных страниц важнее, чем с внутренних страниц.

Имеет смысл. pic.twitter.com/Mts9jHsRjE

— Алекс Буракс (@alex_buraks) 28 января 2023 г.

Эмпирическое правило для SEO уже давно заключается в том, чтобы держать важный контент на расстоянии не более нескольких кликов от главной страницы (или от внутренних страниц, которые привлекают внешние ссылки).

Яндекс Update Vega… Связано с экспертизой и авторитетностью?

Яндекс обновил свою поисковую систему в 2019 году обновлением Vega.

В обновлении Яндекс Вега появились нейронные сети, обученные с экспертами по теме.

Целью этого обновления 2019 года было добавление в результаты поиска экспертных и авторитетных страниц.

Но специалисты по поисковому маркетингу, изучающие документы, еще не нашли ничего, что соответствовало бы таким вещам, как биографии авторов, которые, по мнению некоторых, связаны с опытом и авторитетом, которые ищет Google.

Учись, учись, учись

Мы находимся на первых этапах утечки, и я подозреваю, что это приведет к лучшему пониманию того, как в целом работают поисковые системы.

Рекомендуемое изображение: Shutterstock/san4ezz

Категория
Новости
SEO

Российская поисковая система Яндекс добавляет криптовалюты в свой конвертер – Биткойн Новости

Яндекс, крупнейший российский поисковик, обновил свой конвертер валют, добавив криптовалюты. Виджет теперь показывает курсы этих монет в ряде фиатных валют, и в будущем планируется ввести пары крипто-крипто.

Пользователи ведущей поисковой системы России «Яндекс» могут просматривать информацию о более чем 140 самых популярных криптовалютах, помимо данных о национальных валютах разных стран. Криптовалютные курсы были добавлены в последнюю версию конвертера валют, объявила компания.

Виджет с ценовым графиком и инструментом быстрой конвертации расположен прямо над результатами поиска, сообщает российское новостное издание Rb. ru со ссылкой на Яндекс. Программное обеспечение распознает стандартные ключевые слова и даже сленг или неточные формулировки в запросе.

Стоимость интересующих монет и токенов может отображаться в российских рублях, долларах США, евро и других фиатных валютах. В будущем будет добавлено больше пар, а также возможность увидеть цену данного цифрового актива в другой криптовалюте.

В отчете отмечается, что

Яндекс получает рыночные данные от Coingecko, одного из крупнейших порталов агрегации в криптопространстве. Согласно собственной статистике российской поисковой системы, биткойн, эфириум, лайткоин, доджкоин и солана были самыми популярными криптовалютами по количеству поисковых запросов в 2022 году9.0003

Глобальные онлайн-платформы поддерживают аналогичные функции, но доступ к некоторым из них ограничен для россиян. Как отмечает РБК Крипто, функция, позволяющая отслеживать курсы криптовалют, была запущена Twitter еще в декабре прошлого года, но платформа соцсети заблокирована в России.

Закон «О цифровых финансовых активах» вступил в силу в России в январе 2021 года, но правительству еще предстоит должным образом регулировать операции с децентрализованными криптовалютами, такими как биткойн. По заявлениям официальных лиц, это должно произойти в 2023 году9.0003

Законопроект, направленный на легализацию майнинга криптовалют, был внесен в российский парламент в ноябре 2022 года. Закон также направлен на регулирование обмена добытых криптовалют на торговых площадках за рубежом или в рамках особых правовых режимов в России.

Теги в этой истории

Крипто, Крипто актив, крипто активы, Цены крипто, крипто курсы, Криптовалюты, Криптовалюта, Цифровые активы, Цифровая валюта, Курсы валют, Функция, функция, вариант, Цены, ставки, Россия, русский, поиск, поисковая система, Twitter, виджет, яндекс

Как вы думаете, Яндекс представит в будущем больше функций, связанных с криптографией? Расскажите нам в разделе комментариев ниже.

Любомир Тасев

Любомир Тасев — журналист из технически подкованной Восточной Европы, которому нравится цитата Хитченса: «Быть ​​писателем — это то, чем я являюсь, а не то, что я делаю». Помимо криптографии, блокчейна и финтеха, международная политика и экономика являются двумя другими источниками вдохновения.

Кредиты изображений : Shutterstock, Pixabay, Wiki Commons, Trismegist san / Shutterstock.com

Отказ от ответственности : Эта статья предназначена только для информационных целей. Это не прямое предложение или ходатайство о покупке или продаже, а также рекомендация или одобрение каких-либо продуктов, услуг или компаний. Bitcoin.com не предоставляет инвестиционных, налоговых, юридических или бухгалтерских консультаций. Ни компания, ни автор не несут прямой или косвенной ответственности за любой ущерб или убытки, вызванные или предположительно вызванные использованием или доверием к любому контенту, товарам или услугам, упомянутым в этой статье.

This entry was posted in Семантическое ядро

Как Яндекс перепридумал поиск для разработчиков / Хабр

У вас бывало, что открываешь поиск, ищешь что-то по программированию и не находишь ответ? Тогда эта история для вас. 

Меня зовут Алексей Степанов, я руковожу службой исследований машинного обучения поиска Яндекса. Сегодня я расскажу непростую историю. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Расскажу про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже расскажу, куда без них.

Этот пост основан на моём докладе с Data Fest 2022, но не во всём (мой коллега Максим Хурсанов @Maxim2207 существенно расширил историю).

К нам в команду поиска регулярно прилетают жалобы от коллег на качество ранжирования по тем или иным запросам, специфичным для разработчиков. Например, выдача по запросу [C++ list find] ещё недавно выглядела вот так: 

Слова все нужные, а ответа нет

Однако у нас были продуктовые метрики, которые говорили: ребята, успокойтесь, у вас всё хорошо, вы как минимум не хуже коллег по индустрии. В результате у нас сложилось противоречие. С одной стороны, метрики говорили, что с качеством всё хорошо. А с другой, мы сами пользовались поиском в работе и сами регулярно были недовольны результатами. В один прекрасный день нам надоело это терпеть, и мы решили наконец-то разобраться.

Исправляем метрики 

Метрики — это инструмент, с помощью которого мы ставим задачи и контролируем качество их исполнения. Невозможно что-то улучшить в такой сложной системе, как ранжирование, если у вас нет корректных метрик для измерения изменений. Поэтому наша история начинается именно с них. 

Больше года назад мы собрались небольшой компанией разработчиков в переговорке, заказали пиццу, начали вводить в поиск реальные запросы пользователей по программированию и оценивать результаты, ориентируясь на свой опыт и знания в предметной области. 

В любой непонятной ситуации заказывай пиццу

Итак, нам нужно было выяснить, какая из поисковых систем лучше отвечает на специфичные запросы про разработку. Что значит «лучше отвечает»? Предположили, что это означает более полезный документ (так мы называем страницы в интернете) в топ-1 результатов выдачи. Мы взяли около 30 программистских запросов и документы в топ-1 Яндекса и Google. Перемешали, чтобы никто не знал, какие ответы откуда. Участникам нужно было сказать, какой из двух документов лучше решает задачу из запроса, или отметить, что они одинаково полезны. Три десятка попарных оценок показали, что Яндекс как минимум не выигрывает. Статистически значимой такую выборку, конечно, не назвать, но этого было достаточно, чтобы начать копать по-крупному. 

Мы решили отмасштабировать встречу в переговорке с пиццей на всю компанию: писали посты в этушку (это такие внутренние блоги), выступили с призывом на хурале (еженедельной встрече всех сотрудников). Придумали процесс, в котором участники не только выбирали лучший ответ, но ещё и обсуждали свой выбор с другими разработчиками, если их мнения разошлись. Более того, взяли за привычку каждую пятницу созваниваться с разработчиками из других компаний. Так нам удалось за несколько недель собрать уже не 30, а 1500 попарных оценок! К сожалению, выводы остались теми же: мы отвечаем существенно хуже, чем говорят нам метрики. Почему? Чтобы понять причину, нужно немного рассказать, как именно оцениваются результаты поиска. 

С оценкой качества поиска нам помогают асессоры. Это специалисты, которые умеют отвечать на сложные смысловые вопросы и делают это лучше, чем любой ML-алгоритм. В том числе они оценивают, насколько веб-документ полезен по запросу. И наш процесс разметки не гарантировал, что на вопрос, связанный с программированием, будет отвечать асессор с опытом в программировании. Главная причина в том, что мы таких асессоров-программистов просто не наняли в достаточном количестве. 

Представьте, что вас просят оценить пользу от документа на китайском языке. Как вы будете это делать, не зная язык? Правильно, искать иероглифы из запроса в тексте документа. В ряде случаев это нормальная стратегия, но далеко не всегда. К примеру, просим неспециалиста, который никогда не программировал, оценить ответ по запросу [C++ find_if]. Он видит, что в документе вполне себе есть и C++, и find, и даже if. Этот документ будет отмечен как хороший. 

Смотрим на документ глазами неспециалиста

На самом деле среди асессоров мог найтись тот, кто разбирается в программировании. Вот только каждое задание проходит через нескольких асессоров. Если вердикт асессора с опытом не совпадал с ответами других для этого же задания, то оценка просто усреднялась и качество разметки падало.

Как решить эту проблему? Нанять больше людей с опытом в программировании размечать запросы. Так мы и поступили. Непросто найти специалистов, которые смогут разобраться в специфических запросах и прочитать код на веб-страницах. Для этого мы проверили более тысячи кандидатов и наняли сотню лучших. Но оно того стоило: оценки новых асессоров не только были согласованы друг с другом, но и коррелировали с оценками яндексоидов! Метрика, построенная на новых оценках, на порядок лучше подсвечивала проблемы ранжирования. А это значило, что мы наконец-то починили «компас» и теперь знали, куда двигаться. Дальше наш взор устремился на модель, которая и отвечает за ранжирование документов.

Улучшаем ранжирование

Задача поиска в интернете довольно сложная. У нас есть сотни миллиардов документов. Нам надо найти среди них десять наиболее релевантных всего за сотню миллисекунд. Поэтому большинство документов отсеиваются простыми, но зато очень быстрыми алгоритмами. А вот дальше начинается самое интересное. 

Финальное решение о релевантности каждого документа принимает модель на базе нашей опенсорсной технологии градиентного бустинга CatBoost. На вход модели подаются разные факторы о запросе и документе, на выходе получаем предсказание релевантности документов. Факторов исторически очень много. Но с 2020 года можно однозначно выделить самый главный — тот, что выдаёт текстовая нейросеть YATI. Это огромная сеть с архитектурой Transformer, для работы которой требуются наши суперкомпьютеры. Мой коллега Саша Готманов уже подробно рассказывал о ней на Хабре. Самое главное, что тут надо знать: технология YATI стала самым большим прорывом в истории поиска с момента внедрения Матрикснета в 2009-м. Если убрать все-все остальные факторы, то качество поиска хоть и ухудшится, но не фатально. Ни один другой фактор в одиночку удержать качество не сможет.

Упрощённая схема ранжирования в поиске

Итак, у нас есть модели YATI и CatBoost — два ключевых компонента, от которых зависит качество поиска. Давайте улучшим их для нашей задачи! 

Мы решили обучить отдельный трансформер на базе YATI, который будет в первую очередь хорошо решать задачи по программированию. Недолго думая, назвали его CS YATI (Computer Science). Почему отдельный, а не в рамках универсального YATI? Запросов, связанных с программированием, в общем потоке очень мало. Поэтому мы можем позволить себе применять более мощную модель с бóльшим числом параметров. Кроме того, мы можем итеративно обновлять и обучать её без риска что-то поломать в основной модели.

Начали с того, что скормили трансформеру огромное число текстов, связанных с программированием. Так наша новая модель выучила все специализированные словечки и лексику из области компьютерных наук.

Дальше мы собрали поисковые логи программистских запросов и документов, на которые пользователи кликали по этим запросам. И обучили CS YATI именно на них. Правда, не без хитростей. 

У нас была проблема: размер документов по программированию часто довольно большой. Это значит, что наша большая модель может отрабатывать на них непростительно долго. Но при этом резать тексты и терять информацию очень не хотелось. Хотелось, наоборот, выжать из неё как можно больше качества при сохранении производительности. 

Мы поисследовали различные способы оптимизации модели и пришли к следующему трюку. Вместо того чтобы сокращать число слоёв нейросети, мы стали итеративно уменьшать длину входа каждого слоя. Само по себе это ухудшает качество. Но вся соль в том, что при этом и потребление ресурсов падает, а значит, мы можем подавать больше информации на вход. В результате тонкая оптимизация позволила не только не просадить качество, но и повысить его за счёт увеличения входной информации в полтора раза.

Однако некоторые документы по программированию все равно имеют слишком большой объём. Можно было бы просто брать начало текста, но это слишком грубый способ, снижающий качество. Мы начали выбирать из документов N наиболее релевантных предложений по данному запросу и уже их передавали в трансформер. Причём мера релевантности тоже оптимизировалась под программистские тексты. Финально мы зафайнтюнили CS YATI, ориентируясь на оценки асессоров с опытом в программировании.

Итак, мы создали нейросетевую модель CS YATI, которая может похвастаться пониманием языка программистов и умеет угадывать их выбор в поиске. Осталось придумать, как это всё внедрить в текущий процесс, применить на каждом запросе и не лечь под нагрузкой. Взгляните на схему:

Выглядит логично. Применяем дополнительную нагрузку в виде CS YATI не всегда, а только для узкого среза программистских запросов. Но есть нюанс: кто будет классифицировать каждый запрос перед развилкой? 

Решили, что и тут без CS YATI не обойтись. Благодаря тем же самым асессорам-программистам мы собрали датасет и с его помощью обучили CS YATI работать ещё и в режиме классификатора запросов — отличать программистские от всех остальных. Но главную проблему это всё равно никак не решало: модель была слишком тяжёлой, чтобы применять её на каждом запросе. 

Мы воспользовались уже хорошо зарекомендовавшим себя способом — дистилляцией. Специалисты сразу поймут, о чём я, но для всех остальных скажу: дистилляция — это обучение более лёгкой нейросети «подражать» поведению более тяжёлой. Мы взяли лёгкую DSSM-подобную сеть и обучили её на результатах работы нашего трансформера CS YATI. Понятно, что качество классификации немного просело, но при этом мы сэкономили огромные вычислительные ресурсы и смогли внедрить модель в продакшен.

Схема стала выглядеть так:

Внимательный читатель в этот момент может спросить: если у нас появилась специальная версия YATI, то, может быть, нужна и специальная версия CatBoost, которая будет учитывать специфику? Мы тоже сначала посчитали это хорошей идеей. Но давайте обо всём по порядку. 

Мы сделали отдельный CS CatBoost, который, подобно CS YATI, будет обучен ранжировать запросы и документы по программированию. А ещё он будет независим от основного компонента CatBoost — значит, мы сможем обновлять и экспериментировать с ним без оглядки на остальную часть поиска. Для его обучения мы использовали уже собранные нами оценки асессоров-программистов. Звучит хорошо, не правда ли?

Но у такого решения были и минусы. Однажды мы на этом попались. В апреле наши коллеги выпустили в опенсорс технологию YDB и очень громко пошумели об этом (в том числе на Хабре). Настолько, что пользователи пошли в поиск и стали вводить там запрос [YDB]. Наша быстрая нейросетка IS CS QUERY DSSM корректно определяла его как программистский. Дальше правильно отрабатывал трансформер CS YATI. А вот CS-версия CatBoost не показывала ни одной новости о событии.

Чтобы осознать суть беды, нужно добавить немного контекста. В поиске есть особые запросы, которые мы называем «свежими». Это запросы, ответы на которые появились в интернете совсем недавно — от нескольких минут до нескольких дней назад. Чтобы правильно отвечать на них, недостаточно быстро индексировать интернет. Необходимо обучать модель на примерах запросов, по которым пользователи хотят видеть свежие документы, и на самих свежих документах, которые хорошо на такие запросы отвечают. Если этого не делать, то модель на подобных документах будет вести себя неадекватно. Свежие ответы либо вовсе пропадут из топа выдачи, либо будут нерелевантными.

Мы проверили, что основная версия CatBoost, которая специально обучается на свежих запросах, хорошо справлялась с запросом [YDB]. А в обучении CS CatBoost свежих запросов не было, это и приводило к проблеме. Решение с отдельной версией CatBoost для CS, которое вначале нам показалось простым, привело к тому, что мы сломали ранжирование свежих программистских запросов. Усложнять ими обучение CS CatBoost мы не хотели, и решили, что самый простой способ — объединить две модели в одну. Сейчас это так и работает в проде.

Окей, у нас есть новые метрики, новый CS YATI, обновлённый CatBoost. Что ещё можно было сделать для улучшения качества ранжирования? Например, убедиться, что в данных для обучения моделей ранжирования есть всё, что нужно. 

В последнее время я часто читаю новые посты по машинному обучению в телеграме. Часть постов мне потом хотелось перечитать, я шёл в поиск и… не находил их. На самом деле это логично, потому что посты из веб-версии мессенджера плохо оптимизированы для поисковых систем. Начали думать, что же мы можем сделать на своей стороне, чтобы помочь похожим на нас пользователям.

Мы собрались с командой и посмотрели, как асессоры оценивают посты в телеграме. Обнаружили, что в обучающей выборке таких постов почти не было. Мы решили это исправить: намайнили и разметили асессорами-программистами больше документов из телеграма.

Дообучение сработало. Наш поиск научился находить полезные посты в телеграме. Не просто каналы, а конкретные посты из каналов! 

Итак, мы починили метрики, улучшили ранжирование и долили новые данные. Но на этом мы не остановились.  

Добавляем быстрые ответы и сниппеты

Цель поиска — не просто ранжировать ссылки, а помогать людям быстро решать свои задачи. Поэтому, помимо работы над ранжированием, мы развиваем и другие форматы. Например, совершенствуем быстрые ответы. Это такие специальные блоки, в которых поиск сразу приводит краткий ответ на запрос. По нашим подсчётам, они экономят пользователям десятки тысяч часов в сутки.

Мы улучшили в поиске быстрые ответы для сайтов, популярных среди разработчиков. Например, теперь там можно встретить ответы на вопросы со Stack Overflow. Поначалу это был просто наиболее рейтинговый ответ с платформы, который выводился в блоке справа. Отзывы коллег помогли усовершенствовать его: появился выбор из нескольких ответов, число оценок, комментариев и даже сам вопрос. 

Расширенным стал не только быстрый ответ, но и сниппет в результатах поиска. 

Ещё один интересный пример: мы доработали сниппет Гитхаба. Теперь прямо в выдаче можно увидеть рейтинг проекта, число форков и даже дату последнего коммита. Это поможет быстрее сделать правильный выбор.

А вот, например, новый сниппет, который помогает быстро найти команду для установки пакетов из npm, brew, pip, Pub и nuget — или сразу получить основную информацию о пакете.

Мы продолжим развивать быстрые ответы, а также добавлять сниппеты и для других сайтов тоже.  

Выученные уроки

• Если метрика говорит, что мы у пользователей самые лучшие, то стоит проверить эту метрику.

• На скорую руку можно только прод поломать (ну или свежие CS-запросы).

• Если сделали новую метрику и по ней выиграли, то это не значит, что продукт некуда улучшать. Реальную обратную связь можно получить только от пользователей. Попробуйте наш поиск для запросов по программированию и присылайте фидбэк. Теперь поделиться отзывом просто: внизу выдачи появился пункт «Сообщить об ошибке». Вместе мы можем упростить жизнь огромному числу разработчиков. Спасибо!

Поисковик «Яндекса» пропал из настроек браузера Mozilla Firefox — РБК

adv. rbc.ru

adv.rbc.ru

adv.rbc.ru

Скрыть баннеры

Ваше местоположение ?

ДаВыбрать другое

Рубрики

Курс евро на 12 ноября
EUR ЦБ: 61,54

(+0,54)

Инвестиции, 11 ноя, 16:05

Курс доллара на 12 ноября
USD ЦБ: 60,22

(-1,03)

Инвестиции, 11 ноя, 16:05

СКЦ сообщил о выходе четырех сухогрузов со 120 тыс. т зерна из Украины

Политика, 01:23

Почему производство электрокаров невозможно без России

РБК и Норникель, 01:15

Дрозд объяснил, что помогло победить россиянину в бою с чемпионом WBA

Спорт, 01:08

adv. rbc.ru

adv.rbc.ru

Лондонская биржа металлов не отказалась от никеля и алюминия из России

Бизнес, 01:06

Шольц и Зеленский призвали продлить зерновую сделку после 19 ноября

Политика, 00:56

Российский олимпиец одержал победу в бою с чемпионом WBA

Спорт, 00:48

Проигрывал больше, чем выигрывал: как помочь больным лудоманией

Партнерский проект, 00:33

Объясняем, что значат новости

Вечерняя рассылка РБК

Подписаться

На зеленой ветке метро закрыли участок от «Автозаводской» до «Орехово»

Город, 00:30

Wired узнал о судах без датчиков у «Северных потоков» перед взрывом

Политика, 00:07

Конец эпохи: перестанут ли расти акции социальных сетей

Pro, 00:00

Конфликт в «Зените» и два московских дерби. Главные интриги тура РПЛ

Спорт, 00:00

ЕК выделила €1 млрд на развитие маршрутов для экспорта из Украины

Политика, 11 ноя, 23:46

Как подготовить машину к холодному сезону: семь полезных лайфхаков

РБК и Nokian Tyres, 11 ноя, 23:46

Как мобилизация поменяла тренд с выдачей кредитов россиянам. Инфографика

Финансы, 11 ноя, 23:30

adv.rbc.ru

adv.rbc.ru

adv.rbc.ru

Вклад «Стабильный»

Ваш доход

0 ₽

Ставка

0%

Подробнее

БАНК ВТБ (ПАО). Реклама. 0+

Разработчик браузера Mozilla Firefox убрал поисковик «Яндекса» из навигационного бара, сообщил бывший топ-менеджер российской интернет-компании. Ссылка на сервис удалена также из окошка выбора поиска в настройках

Фото: Александр Кряжев / РИА Новости

Из навигационного бара Mozilla Firefox пропал поисковик «Яндекса», сообщил в Telegram российский программист, бывший топ-менеджер «Яндекса» Григорий Бакунов.

«Firefox только что убрал поиск в «Яндексе» из навигационного бара. Поиск по умолчанию заменен на Google, «Яндекс» убран даже из окошка выбора поиска в настройках», — написал программист.

Бакунов предположил, что поисковик убрали из браузера по инициативе самой Mozilla Corporation.

adv.rbc.ru

Информацию об исчезновении поисковика «Яндекса» из навигационного бара Mozilla Firefox проверил корреспондент РБК. Поисковик не отображается и в окошке выбора поиска в настройках.

adv.rbc.ru

В «Яндексе» отказались от комментариев. РБК направил запрос в пресс-службу Mozilla.

Как справиться с боссом-самодуром, не опускаясь до его уровня

Бизнес в Индии, Сингапуре, Латинской Америке: есть ли там шансы у россиян

Как коучи зарабатывают на идее икигай, о которой не слышали в Японии

Биатлонист Бьорндален: «Жизнь слишком коротка, чтобы перестать бороться»

27 февраля «Яндекс» перевел сотрудников на удаленку, как и во время пиков пандемии. Управляющий директор компании Тигран Худавердян объяснил решение тем, что «многим сейчас эмоционально тяжело и, в частности, хотелось бы быть больше с семьей». Он также отметил, что «Яндекс» думает, как решить проблему снижения доходов сотрудников из-за падения котировок (около 60% коллектива участвуют в программе опционов на расписки компании). После начала военной операции России на Украине акции компании упали в цене почти в два раза.

28 февраля «Яндекс» объявил о приостановке найма сотрудников на ближайшие две недели, пообещав выплатить всему коллективу дополнительную зарплату.

Авторы

Теги

Виктория Полякова

При участии

Анна Балашова, Любовь Порываева

Вклад «Стабильный»

Ваш доход

0 ₽

Ставка

0%

Подробнее

БАНК ВТБ (ПАО). Реклама. 0+

Как выбрать «yandex search» поисковиком по умолчанию в браузере Nightly 44.0a1 x64 | Форум поддержки Firefox

Эта тема была заархивирована.

Пожалуйста, задайте новый вопрос, если вам нужна помощь.

Костяная магия

16.10.15, 22:41

Как выбрать «поиск yandex» в качестве поисковой системы по умолчанию в браузере Nightly 44.0a1 x64????

Теперь я вижу много поисковых систем, но не имею «Яндекса»

А как мне установить Яндекс Элементы, когда это будет доступно?

Как выбрать «yandex search» поисковой системой по умолчанию в браузере Nightly 44. 0a1 x64????

Теперь я вижу много поисковых систем, но у меня нет «Яндекса».

И как я могу установить Яндекс Элементы, когда это может быть доступно?

Выбранное решение

Все ответы (4)

Писец

17.10.15, 2:17

Здравствуйте, пожалуйста, смотрите — Добавление или удаление поисковой системы в Firefox.

Если ваш вопрос решен с помощью этого или другого ответа, пожалуйста, найдите минутку, чтобы сообщить нам об этом. Спасибо.

Джеймс

• 25 ведущих участников
• Модератор

17. 10.15, 2:31

Не уверен насчет сборок Win64, но Яндекс является поисковой системой по умолчанию в русской локали выпусков, а Yahoo — поисковой системой по умолчанию в en-US.

Кроме установки русскоязычной версии билда канала Nightly вы можете добавить поисковые системы с http://mycroftproject.com/

jscher2000 — Волонтер службы поддержки

• 10 ведущих участников

17.10.15, 9:19

Выбранное решение

Если у вас не получается установить поисковый плагин для Яндекса с сайта дополнений или Mycroft, вы можете попробовать установить его с сайта (это работает в Firefox 41, в Nightly не проверял):

Посетите https://www. yandex.ru/ и обратите внимание на зеленый кружок со знаком + на панели поиска Firefox. Нажмите на нее, а затем найдите строку в раскрывающемся списке, чтобы добавить сайт в качестве поисковой системы.

Я прикрепил снимок экрана, но, поскольку я не могу читать на языке, прошу прощения, если это совсем другое.

Чтобы сделать Яндекс вашим по умолчанию, вы можете использовать ссылку в нижней части панели на раздел Поиск на странице Параметры.

Успех?

Что касается элементов Яндекса, проблема в том, что Яндекс не отправил расширение на подпись команде надстроек? Это то, что вы можете свободно поощрять их делать.

TAImatem

21.12.15, 12:24

на самом деле можно скачать элементы с https://element. yandex.ru (нажать на большую желтую полосу), но я не уверен в совместимости с бета-версиями и ночными сборками (и работает ли на английском, если это так). (Я предлагаю отключить подсказку для покупок, потому что это довольно раздражает)

Файрфокс 98.0.1 удаляет поисковики Яндекс и Mail.ru

Ищи:

Мартин Бринкманн

15 марта 2022 г.

Firefox

|

Mozilla выпустила Firefox 98.0.1 14 марта 2022 года. Это второстепенный выпуск, который выходит через неделю после Firefox 98. Firefox 98.0.1 удаляет поисковые системы Yandex и Mail.ru из веб-браузера в некоторых регионах.

Когда Mozilla выпустила Firefox 98, она намекнула на удаление поставщиков поисковых систем в Firefox, но не упомянула ни одного из них по имени и не предоставила более подробной информации, кроме того, что она не «получила формальное разрешение» на интеграцию неупомянутого поиска. движки в Firefox.

Firefox 98. 0.1 предоставляет подробную информацию, но до сих пор неясно, какие службы поиска были затронуты в выпуске Firefox 98.0.

Примечания Mozilla в официальных примечаниях к релизу:

Яндекс и Mail.ru удалены как необязательные поисковые провайдеры в выпадающем меню поиска в Firefox.

Поисковые службы были доступны по умолчанию в некоторых регионах, включая Россию и Турцию. Mozilla удалила их из списка поисковых провайдеров, на которые пользователи Firefox могли переключаться по умолчанию в веб-браузере. Релиз удалил провайдеров из установок Firefox в России, Белоруссии, Казахстане и Турции.

Mozilla заменила поисковую систему, если она использовалась по умолчанию, на поиск Google. Поисковые запросы Google по умолчанию используют тег Firefox.

Mozilla далее указывает, что поисковые системы также были удалены из пользовательских версий Firefox, которые партнеры могли распространять в отдельных регионах.

Если вы ранее устанавливали настроенную версию Firefox с Яндекса или Mail. ru, предлагаемую через партнерские каналы распространения, в этом выпуске эти настройки удаляются, включая надстройки и закладки по умолчанию. Там, где это применимо, ваш браузер вернется к настройкам по умолчанию, предлагаемым Mozilla. Все другие выпуски Firefox не затронуты этим изменением.

Объяснение изменений в примечаниях к выпуску не приводится. Пользователи Firefox могут добавить удаленные поисковые системы обратно в браузер. Один из самых простых способов сделать это:

1. Выберите Меню Firefox > Дополнительные инструменты > Настроить панель инструментов.
2. Перетащите поле поиска в адресную строку Firefox.
3. Посетите поисковую систему, которую вы хотите добавить, например, https://www.yandex.com/
4. В поле поиска отображается символ плюса над значком, указывающий, что обнаружена поисковая система, которую вы можете добавить в Firefox.
5. Щелкните левой кнопкой мыши по значку, а затем по значку Яндекса, который также выделен плюсиком.
   

   This entry was posted in Семантическое ядро