Статьи на яндекс кью: «Статьи»

Posted:

Фев 5, 2023

Comments:

0 Comments

Статьи на яндекс кью: «Статьи» — Яндекс Кью

Содержание

«Статьи» — Яндекс Кью

«Как начать писать статьи в Яндекс.Кью?» — Яндекс Кью

Yandex Research Publications

5 of 194 publications

Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

OptimizationMachine learning theoryAleksandr BeznosikovPavel DvurechenskyAnastasia KoloskovaValentin SamokhinSebastian U. StichAlexander Gasnikov

NeurIPS,
2022

We consider distributed stochastic variational inequalities (VIs ) на неограниченных доменах с данными о проблемах, которые являются разнородными (не IID) и распределены по многим устройствам. Мы делаем очень общее предположение о вычислительной сети, которая, в частности, охватывает настройки полностью децентрализованных вычислений с изменяющимися во времени сетями и централизованными топологиями, обычно используемыми в федеративном обучении. Кроме того, можно выполнить несколько локальных обновлений рабочих процессов для уменьшения частоты обмена данными между рабочими процессами. Мы распространяем стохастический экстраградиентный метод на эту очень общую ситуацию и теоретически анализируем скорость его сходимости в строго монотонных, монотонных и немонотонных (когда существует решение Минти) условиях. Предоставленные скорости явно демонстрируют зависимость от характеристик сети (например, времени смешивания), счетчика итераций, неоднородности данных, дисперсии, количества устройств и других стандартных параметров. В качестве особого случая наш метод и анализ применяются к распределенным стохастическим задачам седловой точки (SPP), например, к обучению глубоких генеративно-состязательных сетей (GAN), для которых децентрализованное обучение, как сообщается, чрезвычайно сложно. В экспериментах по децентрализованному обучению GAN мы демонстрируем эффективность предложенного нами подхода.
Оптимальное скольжение градиента и его применение для распределенной оптимизации при сходстве

Оптимизация Machine Learning Theorydrydry Kovalevaleksandr beznosikovekaterina borodichalexand является (µ-сильно) выпуклым, q является Lq-гладким и выпуклым, а p является Lp-гладким, возможно, невыпуклым. Для такого класса задач мы предложили неточный метод ускоренного скольжения градиента, который может пропустить вычисление градиента для одного из этих компонентов, но при этом достичь оптимальной сложности вызовов градиента p и q, то есть O(Lp/µ) и O (Lq/мк) соответственно. Этот результат намного точнее, чем классическая сложность черного ящика O((Lp+Lq)/µ), особенно когда разница между Lp и Lq велика. Затем мы применяем предложенный метод для решения задач распределенной оптимизации в архитектурах мастер-работник, при схожести функций агентов, из-за схожести статистических данных или по другим причинам. Распределенный алгоритм впервые достигает более низких границ сложности как для связи, так и для вызовов локального градиента, причем первый из них является давней открытой проблемой. Наконец, метод распространяется на распределенные седловые задачи (в условиях подобия функций) путем решения класса вариационных неравенств, достижения более низких границ сложности связи и вычислений.
Optimal Algorithms for Decentralized Stochastic Variational Inequalities

OptimizationMachine learning theoryDmitry KovalevAleksandr BeznosikovAbdurakhmon SadievMichael PersiianovPeter RichtárikAlexander Gasnikov

NeurIPS,
2022

Variational inequalities are a formalism that includes games, minimization, saddle point, and equilibrium problems as special cases. Таким образом, методы вариационных неравенств являются универсальными подходами для решения многих прикладных задач, в том числе задач машинного обучения. Эта работа концентрируется на децентрализованной среде, которая становится все более важной, но не совсем понятной. В частности, мы рассматриваем децентрализованные стохастические (сумматические) вариационные неравенства над фиксированными и переменными во времени сетями. Мы представляем нижние границы сложности как для связи, так и для локальных итераций и строим оптимальные алгоритмы, соответствующие этим нижним границам. Наши алгоритмы являются лучшими среди доступной литературы не только в децентрализованном стохастическом случае, но и в децентрализованном детерминированном и нераспределенном стохастическом случаях. Экспериментальные результаты подтверждают эффективность представленных алгоритмов.
Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

OptimizationMachine learning theoryAleksandr BeznosikovPeter RichtárikMichael DiskinMax RyabininAlexander Gasnikov

NeurIPS,
2022

Variational inequalities in general and saddle point problems in particular are increasingly relevant in machine learning applications , включая состязательное обучение, GAN, транспорт и надежную оптимизацию. С ростом объемов данных и задач, необходимых для обучения высокопроизводительных моделей в различных приложениях, нам необходимо полагаться на параллельные и распределенные вычисления. Однако при распределенном обучении связь между вычислительными узлами является основным узким местом во время обучения, и эта проблема усугубляется для многомерных и чрезмерно параметризованных моделей. В связи с этими соображениями важно оснастить существующие методы стратегиями, которые позволили бы уменьшить объем передаваемой информации при обучении при получении модели сравнимого качества. В этой статье мы представляем первые теоретически обоснованные распределенные методы решения вариационных неравенств и седловых задач с использованием сжатой связи: МАША1 и МАША2. Наша теория и методика позволяют использовать как несмещенные (такие как Рандк; МАША1), так и компрессионные (такие как Топк; МАША2) компрессоры. Новые алгоритмы поддерживают двунаправленное сжатие, а также могут быть модифицированы для стохастической настройки с пакетами и для федеративного обучения с частичным участием клиентов. Мы эмпирически подтвердили наши выводы, используя две экспериментальные установки: стандартную билинейную задачу минимум-макс и крупномасштабное распределенное враждебное обучение трансформаторов.
О встраивании числовых функций в табличное глубокое обучение

Табличные данныеЮрий ГоришныйИван РубачевАртем Бабенко

NeurIPS,
2022

В последнее время глубокие архитектуры типа Transformer показали высокую производительность при решении задач с табличными данными. В отличие от традиционных моделей, например MLP, эти архитектуры отображают скалярные значения числовых признаков в многомерные вложения перед их смешиванием в основной магистрали. В этой работе мы утверждаем, что вложения для числовых признаков являются малоизученной степенью свободы в табличном DL, что позволяет строить более мощные модели DL и конкурировать с деревьями решений с градиентным усилением (GBDT) в некоторых дружественных к GBDT тестах (то есть, где GBDT превосходит обычные модели DL). Мы начнем с описания двух концептуально разных подходов к построению модулей встраивания: первый основан на кусочно-линейном кодировании скалярных значений, а второй использует периодические активации. Затем мы эмпирически демонстрируем, что эти два подхода могут привести к значительному повышению производительности по сравнению с вложениями на основе обычных блоков, таких как линейные слои и активация ReLU. Важно отметить, что мы также показываем, что встраивание числовых функций полезно для многих магистральных сетей, а не только для трансформеров. В частности, после надлежащего встраивания простые модели, подобные MLP, могут работать наравне с архитектурами, основанными на внимании. В целом, мы выделяем вложения для числовых функций как важный аспект дизайна с хорошим потенциалом для дальнейших улучшений табличного DL.

Фильтр от:

Computer Vision

Теория машинного обучения

Обработка естественного языка

Рейтинг

Ближайший сосед

Представления

Оценка неопределенности

Общее машинное обучение

Крупномасштабное машинное обучение

Вероятностное машинное обучение

Сдвиг распределения

Обработка речи

Таблицы

Байесовские методы

Сегментация

Neurips

Neurips Benchmarks

находки ACL 9003

Neurips Benchmarks

находки ACL 9003

Neurips Benchmarks

находки ACL 9003

Neurips 9003 9003.

emips 9003.

emips. Яху! LTR Challenge

Яндекс, крупная российская поисковая система, выпускает обновление Vega

Барри Шварц 18 декабря 2019 г.в 10:39 | Время чтения: 3 минуты

Яндекс, крупнейшая поисковая система в России, объявила о новом обновлении алгоритма под названием «Вега», которое внесло «1500 улучшений в поиск Яндекса». По словам Яндекса, самое большое и значительное изменение в этом обновлении заключается в том, что компания привносит в поиск больше человеческих элементов.

Человеческие элементы. Яндекс заявил, что «обновил алгоритм ранжирования с помощью нейронных сетей, обученных на данных, предоставленных настоящими экспертами в нескольких областях, предоставляя пользователям еще более качественные решения для их поиска». Похоже, что у Яндекса есть эксперты, которые передают алгоритмам машинного обучения сигналы о том, какими должны быть наилучшие результаты, и машины используют эти реальные человеческие данные, чтобы обеспечить лучший конечный результат для результатов поиска.

Яндекс.Q. Яндекс также сообщил, что вводит в поиск сервис вопросов и ответов. «Мы также связываем людей с ответами на их поиски от квалифицированных экспертов через нашу новую службу вопросов и ответов Yandex.Q», — говорится в сообщении компании.

Более крупный и быстрый индекс. Яндекс смог удвоить размер своего индекса, повысив при этом скорость доставки результатов поиска пользователям. «Наш поисковый индекс теперь вдвое больше, 200 миллиардов документов, благодаря умному методу группировки похожих веб-страниц в кластеры», — пишет Яндекс. Яндекс также использует технологию предварительного рендеринга для мобильных пользователей и другие методы, чтобы быстрее возвращать эти результаты.

«Наше новое обновление поиска сочетает в себе наши новейшие технологии с человеческими знаниями, — говорит Андрей Стыскин, руководитель Поиска Яндекса. «В Яндексе наша цель — помочь потребителям и компаниям лучше ориентироваться в онлайн- и офлайн-мире. Благодаря этому обновлению поиска пользователи Рунета помогают нам в этом. Делясь своими знаниями, эксперты улучшают наши алгоритмы и помогают нашим пользователям Поиска, число которых продолжает расти; за последний год доля поиска Яндекса на Android в России выросла на 4,8% до 54,7% в начале декабря».

Примеры. Яндекс разместил множество примеров на русском языке в блоге компании. Если вы говорите по-русски, вы можете понять примеры. Так иди посмотри.

Почему это нас волнует. Поисковые компании часто учатся у своих конкурентов. Будут ли Bing или Google использовать что-либо из того, что Яндекс делает здесь в будущем обновлении, еще предстоит определить. И Google, и Bing больше не говорят о размере своего индекса, но они оба говорят о скорости и более быстром возвращении лучших результатов.

This entry was posted in Популярное

Posted:

Comments:

Статьи на яндекс кью: «Статьи» — Яндекс Кью

«Статьи» — Яндекс Кью

«Как начать писать статьи в Яндекс.Кью?» — Яндекс Кью

Yandex Research Publications

Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

Оптимальное скольжение градиента и его применение для распределенной оптимизации при сходстве

Optimal Algorithms for Decentralized Stochastic Variational Inequalities

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

О встраивании числовых функций в табличное глубокое обучение

Фильтр от:

Яндекс, крупная российская поисковая система, выпускает обновление Vega

Рубрики