В начале декабря в Новом Орлеане прошло одно из самых значимых событий в сфере машинного обучения и искусственного интеллекта — конференция NeurIPS (Conference and Workshop on Neural Information Processing Systems).
NeurIPS — это в первую очередь возможность для людей из области data science следить за последними научными достижениями. Сотрудники ведущих компаний и исследовательских центров в области искусственного интеллекта собрались, чтобы обсудить возможные решения актуальных проблем и определить тренды будущего развития технологии искусственного интеллекта. В этом году на конференцию принято 2 672 доклада. Из них 11 — авторства команды ученых новой лаборатории математических методов оптимизации МФТИ.
Исследования в области методов оптимизации ведутся уже довольно давно, но в последние годы к ним проявился особенный интерес. И связано это, прежде всего, с развитием машинного обучения. Особую роль стали играть распределенные алгоритмы, где вместо одного вычислительного устройства используется несколько. С помощью такого подхода можно значительно ускорить процесс обучения популярных и самых новых моделей на огромных датасетах. Ключевым отличием от нераспределенных алгоритмов является процесс организации эффективных коммуникаций. Это связано с тем, что часто в распределенных алгоритмах большая часть времени работы уходит именно на общение устройств между собой, а не на полезные для решения задачи вычисления.
В 2022 году в рамках программы стратегического академического лидерства «Приоритет-2030» в Физтех-школе прикладной математики и информатики МФТИ была открыта новая молодежная лаборатория математических методов оптимизации (ММО). Большая часть работ команды лаборатории ММО посвящена как раз распределенным алгоритмам, различным подходам к вопросу эффективности их функционирования. Актуальность и глубина проработки темы способствовали тому, что от лаборатории было принято 11 статей.
Сотрудники лаборатории математических методов оптимизации МФТИ
«В сообществе специалистов по машинному обучению и оптимизации две наиболее популярные конференции — это ICML и NeurIPS. На первой же конференции уровня A* NeurIPS 2022, в которой наша лаборатория приняла участие, удалось опубликовать 11 статей, — рассказал Александр Гасников, руководитель лаборатории. — Прежде всего, хочется отметить Дмитрия Ковалева (шесть статей), Александра Безносикова (четыре статьи) и Эдуарда Горбунова (две статьи). Все они — выпускники ФПМИ, молодые, но при этом уже достаточно известные ученые».
Обычно из пяти поданных статей на такие конференции проходит в среднем одна, конкурс очень высокий. Александр Гасников, руководитель лаборатории, являющийся соавтором девяти принятых статей, вошел в топ мирового рейтинга по количеству статей (наряду с такими известными учеными, как Майкл Джордан (10 статей) и Сергей Левин (12 статей). Считается, что даже одна статья на NeurIPS — это значительный результат, к которому стремятся коллективы ученых по всему миру.
Кроме того, один из молодых сотрудников лаборатории Александр Безносиков стал соавтором четырех статей. Он не просто написал большую часть этих публикаций, но и был автором идей для каждой из них. На момент написания Александр обучался на шестом курсе. Кажется, это рекорд, и до сих пор ни один студент ни одного российского вуза не может похвастаться такой производительностью.
Александр Гасников добавляет: «Думаю, такой результат станет хорошим ориентиром для нас самих в будущем. Впрочем, количество статей никогда не было для нас показателем успешности того, что мы делаем. Важно качество статей. Мы очень надеемся, что время покажет, что в опубликованных статьях, содержатся значимые результаты по целому ряду современных направлений выпуклой оптимизации».
Коротко о содержании статей:
- впервые построены оптимальные тензорные методы (в том числе оптимальный метод второго порядка, обобщающий классический метод Ньютона),
- впервые построены оптимальные градиентные методы решения выпукло-вогнутых седловых задач с разными константами сильной выпуклости и вогнутости,
- впервые построены оптимальные децентрализованные алгоритмы решения стохастических вариационных неравенств (в том числе с редукцией дисперсии),
- впервые предложен оптимальный метод решения задач выпуклой гладкой распределенной оптимизации в условиях схожести слагаемых.
Список вышедших статей:
- The First Optimal Acceleration of High-Order Methods in Smooth Convex Optimization
- Optimal Gradient Sliding and its Application to Optimal Distributed Optimization Under Similarity
- Decentralized Local Stochastic Extra-Gradient for Variational Inequalities
- Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees
- Optimal Algorithms for Decentralized Stochastic Variational Inequalities
- Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
- The First Optimal Algorithm for Smooth and Strongly-Convex-Strongly-Concave Minimax Optimization
- Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise
- A Damped Newton Method Achieves Global O (1/k2) and Local Quadratic Convergence Rate
- Communication Acceleration of Local Gradient Methods via an Accelerated Primal-Dual Algorithm with an Inexact Prox
- Last-Iterate Convergence of Optimistic Gradient Method for Monotone Variational Inequalities
Команда сотрудников лаборатории продолжает активно работать. Помимо участия в топ-конференциях и публикаций в ведущих журналах, в 2023 году ожидается выход монографии, написанной сотрудниками лаборатории, по алгоритмическим аспектам стохастической оптимизации и их приложениям в машинном обучении, а также разработка пакета транспортного моделирования совместно с РУТ. Подробнее о работе лаборатории можно прочитать на сайте https://labmmo.ru/about.
Поздравляем коллег и желаем в дальнейшем такой же продуктивной работы!
