Ученые МФТИ с коллегами из Китая разработали систему обработки данных 4D-радаров для беспилотников. RadarSFEMOS определяет расположение и движение объектов с большой точностью даже в сложных погодных условиях, где камеры и лидары слепнут: в дождь, снег и туман. В будущем технологию планируют интегрировать в отечественные беспилотные грузовики, а также в городские такси. Результаты исследования опубликованы в международном научном журнале IEEE Robotics and Automation Letters.
Современный беспилотный транспорт для ориентации в пространстве полагается на лидары и камеры, которые теряют зрение в ливень и снегопад. Радары видят сквозь непогоду, но их применение ограничено из-за большого количества шумов, артефактов и высокой разреженности данных. Дополнительная проблема – отсутствие дорогостоящей разметки для обучения нейросетей.
Особую сложность представляют сегментация движения и определение потока сцены: движение беспилотного автомобиля часто смешивается с перемещением объектов вокруг, что усложняет вычисление вектора скорости для каждой точки в пространстве.
Ученые из МФТИ разработали инновационную самообучающуюся систему RadarSFEMOS, которая не только эффективно очищает данные от шума, но и определяет направление и скорость движения объектов в окружающей среде. Определение направления при этом происходит без специальной разметки и данных одометрии (данных о движении транспорта со спидометра и GPS систем). Чтобы достичь такого результата, разработчики совместили сразу несколько решений:
Устранение помех. Диффузионная модель шумоподавления, работающая на основе новых алгоритмов, за считанные миллисекунды очищает радарные данные, увеличивая точность наблюдений.
Работа в сложных условиях. Трансформерный анализатор с адаптивной архитектурой способен идентифицировать объекты при экстремально низкой плотности данных — 5-10 точек на квадратный метр. Для сравнения: чтобы достигнуть такой же точности, традиционные лидарные системы требуют минимум 100 точек на той же площади.
Идентификация движения. Алгоритм определяет движение самого автомобиля и на основе данных радара и модели прогнозирования исключает его из расчетов. Это позволяет выделить только движение окружающих объектов. Дополнительно 4D-радар измеряет радиальную скорость — то есть скорость движения объекта к автомобилю и от него. Все это позволяет преодолеть ограничения радарных систем, обеспечивая беспрецедентную точность восприятия окружающей среды.
Самообучение. Благодаря внедрению искусственного интеллекта, система не требует ручной разметки данных, а по ходу накопления данных постепенно учится отличать шумы от реального движения и улучшает точность.
Рисунок. Система анализирует два последовательных кадра с 4D-радара (разреженные точки в пространстве) и одновременно определяет движение всех объектов и классифицирует объекты на движущиеся и неподвижные. Источник: IEEE Robotics and Automation Letters.
«Наша система определяет движение объектов вокруг автомобиля и разделяет их на движущиеся и статичные, а также делает это в любых погодных условиях. Это как если бы беспилотник получил шестое чувство. Это не просто научная статья, алгоритм уже сегодня готов к работе на серийных радарах, которые в 50 раз дешевле лидаров», — поделился Степан Андреев, директор НТЦ телекоммуникаций МФТИ.
Экспериментальные испытания на стандартных датасетах View-of-Delft (VoD) и TJ4DRadSet подтвердили преимущества разработки по сравнению с аналогами. С применением RadarSFEMOS ложные срабатывания на «фантомные» объекты сократились в несколько раз, а точность определения положения объектов повысилась до 89%.
В ближайшее время ученые планируют адаптировать систему для более сложных динамических сценариев и предсказывать траектории движения с большей точностью. Новая технология позволит повысить безопасность и надежность беспилотных систем в любых погодных условиях.
