Коллектив исследователей из T-Bank, МФТИ и МИСИС разработал новый подход к обучению ансамблей нейронных сетей, заставляющий каждую модель в группе смотреть на проблему под своим уникальным углом. Этот метод, названный Saliency-Diversified Deep Ensembles (SDDE), позволяет не просто повысить точность работы искусственного интеллекта, но и научить его лучше распознавать ситуации, с которыми он ранее не сталкивался. В результате ансамбль становится умнее, точнее и осторожнее при столкновении с неизвестными данными, что открывает новые горизонты для создания более надежных и безопасных ИИ-систем. Работа исследователей опубликована в виде препринта на научном портале arXiv и была опубликована на конференции ICIP.
Рисунок 1. Станислав Дерека, исследователь-разработчик (CV), и Иван Карпухин, ведущий исследователь-разработчик (ML). Источник: публикация T-Bank https://vc.ru/education/742897-kak-studentu-nachat-svoi-put-v-nauke-cherez-tinkoff-lab
Современные нейронные сети достигли поразительных успехов в решении множества задач, от распознавания лиц на фотографиях до медицинской диагностики и управления беспилотными автомобилями. Однако у них есть фундаментальная уязвимость, известная как «сдвиг домена». Модель, блестяще обученная на одном наборе данных, может совершать грубые ошибки, столкнувшись с данными из реального мира, которые хоть немного отличаются от обучающих примеров. Это похоже на студента, который выучил ответы на конкретные билеты, но теряется, если вопрос сформулирован чуть иначе. Для решения этой проблемы инженеры часто используют «ансамбли» — группы из нескольких нейросетей, которые анализируют задачу параллельно, а их «мнения» усредняются для получения итогового ответа. Этот подход, подобно коллективному разуму, повышает надежность и точность.
Тем не менее, у классических ансамблей есть своя «ахиллесова пята» — интеллектуальная однородность. В процессе обучения разные модели в ансамбле, стремясь к максимальной точности на одних и тех же данных, часто начинают «думать» одинаково. Они выучивают одни и те же признаки и шаблоны, обращая внимание на одни и те же детали. В итоге вместо команды независимых экспертов с разными точками зрения получается эхо-камера, где все участники лишь подтверждают выводы друг друга. Это ограничивает эффективность ансамбля и делает его уязвимым перед по-настоящему новыми и нестандартными ситуациями.
Именно эту проблему «интеллектуальной однородности» и взялись решить российские ученые. Их целью было заставить модели внутри ансамбля не просто приходить к разным ответам, но и основывать свои выводы на разных аспектах исходных данных. Для этого они обратились к концепции «карт внимания» (saliency maps). Карта внимания — это своего рода «тепловая карта» изображения, которая показывает, на какие пиксели нейросеть обращает больше всего внимания при принятии решения. Это похоже на то, как человек, разглядывая картину, выделяет для себя ключевые детали: лицо персонажа, яркий элемент одежды или необычную деталь на фоне.
Ключевая идея метода SDDE заключается во внедрении в процесс обучения специальной математической «функции потерь», которая штрафует ансамбль за сходство карт внимания у его моделей. Если две нейросети пытаются сфокусироваться на одной и той же области изображения для вынесения вердикта, алгоритм вносит коррективы в их обучение, поощряя их искать альтернативные, но не менее важные признаки. Таким образом, одна модель учится распознавать кошку по форме ушей, другая — по текстуре шерсти, третья — по характерной позе, а четвертая — по контексту окружения. В качестве инструмента для построения карт внимания исследователи использовали хорошо зарекомендовавший себя метод GradCAM.
Для проверки эффективности своего подхода команда провела серию масштабных экспериментов на общепризнанных наборах данных для компьютерного зрения, включая CIFAR-10, CIFAR-100 и ImageNet. Они сравнили работу своего ансамбля SDDE с несколькими передовыми методами, включая классические глубокие ансамбли (Deep Ensembles) и другие подходы, направленные на повышение разнообразия. Результаты оказались убедительными: по всем ключевым метрикам — точности классификации, калибровке (умению модели адекватно оценивать собственную уверенность) и качеству детекции данных из посторонних источников — предложенный метод продемонстрировал значительное превосходство.
«Представьте, что вы собираете комитет экспертов для принятия важного решения. Если вы пригласите десять специалистов с абсолютно одинаковым опытом и взглядами, вы получите очень уверенный, но, возможно, ошибочный ответ. Гораздо эффективнее собрать команду с разным опытом: один — теоретик, другой — практик, третий — специалист по смежной области. Наш метод, SDDE, выступает в роли модератора, который на этапе обучения говорит каждой нейросети-эксперту: “Ты, пожалуйста, обрати внимание на текстуру. А ты — на форму. А ты — на общий контекст”. В результате их коллективное решение становится гораздо более взвешенным и устойчивым к неожиданностям,
— прокомментировал суть работы Станислав Дерека, аспирант МФТИ. Затем он добавил:
Главное преимущество нашего подхода — это повышение надежности систем искусственного интеллекта в реальном мире, который всегда полон сюрпризов. Когда модель не просто классифицирует то, что знает, но и умеет сказать “я не уверена, что это такое”, это фундаментальный шаг к созданию ответственного и заслуживающего доверия ИИ. Наш метод делает ансамбли более “скромными” и осторожными, что в критических приложениях гораздо важнее самоуверенной точности».
Разработка российских исследователей смещает фокус с диверсификации конечных предсказаний на диверсификацию самого процесса анализа данных. Если предыдущие методы в основном пытались сделать так, чтобы модели давали немного разные ответы, то ученые пошли глубже: они заставили диверсифицироваться сам «мыслительный процесс» моделей — их внимание к входным данным. Это обеспечивает более фундаментальное и робастное разнообразие внутри ансамбля.
Рисунок 2. Карты внимания для обычного ансамбля и для ансамбля, обученного по методу SDDE, при анализе фотографии лодки. В первом случае все модели «смотрят» на одну и ту же центральную часть судна. Во втором — их внимание распределено: одна модель фокусируется на парусе, другая — на отражении в воде, третья — на линии горизонта. SDDE заставляет нейросети видеть картину целиком, во всем ее многообразии. Источник: ICIP.
Повышение способности ИИ распознавать неизвестное — ключевой фактор для создания по-настоящему безопасных систем. Это критически важно для беспилотных автомобилей, которые должны адекватно реагировать на нестандартные дорожные ситуации или внезапно появившиеся на дороге объекты, которых не было в обучающих данных. В медицине такие системы смогут не просто ставить диагнозы на основе известных снимков, но и сигнализировать врачу, что столкнулись с редкой или атипичной патологией, требующей особого внимания человека. Другие возможные применения включают финансовый мониторинг для выявления новых видов мошенничества, системы контроля качества на производстве и обеспечение безопасности в киберпространстве.
В будущем исследователи планируют адаптировать свой подход для других типов данных, таких как аудиосигналы, тексты и временные ряды, а также исследовать возможность динамического управления разнообразием ансамбля в зависимости от сложности решаемой задачи. Разработка открывает путь к созданию следующего поколения ИИ-систем, которые будут не только эффективными, но и более устойчивыми и надежными перед лицом непредсказуемой реальности.
Научная статья: Stanislav Dereka, Ivan Karpukhin, Maksim Zhdanov, Sergey Kolesnikov. Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy. arXiv:2305.11616v5.
Dereka S. et al. Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy //2024 IEEE International Conference on Image Processing (ICIP).
