Команда исследователей из Т-Технологий и МФТИ разработала метод, позволяющий построить детальную «карту» эволюции абстрактных понятий в глубине больших языковых моделей. Этот подход, основанный на «графах потоков признаков», не только открывает «черный ящик» ИИ, делая его работу прозрачной, но и дает в руки ученых мощный инструмент для точного управления поведением нейросетей, например, для подавления нежелательных тем в генерируемом тексте. Работа исследователей была представлена на Международной конференции по машинному обучению (ICML) в Ванкувере, Канада. Также она была опубликована в виде препринта на научном портале arXiv.
Современные большие языковые модели остаются для своих создателей во многом загадкой. Несмотря на их впечатляющие способности, внутренние механизмы их «мышления» остаются непрозрачными. Это фундаментальная проблема, мешающая созданию по-настоящему надежного и безопасного искусственного интеллекта. Одним из прорывов в этой области стало использование разреженных автоэнкодеров (SAE) — специальных «словарей-дешифраторов», которые позволяют извлекать из сложной активности нейронов отдельные, понятные человеку концепции или «признаки», такие как «научная терминология» или «ссылки на законы физики». Однако было неясно, как проследить «судьбу» одного и того же понятия по мере его продвижения через десятки слоев модели.
Задача, которую поставили перед собой исследователи, — создать «бесшовную» карту, связывающую эти разрозненные этажи и показывающую, как именно информация трансформируется в процессе обработки. Разработанный ими метод позволяет отследить, как конкретные признаки зарождаются, передаются от слоя к слою или исчезают. Для этого ученые использовали не требующий данных подход, основанный на вычислении косинусного сходства между векторами признаков, извлеченных с помощью SAE на разных уровнях модели. Их метод работает как лингвистический компаратор: он берет векторное представление одного понятия на одном слое и ищет в следующем слое наиболее похожее по направлению, тем самым выстраивая цепочку преемственности.
Коллектив ученых смог не просто сопоставить похожие признаки, но и классифицировать их происхождение. Оказалось, что концепции на первых слоях чаще возникают из механизма внимания, который отвечает за понимания контекста, а на более поздних слоях концепции чаще возникают в MLP, в которых хранятся знания модели. Создавая такие «графы потоков» для тысяч признаков, исследователи получили беспрецедентную по своей детализации картину внутренней жизни нейросети. Эта концепция наглядно проиллюстрирована в работе на примере «графа потока» для научных понятий.
Рисунок 1. Механизм внимания. Этот граф потока, построенный с помощью нового метода, наглядно демонстрирует эволюцию одной-единственной концепции, связанной с научной физикой. Горизонтальная ось представляет собой глубину нейросети — от ранних слоев (слева) до финальных (справа). Каждая точка — это конкретное проявление этой концепции на определенном слое, а линии показывают ее «наследование». Видно, как на ранних этапах появляются общие научные термины, а по мере продвижения вглубь модели они уточняются и кристаллизуются в узкоспециализированные понятия, такие как «параметры стандартной модели». Источник: Daniil Laptev et al. / ICML 2025.
Никита Балаганский, руководитель научной группы LLM Foundations, T—Bank AI Research, аспирант МФТИ, рассказал о сути проведенной работы: «Мы создали своего рода генеалогическое древо для “мыслей” нейронной сети. Наш метод позволяет проследить всю родословную конкретной идеи внутри модели. Мы можем увидеть, как из простых признаков, отвечающих за отдельные слова на ранних слоях, рождаются более сложные семантические конструкции на средних, и как они в итоге собираются в абстрактные темы на финальных этапах. Это похоже на то, как ручейки сливаются в реки, а реки — в океан».
Ключевым результатом исследования стала демонстрация практической пользы созданных карт. Ученые показали, что, зная полную траекторию развития определенной темы, можно гораздо эффективнее управлять генерацией текста. Вместо того чтобы пытаться воздействовать на один признак на одном слое, новый подход позволяет оказывать мягкое, но уверенное воздействие на всю цепочку связанных признаков на разных уровнях. В ходе экспериментов исследователи смогли успешно подавить в генерируемом тексте тему «научных концепций и сущностей», воздействуя на найденный граф потока. Это первая в мире демонстрация такого многоуровневого управления поведением языковой модели.
Уникальность подхода заключается в его простоте и эффективности. Он не требует для анализа огромных массивов данных и сложных вычислений, опираясь лишь на веса уже обученных SAE и самой языковой модели. Это открывает дорогу к его широкому применению для анализа и интерпретации самых разных архитектур нейронных сетей.
Понимание этих потоков — это ключ к созданию более безопасного и предсказуемого ИИ. Теперь можно не просто ‘дергать за одну ниточку’ на одном слое, а мягко направлять целый поток связанных “мыслей”. Если нужно, чтобы модель избегала определенной темы, то можно ослабить соответствующий ей поток на самых ранних стадиях его зарождения. Это гораздо эффективнее и безопаснее, чем грубое вмешательство на выходе. Практическая значимость этого открытия огромна. Оно предоставляет разработчикам и исследователям мощный инструмент для «отладки» и «тонкой настройки» языковых моделей. С его помощью можно будет выявлять и целенаправленно ослаблять нежелательные концепции, связанные с предвзятостью, токсичностью или дезинформацией, по всей цепочке их формирования. Это также открывает новые возможности для создания моделей с управляемым стилем и тематикой, что крайне востребовано в творческих и образовательных приложениях.
В будущем ученые планируют использовать разработанный метод для анализа самых крупных и современных языковых моделей, а также для исследования более сложных явлений, таких как формирование «внутренних схем рассуждений» в нейросетях. Эта работа делает важный шаг на пути от эмпирического создания ИИ к его полноценному проектированию, основанному на глубоком понимании внутренних механизмов.
Научная статья: Daniil Laptev, Nikita Balagansky, Yaroslav Aksenov, Daniil Gavrilov. Analyze Feature Flow to Enhance Interpretation and Steering in Language Models. Proceedings of the 42nd International Conference on Machine Learning, PMLR 267, 2025.
