Ученые из Курчатовского института, МФТИ, университета г. Парма (Италия), МГУ и СПбГУ создали искусственную нейронную сеть на основе полимерных мемристоров — устройств, которые позволяют построить принципиально новые компьютеры. По словам исследователей, подобные разработки, в первую очередь, помогут в создании систем машинного зрения, слуха и других органов восприятия, а также систем интеллектуального управления различными устройствами, включая автономных роботов.
Что значит «принципиально иные компьютеры»?
Обыденная классификация компьютеров основана либо на форме их корпуса (десктоп/ноутбук/планшет), либо на типе используемой операционной системы (Windows/MacOS/Linux). Однако это лишь самое простое деление с точки зрения пользователя, в то время как специалисты обычно используют совершенно иной подход: в основе которого лежит принцип организации вычислительных операций. Привычные нам компьютеры, будь то планшет, настольный компьютер или даже бортовой компьютер космического аппарата — это все устройства с архитектурой фон Неймана; если не вдаваться глубоко в детали, то их суть заключается в наличии обособленных процессора, оперативной и постоянной памяти.
Память хранит код программы, которую необходимо выполнить. Программа представляет собой набор инструкций, которые предписывают совершить те или иные операции с данными. Данные тоже хранятся в памяти* и извлекаются из нее (а также записываются в память) в соответствии с программой; инструкции программы выполняет процессор. Процессоров может быть несколько, они могут работать параллельно, данные можно хранить самыми разными способами — но фундаментальное разделение на процессор и память всегда остается в силе. Даже если весь компьютер встроен в одну-единственную микросхему, в ней все равно будут отдельные элементы для обработки информации и отдельные блоки для хранения данных. На сегодня вся современная микроэлектроника сделана именно по этому принципу и отчасти поэтому большинство людей даже не подозревает о существовании вычислительных систем какого-то иного рода, без процессоров и памяти.
*) если для хранения данных и хранения программы используются физически разные элементы, то такой компьютер называют построенным по гарвардской архитектуре. Такой подход используется в некоторых микроконтроллерах, небольших специализированных вычислительных устройствах. Микросхема, управляющая работой холодильника, лифта или автомобильного двигателя (во всех этих случаях «обычный» компьютер избыточен) — микроконтролллер. Но ни гарвардская, ни фон неймановская архитектуры не позволяют совместить обработку и хранение информации в одном элементе вычислительной системы.
Однако такие системы существуют. Более того, если рассматривать сам мозг как вычислительную систему (заметим, что это пока предположение: неизвестно, сводима ли работа мозга к вычислениям), то он окажется построен вовсе не как компьютер фон-неймановской архитектуры. В нейронных сетях нет ни специализированного вычислителя, ни обособленных ячеек памяти. И хранение, и обработка информации происходят в пределах одного каждого нейрона, одного элемента вычислительной системы, и таких элементов в человеческом мозге насчитывается около 100 млрд. При этом, почти все они способны работать параллельно (одновременно), за счет чего и достигается огромная эффективность и быстродействие при обработке информации.. Искусственные нейронные сети, которые в наши дни реализованы на фон-неймановских компьютерах, лишь эмулируют эти процессы: эмуляция, то есть пошаговое имитирование работы, неизбежно влечет за собой падение быстродействия вкупе с лишним энергопотреблением. Для многих случаев это не столь критично, однако бывает и обратное.
Устройства, которые не просто имитируют работу нейронных сетей, а являются их принципиальными аналогами, могли бы использоваться для решения множества задач. Прежде всего, нейронные сети способны распознавать образы, на них основано, к примеру, распознавание рукописного текста или сличение подписей. Там, где нужно выделить и классифицировать какой-либо паттерн — звук, изображение, характерные изменения на графиках — там активно уже применяются нейросети и именно в этих сферах зачастую критичен выигрыш как в быстродействии, так и в энергопотреблении. Для системы управления автономным летающим роботом на счету каждый милливатт-час и каждая миллисекунда, равно как и системе обработки данных с коллайдерного детектора в режиме реального времени нельзя слишком долго «думать» над выделением интересных ученым треков частиц из всего множества зарегистрированных событий.
От теории к железу пластику
Первую искусственную нейросеть, перцептрон Розенблата, придумали еще в 1957 году, затем ученые создали еще несколько разных моделей, а несколько лет назад было совершено важное открытие: физики разработали и успешно испытали микроскопические мемристоры.
Пластиковый мемристор в сборе. Фотография авторов исследования.
Мемристор – это электрический элемент, который является аналогом обычного резистора. Его отличие от классического элемента заключается в том, что электрическое сопротивление мемристора зависит от прошедшего через него заряда и за счет этого он постоянно меняет свои свойства под действием внешнего сигнала: мемристор обладает памятью и одновременно способностью менять данные, закодированные состоянием его сопротивления! В этом смысле мемристор является аналогом синапса – соединения двух нейронов в головном мозге, способном пластично изменять эффективность передачи сигнала между нейронами под действием самой этой передачи. Мемристор позволяет реализовать на практике «подлинную» нейронную сеть, причем физические свойства мемристоров позволяют делать их как минимум столь же миниатюрными, сколь привычные микросхемы.
Некоторые оценки показывают, что мемристор может быть уменьшен вплоть до десяти нанометров, а использованные при изготовлении экспериментальных прототипов технологии в принципе допускают масштабирование до уровня массового производства. Однако слова «в принципе допускают» не означают того, что чипы принципиально новой архитектуры с нейронными сетями поступят в продажу хотя бы через пять лет.
Авторы нового исследования обратили внимание на одно из перспективных направлений в сфере мемристорных нейронных сетей — мемристоры на полимерной основе — и обнаружили, что даже простейший перцептрон собрать не так просто. Настолько не просто, что до выхода их статьи в журнале Organic Electronics о подобных успешных экспериментах (на основе органических материалов) никто не сообщал. Эксперименты, проведенные в комплексе НБИК-технологий Курчатовского института совместным российско-итальянским коллективом, продемонстрировали возможность построения из полианилина простейших нейросетей, причем эти сети оказались способны к обучению и выполнению заданных логических операций.
Схема мемристора. Изображение любезно предоставлено авторами исследования.
Пластик, полианилин, был выбран не случайно. Предыдущие исследования продемонстрировали возможность создания на его основе отдельных мемристоров, так что ученым уже не пришлось перебирать множество материалов. Используя раствор полианилина, стеклянную подложку и электроды из хрома они создали прототип, размеры которого пока далеки от типичных для микроэлектроники: ширина полученной полоски структуры составила порядка одного миллиметра (за миниатюризацией пока решили не гнаться). Все мемристоры были испытаны на предмет их электрических характеристик: выяснилось, что вольт-амперная характеристика устройств действительно нелинейна и соответствует ожиданиям. После этого мемристоры были связаны в единую нейроморфную сеть.
Воль-амперная характеристика — это график, где по горизонтали отложено напряжение, а по вертикали — ток. Для обычного сопротивления ВАХ выглядит как прямая линия, в строгом соответствии с законом Ома ток пропорционален напряжению. А вот для мемристора важно не только напряжение, но и то, как оно перед этим менялось: если начать плавно увеличивать подаваемые на него вольты, мемристор увеличит протекающий через него ток не линейно, а с резким перегибом графика, в определенный момент его сопротивление резко снизится.
Затем, если напряжение начать уменьшать, мемристор какое-то время пробудет в проводящем состоянии и затем снова довольно резко поменяет свои свойства в сторону меньшей проводимости. Экспериментальные образцы при растущем напряжении в полвольта почти не пропускали ток (тот был в пределах нескольких десятых микроампер), но вот при снижающемся напряжении той же величины амперметр показывал уже в районе пяти микроампер. Микроамперы, безусловно, не слишком большие единицы сами по себе, но в данном случае важен контраст: 0,1 мкА против 5 мкА, разница в десятки раз! Для уверенного различения двух сигналов такой разницы хватит с запасом.
После проверки базовых свойств отдельных мемристоров, физики провели эксперименты по обучению нейронной сети. Суть обучения (это общепринятый термин, поэтому везде без кавычек) заключается в подаче на входы перцептрона электрических импульсов в случайном порядке. Если при подаче на входы перцептрона некоторой комбинации электрических импульсов (например, логической единицы и нуля при двух входах) перцептрон выдает неправильный ответ, на него подается специальный корректирующий импульс и после определенного числа повторений все внутренние параметры устройства (а именно сопротивления мемристоров) сами настраиваются — то есть «обучаются» — нужным образом.
Ученые показали, что их новая мемристорная сеть уже через полтора десятка попыток становится способной выполнять логические операции NAND, а потом ее же можно переучить выполнять и NOR. Поскольку правильность ответа проверяет оператор или обычный компьютер, данный метод называется обучением с учителем.
Операции NAND и NOR — это исключающее «И» и исключающее «ИЛИ», элементарные бинарные операции. Напомним, что логическое «И», равно как и логическое «ИЛИ» предполагает наличие двух бинарных входов, то есть двух сигналов в виде нуля или единицы. Операция «И» выдает ответную единицу тогда и только тогда, когда получает две единицы (1 И 1), а операция «ИЛИ» выдает единицу в ответ на хотя бы один сигнал с единицей (1 на одном входе ИЛИ 1 на другом). Исключающее «И» выдает результат, обратный операции «И» — то есть единица появляется только при отсутствии совпадения единиц на входах логического элемента. А исключащее «ИЛИ», соответственно, должно выдавать 1 только тогда, когда единиц на входе нет вовсе: из таких базовых операций строятся все алгоритмы обработки данных и без них немыслима любая фон-неймановская компьютерная система. Для нейросетевой архитектуры использование логических операций необязательно, но в данном случае именно они были выбраны из-за их простоты, исключительно для демонстрации возможностей обучения нейроморфной сети с небольшим количеством входов и выходов.
Безусловно, макроскопических размеров элементарный перцептрон с характерным временем реакции в десятки и сотни секунд — это еще не готовый элемент для промышленного производства. Но, как отмечают сами исследователи, их детище создано из недорогих материалов, а время срабатывания уменьшается вместе с уменьшением размеров: первый прототип намеренно сделали увеличенным для удобства работы, в то время как физически возможно изготовить и более компактные чипы. Кроме того, на основе полианилина можно попытаться сделать и трехмерную схему, разместив мемристоры друг над другом в многоэтажной структуре (например, в виде случайных пересечений тонких полимерных волокон), тогда как современная кремниевая микроэлектроника в силу ряда технологических ограничений двумерна. Переход в третье измерение сулит новые возможности сам по себе.
