Нейроморфные вычисления и мозг, который никогда не умрет (4 фото + 1 видео)

Нейронные сети, функционирующие в соответствии с теоретическими представлениями современной науки о памяти и механизмах воспоминаний, по сути, представляют собой цифровую симуляцию того, как синапсы могут сохранять информацию и в результате обучения распознавать шаблоны. Например, нейронные сети позволяют компьютеру или облачному сервису распознавать символы печатного текста без необходимости создания программ с алгоритмом, прямо ориентированным на распознавание текстов, или позволяют компьютеру идентифицировать определенное лицо в толпе после просмотра нескольких различных фотографий этого лица.

Но даже если количество задач, решаемых нейронными сетями, расширяются линейно - например, кроме только текста различать одну форму текстового написания от другой – то количество данных, необходимых для обучения, требуется экспоненциально больше. Есть веские основания считать, что некоторые из задач, предполагаемых для нейронных сетей, таких как выявление эмоций (например, отличить подавленное или взволнованное состояние), может оказаться невозможным, даже с использованием самых современных технологий хранения и памяти. Возможно уже по этому, откровения исследователей о том, что химические структуры, состоящие из совершенно случайных сборок проводов нанометрового масштаба, могут демонстрировать электрические характеристики памяти в мозге, не должны игнорироваться.

«Я хочу создать синтетический мозг,- писал д-р Джеймс К. Гимзевски (Dr. James K. Gimzewski) в октябре 2012 года. - я хочу создать машину, которая думает, машину, которая обладает физическим интеллектом... Такой системы пока не существует, поэтому ее создание обещает вызвать революцию, которую можно было бы назвать постчеловеческой революцией».

Сама эта тема кажется настолько фантастичной, что в последнее время серьезные писатели-фантасты даже избегали ее. Механизм, предлагаемый доктором Гимзевски и его коллегами из Калифорнийского института наносистем UCLA, как ни странно, не является цифровым процессором и он вообще не в контексте современной электроники, он даже не имеет отношения к полупроводникам. При этом здесь даже не идет речь о программировании, по крайней мере пока.

Вопрос, лежащий в основе исследований его команды, заключается в следующем: если процесс, составляющий естественную память, по крайней мере на атомном уровне, по существу механический, то вместо построения цифрового моделирования этого механизма, почему бы не исследовать построение реальной машины на том же атомном уровне, которая выполняет те же функции таким же образом? Иными словами, если мозг - это атомная машина, то почему атомная машина не может быть мозгом?

Концепция нейроморфных вычислений отличается от принципов цифрового моделирования нейронных сетей. В обычных симуляциях относительная сила «синапса» по сравнению с другими синапсами представлена объемом, занимаемым в памяти - или, если быть более точным, в оперативной памяти. «Заученный» шаблон взвешивает значение синапса, и когда изображение близко соответствует тому, что система «видела» раньше, взвешенный синапс фиксируется как прецедент и «срабатывает» как событие, аналогичное электрическому импульсу синапса в мозге.

В свою очередь любая нейроморфная архитектура - это попытка построить систему, которая действительно именно таким образом работает, а не имитирует эти функции в цифровом виде. То, чего не хватает обычным полупроводниковым компьютерам для полноценного моделирования нейронной активности, наиболее подходяще описывается словом «масштаб».

Так например, проект 2013 года, объединивший германский исследовательский центр Jülich и японскую лабораторию RIKEN, с использованием суперкомпьютера RIKEN K - самого быстрого в то время - успешно смоделировал нейронную активность, наблюдаемую примерно в 1 проценте человеческого мозга, в одной операционной последовательности мозговой активности, которая заняла около 40 минут. Потребовалось еще пять лет на переработку алгоритма, прежде чем команда объявила, что получила методологию, которая может сократить время на вспомогательную нейронную активность, ускоряя выполнение той же последовательности примерно в пять раз.

Такая производительность позволяет имитировать нейронную активность, необходимую для написания одного президентского твита примерно к 2050 году. Не больше.

Прозрение доктора Гимзевски – вдохновленное его близким сотрудничеством в течение десятилетий не только с Intel, но и с коллегами в области физики и химии, в том числе парой нобелевских лауреатов – в том, что произведённые естественным образом посредством химических реакций структуры уже обладают поведением похожим на коммутаторы (цифровые или физические), используемые в моделировании функционирования синапсов, особенно в том, как они проводят электричество. Они сопротивляются воздействию тока, но со временем сопротивляются меньше – такое же явление происходит в человеческом мозгу и оно напрямую связанно с обучением.

Исследования команды UCLA сосредоточены вокруг использования природных химических явлений на атомном уровне в качестве атомных переключателей, и их доказательства показывают, что если их химически произведенные системы рассматриваются как естественная память (например, рецептивные компоненты мозга, которые сохраняют информацию), то возможно в будущем они будут вести себя как естественная память.

«Если взять аналогию с машинным обучением, то у нас есть сеть, и у нас есть входы и выходы. В таких системах нужно тренировать сеть», - объясняет Гимзевски. «В обычной системе вы должны тренировать сеть на то, что каждое синаптическое соединение в системе имеет нечто, называемое «весом».- Это всего лишь цифра. Но чем больше вес, тем сильнее эффект».

Процесс обучения сети - например, путем предоставления ей большего количества образцов одного и того же класса данных, таких как записи голоса одного человека или изображения лица одного человека - изменяет значения весов. В той мере, в какой эти значения становятся относительно высокими, разработчики говорят, что система «учится». Чем больше разнообразие возможных, обучаемых объектов в обучающем наборе (например, лица нескольких людей), тем больше весов требуется для установления дифференциации. Даже сегодня, для обычных цифровых суперкомпьютеров изучение сложных естественных форм представляется крайне трудным, а его результаты менее чем оптимальными.

В нейроморфной системе эти веса не являются цифровыми. Они являются продуктами атомных переключателей - устройств, состоящих из ионов или пар ионов, бинарными квантовыми атрибутами которых можно манипулировать в том или ином состоянии. Они похожи на двоичные цифры или биты, но в данном случае они не электронные. Атомный переключатель может быть «изготовлен» путем прямого принуждения пары ковалентных (связанных вместе) ионов к обмену позициями друг с другом, используя динамический силовой микроскоп, наконечник которого, как игла атомного проигрывателя, заостренная до ширины одного атома.

Но атомные переключатели не самый больший прорыв. Продолжая работу, начатую профессором Масаказу Аоно (Masakazu Aono) в Японском Международном центре Наноархитектоники материалов (MANA), команда Гимзевски химически производит сети, цепи которых формируются нанопроводами сульфида серебра. Чтобы они получились более специфичными, они обрабатывают решетку из медных столбцов, размещенных на расстоянии один микрон отдельно друг от друга, при помощи нитрата серебра. В результате нанопроволоки вырастают из этих столбцов в совершенно случайных направлениях. Если описать формы этих структур одним словом, то наиболее подходящее это дендриты, которое – и не случайно - используется для описания структуры синапсов в мозге.

После того как дендриты сформированы, сульфурирование полученного вещества активизирует скрепление нанопроводов в тех местах, где образовались соприкосновения между ними, чтобы возникло соединение. Гимзевски считает эти соединения к синапсами. На атомном уровне эти синапсы ведут себя также как симулированные синапсы в цифровой нейронной сети, хотя они технически они не электронные.

Вы помните, что в обычной электронной цепи логические выходы по сути являются переключателями. Все компьютерные программы на самом базовом уровне являются последовательностями логических операций. Части этих последовательностей как бы перефразированы, если хотите, поэтому мы можем управлять потоком данных, используя более удобные языки высокого уровня, такие как Python, JavaScript и Clojure, без необходимости направлять каждый электрон с помощью небольшого зондирующего микроскопа.

Тем не менее, если взять за аналогию железнодорожную систему, вы знаете, что простые переключатели «стрелки» определяют маршруты, по которым ходят поезда. Если считать, что система (такая например как интернет) определяется маршрутами, которые ее формируют, то это не слишком большой прорыв в осуществлении логических операций. И это не позволяет говорить, что такая система подобна мозгу, который физически состоит из нейронов, аксонов и синапсов, которые вместе составляют ее функции. Для реального прорыва необходим атрибут мозга, который неврологи называют нейропластичностью. Применительно к искусственному устройству, такому как процессор, аналогичным атрибутом может быть способность устройства самостоятельно строить связи внутри себя для выполнения новой функции. Самый простой способ достичь получить этот атрибут - это возможность перестановки переключателей.

Предполагать, что физики и химики только сейчас подошли к тому, чтобы использовать естественные процессы для вычислительных или математических целей, - это несправедливо по отношению к людям, которые стояли у истоков создания вычислительной техники. Среди них Чарльз Бэббидж (Charles Babbage). Одной из задач для его вычислительной машины было сделать очевидным представление о том, что математика - это всего лишь человеческая интерпретация большего божественного механизма. Как писал Бэббидж в 1838 году:

«Чтобы проиллюстрировать различие между системой, к которой часто или через отдаленные промежутки времени прикладывается рука ее создателя, и системой, которая получила при своем первом формировании отпечаток воли ее автора, предвидя разнообразные, но все же необходимые законы ее действия на протяжении всего ее существования, мы должны прибегнуть к какой-то машине, воспроизводящей человеческие способности. Но поскольку все эти механизмы должны располагаться на неизмеримо ниже простейших природных творений, то, исходя из обширности тех циклов, которые даже человеческое изобретение в некоторых случаях развертывает перед нашим взглядом, мы, возможно, сможем составить слабое понимание о величине того самого первого шага в цепи рассуждений, который ведет нас к Богу».

Работы команды Джеймса Гимзевски продемонстрировала, что механизм сборки структур в результате случайных химический процессов может обнаруживать проявления, обычно связанные с компьютерным моделированием. Подобные проявления наиболее аналогичны тому, как проявляет себя неокортекс мозга. Природа может подражать подражателю и иногда даже смеяться над ним.

И вот тут профессор Гимзевски похоже пытается сделать самый большой шаг в соединении веры и логики: ментально добиться философских пропорций Бэббиджа. Продвигаясь в своих исследованиях, он попытался смоделировать то, что неврологи называют нейропилом — самую плотную коллекцию синапсов в мозге, соединяющую вместе бесчисленное количество нервных волокон. На одном из этапов он оценил плотность синтетических соединений в один миллиард на квадратный сантиметр - это плотнее, чем массивы транзисторов в современных полупроводниках.

Эта «нейро-ткань» химически выращивается в результате процесса, как его называет Гимзевски, «снизу-вверх». После этого она соединяется с электродной решеткой, которая представляет собой обычный пробор, состоящий из 64, или иногда 128, медные выходов. Этот интерфейс позволяет считывать данные с нескольких электродов, подобно тому, как неврологи сканируют активность мозга.

«В том типе схемы, которую мы производим, поведение отдельного элемента в атомном переключателе или отдельном соединении не так важно для нас. Объект нашего исследования это общесистемная активность всего устройства и то, как оно организовано в пространстве и по времени».

Дендритная сеть, образованная этими само-собранными атомными переключателями, утверждает Гимзевски, приняла свой стиль обучения – эта модель, которая во многом соответствует тому, что инженеры нейронных сетей (использующие симулированные нейроны) называют резервуарными вычислениями (reservoir computing, RC).

Не обязательно существует линейная корреляция между последовательностью входных сигналов и сигналами, записанными с выходов. Так, например, идеальная синусоидальная волна, используемая для входа, не даст синусоидальную волну ни в одном из выходов по отдельности.

Тем не менее, как утверждает профессор, по причинам, которые еще не вполне объяснимы, дендритные пути, по-видимому, работают сами по себе. «Когда они все объединяются, они начинают разговаривать друг с другом», - сказал он. «Похоже, что вся схема оживает, в том смысле, что каждая часть взаимодействует с каждой другой частью. И есть пути, по которым мы можем установить более сильные нейроморфные связи».

В сети веса регистрируются на выходном слое, где и фиксируются результаты. «Затем с помощью линейной регрессии, которая является рутинным математическим вычислением, мы восстанавливаем форму волны».

Это означает, что все выходные данные, собранные вместе, образуют матрицу, к которой может быть применена линейная регрессия, чтобы в итоге извлечь шаблон, восстановленный из входных данных. То есть, если бы синусоидальные волны были входными, результатом вычисления была бы синусоидальная волна; если бы в качестве входных данных использовался голос человека, на выходах появилась бы слышимая экстраполяция этого голоса.

Таким образом, сеть, возникшая в результате естественного явления, которая растет, а не программируется, может рассматриваться как нейронная сеть, и при этом, в ответ ведет себя не как обычная нейронная сеть, заметьте, но как один из самых сложных из реально существующих классов живых систем.

Экстраполяция на этом не заканчивается. Гимзевски продолжает соотносить поведение своей нейропильной сети с реальной психологией, c теорией человеческого познания. Так называемая «многоэтажная модель памяти» представляет собой теоретическую основу для понимания человеческой памяти, впервые предложенную в 1968 году почетным канцлером UCSD доктором Ричардом К. Аткинсоном (Richard C. Atkinson) и профессором когнитивных наук Университета Индианы доктором Ричардом М. Шиффриным (Richard M. Shiffrin). В ней память делится на три структурных компонента: кратковременную сенсорную задержку, относительно кратковременную "рабочую память" и долговременную, постоянную память. Информация, полученная от органов чувств, проходит через краткосрочные фазы к постоянному состоянию, иначе она может распасться и быть забыта.

Совсем не то как дендритные сети запоминают информацию, заставило Гимзевски искать аналогии с моделью Аткинсона-Шиффрина, а скорее то, как «по-человечески» система ее забывает.

«Опасное заблуждение напрямую соотносить похожие вещи, как и говорить «это мозг!», - признал профессор с одной стороны. «Он проявляет электрические характеристики, которые очень похожи на функциональную МРТ мозга, похожие на электрические характеристики нейрональных культур, а также модели ЭЭГ. Мы называем это самоорганизованной критичностью, то есть целой областью науки, которая более или менее принята. Некоторые люди могут не согласиться, но теперь общепризнано, что мозг действительно обладает электрической характеристикой аналогичной той, что мы получаем в наших схемах, [что] довольно уникально с точки зрения его функции. Мы не пытаемся создать детерминированную систему. Мы позволяем системе собраться самой, а затем наблюдаем за тем, что она делает, и пытаемся извлечь из этого урок».

И так, вы можете вырастить память в банке, подключить ее к набору электродов радиостанции и заставить ее повторять вещи после вас. Но что это даст в практическом смысле?

Справедливости ради надо сказать, что речь не идет о системе, которая после имплантации в смартфон Galaxy S29 будет использовать нейропластичность, чтобы превратить его в Galaxy S30. С чисто практической точки зрения исследования команды Гимзевски указывают путь к замене обычных цифровых суперкомпьютеров для выполнения задач, требующих индуктивного рассуждения, на совершенно новую форму машины. Это будет система, функционирующая на принципах «тайм-шеринга», с доступом через облако или облачную службу, и, по крайней мере, теоретически, она может быть гораздо более экономичной с точки зрения реализации операций и в управлении.

Но пока все находится только в стадии эксперимента.

«Если бы вы увидели само устройство, оно соединено целой кучей проводов с машинами, которые в основном подключены к компьютеру, который делает весь анализ», - говорит профессор Гимзевски, подавляя смех. - Мы не можем управлять этой штукой без транзисторов или интегральных схем – пока не можем... Это просто часть всей системы. Это конечно не мозг в чистом виде».

Но если сравнить с мозгом лабораторию UCLA, а кучу проводов, брошены вместе как попало, и которые с помощью малопонятного механизма конструируют процессы, аналогичные тем, которые дают людям возможность водить машины, разговаривать, писать длинные статьи, и создавать новые нейроморфные устройства, то профессор Гимзевски может подвести всех нас к новому порогу понимания человеческой природы. Если мы сможем воспроизвести, вплоть до последнего атома, все, что составляет физическую систему человека, но в конечном счете получим просто еще одну облачную вычислительную службу, тогда в нашем контрольном списке должен быть какой-то важный, но пропущенный элемент.

«Память - это то, что мы есть,- писали Аткинсон и Шиффрин на 50-летие их модальной модели памяти, - и то, что определяет нас как индивидуумов». Если это правда, то возможно, мы захотим вернуться к вопросу о том, кто мы на самом деле, раз мы так успешно автоматизировали процесс выращивания самих себя в стеклянной банке.