Чип TrueNorth от IBM способствует созданию систем, способных вновь преодолеть планку закона Мура.
Крупнейшие компании мира, создавая автономные (роботизированные) автомобили, по сути, тратят миллиарды долларов, чтобы машины научились делать то, что не раздумывая делают двухлетние дети, — распознавать увиденное. При этом в некоторых отношениях у малышей всё ещё есть преимущество. Вопиющий случай произошёл в прошлом году: камера электромобиля Tesla приняла грузовик за небо, и водитель, не заметив этой компьютерной ошибки, погиб.
Весьма скромные достижения вышеупомянутых компаний объясняются давно устаревшей формой вычислений, моделирующих работу головного мозга. Производя эти вычисления, компьютерное «железо» приблизилось к пределам своих возможностей, причём работает оно совсем не так, как наше серое вещество. Поэтому пока программисты создают «нейронную сеть», которая может функционировать на обычных компьютерных чипах, инженеры разрабатывают «нейроморфное» оборудование, способное более эффективно имитировать головной мозг. К сожалению, свёрточная нейронная сеть (СНС) — тип нейронной сети, ставший стандартным при распознавании образов и ряде других операций, — не поддаётся воспроизведению на основе нейроморфного «железа».
Точнее, не поддавалась до недавнего времени.
В Proceedings of the National Academy of Sciences (PNAS) появилось сообщение о том, что исследователи из IBM адаптировали СНС для работы на чипе TrueNorth. Другие исследовательские группы также заявили о прогрессе в решении этой проблемы. Соответствуя возможностям лучших систем распознавания зрительных и речевых образов, созданная IBM система TrueNorth, по сравнению с микросхемами, которые применялись ранее, потребляет гораздо меньше энергии и работает во много раз быстрее. Наконец, объединение свёрточных сетей с нейроморфными чипами не только обогатит профессиональную лексику компьютерщиков, но ещё и позволит разработать более смышлёные автомобили и мобильные телефоны, способные отлично понимать наши вербальные команды — даже тогда, когда мы отдаём их с набитым ртом.
Создание технологий более эффективного машинного обучения
Традиционно, программировать компьютер — значит писать для него пошаговые инструкции. Например, если его обучают распознавать собак, то вводят перечень правил, которыми ему надлежит руководствоваться при выработке суждения. Проверьте, является ли объект животным. Проверьте, есть ли у него четыре ноги. Проверьте, больше ли он кошки и меньше ли коня. Проверьте, лает ли он. И так далее. Но, чтобы хорошо судить, нужно обладать гибкостью. Что если компьютер встретит крошечную собачку, которая не лает и у которой всего лишь три ноги? В таком случае могут потребоваться дополнительные правила, но бесконечно удлинять список правил и повторять этот процесс для каждого типа решений, которые нужно принимать компьютеру, неэффективно и непрактично.
Люди учатся по-другому. Ребёнок может отличать собак от кошек, ходить на двух ногах и свободно говорить, не формулируя какие-то правила различения домашних животных. Мы учимся на опыте. Вот почему, создавая программное обеспечение для моделирования работы головного мозга, учёные-компьютерщики традиционно стремятся задействовать в своих разработках хоть что-то из магической способности опыта обучать.
Головной мозг содержит около 86 миллиардов нейронов, которые могут соединяться с тысячами других нейронов с помощью сложных ответвлений. Нейрон получает сигналы от многих других нейронов, и, когда стимуляция достигает определённой величины, он «выстреливает», посылая свой собственный сигнал окружающим нейронам. Мозг учится, в частности, путём регулирования силы связей в местах соединения нейронов, называемых синапсами. Когда какая-то последовательность действий повторяется, например, в ходе практической деятельности, содействующие нейронные связи становятся сильнее, и урок или умение запечатлеваются в сети.
В 40-х годах ХХ века началось математическое моделирование нейронов, а в 50-х годах — моделирование компьютерных нейронных сетей. Искусственные нейроны и синапсы намного проще, чем натуральные, но принципы работы в обоих случаях одни и те же. Множество простых единиц («нейронов») связано с множеством других (через «синапсы»). Числовое значение любого «нейрона» зависит от числовых значений «нейронов», подающих ему сигналы, и от веса «синапсов».
Искусственные нейронные сети (иногда их называют просто нейронными сетями) обычно состоят из слоёв. При визуальном изображении информация (или активация) перемещается из одного столбца кружков в следующий по линиям между ними. Работа сетей со многими слоями называется глубоким обучением — потому что, во-первых, чем больше слоёв, тем глубже обучение и, во-вторых, действующая сеть имеет значительную глубину. Нейронные сети — это форма машинного обучения, процесса, при котором компьютеры регулируют свою работу на основе опыта. Сегодняшние сети могут управлять автомобилями, распознавать лица и переводить тексты. Эти достижения связаны с ускорением работы компьютеров, с огромным количеством данных для обучения, доступных в нынешнем Интернете, а также с усовершенствованием основных алгоритмов нейронных сетей.
Свёрточная нейронная сеть — это особый тип сети, за последние несколько лет получивший широкую известность. Из стимулов, в качестве которых выступают, как правило, какие-то картинки, СНС извлекают важные признаки. Пусть на входе — фотоснимок собаки, запечатлённый, как на листе, на исходном слое нейронов. Каждый активированный нейрон такого листа означает один из пикселей исходной картинки. Каждый нейрон следующего слоя принимает входные данные из кусочка первого слоя и, действуя как своеобразный фильтр, становится активным, если в кусочке им обнаружен определённый паттерн. В последующих слоях нейроны будут искать паттерны в паттернах и т. д. Возникающие по ходу этого иерархического движения фильтры могут быть чувствительными к краям фигур, затем к определённым фигурам, затем к лапам, затем к собакам, пока не станет ясно, что именно находится в поле зрения — собака или тостер.
Чтобы искать фигуры или лапы, не нужно программировать внутренние фильтры вручную, и это весьма ценно. Вам нужно лишь предоставить в распоряжение данной сети входы (картинки) и правильные выходы (ярлыки картинок). Когда сеть ошибается, она слегка исправляет свои связи, пока после многих, многих картинок они автоматически не станут чувствительными к полезным признакам. Этот процесс напоминает то, как мозг обрабатывает увиденное, продвигаясь от низкоуровневых деталей вверх к распознаванию объектов. Любую информацию, которая может быть представлена пространственно — двумя измерениями для фотографий, тремя для видео, одним для строк в предложении, двумя для аудио (время и частота), — свёрточные сети способны подвергнуть анализу и понять, что делает их полезными в широком диапазоне.
Ян Лекун (Yann LeCun), который в настоящее время возглавляет исследования в области ИИ компании Facebook, впервые предложил использовать свёрточные сети ещё в 1986 году. Однако огромные возможности этих сетей оставались нереализованными, пока их архитектура не была усовершенствована. В 2012 году Джеффри Хинтон (Geoffrey Hinton), ныне главный эксперт Google по ИИ, и два его аспиранта воспользовались СНС, чтобы выиграть ImageNet Challenge — соревнование по компьютерному распознаванию мест и объектов. Они победили с таким большим преимуществом, что свёрточные сети стали популярными, и с тех пор все победы в рамках ImageNet Challenge были добыты с помощью той или иной версии СНС.
Моделировать человеческий головной мозг дорого. Более того: создать его компьютерную копию в настоящее время невозможно. Для этого пришлось бы скопировать каждый нейрон и синапс нашего мозга, а в нём — миллиарды нейронов и триллионы синапсов. Даже симуляция маленького кусочка головного мозга может потребовать миллионы вычислений для каждого элемента входа.
Как было отмечено выше, свёрточные нейронные сети, к сожалению, требуют огромной вычислительной мощности. Крупнейшие из них уже сегодня имеют миллионы нейронов и миллиарды синапсов. У СНС много слоёв, и каждый слой многократно применяет один и тот же фильтр признаков ко многим кусочкам предыдущего слоя. Классическая вычислительная архитектура, способная за раз обрабатывать всего одну инструкцию, не удобна для выполнения такого множества мелких вычислений. И тогда учёные решили применять параллельные вычисления, которые позволяют обрабатывать сразу несколько инструкций.
Современные нейронные сети используют графические процессоры (GPU), подобные тем, что применяются в игровых консолях. Дело в том, что GPU — это «железо», специально созданное для выполнения математических операций, полезных при глубоком обучении. (Одновременное обновление всех геометрических фасетов движущегося объекта является проблемой, аналогичной одновременному вычислению всех выходов из данного слоя нейронной сети). Но всё же GPU были разработаны не для глубокого обучения и тем более не для того, чтобы оно стало таким же эффективным, как при работе головного мозга, который позволяет управлять автомобилем и одновременно вести разговор о будущем автономного транспорта, требуя при этом энергии меньше, чем обычная лампочка.
Новая парадигма
В 80-х годах ХХ века инженер Карвер Мид (Carver Mead) для компьютерных чипов, функционирующих примерно так же, как и головной мозг, придумал термин нейроморфные процессоры. Его работа по созданию таких устройств создала основу для нового, ныне весьма известного поля деятельности. Хотя в настоящее время термин «нейроморфный» применяют к целому классу разработок, все они пытаются воспроизвести нейронные сети на базе компьютерного «железа», избегая при этом информационных проблем, характерных для традиционных процессоров. В 2008 году ввиду назревшей необходимости наладить быстрое и эффективное машинное обучение Управление перспективных исследовательских проектов Министерства обороны США (DARPA) стало выделять IBM и исследовательской компании HRL Laboratories миллионы долларов для создания таких нейроморфных машин, которые можно легко масштабировать. В 2014 году IBM торжественно представила чип TrueNorth на обложке журнала Science. С тех пор специалисты этой компании при финансовой поддержке Министерства энергетики, ВВС и армии разработали целый ряд систем на базе TrueNorth.
Чип TrueNorth содержит миллион «нейронов», каждый из которых представлен группой цифровых транзисторов, и 256 миллионов «синапсов», или проводных соединений между «нейронами». Два свойства делают этот чип намного более эффективным, чем традиционные чипы. Во-первых, подобно мозгу, он осуществляет коммуникацию с помощью «спайков», или одномерных пакетов информации, отправляемых от одного нейрона к другим, расположенным ниже. При такой коммуникации сигналы просты (спайк или его отсутствие) и передаются лишь изредка, когда нейрон отправляет пакет. Во-вторых, как и в головном мозге, обработка и запоминание информации происходят в одном и том же месте — в нейронах и их синапсах. В традиционном же компьютере блок обработки данных постоянно извлекает информацию из отдельных участков памяти, выполняет с ней операции и затем, закончив эту работу, отправляет в память новую информацию, что создаёт множество медленных и расточительных связей.
Систему TrueNorth благодаря её гибкости можно программировать на реализацию сетей разных размеров и форм. А ещё её можно масштабировать, так как чипы, даже если их много, легко соединять. «Это новая парадигма в масштабировании», — говорит Дхармендра Модха (Dharmendra Modha), ведущий специалист IBM в области интеллектуальных вычислений, копирующих работу мозга. «В сущности, именно так масштабирует свои вычисления кора головного мозга», — утверждает он. Кроме того, чип TrueNorth эффективен. Представляя его в журнале Science, специалисты IBM описали, как он распознавал людей, велосипеды и автомобили, анализируя видеоролик уличной сцены. Имитатор TrueNorth, созданный на базе традиционного микропроцессора, потребляет энергии в 176 000 раз больше, чем оригинал. «Сейчас такое время, когда технология развивается и становится значительно лучше, — констатирует Модха. — Речь не о считаных процентах, а о порядках величин».
Проект TrueNorth предусматривал разработку не только чипа, но и соответствующего программного обеспечения. IBM создала симулятор, новый язык программирования и библиотеку алгоритмов и приложений, после чего свыше 160 учёных, работающих в академических, национальных и корпоративных лабораториях, получили доступ к этим инструментам. «Хотя и сам по себе чип — технологическая веха, он всего лишь часть экосистемы, которая делает его пригодным для использования, полезным и широкодоступным для наших партнёров», — отмечает Модха.
Чтобы в полной мере реализовать возможности своего чипа, команда IBM взяла курс на сотрудничество, за что получила высокую оценку. По мнению Тоби Дельбрука (Tobi Delbruck), инженера цюрихского Института нейроинформатики, «TrueNorth как целая экосистема — это прорыв в плане создания удобного для использования крупномасштабного импульсного нейроморфного ускорителя». «Усилия, предпринимаемые IBM для продвижения импульсного способа вычислений и обработки сигналов, чрезвычайно ценны для тех, кто занимается нейроморфными разработками», — заявил Джакомо Индивери (Giacomo Indiveri), ещё один инженер цюрихского института, одного из центров нейроморфных исследований.
Но чип TrueNorth был создан в 2011 году, и пока после конкурса ImageNet Challenge 2012 года не грянула революция СНС, кое-кто сомневался, что TrueNorth сможет обрабатывать свёрточные сети.
На первый взгляд, обучение глубокой свёрточной сети кажется невозможным из-за «проблемы выяснения надёжности». Когда вы имеете дело с множеством слоёв, содержащих много нейронов и синапсов, как определить, какие элементы необходимо изменить из-за того, что в ходе обучения именно они вызвали ошибку? При наличии миллионов или даже десятков синапсов вы не сможете перебрать все возможные сочетания и выяснить, какое лучше остальных. Даже если в каждом синапсе возможно лишь 10 сильных импульсов и имеется всего 100 синапсов, число возможных комбинаций — гугол (10100).
Поэтому СНС используют метод обучения под названием backpropagation («обратное распространение»). Каждый раз, когда сеть угадывает что-то некорректно, вычисляется разница между этим предположением и правильным ответом. Алгоритм backpropagation рассматривает каждый нейрон в конечном слое и вычисляет, насколько изменение в выходе этого нейрона уменьшит общую ошибку. Потом идёт движение назад, и для каждого из рассмотренных нейронов алгоритм вычисляет, насколько изменение в силе каждого входящего синапса уменьшит общую ошибку сети. И так далее, в обратном порядке через все нейроны и синапсы. В результате удаётся узнать, как минимум, следующее: надо ли увеличить или уменьшить силу каждого синапса. Затем алгоритм слегка подстраивает все синаптические весы в нужном направлении и, повторяя заново весь процесс, вычисляет новую ошибку. Медленно, шаг за шагом, ошибка уменьшается, и этот процесс называют градиентным спуском.
Первоначально TrueNorth считался несовместимым с backpropagation, ибо градиентный спуск требует вносить в весы крошечные поправки и фиксировать крошечные улучшения. В свою очередь TrueNorth работает максимально эффективно тогда, когда использует всего лишь три значения веса: −1, 0 и 1, а выходной сигнал нейрона равен 0 или 1. Нейрон либо «выстреливает», либо нет. Никаких градиентов, только дискретные шаги.
И вот статья, опубликованная в PNAS, сообщила о серии хитрых приёмов, позволяющих применять backpropagation в импульсных сетях. Исследователи решили проблему путём обучения программной модели чипа, настроенной на использование аппроксимаций компьютерного «железа», всё ещё совместимых с градиентным спуском. В процессе обучения учёные поддерживали два набора значений синаптической силы: набор низкой точности (−1, 0,1) и «скрытый» набор высокой точности. Скажем, во время обучения синапс имеет высокоточный вес 0,51, что означает низкоточный вес 1 (округлённое число 0,51). Вход через синапс будет осуществляться с использованием числа 1, и когда будет рассчитана окончательная ошибка, градиентный спуск увидит, должен ли синаптический вес стать выше или ниже 0,51. Если должен стать выше, высокоточный вес поднимают, скажем, до 0,61, а низкоточный вес оставляют прежним (1). Если должен стать ниже, то высокоточный вес опускают, скажем, до 0,41, а низкоточный — до 0. После обучения в чип вводится программа с низкоточными весами. «Суть этой инновации, — поясняет Модха, — состоит в том, что наша команда смогла включить нейроморфные ограничения энергии, скорости и пространства в алгоритмы глубокого обучения, проводя обучение офлайн, — используя симуляцию, — благодаря чему затем получен онлайн-результат на TrueNorth».
Другой ключевой разработкой было отображение информации свёрточных нейронных сетей, в которых у нейронов огромное число связей, на чипе, где каждый нейрон имеет всего лишь 256 связей. Отображение проведено частично: определённым парам нейронов предписано представлять один более эффективно контактирующий нейрон. Как входы, так и выходы этих пар сведены воедино, и «выстреливают» парные нейроны совместно.
Чтобы тестировать свёрточные сети, работающие на чипах TrueNorth, специалисты IBM задействовали для обучения СНС восемь широко применяемых наборов данных, в которые входят природные и искусственные объекты, домашние адреса, дорожные знаки, корпоративные логотипы, речевые сигналы и английские фонемы. Используя один чип, удалось получить точность, составляющую несколько процентов от лучших результатов, достигнутых в сфере машинного обучения. А чтобы выйти на лучшие результаты и даже подняться выше, нужен, как показали исследования тех же специалистов, блок из восьми чипов. При этом частота составит 2600 изображений в секунду, а потребляемая мощность — менее трети ватта. Проводить прямые сравнения такого рода систем в плане эффективности весьма затруднительно, но, по мнению Модхи, TrueNorth превосходит своих конкурентов на порядок.
Backpropagation — главная стратегия обучения для многих типов нейронных сетей, а не только для СНС. Так что метод адаптации backprop к реализованным в «железе» или в софте импульсным сетям (таким, в которых нейроны посылают сигналы 0 и 1) может найти весьма широкое применение в сфере глубокого обучения. Свой метод адаптации IBM впервые описала на конференции, проходившей в декабре 2015 года, и сделала это вместе с группой из Монреаля, представившей аналогичный метод под названием BinaryConnect, и группой из Цюриха, рассказавшей о методе dual-copy rounding. С тех пор, по словам Пола Мероллы (Paul Merolla), ведущего исследователя проекта TrueNorth, наибольший интерес представляют попытки приспособить backprop для работы с низкоточными сетями. «Я насчитал примерно 18 статей, опубликованных после [той конференции], — сказал он в ноябре 2016 года. — Восхитительное время для этой сферы исследований!»
Новая нейроморфность
Чип TrueNorth имеет высокую производительность, но его разработали без учёта СНС, и поэтому у него есть ряд недостатков по сравнению с другими системами, которые создаются сейчас. Один исследователь написал мне так: «Чип TrueNorth компании IBM — замечательная технология. Однако его дизайн был разработан ещё до того, как прошла недавняя волна ГНС (глубоких нейронных сетей) и СНС, поэтому он не был оптимизирован для таких сетей. Это, к примеру, подтверждается тем фактом, что для реализации сети, в которой всего лишь около 30 тысяч нейронов, необходимо 8 чипов (8 миллионов нейронов)». Этот же исследователь упоминает и о других факторах, делающих TrueNorth менее нейроморфным, чем некоторые чипы-конкуренты. Например, TrueNorth полностью цифровой, тогда как у некоторых его конкурентов есть аналоговые компоненты — более непредсказуемые, но при этом более эффективные. (Всё живое, в основном, имеет аналоговый характер.) И хотя каждый чип делится на 4096 «ядер», которые работают параллельно, 256 нейронов в каждом ядре обновляются только последовательно — по одному за раз.
Ю-Синь Чен (Yu-Hsin Chen), исследователь Массачусетского технологического института, создающий чип под названием Eyeriss, который оптимизирован для эффективной реализации СНС, признаёт, что, несмотря на все недостатки, TrueNorth имеет потенциал, необходимый для новейших нейроморфных исследований. «В настоящее время создатели этого чипа показали интересные результаты только для небольших наборов данных, а не для таких грандиозных, как «ImageNet», и уже есть кое-какие успехи в точности. Тем не менее, я жду не дождусь их будущих достижений, — говорит он. — Очень интересно наблюдать, как исследователи, продвигаясь с разных направлений, расширяют границы научного знания».
При выборе дизайна всегда получается компромисс. Последовательная обработка нейронов в ядре TrueNorth чревата проблемами, но она обеспечивает порядок, и это означает, что поведение чипа можно точно моделировать на настольных компьютерах. «Выбрав цифровой, асинхронный стиль дизайна, — говорит Дельбрук, — разработчики TrueNorth способны сделать «железо» точь-в-точь таким же, как симулятор, что позволяет гораздо легче создавать приложения, чем это возможно для других, особенно смешанных [аналогово-цифровых], систем».
TrueNorth, отмечает Модха, несмотря на свои недостатки, добился многого. «Ходило мнение, будто на TrueNorth, в силу присущих ему ограничений, рационально и эффективно реализовать глубокое обучение нельзя, — говорит он. — Исследование, опубликованное в Proceedings of the National Academy of Sciences, показало, что нейронные сети, в общем, являются очень перспективными структурами. Прекрасно, что наша работа продемонстрировала разностороннюю полезность и универсальность нейроморфного субстрата и платформы TrueNorth, что мы смогли реализовать свёрточные сети, невзирая на то, что разработали чип a priori» — [не подразумевая, что на нём будут работать СНС].
Разносторонняя полезность TrueNorth означает, что этот чип может поддерживать работу множества разнообразных сетей, и ныне Модха нацелился на то, чтобы реализовать несколько разных сетей бок о бок с большой системой TrueNorth. Эта, как он говорит, «композиционность» сделает возможным «сложное многогранное поведение. Мы идём именно в этом направлении». Композиционность, к которой стремится команда Модхи, весьма вероятно, можно считать биологически обоснованной. «Можно утверждать, — заявляет учёный-исследователь, — что, в действительности, мозг представляет собой композицию многих сетей, гармонично работающих вместе».
Я спросил Модху, вносит ли TrueNorth какой-то вклад в развитие нейробиологии или это всего лишь техническое устройство, произвольно заимствующее у мозга некоторые свойства. Модха отметил, что при загрузке фотографий насыщенные цветные образы пришлось преобразовать в ряд простых спайков, дабы система TrueNorth сумела их обработать. «Этот процесс трансдукции вызвал у нас большое возбуждение, — сказал он. — Возможно, мы начали понимать, как сам головной мозг может репрезентировать высокоточную информацию, не используя высокое разрешение». В более общем плане, добавил он, «стараясь получить нейронные сети, которые эффективно используют энергию, время и место, мы вынуждены думать о том, как мозг развивался, чтобы стать высокопроизводительным устройством, эффективно решающим задачи». И, отмечая в целом роль инженерной практики в науке, он процитировал Ричарда Фейнмана (Richard Feynman): «То, что я не могу создать, я не понимаю».
Пытаясь достичь композиционности — объединения разнотипных сетей, — Модха и его команда, помимо этого, исследуют различные методы обучения. Кроме того, заглядывая в будущее, они мечтают о том, чтобы методы, описанные в их статье, опубликованной в PNAS, получили более широкое распространение. Эти методы, подчёркивают они в той статье, можно применять не только к TrueNorth, но и к другим нейроморфным чипам. И они мечтают увидеть алгоритмы и чипы, разработанные в рамках единого проекта, а не так, чтобы одно подстраивалось под другое.
Отчёт Министерства энергетики США от 2015 года о нейроморфных вычислениях подтолкнул к более радикальному движению вперёд, возможно, путём создания материалов с новыми физическими свойствами. Министерство энергетики хочет повысить скорость, эффективность и надёжность сетей. По его данным, «в настоящее время около 5—15 процентов мировой энергии расходуется на манипулирование данными, на их передачу и обработку».
В этой сфере деятельности предусмотрено заменить гигантские центры обработки данных чипами в телефонах, домах и автомобилях — такими чипами, которые могут самостоятельно думать и действовать: вести беседу, делать научные и медицинские открытия, управлять автомобилями, или роботами, или протезными конечностями. В идеале эти чипы могут достичь гораздо больших успехов, например, решить проблему голода в мире.
Несколько лабораторий уже сообщили, какое применение найдено ими для TrueNorth. В августе прошлого года компания Samsung продемонстрировала систему, которая использует видео для отображения окружающей среды, причём в трёх измерениях, со скоростью 2000 кадров в секунду, потребляя при этом всего лишь треть ватта. Эта система позволяет управлять телевизором жестами руки. В Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory) есть 16-чиповая панель, которая используется для улучшения кибербезопасности и обеспечения безопасности ядерного оружия. А Исследовательская лаборатория ВВС (Air Force Research Laboratory), где TrueNorth служит для обеспечения автономной навигации дронов, только что объявила о планах опробовать массив из 64 чипов.
Строго по закону Мура транзисторы становятся всё более компактными, но уже близка физическая граница на атомарном уровне. Используя параллельную обработку и отказываясь от ненужной точности, нейроморфные вычисления способны обойти это ограничение. «Когда мы размышляем о следующем поколении электронной техники, — говорит Модха, — наша цель — выйти за фундаментальные границы времени, пространства и энергии». Ждите, когда у вас появится карманный мозг.
