Нейроучёные-компьютерщики обучали искусственную нейронную сеть имитировать активность биологического нейрона. Полученные результаты заставляют по-новому оценивать сложность отдельных клеток головного мозга.
Кажется, что наш желеобразный головной мозг и твёрдые кремниевые чипы компьютерных процессоров — небо и земля, но, тем не менее, учёные уже многие годы занимаются их сравнением. В 1952 году Алан Тьюринг (Alan Turing) высказался на эту тему так: «Какое нам дело до того, что по своей консистенции головной мозг напоминает холодную кашу». Другими словами, научный интерес представляет не сам головной мозг, а лишь его вычислительная способность.
Сегодня наиболее мощные системы искусственного интеллекта используют машинное обучение, которое называется глубоким. Обучение их алгоритмов осуществляется за счёт того, что огромные объёмы данных идут через глубокие нейронные сети — скрытые слои взаимосвязанных узлов. Уже по названию этих сетей видно, что на их создание учёных вдохновили естественные нейронные сети головного мозга, что узлы глубоких сетей смоделированы по аналогии с естественными нейронами — или, по меньшей мере, в соответствии с научными представлениями о нейронах в 50-х годах ХХ века, когда появился перцептрон — модель нейронной сети, оказавшая большое влияние на развитие нейронаук. С тех пор наши знания о вычислительной сложности единичных нейронов стали значительно шире, и нам известно, что биологические нейроны сложнее, чем искусственные. Но насколько?
Чтобы выяснить это, Давид Беньягуев (David Beniaguev), Идан Сегев (Idan Segev) и Михаэль Лондон (Michael London), все из Еврейского университета в Иерусалиме (Hebrew University of Jerusalem), обучили искусственную глубокую нейронную сеть имитировать вычисления смоделированного биологического нейрона. Излагая результаты своего исследования в научной статье, учёные отметили, что глубокая нейронная сеть требует от пяти до восьми слоёв взаимосвязанных «нейронов», чтобы репрезентировать сложность одного-единственного биологического нейрона.
Даже авторы статьи не ожидали такой сложности. «Я думал, всё будет проще и скромнее», — признался Беньягуев. Он ожидал, что для вычислений, выполняемых клеткой головного мозга, будет достаточно трёх-четырёх слоёв.
Тимоти Лилликрэп (Timothy Lillicrap), который разрабатывает алгоритмы принятия решений в гугловской ИИ-компании Deepmind, заявил, что результаты данного исследования подталкивают к выводу о том, что, возможно, понадобится гораздо осмотрительнее, чем обычно, сравнивать нейрон головного мозга с нейроном сети машинного обучения. «Эта статья реально способствует более осторожному обсуждению данной темы и тщательному определению меры, в которой следует проводить аналогии», — сказал он.
В основе любого сравнения, проводимого между искусственными и естественными нейронами, лежит представление о сходстве в обоих случаях процесса обработки входящей информации. И те и другие нейроны получают входные сигналы и, исходя из этой информации, решают, отправлять ли другим нейронам собственный сигнал. Если искусственные нейроны принимают решения, полагаясь на простые вычисления, то, как показали многолетние исследования, у биологических нейронов этот процесс имеет гораздо более сложный характер. Моделируя отношение между входными сигналами, которые получают дендриты (длинные ветвистые отростки биологического нейрона), и решением нейрона об отправке собственного сигнала, нейроинформатики используют функцию ввода-вывода.
Чтобы определить сложность функции ввода-вывода биологического нейрона, авторы статьи учили искусственную глубокую нейронную сеть имитировать выполнение этой функции. Они начали с создания крупномасштабной модели функции ввода-вывода пирамидального нейрона из коры крысиного головного мозга — нейрона с различными ответвлениями дендритов вверху и внизу. Затем они ввели эту модель в глубокую нейронную сеть, имевшую до 256 искусственных нейронов в каждом слое. Учёные постепенно увеличивали количество слоёв, пока точность измерения отношения между входом и выходом смоделированного нейрона на миллисекундном уровне не стала 99-процентной. Глубокая нейронная сеть научилась успешно предсказывать значения функции ввода-вывода нейрона, имея от пяти до восьми искусственных слоёв. Для большинства сетей это означает, что одному биологическому нейрону соответствует почти тысяча искусственных.
«[В результате] образуется мост от биологических нейронов к искусственным», — говорит Андреас Толиас (Andreas Tolias), нейроинформатик из Медицинского колледжа Бейлора (Baylor College of Medicine).
Но авторы исследования во избежание недоразумений подчёркивают, что прямого соответствия ещё нет. «Наличие отношения между количеством слоёв в нейронной сети и её сложностью не очевидно», — отмечает Лондон. Таким образом, нам, в общем-то, неизвестно, насколько возрастает сложность при переходе, скажем, от четырёх слоёв к пяти. Точно так же нам неизвестно, означает ли репрезентация одного биологического нейрона тысячей искусственных, что биологический нейрон ровно в 1000 раз сложнее искусственного. В конце концов, возможно, что при экспоненциальном росте количества искусственных нейронов, используемых в каждом слое, мы в конечном итоге придём к глубокой нейронной сети с одним-единственным слоем — однако в этом случае для обучения данному алгоритму, по-видимому, потребуется гораздо больше информации и времени.
«Мы испробовали очень много вариантов архитектуры с разной глубиной и с разным содержанием и, в общем, потерпели неудачу», — говорит Лондон.
Авторы статьи раскрыли свой код для других исследователей, чтобы побудить их найти умное решение с меньшим количеством слоёв. Но, поскольку создать глубокую нейронную сеть, способную подражать нейрону с 99-процентной точностью, оказалось невероятно трудно, авторы уверены, что полученный ими результат всё же позволяет проводить такое сравнение, которое весьма значимо для дальнейших исследований. По мнению Лилликрэпа, на основе этого результата можно разработать новый способ сравнения с головным мозгом сетей для классификации изображений, где число слоёв нередко доходит до пятидесяти. Если каждый биологический нейрон подобен пятислойной искусственной нейронной сети, то, возможно, сеть для классификации изображений с 50 слоями эквивалентна 10 естественным нейронам биологической сети.
Кроме того, авторы надеются, что благодаря их достижению применяемая в современных системах ИИ архитектура глубоких сетей существенно изменится. «Мы призываем заменить эту технологию глубоких сетей на более соответствующую принципам работы головного мозга путём замены каждой простой единицы нынешних глубоких сетей на единицу, репрезентирующую нейрон, который уже — сам по себе — глубок», — говорит Сегев. В случае реализации данного сценария исследователи и инженеры, создающие системы ИИ, могли бы использовать вместо искусственного нейрона «минисеть» — пятислойную глубокую сеть.
Но некоторые специалисты сомневаются, что такое нововведение поможет создателям систем ИИ.
«Я думаю, нужно ещё разобраться, станут ли вычисления эффективнее, — считает Энтони Задор (Anthony Zador), нейроучёный из Cold Spring Harbor Laboratory. — И это [исследование] даёт возможность провести тестирование».
Помимо применения в сфере создания систем ИИ данная научная статья может содействовать прогрессу в деле изучения нейронов, предоставляя дополнительные аргументы в пользу набирающей силу гипотезы, согласно которой дендритные деревья, а стало быть и отдельные нейроны, обладают огромной вычислительной мощью. Ещё в 2003 году трое нейроучёных с помощью двухслойной искусственной нейронной сети, выступавшей в роли модели пирамидального нейрона, продемонстрировали, что дендритное древо этого нейрона выполняет сложные вычисления. В рассмотренной нами новой статье её авторы показали те особенности пирамидального нейрона, которые подвигли их использовать в качестве модели гораздо более сложную нейронную сеть, от пяти до восьми слоёв. Учёные объяснили полученный ими уровень сложности свойствами дендритных деревьев и специфического рецептора на поверхности дендритов, который принимает химические сигналы. Это заключение соответствует выводу, сделанному в предыдущем исследовании на данную тему.
С точки зрения ряда специалистов, полученный ныне результат говорит о необходимости более пристального изучения отдельных нейронов. «Эта статья наводит на мысль, что изучать дендриты и отдельные нейроны гораздо важнее, чем считалось раньше», — говорит Конрад Кординг (Konrad Kording), нейроинформатик из Университета Пенсильвании (University of Pennsylvania). По мнению других учёных, таких как Лилликрэп и Задор, чтобы понять, почему головной мозг задействует ту или иную вычислительную сложность отдельных нейронов, не менее важно исследовать нейронные цепи.
Как бы то ни было, язык искусственных нейронных сетей позволяет сформировать новое представление о вычислительной мощности нейронов и, в конечном итоге, головного мозга. «Рассматривая мышление в плане слоёв, глубины и ширины, мы интуитивно чувствуем его вычислительную сложность», — говорит Грейс Линдси (Grace Lindsay), нейроинформатик из Университетского колледжа Лондона (University College London). Однако и Линдси настаивает на осторожности, отмечая, что новое исследование всё ещё представляет собой всего лишь сравнение одной модели с другой. К сожалению, в настоящее время невозможно в полном объёме мониторить функцию ввода-вывода естественного нейрона, и весьма вероятно, что модель биологического нейрона воспроизводит лишь часть из того, что происходит в нём на деле. Другими словами, естественные нейроны могут быть сложнее даже сложных искусственных.
«Мы не уверены, что число слоёв от пяти до восьми — это окончательный результат», — говорит Лондон.
