Дендритные ветви некоторых человеческих нейронов могут выполнять логические операции, для которых, как считалось ранее, требуются целые нейронные сети.
Часто утверждают, что способность головного мозга обрабатывать информацию определяется триллионами связей между его нейронами. Но за последние несколько десятилетий мало-помалу внимание исследователей стало переключаться на отдельные нейроны, которые, по-видимому, играют гораздо большую вычислительную роль, чем представлялось ранее.
Последнее из длинной череды доказательств получено благодаря тому, что учёным удалось зафиксировать в верхних слоях человеческого кортекса новый тип электрических сигналов. Как показали лабораторные и модельные исследования, крошечные компартменты в дендритных ветвях корковых нейронов способны выполнять сложные операции математической логики. Но, кроме того, теперь возникает впечатление, что отдельные дендритные компартменты могут выполнять «исключающее ИЛИ» — строгую дизъюнкцию, которую математики-теоретики ранее квалифицировали как невыполнимую в рамках однонейронных систем операцию.
«Я полагаю, что наши знания о том, как в действительности функционируют эти нейроны, всё ещё весьма поверхностны», — говорит Альберт Гидон (Albert Gidon), научный сотрудник Берлинского университета имени Гумбольдта (нем. Humboldt-Universität zu Berlin) и первый автор статьи в журнале Science, поведавшей в начале месяца о вышеуказанных научных результатах.
Сделанное открытие знаменует собой растущую потребность в исследованиях нервной системы, направленных на изучение отдельных нейронов как обширных информационных процессоров. «Головной мозг может быть намного сложнее, чем мы думаем», — заявляет Конрад Кординг (Konrad Kording), нейробиолог-компьютерщик из Пенсильванского университета (University of Pennsylvania), не участвовавший в этом недавнем исследовании. Кроме того, полученные результаты могут побудить некоторых учёных-компьютерщиков пересмотреть стратегии, которые используются ими при создании искусственных нейронных сетей. В основе этих стратегий традиционно лежит представление о нейронах как о простых, неинтеллектуальных коммутаторах.
Ограниченность глупых нейронов
В 40-х — 50-х годах ХХ века в нейробиологии стала доминировать картина, в которой нейрон — это точка сети, «глупый», незамысловатый интегратор, просто-напросто суммирующий входные данные. Обширные ответвления от его тела, называемые дендритами, получают тысячи сигналов от соседних нейронов — то возбуждающие, то тормозящие. В клеточном теле все эти сигналы взвешиваются, подсчитываются, и, если сумма превышает некоторый порог, нейрон «выстреливает» серией электрических импульсов (потенциалов действия), которые направляют стимуляцию соседних нейронов.
Примерно в то же самое время исследователи смекнули, что один нейрон может функционировать и как логический вентиль (gate), подобный тем, что используются в цифровых схемах (хотя до сих пор неясно, сколько информации головной мозг действительно обрабатывает таким путём). Например, нейрон фактически играет роль логического вентиля И, когда «выстреливает» только в том случае, если получил некоторое достаточно большое количество входных данных.
Вот почему теоретически нейронные сети могут выполнять любые вычисления. Тем не менее, такая модель нейрона заключает его в очень жёсткие рамки. Мало того, что её основные вычислительные метафоры чрезмерно упрощают дело, — в течение десятилетий учёные не имели экспериментальных инструментов, позволяющих фиксировать данные различных компонентов одной нервной клетки. «По сути, нейрон был превращён в материальную точку, — отмечает Бартлетт Мел (Bartlett Mel), нейробиолог-компьютерщик из Университета Южной Калифорнии (University of Southern California). — Ему недоставало внутренней сложности, обеспечивающей его активность». Модель игнорировала тот факт, что тысячи входных данных, поступающих в нейрон, попадают в разные дендритные области. Она игнорировала идею (в конечном итоге получившую подтверждение), что отдельные дендриты могут функционировать иначе, чем другие. И она игнорировала возможность того, что вычисления могут выполняться другими внутренними структурами.
Однако в 80-х годах ситуация стала меняться. Моделирование, которым занимались Кристоф Кох (Christof Koch) и другие нейробиологи, позднее подкреплённое лабораторными экспериментами, показало, что отдельным нейронам не свойственны ни единообразные, ни однородные электрические сигналы. Напротив, эти сигналы ослабевают, перемещаясь вдоль дендритов в нейронное тело, и зачастую не вносят никакой вклад в реакцию клетки на выходе.
Такая компартментализация сигналов означает, что отдельные дендриты способны обрабатывать информацию независимо друг от друга. «Это противоречило гипотезе о точечных нейронах, согласно которой нейрон просто складывает всё в кучу, независимо от локации», — подчёркивает Мел.
Возникшее противоречие побудило Коха и других нейробиологов, в том числе Гордона Шеперда (Gordon Shepherd) из Йельской школы медицины (Yale School of Medicine), смоделировать, как благодаря структуре дендритов нейроны получают принципиальную возможность функционировать не как простые логические вентили, а как сложные, многокомпонентные системы обработки. Учёным удалось, предположив наличие в нейронах ряда сложных механизмов, построить симуляцию того, как дендритные древовидные структуры служат хостами для многочисленных логических операций.
Позднее Мел и несколько его коллег более тщательно исследовали способность нейрона управлять несколькими входами, используя лишь отдельные дендриты. То, что они обнаружили, удивило их: дендриты оказались способными генерировать локальные всплески, иметь собственные нелинейные кривые ввода-вывода и собственные пороги активации, отличные от порогов нейрона. Сами дендриты могут действовать как логические вентили И или как хост других вычислительных устройств.
Из этого Мел и его бывшая аспирантка Йота Поирази (Yiota Poirazi) (ныне нейробиолог-компьютерщик греческого Института молекулярной биологии и биотехнологии) сделали вывод, что отдельный нейрон можно рассматривать как двухслойную сеть. Дендриты служат в ней нелинейными вычислительными субъединицами, собирающими входные данные и выдающими промежуточные выходные данные. Затем эти сигналы объединяются в клеточном теле, и там формируется реакция нейрона в целом.
Действительно ли активность на уровне дендритов влияет на «выстреливание» нейрона и активность соседних нейронов, пока неясно. Однако, считает Шеперд, в любом случае локальная обработка может подготавливать систему или настраивать её так, чтобы она по-разному реагировала на будущие входные данные, или может помогать ей осуществлять связи новыми способами.
Как бы то ни было, отмечает Мел, «настрой стал таким: „Ну что ж, нужна осторожность, нейрон может быть могущественнее, чем мы думали“».
Шеперд согласен. «Большая часть применяемой в коре мощности обработки информации, в действительности, является подпороговой, — утверждает он. — Однонейронная система может представлять собой более чем одну интегрирующую систему. Здесь может быть два слоя, а то и больше». С теоретической точки зрения, почти любое вычисление можно мыслить как выполненное одним нейроном с большим количеством дендритов, каждый из которых способен осуществлять свою собственную нелинейную операцию.
В уже упоминавшейся недавней публикации в Science авторы продвинули эту идею на шаг вперёд: они предположили, что самостоятельно выполнять сложные вычисления способен дендритный компартмент.
Неожиданные всплески и старые препятствия
Мэттью Ларкум (Matthew Larkum), нейробиолог из Гумбольдтовского университета, и его команда взялись за исследование дендритов под другим углом зрения. Поскольку для изучения дендритной активности использовались главным образом нейроны грызунов, а человеческие нейроны имеют гораздо более длинные дендриты, учёные решили сравнить нейронную электрическую сигнализацию грызунов и человека. Они сделали срезы ткани из слоёв 2 и 3 человеческого кортекса, содержащих особенно крупные нейроны с множеством дендритов. При стимулировании этих дендритов электрическим током исследователи заметили кое-что странное.
Они зафиксировали неожиданные, повторяющиеся всплески, которые выглядели совсем иначе, нежели другие, известные виды нейронной сигнализации. Эти всплески были очень быстрыми и короткими, как потенциалы действия, и возникали благодаря потокам ионов кальция. Это вызвало интерес, ибо обычные потенциалы действия, как правило, создаются ионами натрия и калия. И хотя индуцированная кальцием передача сигналов уже наблюдалась при исследовании дендритов грызунов, данные всплески имели тенденцию длиться намного дольше.
Но более странным было другое: с увеличением электрической стимуляции дендритов интенсивность «выстреливания» нейронов не росла, а падала. «Чем больше мы стимулировали, тем меньше получали в ответ, и это было неожиданным, — отмечает Гидон. — Это привлекло наше внимание».
Чтобы выяснить значение для деятельности головного мозга нового вида всплесков, команда Ларкума объединилась с Поирази и сотрудницей её лаборатории в Греции Афанасией Папуци (Athanasia Papoutsi). Вместе учёные создали модель, отражающую поведение нейронов.
«Всего один наш нейрон, возможно, способен содержать целую сеть глубокого обучения. И, если это так, то наша мощь в плане решения сложных проблем и познания мира гораздо выше, чем считалось».
Модель показала, что дендритный всплеск происходит в ответ на два отдельных, не связанных друг с другом входных сигнала и не происходит, когда эти два сигнала оказываются объединёнными. Это эквивалентно нелинейному вычислению, известному как исключающее ИЛИ (или XOR), при котором двоичный вывод 1 получается в том случае, если один (но только один) из входных сигналов равен 1.
Данное открытие сразу вызвало отклик в сфере информатики. В течение многих лет операция XOR считалась невозможной в одиночных нейронах: ещё в 1969 году в своей книге «Перцептроны» (Perceptrons) учёные-компьютерщики Марвин Минский (Marvin Minsky) и Сеймур Пейперт (Seymour Papert) доказали отсутствие у однослойных искусственных сетей способности выполнять XOR. Этот вывод произвёл такое негативное воздействие на разработчиков нейронных сетей, что, с точки зрения многих учёных-компьютерщиков, именно он явился главной причиной кризиса, длившегося в данной сфере исследований вплоть до 80-х годов ХХ века.
В конечном итоге исследователи нейронных сетей нашли-таки способы обойти препятствия, указанные Минским и Пейпертом, а нейробиологи обнаружили соответствующие решения в природе. Например, для Поирази уже не было секретом, что операция XOR возможна в одном нейроне: всего два дендрита могут осуществлять её совместными усилиями. Однако, проведя новые эксперименты, Поирази и её коллеги пошли дальше: они весьма правдоподобно показали, что можно упростить выполнение данной логической операции с помощью биофизического механизма, способного функционировать на базе одного-единственного дендрита.
«Я смотрю на это, как на ещё одну степень гибкости системы, — говорит Поирази. — Это просто демонстрация того, что у системы много разных способов вычисления». Однако, признаёт она, тут не всё ясно: если один нейрон уже способен решать данную проблему, «зачем системе, преодолевая огромные трудности, создавать более сложные единицы внутри нейрона»?
Процессоры внутри процессоров
Конечно, не все нейроны такие. По словам Гидона, в других частях головного мозга полным-полно мелких «точечных» нейронов. Это, возможно, и объясняет существование нейронов со сложной структурой. Так почему же отдельным компартментам внутри нейрона понадобилось делать то, что прекрасно может делать целый нейрон или небольшая сеть нейронов? Здесь напрашивается следующий ответ: нейрон, ведущий себя как многослойная сеть, обладает гораздо большей вычислительной мощностью, чем «точечный» нейрон, и, следовательно, может сохранять больше данных или лучше учиться. «Всего один наш нейрон, возможно, способен содержать целую сеть глубокого обучения, — говорит Поирази. — И, если это так, то наша мощь в плане решения сложных проблем и познания мира гораздо выше, чем считалось».
Возможно, добавляет Кординг, «один-единственный нейрон способен вычислять действительно сложные функции. Например, самостоятельно распознавать объекты». По словам Поирази, наличие таких мощных отдельных нейронов может помогать мозгу сохранять энергию.
Группа Ларкума планирует заняться поиском сигналов, аналогичных только что открытым, в дендритах грызунов и других животных, чтобы выяснить, является ли огромная вычислительная способность отдельных нейронов лишь человеческой. Кроме того, исследователи намерены выйти за рамки применяемой ими модели, чтобы связать наблюдаемую нейронную активность с реальным поведением. Тем временем Поирази уже надеется выяснить, сравнив вычисления, осуществляемые, с одной стороны, в дендритах, а с другой — в сети нейронов, чем первые выгоднее вторых. В рамках этой работы она планирует протестировать другие типы логических операций и исследовать, как эти операции способствуют научению или развитию памяти. «Пока мы не разберёмся с этим, мы не сможем оценить значимость нашего открытия», — говорит Поирази.
Хотя впереди ещё очень много работы, учёные считают, что достигнутые ими результаты указывают на необходимость переосмыслить способы моделирования головного мозга и его функций. При этом концентрировать внимание на том, как связаны между собой различные нейроны и зоны мозга, будет недостаточно.
Новые результаты, по-видимому, способны повлиять и на исследования в сфере машинного обучения и искусственного интеллекта. Искусственные нейронные сети опираются на точечную модель нейрона, рассматривая его как узел, в котором регистрируются входные данные и полученная сумма пропускается через функцию активности. «Мало кто всерьёз воспринимает идею о том, что один нейрон может быть сложным вычислительным устройством», — отмечает когнитивист из Нью-Йоркского университета (New York University) Гэри Маркус (Gary Marcus), не скрывающий своего скептического отношения к некоторым заявлениям учёных, исследующих глубокое обучение.
Хотя, добавляет он, публикация в Science — всего лишь одна из множества научных работ, посвящённых данному вопросу, учёным-компьютерщикам не мешает отнестись к ней более внимательно, ибо статья рассматривает вопрос с точки зрения проблемы XOR, которая так долго досаждала исследователям нейронных сетей. «Это свидетельство того, что нам нельзя не размышлять на данную тему, — подчёркивает Маркус. — Вся эта затея — исхитриться получить познающий разум из активности глупых нейронов — может оказаться провальной».
«И вот перед нами превосходная демонстрация этого, — добавляет он. — То, о чём здесь говорится, — явно выше уровня шума».
