Нижегородские учёные определили, что в импульсной нейронной сети, решающей последовательно несколько разных задач, возникают отдельные структуры, отвечающие за выполнение каждой из них.
Для этого авторы опубликованной в журнале Scientific Reports работы обучили нейросеть решать шесть типов задач, в которых она делает выбор и запоминает информацию.
Подобные эксперименты помогут понять, благодаря чему нейросети способны к многозадачности, а также улучшить существующие алгоритмы искусственного интеллекта. Исследования поддерживаются грантами Российского научного фонда (РНФ).
Нервные клетки (нейроны) в головном мозге человека соединены в сложную сеть, работа которой лежит в основе нашего поведения, мышления и памяти. Принципы, по которым взаимодействуют нервные клетки, сейчас широко используются при создании искусственных нейронных сетей, то есть систем искусственного интеллекта. Нейросети можно обучить выполнять какую-либо задачу, иногда довольно сложную. Например, генерировать связный рассказ, как это делает ChatGPT, или создавать картинки на основе текста, как Midjourney.
Однако эти алгоритмы по энергоэффективности, устойчивости к помехам и способности обучаться различным типам задач сильно уступают биологическому мозгу: для работы им нужно в миллионы раз больше энергии, а для обучения — огромные массивы данных. Причина такого «отставания» заключается в том, что в существующих нейросетях не учитываются многие свойства, характерные для нервной системы. В связи с этим учёные разрабатывают новые поколения нейросетей, например, спайковые. В них элементы взаимодействуют по принципам, максимально похожим на процессы коммуникации между биологическими нейронами, а именно посылают друг другу короткие импульсы — спайки — и активируются в разное время. Однако до сих пор остается неясным, как именно элементы спайковых нейросетей взаимодействуют между собой в динамике, решая разные типы задач.
Специалисты Института прикладной физики имени А. В. Гапонова-Грехова РАН (Нижний Новгород) создали искусственную спайковую нейронную сеть, способную решать ряд задач — для их выполнения требовались функции, схожие с базовыми сенсорно-моторными и когнитивными функциями мозга. Авторы научили нейросеть решать шесть различных типов задач, которые можно условно разделить на две группы: задачи выбора и повторения. Например, среди задач первой группы была такая: сеть получала одновременно два зашумленных сигнала, один из которых был информативным, а второй неинформативным. Нейросеть должна была определить и классифицировать в соответствии с поставленным заданием информативный сигнал. В рамках задач второй группы нейросети, например, нужно было запомнить и воспроизвести с задержкой по времени сигнал с такими же характеристиками или близкими тем, что имел входной сигнал. С похожими задачами сталкиваются нейроны в головном мозге, когда мы принимаем какое-либо решение и запоминаем информацию.
Авторы проанализировали, насколько полученная нейронная сеть способна к многозадачности с помощью теста, который состоял из ста случайным образом скомбинированных задач всех шести возможных типов. Измеряя активность отдельных компонентов нейросети, исследователи определили, что после обучения нейроны приобретают специфические функции — они разделяются на группы, отвечающие за решение задач определенного типа. Эти группы активируются в тот момент, когда нейросеть должна решить именно тот вопрос, за который они отвечают. В остальное время эти элементы остаются практически неактивны и уступают место другим.
При этом часть нейронов оказалась менее избирательна и участвовала в ответе практически на все предложенные типы задач. Эта особенность также делает алгоритм очень похожим на биологическую нейронную сеть, поскольку в головном мозге также есть более и менее специфические нервные клетки. Одни активируются только в ответ на небольшое количество стимулов, а другие — почти на все, с которыми мы сталкиваемся. Обнаруженную специализацию авторы подтвердили, искусственно выведя из строя определенные группы нейронов. Это позволило доказать, что нейросеть становится неспособна решать задачи, за которые отвечали «выключенные» элементы.
«Наше исследование объясняет, как нейронная сеть справляется с разными вариантами когнитивных задач. Мы определили, что нейроны разделяются на группы, ответственные за выполнение различных заданий, а также рассмотрели спайковую динамику сети при переходе от одной задачи к другой», — рассказывает Владимир Некоркин, член-корреспондент РАН, доктор физико-математических наук, заведующий отделом нелинейной динамики ИПФ РАН.
«Это поможет понять, как улучшить способность искусственного интеллекта к многозадачности, а также сделать его более энергоэффективным. Мы планируем расширить наши исследования в направлении нейроморфных архитектур и правил обучения», — добавляет Олег Масленников, кандидат физико-математических наук, старший научный сотрудник ИПФ РАН.
