В Калифорнийском университете в Сан-Франциско (University of California, San Francisco) разработан речевой нейропротез: парализованный человек получил возможность общаться с окружающими. Сигналы электродной матрицы, размещённой на поверхности мозга, обрабатываются и выводятся на экран в виде текста.
Первый автор работы, отчёт о которой опубликован в New England Journal of Medicine — Эдвард Чанг (Edward Chang). О первых достижениях возглавляемого им коллектива мы писали в 2014-м. Усилия Чанга и его команды вознаграждаются новыми успехами.
«Насколько нам известно, это первая успешная демонстрация прямой расшифровки полных слов из мозговой активности человека, который парализован и не может говорить, — говорит профессор Чанг. — Мы получаем возможность восстановить способность к общению, подключившись к естественному речевому механизму мозга».
Работа в области коммуникативного нейропротезирования в большинстве случаев сосредоточена на восстановлении возможности общения с помощью последовательного набора букв. Подход Чанга принципиально другой: его команда «расшифровывает» сигналы, предназначенные для управления мышцами голосовой системы (для произношения слов), а не сигналы для перемещения руки или кисти (для письма или набора текста). Чанг отмечает, что этот подход использует естественные и подвижные аспекты речи и обещает более быстрое и органичное общение.
«С помощью речи мы обычно передаём информацию с очень высокой скоростью, до 150 или 200 слов в минуту, — говорит Чанг, отмечая, что «орфографические» подходы, основанные на наборе текста, письме и управлении курсором, значительно медленнее и более трудоёмки. — Переход прямо к словам, как делаем мы, даёт большие преимущества, потому что это ближе к тому, как мы обычно общаемся».
В течение последнего десятилетия Чанг работает с пациентами Центра эпилепсии Калифорнийского университета. Для того, чтобы точно определить связанную с припадками область мозга, проводились нейрохирургические операции — на поверхность мозга добровольцев устанавливались электродные матрицы. Пациенты, все без проблем с речью, согласились на анализ сигналов мозга для поиска их связи с речевой активностью. Успешные эксперименты проложили путь к новому эксперименту, уже на людях с параличом.
Ранее Чанг и его коллеги из Института нейробиологии Калифорнийского университета (UCSF Weill Institute for Neurosciences) создали карту паттернов кортикальной активности, связанных с движениями голосового тракта при произношении каждого согласного и гласного. Чтобы перевести эти результаты в полноценное распознавание речи, Дэвид Мозес (David Moses), один из ведущих авторов нового исследования, разработал новые методы декодирования этих паттернов в реальном времени и статистические языковые модели для повышения точности распознавания.
Но успех в расшифровке речи участников экспериментов, которые могли говорить, не гарантировал, что технология будет работать с человеком, голосовой тракт которого парализован. «Наши модели должны были изучить связь между сложными паттернами мозговой активности и предполагаемой речью, — говорит Мозес. — Это создаёт серьёзную проблему, когда участник не может говорить».
Будут ли сигналы мозга, управляющие голосовым трактом, все ещё достаточно сильны у людей, которые не имели возможности использовать голосовые мышцы в течение многих лет? «Лучший способ узнать — попробовать», — говорит Мозес.
Для разработки технологии, которая должна помочь парализованным пациентам, Чанг совместно с профессором неврологии Карунешем Гангули (Karunesh Ganguly) организовал проект, названный BRAVO (Brain-Computer Interface Restoration of Arm and Voice). Первый участник исследования — мужчина в возрасте около тридцати, более 15 лет назад перенесший инсульт, который серьёзно повредил связь между его мозгом и голосовыми связками и конечностями. После травмы у пациента сохранилась возможность крайне ограниченно двигать головой, и он общался с помощью указки, прикреплённой к бейсболке — так он мог выбирать буквы на сенсорном экране.
Результатом работы с анонимным пациентом (в публикациях его называют BRAVO1) стал «словарь» из 50 слов, которые команда Чанга с помощью своих алгоритмов может распознать, считывая активность мозга. Словарный запас невелик, но достаточен для создания сотен предложений, выражающих понятия, применимые к повседневной жизни BRAVO1.
В ходе исследования Чанг хирургическим путём имплантировал массив электродов высокой плотности в речевую моторную кору BRAVO1. Затем было записано в общей сложности 22 часа нейронной активности — для этого было проведено 48 сеансов в течение нескольких месяцев. На каждом сеансе BRAVO1 пытался произнести каждое из 50 словарных слов много раз, в то время как электроды записывали сигналы мозга от его речевой коры.
Чтобы перевести паттерны записанной нейронной активности в конкретные слова, два других ведущих автора исследования, Шон Мецгер и Джесси Лю, использовали искусственный интеллект. Когда участник пытался говорить, обученная на полученных ранее данных нейросеть различала тонкие паттерны мозговой активности, чтобы обнаружить попытку речи и определить, какие слова человек хочет сказать.
Вначале BRAVO1 по несколько раз повторял заданные исследователями короткие предложения, построенные из 50 словарных слов. Пока он делал это, слова расшифровывались и выводились одно за другим на экран.
Затем команда переключилась на диалоги. Задавались простые вопросы — «Как вы себя чувствуете?», «Не хотите ли немного воды?». На экран выводились ответы.
В существующем виде система способна декодировать слова по мозговой активности со скоростью до 18 слов в минуту с точностью до 93 процентов (медиана 75 процентов). Успеху способствовала языковая модель, которая реализовала функцию автокоррекции, аналогичную той, что используется в программном обеспечении для распознавания текстов и речи.
Исследователи полагают, что разработанная ими технология перспективна и её наглядная демонстрация, пусть пока на одном человеке, — «важная технологическая веха» и первый шаг к тому, чтобы потерявшие возможность говорить люди снова обрели голос.
