Согласно новому исследованию, опубликованному в Science Advances, новое поколение слуховых аппаратов сможет сопоставить мозговые волны слушателя со «звуковым отпечатком» голоса говорящего. Эта информация может быть использована для автоматического увеличения громкости звука в динамике.
Такое устройство помогло бы решить «проблему коктейльной вечеринки», она заключается в том, что человек выбирает лишь один голос из многих в шумной компании или людной обстановке. Подобная задача для современных слуховых аппаратов весьма актуальна, потому что сейчас она решается путём увеличения громкости всех звуков, говорит Нима Месгарани (Nima Mesgarani), ведущий автор исследования, нейроинженер из Колумбийского университета (Columbia University).
«Если вы поговорите с людьми с нарушениями слуха, они вам пожалуются, что им сложно слушать речь в людных местах», — отмечает он.
Месгарани добавляет, что не только они сталкиваются с «проблемой коктейльной вечеринки». Умные динамики и цифровые помощники, такие как Alexa от Amazon и Google Home Assistant, также не справляются с различением голосовых команд и ответом на них в шумной комнате.
Месгарани и его коллеги подошли к решению «проблемы коктейльной вечеринки» двумя путями. Во-первых, они разработали метод разделения голосов говорящих людей в аудиозаписи с множеством голосов. Затем они сравнивали спектрограммы, «звуковые отпечатки» этих голосов, со спектрограммой, реконструированной по нейронной активности в мозгу того, кто их слушал.
Экспериментальный слуховой аппарат увеличивает громкость в динамике спектрограммы, наилучшим образом соответствующей спектрограмме слушателя, поднимая громкость этого голоса выше, чем остальные звуки в помещении.
«Пока что мы тестировали его только в закрытых помещениях, — говорит Месгарани. — Но мы хотим, чтобы он так же хорошо справлялся со своей задачей и на оживлённой улице, и в шумном ресторане, а люди могли в полной мере ощущать мир вокруг».
Месгарани и его команда работают над этой технологией уже несколько лет. Первоначально система могла различать только те голоса, на которых была предварительно обучена. Например, она знала голоса четырёх друзей и могла увеличивать громкость голоса одного из них в ресторане, но не могла увеличить громкость другого голоса, подошедшего к столу официанта.
В новом исследовании учёные обратились к обработке голоса с помощью глубокого обучения для того, чтобы система смогла различать и разделять неизвестные голоса. Платформа смогла различать уже до трёх голосов и адаптироваться к новым голосам, появляющимся в реальном разговоре.
Исследователи использовали данные мозговых волн для управления слуховым аппаратом, когда исследования показали, как мозговые волны слушателя отслеживают только голос говорящего, находящийся в центре его внимания. Для этого исследования они собрали мозговые волны с помощью электродов, имплантированных непосредственно в мозг трёх человек, оперировавшихся с целью лечения эпилепсии.
По словам Месгарани, подобные устройства в будущем будут собирать данные с нейронов с помощью датчика, установленного над ухом или на коже головы.
В настоящее время группа учёных совершенствует этот экспериментальный слуховой аппарат, создавая микрофон, способный улавливать и разделять несколько голосов в режиме реального времени во время разговора, а также неинвазивный способ сбора мозговых волн слушателя. Месгарани говорит, что полностью готовое к работе устройство может быть готово через пять лет.