Учёные из США, Вьетнама и Великобритании обучили модель искусственного интеллекта DenseNet диагностировать вариант ковида Омикрон по изменениям голоса. Для обучения модели использовались ролики, выложенные на Youtube.
Обычно модели ИИ, предназначенные для медицинского применения, обучаются на тщательно отобранных клинических данных. Однако авторы работы, препринт которой опубликован на medRxiv в декабре, предположили, что для некоторых приложений можно использовать и открытые данные соцсетей. Чтобы проверить эту гипотезу, они использовали Youtube для сбора голосовых данных от людей с самопровозглашёнными положительными тестами на COVID-19 в периоды времени, когда Омикрон был преобладающим вариантом (183 человека), а также от людей, заявлявших, что они были инфицированы коронавирусом, когда омикрон не доминировал (120 человек), и от пользователй, утверждавших, что у них была инфекция верхних дыхательных путей, не связанная с коронавирусом SARS-CoV-2 (138). Для контроля исследователи собрали записи голосов 192 пользователей, не упоминавших о какой-либо респираторной инфекции. Всего получилось 93 часа звучания. Все аудиозаписи авторы работы «почистили», чтобы убрать фрагменты тишины и посторонних шумов — то есть оставили только голоса говорящих. Потом аудио поделили на отдельные короткие фрагменты, а затем обучили на получившемся сете модель ИИ.
В результате модель научилась определять по записи голосов, кто из говорящих болен омикроном, с точностью 80%. Людей, не заражённых какими-либо респираторными инфекциями, обученная модель определяет с точностью 85%.
Это хороший результат, однако рассматривать модель как профессиональный диагностический инструмент пока рано. По словам учёных, доверять диагностику подобному ПО можно будет только тогда, когда они станут работать с точностью от 95%.
