СБЕР vs. COVID-19, часть II: искусственный интеллект на службе у рентгенологов

При ковиде часто делают компьютерную томографию грудной клетки, а врачам приходится тратить время на анализ снимков. Так как один снимок — это сотни срезов, а на одном срезе множество фрагментов, которые надо внимательно рассмотреть, времени на это может понадобиться много. При помощи искусственного интеллекта работу врача можно облегчить, но для этого необходимо решить ряд инженерных задач. О том, как Сбер решал их при разработке специализированного инструмента, нам рассказали Манвел Аветисян и Владимир Кох.

В конце сентября состоялась большая презентация, вызвавшая ажиотаж: Cбер — это уже не просто банк, а большая экосистема, и занимаются его работники далеко не только финансовыми операциями. Недавно команда исследователей и инженеров Сбера разработала инструмент, способный автоматически выявлять процент поражения лёгких при COVID-19 и тем самым облегчать работу врачам-рентгенологам.

Манвел и Владимир работают в отдельной структуре внутри центрального аппарата Сбера — Лаборатории по искусственному интеллекту, где занимаются исследованием возможностей применения современных методов к решению различных задач, стоящих перед банком. Владимир — тимлид медицинского направления разработок, а Манвел создал это направление и руководил им первые годы, а сейчас передал его Владимиру и занимается новыми перспективными направлениями, о которых мы тоже расскажем. Когда мир «накрыло» ковидом, они в одной команде работали над разработкой вспомогательного инструмента для рентгенологов.

Лаборатория по ИИ занимается разработкой новых технологий. Её коллектив публикует научные статьи в открытом доступе (их можно скачать на NСBI) и выступает на конференциях. Продукты, связанные с ковидом, — не единственная отрасль разработок Лаборатории, работа идёт по многим направлениям.

Когда исследование опубликовано, на его основе создают продукт. Для этого в рамках экосистемы есть компания «СберМедИИ», ориентированная на развитие и продвижение этих сервисов в системе здравоохранения. Причём если обычно сервисы, выпускаемые «СберМедИИ», коммерческие, в случае с ковидом, во время пандемии, продукт распространяется бесплатно.

«Вопрос не стоял о деньгах. Нужно было помочь врачам и здравоохранению справиться с огромным наплывом пациентов. А для этого — оптимизировать работу врачей, насколько это возможно. Важно было иметь некую систему, которая помогала бы врачам работать эффективнее», — комментируют разработчики.

Что стоит за процедурой компьютерной томографии?

У врачей-рентгенологов и в обычной практике огромный поток пациентов, а во время эпидемии COVID-19 компьютерную томографию грудной клетки приходится делать особенно часто — и при госпитализации больных, и в рамках оценки динамики по ходу лечения. Повторная компьютерная томография проводится, в зависимости от состояния пациента, через 3—5 дней. Всё это осложняется тем, что количество опытных врачей-рентгенологов уменьшается, так как они заболевают и выбывают из процесса. А после самой процедуры снимок ещё нужно интерпретировать. И вот тут технологии могут прийти врачам на помощь.

Искусственный интеллект особенно хорош в задачах классификации медицинских данных, хотя используется и на других фронтах борьбы с ковидом. В программе от Сбера ИИ также применялся к задаче классификации, в данном случае он помогал помещать снимок компьютерной томографии в одну из категорий согласно степени поражения лёгких: до 25%, от 25 до 50%, от 50 до 75% и от 75 до 100%. Это четыре класса тяжести поражения, обычно выделяемые в клинической практике. Благодаря такому инструменту врачи могут быстрее выявлять больных с большим очагом поражения и понимать, кого нужно срочно госпитализировать, а кому лучше будет пока отлежаться дома. Это важно, так как быстрая приоритизация пациентов может спасти жизнь не одному человеку.

‎«Задача оценки доли поражения лёгкого на самом деле нетривиальна для человека. В лёгком — объёмном органе неправильной формы — нужно определить, где расположены участки поражения и какую долю от всего объёма они занимают. Во многих клиниках для этого нет специализированных инструментов, и врачи это определяют на глаз», — комментируют Манвел и Владимир.

Компьютерная томография «нарезает» тело человека на так называемые аксиальные срезы определённой толщины, которая задаётся на томографе. Как правило, для исследования грудной клетки используется толщина около 1 миллиметра — от 0,5 мм до 2,5 мм. На выходе получается набор двухмерных изображений (срезов) определённой части тела человека. В одном снимке КТ грудной клетки содержится от 300 до 800 двухмерных картинок. Сами срезы снимаются аппаратом по одной оси, а дальше идёт реконструкция с помощью алгоритмов.

Стандартные средства многих рабочих станций врача-рентгенолога умеют строить 3D-модели, но они неудобны для врачей: по ним сложно понять, где локализовано поражение и какой процент объёма оно занимает. Врачи, как правило, используют не 3D-модели, а так называемую мультипланарную реконструкцию. Это отображение на одном экране трёх ортогональных проекций (сечений) — горизонтальной, фронтальной и сагиттальной. Врачи просматривают изображения сначала по одной оси, потом по второй и по третьей. Так как срезов много, врачи стараются просмотреть их быстро.

Проблема в том, что когда врачи на глаз оценивают долю поражения, то получается очень высокая вариативность: кому-то кажется, что граница доли поражения чуть выше, кому-то — чуть ниже, что поражение больше или меньше по размеру. А искусственный интеллект позволяет объективизировать эту метрику и дать более быстрый и качественный результат.

Как автоматически отличить патологию на снимках?

Для разработки полноценного инструмента инженеры решали две задачи: выделения на картинке КТ пикселей, относящихся к долям лёгких, а также выявления из них тех, которые относятся к патологии — изменению лёгких по типу матового стекла, или «консолидации». Только имея оба этих показателя — объём лёгкого как органа и объём патологии, возможно оценить процент поражения.

Команда Лаборатории начала работать ещё в апреле. Для обучения нейросетевой модели разработчики использовали порядка 100 анонимизированных исследований (это порядка 60 000 срезов КТ) с характерными для ковида рентгенологическими заключениями и положительными ПЦР-тестами. Каждый срез был размечен врачами, на нём была выделена область поражения. Кроме того использовалась аугментация данных. Это когда картинки из обучающей выборки случайным образом меняются для того, чтобы искусственно увеличить объём обучающей выборки для нейросети. По-простому, это комбинация растяжений, сжатий, поворотов и сдвигов. Это обычно делается для того, чтобы помешать нейросети просто запомнить картинки из обучающей выборки и заставить её выучивать именно паттерны.

Особенность применённых нейросетей в том, что они предсказывают для каждой точки, есть в ней поражение или нет. Каждый пиксель каждого среза является обучающим примером для нейросети. Так как в каждом исследовании — порядка 500 срезов, а каждый из них — это 25 000 точек, обучающая выборка включала более ста миллионов примеров.

«С перспективы компьютерного зрения задача оказалась не очень сложной. Модель была хорошей, быстро научилась определять поражение на относительно небольшом объёме данных», — рассказывает Манвел.

Использованная нейросетевая модель основывается на архитектуре U-Net. По меркам глубокого обучения она уже считается «древней»: её предложили в 2016 году, но у неё есть улучшения. Если посмотреть публикации на главной странице конференции по анализу медицинских изображений, которая называется MIDL (Medical Imaging with Deep Learning), то там большинство работ направлено на то или иное эволюционное улучшение архитектуры U-Net. Манвел и Владимир использовали одно из таких улучшений.

«Пока U-Net остаётся золотым стандартом в анализе медицинских изображений. Исследуют и другие архитектуры, но широкого применения они пока не получили. В случае ковида у нас не было времени на эксперименты и на то, чтобы бороться за доли процентов точности. Нам нужно было максимально быстро выдать результат», — комментируют инженеры.

Поэтому и было принято решение использовать U-Net. Основная идея этой нейросети в том, что она анализирует исходные изображения в разных масштабах и это позволяет свёрточным слоям «смотреть» на участки картинки, которые растут в геометрической прогрессии по мере увеличения глубины нейросети. U-Net работает так: сначала запускается свёртка в том же масштабе, что и на изображении. Каждая свёртка «смотрит» на маленький квадратик 3×3 пикселя. Потом происходит уменьшение масштаба в два раза, потом ещё в два, и получается, что каждая следующая свертка смотрит на область 3×3 пикселя, но за этими пикселями стоят части изображения, уменьшенные в несколько раз. То есть, сначала рассматриваются поля 6×6, потом 12×12, потом 24×24 пикселя, и так далее. Это позволяет нейросети «смотреть» на картинку во всё более широком масштабе.

U-Net легла в основу трёх ансамблей нейросетей. Ансамбль — это набор одинаковых по архитектуре, но разных нейросетей, которые работают параллельно и выполняют одну и ту же задачу. Но из-за того, что они обучены по-разному, на разных подмножествах данных, и у них разные веса, у них, соответственно, выходные предсказания разнятся. В итоге получилась мощная сеть из ансамблей — ансамбль ансамблей свёрточных нейросетей, сделанных по образу и подобию U-Net.

Манвел рассказывает:

«Это как будто одного пациента анализирует не один врач, а десять. Мы фактически создаём такой консилиум, и по каждой точке, каждому пикселю КТ наши нейросети выдают индивидуальное предсказание. Потом мы выбираем такое, какое мы считаем правильным, просто по большинству «голосов» (нейросетевых предсказаний).

Задача нормализации

В разных клиниках стоят разные томографы, и они могут иметь различные режимы снятия и реконструкции итогового изображения. Нейросеть же, напротив, может работать только с одним типом данных. Поэтому для того, чтобы данные работали с ИИ-инструментом, инженеры провели нормализацию всех снимков КТ для всех встреченных типов томографии. Нормализация — это математическая процедура, которая приводит информацию, которая хранится в каждом пикселе, к общему виду.

«Это была задача на технику работы с данными. Компьютерные томографы записывают изображения в формате DICOM. Но у разных аппаратов есть индивидуальные особенности. Нам стоило довольно больших трудов в каждом из конкретных случаев разобраться, что происходит, и отладить процесс», — рассказывает Владимир.

Инженеры провели кропотливую работу по улучшению совместимости между программой и разными КТ-аппаратами:

«Допустим, нам отправляют пример файла, на котором не очень хорошо работает наш инструмент. Мы разбираемся, почему так, что в этом файле не так, и пишем нормализацию для этого случая, то есть, программу, которая будет обрабатывать все подобные файлы и приводить их к нужному виду».

Чтобы учесть все случаи, в которых необходима нормализация, проект реализовывали в несколько циклов. После первого этапа разработки модель была передана в клиники: нужно было получить обратную связь от врачей и узнать, где есть сложности в работе, где программа даёт сбой, на каких снимках. На следующем цикле эти проблемы решались. Чаще всего проблемы были связаны с разными форматами данных. После того, как собрали информацию об ошибках, начался второй этап доразметки и дообучения модели, после чего опять шла работа по нормализации. На случай, если модель и после завершения работы над ней ошибётся или будет плохо работать, запущена линия поддержки, куда клиники могут написать об ошибке.

Разработка Сбера бесшовно встраивается в существующий процесс работы в больнице. Обычно в больницах используются специальные инструменты для визуализации результатов КТ грудной клетки. С появлением нового инструмента для врача ничего не меняется, он продолжает работать со своим программным обеспечением, у него просто появляется отчёт по показателям найденной области поражения, а среди выводимых изображений появляется дополнительная серия, где указана локализация того, что найдено, а так же серия с аналитическим отчётом по объёмам выявленных в лёгких патологий.

Программа устанавливается на сервера клиники внутри защищённого контура, чтобы никакая информация не уходила вовне. Для её работы требуется достаточно мощный сервер с хорошим GPU, потому что количество выполняемых вычислений — огромное. Сейчас практически готово облачное решение для того, чтобы те клиники, у которых нет вычислительных мощностей, тоже могли использовать инструмент.

Система работает не хуже опытного рентгенолога!

Качество работы полученной системы сопоставимо с таковой у опытного врача-рентгенолога. Это было выявлено в испытании: шесть независимых специалистов при помощи специального инструмента выделяли на снимках область поражения. И по результатам испытания объём, выделенный ими, был сопоставим с объёмом, выделенным нейросетевой моделью от Сбера. Некоторые врачи вручную оценивали область поражения и проверяли, совпадает ли их оценка с компьютерной, и их выводы были плюс-минус одинаковыми.

«По мнению врачей, на текущий момент финальная модель работает достаточно хорошо, они дают положительную обратную связь. По началу у них был некий скепсис, но в процессе тестирования и после того, как они посмотрели, как инструмент работает в бою, скепсис ушёл. Врачи сравнивают то, что они делают за условные 10 минут, и то, что система может выдать за минуту, и соглашаются, что её использование поможет им на практике».

Однако важно понимать, что этот инструмент не заменяет врача. Именно человек должен принимать окончательное решение. Просто работа врача, у которого есть этот инструментарий, становится проще, потому что одну конкретную техническую задачу выполняет уже не он, а искусственный интеллект. Более того, врачи не только ищут подтверждение пневмонии, а исследуют грудную клетку на предмет других патологий, чего пока не делает инструмент Сбера (это часть нового исследования). Пока в мире не существует сервисов, которые полностью заменили бы врача и выполняли все его функции хотя бы в одной области, например при диагностике заболеваний, связанных с грудной клеткой. Есть очень много патологий, и врач их выявляет, полагаясь на врачебную интуицию и опыт работы. Кроме того, врач знает историю болезни, то есть, он располагает гораздо большим объёмом информации. Имея в виду это, ИИ ещё не скоро сможет соперничать с врачами, поэтому для скепсиса, для опасений, что машина лишит людей работы, нет повода.

«В данном случае искусственный интеллект можно сравнить с GPS-навигатором. Когда навигаторы только появились, были люди, которые считали, что навигатор бесполезен. Но в настоящее время GPS-навигатором пользуются почти все водители. Его задача — помогать, а «рулит» уже сам человек», — комментирует Манвел.

На текущий момент уже есть запрос от врачей и на другие инструменты, по поиску других патологий, например — поражения не только лёгких, но и сердца и других органов.