Оснащённые датчиками и камерами ИИ-системы в салонах автомобилей могут сделать пребывание там максимально комфортным для водителя, а сам автомобиль — максимально безопасным и для тех, кто внутри, и для других участников движения. Представляем вашему вниманию перевод статьи специалистов по автомобильным ИИ-системам Габи Зийдервельд, Абдо Махмуда и Майка Джионфриддо — о том, как, буквально, уже завтра автомобили будут опекать своих водителей и пассажиров.
Это старомодно — говорить, что водители управляют своими автомобилями, ведя их правильным курсом и оберегая от всяческих проблем. Мы стремительно входим в эпоху умных транспортных средств, где, напротив, автомобили будут управлять водителями. Речь не о тех ставших уже привычными технологиях, которые помогают водителям оставаться в рамках своей полосы движения или осуществлять параллельную парковку. Речь об автомобилях, которые не дают водителям совершить что-либо опасное, мониторя их эмоциональное и когнитивное состояние.
Уже сейчас можно свободно приобрести основные системы мониторинга поведения водителей. В большинстве из них используется установленная на рулевом колесе видеокамера, которая следит за движениями и скоростью мигания глаз водителя, чтобы определить, всё ли с ним в порядке — не отвлекается ли он от дороги, не клюёт ли носом, не находится ли в состоянии опьянения.
Но автопром стал осознавать, что оценка правильности вождения — дело более сложное, чем просто мониторинг того, следят ли водительские глаза за дорогой, что нельзя ограничиваться только наблюдением за водителем. Системы мониторинга должны знать о состоянии всего транспортного средства, — и всего, что в нём, — чтобы иметь полное представление о факторах, формирующих поведение водителя, и о том, как это поведение влияет на безопасность.
Если автопром разработает технологии, которые учитывают эти моменты, он, вероятно, сможет предложить новые опции — такие как способы повышения безопасности или персонализации оптимального процесса вождения. Вот почему наша компания Affectiva возглавила разработку сенсорной системы, встроенной в автомобиль и следящей за состоянием салона, водителя и пассажиров. (В июне 2021 года Affectiva приобретена за 73,5 млн. долларов США фирмой Smart Eye со штаб-квартирой в Гётеборге, Швеция. Эта фирма занимается мониторингом движения глаз с помощью ИИ).
Работать в данном направлении автопроизводителей подталкивает законодательство. В Европе тестирующий безопасность автотранспорта комитет, известный как «Европейская программа оценки новых автомобилей» (European New Car Assessment Program, EURO NCAP), в 2020 году обновил протоколы и стал оценивать автомобили на основе новейших достижений в сфере мониторинга состояния пассажиров. Чтобы получить желанные пять звёзд, автопроизводители должны будут устанавливать в салонах системы, которые оценивают усталость водителя и влияние на него отвлекающих факторов. И, начиная с 2022 года, Euro NCAP будет присуждать рейтинговые очки за использование технологий, позволяющих обнаружить в автомобиле оставленного без присмотра ребёнка, а затем известить владельца автомобиля или службу экстренной помощи, чтобы не допустить трагической смерти этого ребёнка от теплового удара.
Сейчас некоторые автопроизводители перемещают видеокамеру к зеркалу заднего вида. Новый ракурс позволяет разрабатывать системы, которые следят не только за эмоциональным и когнитивным состоянием людей, но также за их поведением, деятельностью и взаимодействием друг с другом и с предметами, находящимися в машине. Такой автомобильный Большой Брат может показаться зловещим, но он способен спасти бессчётное количество жизней.
Компанию Affectiva совместно учредили в 2009 году Рана эль Калиуби (Rana el Kaliouby) и Розалинд Пикард (Rosalind Picard) из Медиалаборатории Массачусетского технологического института (MIT Media Lab), которые специализировались на «аффективных вычислениях», т. е. на вычислительных системах, распознающих человеческие эмоции и реагирующих в соответствии с ними. Мы трое в разное время присоединились к «Аффективе», чтобы гуманизировать её разработки: нас беспокоит, что в результате бурного развития искусственного интеллекта (ИИ) создаются системы с высоким IQ, но с низким EQ, т. е. коэффициентом эмоционального интеллекта.
За последнее десятилетие мы создали программное обеспечение, которое использует глубокое обучение, компьютерное зрение, анализ голосовой информации и огромное количество данных, взятых из реальной жизни, для обнаружения тонких человеческих эмоций, сложных когнитивных состояний, форм деятельности, взаимодействий и применяемых людьми предметов. Собрав данные о более чем 10 миллионах лиц людей из 90 стран, мы используем их для обучения наших классификаторов эмоций, созданных на основе нейронных сетей. Маркировку мы осуществляли, главным образом, в соответствии с «системой кодирования мимики» («facial action coding system»), разработанной клиническим психологом Полом Экманом (Paul Ekman) и Уоллесом Фризеном (Wallace Friesen) в конце 70-х годов ХХ века. Мы всегда стремимся собирать разнообразную информацию, чтобы быть уверенными в том, что наши классификаторы окажутся эффективными, имея дело с людьми любого возраста, а также любой гендерной или этнической принадлежности.
Первыми взяли на вооружение нашу продукцию маркетинговые и рекламные агентства, которые, исследуя субъектов во время просмотра ими рекламы, применяли нашу технологию, чтобы наблюдать за ними с помощью видеокамер и покадрово оценивать их реакцию. На сегодняшний день мы протестировали 58 000 рекламных продуктов. Для наших клиентов-рекламщиков мы сосредоточились на таких интересующих их эмоциях, как счастье, любопытство, раздражение и скука.
Однако в последние годы на передний план вышло применение нашей технологии в автопроме. Это заставило нас переобучить наши классификаторы, ибо ранее они не умели обнаруживать, к примеру, сонливость или предметы, находящиеся в салоне транспортного средства. Для этого нам пришлось расширить нашу коллекцию данных. В частности, мы сделали это с помощью исследования, где субъектами были занятые посменно заводские рабочие, которые, возвращаясь после смены домой за рулём своих автомобилей, нередко сильно уставали. На сегодняшний день мы собрали десятки тысяч часов информации о том, что происходит в салоне автомобиля, полученных в ходе тысяч наблюдений за субъектами. Сбор таких данных был необходим — но это был всего лишь первый шаг.
Кроме того, нам было необходимо обеспечить эффективность работы наших алгоритмов глубокого обучения на автомобильных компьютерах. Эти компьютеры относятся к категории систем на чипе (СнЧ, однокристальная система). Алгоритмы глубокого обучения, как правило, довольно большие, а в полосе пропускания автомобильной СнЧ нередко, помимо нашего кода, идёт обработка других программ. Вдобавок, выпускается множество разных автомобильных СнЧ, и у этих разных систем — разная пропускная способность. «Аффективе» пришлось разрабатывать своё программное обеспечение нейронной сети с учётом ограниченной вычислительной мощности чипов автомобильных компьютеров.
Первое, что нужно было сделать, решая эту задачу, — провести анализ требований к системе, предъявляемых вариантами её использования; например, как часто система должна проверять, не клюёт ли водитель носом? Найдя чёткие ответы на такого рода вопросы, легче установить границы сложности создаваемого программного обеспечения. И вместо одной большой всеобъемлющей нервной сети глубокого обучения, следящей за множеством разных форм поведения, Affectiva развёртывает несколько небольших сетей, которые при необходимости работают совместно.
Есть ещё две фишки, которые помогают нам в нашей работе. Во-первых, мы используем метод, называемый обучением с учётом квантования (quantization-aware training), позволяющий осуществлять необходимые вычисления при уменьшенной точности числовых значений. Благодаря этому критическому шагу наши нейронные сети стали менее сложными, а скорость их вычислений возросла, что сделало их работу эффективной даже на автомобильных СнЧ.
Во-вторых, мы уделили много внимания «железу». В наши дни автомобильные СнЧ содержат специализированные аппаратные ускорители, такие как графические процессоры (GPU) и процессоры цифровых сигналов (DSP), которые способны очень эффективно обслуживать глубокое обучение. Мы проектируем наши алгоритмы так, чтобы как можно лучше использовать возможности этих специализированных устройств.
Правильно судить о том, в порядке ли водитель, — задача сложная. Её не решить, просто следя за положением его головы и скоростью его моргания; нужен учёт более широкого контекста. Тут мало следить только за водителем — нужно мониторить весь салон.
К примеру, водитель отвлёкся от дороги. Почему? Причин может быть много. Он мог сделать это, чтобы посмотреть на спидометр, ответить на текстовое сообщение или выяснить, почему заревел ребёнок на заднем сидении. В каждом из этих случаев уровень нарушения правил вождения разный.
Наши системы мониторинга салона могут различать эти сценарии и определять, когда нарушение длится так долго, что становится опасным. При этом используется технология компьютерного зрения, которая следит не только за лицом водителя, но и за пассажирами, а также за находящимися в салоне предметами. Собираемая информация позволяет нашей системе оптимально реагировать на любую ситуацию.
Если водитель слишком часто смотрит на спидометр, экран автомобильного дисплея может деликатно напомнить ему, что нужно следить за дорогой. Но если водитель отправляет текстовое сообщение или поворачивает голову назад, чтобы посмотреть на ребёнка, автомобиль может высказать своё замечание более резко и даже предложить остановиться на обочине в том месте, где это безопасно.
Очень часто, однако, борьба со сном — вопрос жизни и смерти. Некоторые существующие системы используют камеры, направленные на водителя, чтобы, когда его веки смыкаются и он начинает клевать носом, фиксировать наступление дремоты в виде микросна. Другие системы просто следят за положением автомобиля по отношению к полосе движения, которое становится нестабильным, когда на водителя нападает сонливость. Последний метод, конечно, неэффективен, если в автомобиле установлена система, которая при движении по дороге автоматически удерживает его в центре полосы.
Мы изучали проблему усталости водителя и обнаружили, что системы, которые ждут, пока водитель не начнёт клевать носом, часто подают сигнал тревоги слишком поздно. Действительно необходимая система — это та, которая способна фиксировать момент, когда усталость только-только начинает мешать безопасному управлению автомобилем.
Фиксировать данный момент помогает мониторинг едва уловимой мимики, поскольку, когда подступает усталость, водитель становится более вялым и менее разговорчивым. Стоит отслеживать и весьма заметные признаки, например зевание. Затем система может предупредить водителя о появлении у него первых признаков усталости, — возможно, даже предлагая безопасное место отдыха, где можно хорошо отдохнуть или, по меньшей мере, выпить чашку крепкого кофе.
А ещё технология «Аффективы» может способствовать тому, чтобы дети не оставались в автомобилях одни, так как это потенциально опасно. При таких обстоятельствах в Соединённых Штатах в 2020 году погибло от теплового удара 24 ребёнка. Наш алгоритм обнаружения предметов может идентифицировать детское место; если камера видит ребёнка, мы можем обнаружить и его. Когда в машине отсутствуют другие люди, система может сообщить об этом властям. Для учёта более мелких деталей — установлено ли детское сиденье по ходу движения или задом наперёд, накрыто ли оно чем-то вроде одеяла и т. п. — мы разрабатываем дополнительные алгоритмы. Нам хочется внедрить эту технологию как можно быстрее, чтобы она немедленно приступила к спасению жизней.
Встроить весь этот интеллект в автомобиль значит установить внутри его салона видеокамеры. Понятно, что здесь возникают проблемы, связанные с обеспечением конфиденциальности и безопасности, и автопроизводители обязаны их решать. Здесь могут помочь системы, которые не требуют отправки в облако не только изображений, но и любых других данных. Более того, эти системы способны обрабатывать данные в режиме реального времени, делая ненужным сохранять информацию даже локально.
Но автопроизводители и такие компании, как Uber и Lyft, несут ответственность не только за данные как таковые, но и за прозрачность для общества технологии мониторинга салона. Здесь неизбежно возникают вопросы, которые настоятельно требуют ответа. Как именно работает эта технология? Какие данные и для чего собираются? Они хранятся на месте или передаются? И самое главное: какая польза от этой технологии для тех, кто находится в салоне автомобиля? Автопроизводители, несомненно, должны создавать чёткие формы согласования своих интересов с интересами общества, чтобы гарантировать потребителям конфиденциальность и заслужить их доверие.
Конфиденциальность — одна из первостепенных забот и для нас, поскольку с ней связано будущее «Аффективы». Мы прогнозируем развитие нашей технологии в двух направлениях. Во-первых, мы собираемся выйти за рамки визуального мониторинга, который осуществляют нынешние наши системы, дополнив его другими видами контроля, включая голосовой анализ и даже анализ биометрических сигналов. Мультимодальный подход может оказаться полезным для решения таких чрезвычайно сложных проблем, как определение уровня фрустрации или даже ярости водителя.
Водителей часто выводят из себя не очень умные «интеллектуальные помощники». Как показали исследования, водительское разочарование может проявляться как улыбка — не радостная, а злая. Система мониторинга, которая использует только анализ мимики, истолкует эту реакцию неверно, но стоит добавить голосовой анализ — и система сразу же определит, что никакого удовольствия водитель не получил. А затем она может известить об этой реакции своих создателей. Однако потребителей, естественно, беспокоит, когда их речь мониторят, и им, естественно, хочется знать, сохраняются ли эти данные и если да, то как.
Во-вторых, мы стремимся к тому, чтобы наши системы мониторинга были способны непрерывно учиться. Сегодня мы создаём системы ИИ, которые обучаются на огромном количестве информации о человеческих эмоциях и формах поведения, но, встроенные в салоны автомобилей, прекращают свою учёбу. Мы считаем, что эти системы станут полезнее, если в течение нескольких месяцев или лет смогут собирать данные о водителях и причинах их действий.
Мы провели исследование совместно с Консорциумом передовых технологий транспортных средств программы MIT AgeLab, в ходе которого в течение месяца собирали данные о водителях. Мы обнаружили чёткие паттерны: например, один субъект исследования каждый будний день утром выезжал на работу в полудрёме, а вечером возвращался домой бодрым, часто болтая с друзьями по телефону. Система мониторинга, которая изучила своего водителя, может выявить стандартный паттерн его поведения; в результате всякое отклонение водителя от этой его персональной нормы окажется примечательным.
Система, которая постоянно учится, порождает не только новые весьма полезные опции, но и новые проблемы. В отличие от наших нынешних систем, которые работают на встроенных чипах и не отправляют данные в облако, система, способная корректировать свою работу с учётом персональных особенностей водителя, должна будет какое-то время собирать и сохранять данные, что некоторые могут посчитать обременительной назойливостью.
Автопром, продолжая расширять список внедряемых в производство высоких технологий, непременно придёт к тому, что самые привлекательные из них будут запросто менять условия пребывания в салоне автомобиля, скажем, регулировать температуру или предоставлять развлечения. По нашим прогнозам, следующее поколение транспортных средств сможет ещё и улучшать самочувствие людей.
Нередко водитель, ежедневно совершающий поездки, утром чувствует себя вялым и беспокоится о делах, которые нужно сделать, а вечером — изнемогает в автомобильных пробках. А что, если, выходя из своего автомобиля, он сможет чувствовать себя лучше, чем тогда, когда садился в него?
На основе информации, собранной в ходе мониторинга салона, транспортное средство сможет создавать для водителя атмосферу, которая соответствует его эмоциональному состоянию. К примеру, утром водитель предпочитает ехать так, чтобы поездка сделала его готовым к любым неожиданностям и работоспособным, тогда как вечером ему хочется расслабиться. Система мониторинга салона, изучив предпочтения водителя в разных ситуациях, сумеет сделать так, чтобы автомобиль приспособился к этим предпочтениям.
Собранная информация способна принести пользу и самому водителю. Водитель сможет сделать свои ежедневные поездки менее утомительными, когда узнает, при каких условиях его удовлетворение, бдительность и способность безопасно управлять автомобилем максимальны. Автомобиль сможет самостоятельно определять маршруты движения и настройки в салоне, которые обеспечивают наибольший комфорт, улучшают общее самочувствие и тем самым позволяют водителю управлять машиной в наилучшем эмоциональном состоянии.
Вдобавок, безусловно, станет возможным подыскивать водителю и пассажирам самые приятные для них виды развлечения. Автопроизводители смогут как при покупке автомобиля в полную собственность, так и в случае его аренды более эффективно использовать наш ИИ для того, чтобы предоставлять покупателям развлекательный контент с учётом их профессии, эмоциональных реакций и личных предпочтений. Кроме того, уровень персонализации можно будет варьировать в зависимости от ситуации и причины поездки.
Представим, например, семью, которая едет поболеть на каком-то спортивном соревновании. Наша система сумеет подыскать соответствующую рекламу. И даже сможет предложить купон для приобретения закуски во время соревнования, если реакция на рекламу окажется положительной. Этот процесс сможет осчастливить как потребителей, так и рекламодателей.
Транспортное средство окажется даже способным самостоятельно превратиться в лабораторию мобильных СМИ. Наблюдая за реакциями на контент, система сможет давать советы, приостанавливать аудиозапись, когда пользователь становится невнимательным, и настраивать рекламу в соответствии с его предпочтениями. Поставщики контента получат вдобавок возможность определять, какие каналы поставляют наиболее привлекательный контент и смогут использовать эту информацию для учреждения рекламных премий.
Автопроизводители совершенствуют формы аренды и беспилотные транспортные средства, изменяя тем самым отношения между людьми и автомобилями. Развитие автопрома постепенно приведёт к тому, что первостепенное значение для потребителей приобретут условия пребывания в салоне автомобиля. ИИ, который мониторит салон, будет, несомненно, важным элементом этого развития, потому что легко сможет делать поездки как для водителей, так и для пассажиров более безопасными, персонализированными и приятными.
