Специалисты по искусственному интеллекту никак не придут к единому мнению о том, насколько безопасны автономные автомобили. Около недели назад учёные из Иллинойсского университета в Урбане-Шампейне (University of Illinois at Urbana-Champaign) показали, что обмануть встроенные нейронные сети крайне сложно, потому что машина видит объекты в разном масштабе и под разными углами. Теперь им ответили коллеги из некоммерческой компании OpenAI — в своём посте они рассказали, что создали картинки, которые вызывают сбои с любой «точки зрения».
Полностью автономные автомобили распознают объекты с помощью нейронных сетей. Когда в поле зрения камер попадает нечто, сети классифицируют его как «знак стоп», «грузовик» или, например, «оленя». Пару лет назад специалисты по ИИ обнаружили, что нейронные сети можно обмануть. Для определённой сети (или группы сетей) можно создать специальное изменённое изображение, которое она будет неверно распознавать. В таком случае, искусственный интеллект может «посмотреть» на фотографию и принять панду за гиббона, а человек даже не заметит, что картинка изменилась.
Вскоре оказалось, что такие изображения, известные как «состязательные примеры» (adversarial examples), не теряют своих обманных свойств и в физическом мире. Например, специалисты из Google Brain и некоммерческой организации OpenAI распечатали «неправильные» картинки на принтере, сфотографировали их обычным смартфоном и прогнали через ПО для распознавания изображений. Нейронные сети по-прежнему ошибались, принимая библиотеку за тюрьму, а стиральную машину — за половик. А учёным из Университета Карнеги — Меллон (Carnegie Mellon University) удалось обойти систему распознавания лиц и выдать себя за известных людей с помощью оправы для очков, оклеенной цветной бумагой.
Специалисты по искусственному интеллекту опасаются, что недостатками в работе нейросетей смогут воспользоваться злоумышленники. Особенно они беспокоятся за автономные автомобили. «Тема с автомобилями представляет особый интерес в силу того, что автомобиль — это объект повышенной опасности и если в нём появится чёрный ящик, который можно таким образом обмануть, то это риски», — поясняет специалист по технологиям машинного обучения и технический директор компании Intento Григорий Сапунов. — И риски намеренного обмана злоумышленником, и риски того, что автомобиль сам по себе может неправильно среагировать на какую-то ситуацию, и мы заранее не знаем какую (и к тому же мы до конца не понимаем, на что именно он вообще реагирует). То есть потенциально под угрозой человеческие жизни и здоровье, это нехорошо. Получается, что производитель не может дать никаких гарантий».
Но учёные из Иллинойсского университета в Урбане-Шампейне считают, что бояться нечего и беспилотникам «состязательные примеры» не страшны, потому что камеры движущегося автомобиля видят предметы с разных углов и в разных масштабах. 12 июля они опубликовали статью с описанием эксперимента: на дорожные знаки наклеили картинки-обманки, внешне похожие на обычные сигналы «стоп». Мимо проехал автомобиль, оснащённый видеокамерой — полученное изображение поступало прямиком нейронным сетям. Результаты показали, что в большинстве случаев ИИ верно опознаёт знак — он ошибся только в паре кадров, приняв «стоп» за мяч. Учёные объяснили это тем, что автомобиль большую часть времени находился слишком далеко от дорожного знака, и камера попросту не могла разглядеть изменения картинки, которые обманули бы компьютер. Они пришли к выводу, что в реальном мире, где предмет можно разглядеть с разных углов и на разных дистанциях, беспокоиться о «состязательных примерах» нет необходимости.
Спустя пять дней на эту научную работу откликнулись специалисты OpenAI. Исследователи написали пост в блоге и рассказали, что им удалось получить изображение, которое нейросети с завидным постоянством неверно классифицируют — под каким бы углом на него не «смотрели». Они напечатали на обычном принтере милую фотографию котёнка среди зелени, но ИИ принимал его за «настольный компьютер» или «монитор» как бы его не поворачивали и не увеличивали. «Когда авторы предыдущей работы предложили простое решение, нам стало интересно воспроизвести результаты самостоятельно (и в какой-то степени нам это удалось). Тогда мы захотели узнать, может ли злоумышленник обойти эти ограничения, и обнаружили, что это возможно», — рассказал изданию Quartz сотрудник OpenAI Аниш Атали (Anish Athalye).
«Предыдущая работа аргументировала, что автомобили защищены от таких проблем (потому что камер много, они смотрят с разных ракурсов и т. п.), но текущая работа показывает, что проблема остаётся», — комментирует Сапунов. И по его словам, она касается не только автономных транспортных средств. «Во многих местах, где нейросети используются для анализа изображений (определение товаров, системы безопасности, и т. д.) часто используются какие-то готовые нейросети, возможно дообученные на данных пользователя. Возможно, выяснится, что многие сервисы подвержены одной и той же проблеме и неверно классифицируют одни и те же картинки просто потому, что построены на одной и той же нейросети. Это может оказаться довольно массовой проблемой, где-то критичной, где-то нет», — заключает специалист.
