Актриса Кристен Стюарт (Kristen Jaymes Stewart), известная многим по фильму «Сумерки» стала соавтором научной работы. Статья, опубликованная в репозитории ArXiv.org, называется «Пробуждение импрессионизма к жизни в „Пойдём поплаваем“ с помощью нейронного переноса стиля» (Bringing Impressionism to Life with Neural Style Transfer in Come Swim).
Короткометражный фильм «Пойдём поплаваем» вышел в прокат 19 января 2017 года, это режиссёрский дебют Стюарт. В новой статье она и её коллеги — разработчик компании Adobe Systems Бхотик Джоши (Bhautik Joshi) и продюсер картины Дэвид Шапиро (David Shapiro) — рассказали, как им удалось приспособить популярный метод «нейронного переноса стиля» к созданию кино.
В 2015 году немецкие учёные представили искусственный интеллект, который мог перерисовать любое изображение в стиле известного художника — достаточно было показать ему пример и скормить фотографию. Их статью «Нейронный алгоритм художественного стиля» (A Neural Algorithm of Artistic Style) начали активно цитировать, о находке написали Wired и другие популярные журналы. Свёрточная нейронная сеть, созданная немецкими специалистами, работает совсем иначе, чем Instagram или Snapchat. Фильтры опираются на правила, заданные людьми. «Если выполняется такое-то условие, делай с изображением вот это», — поясняет Джоши. «Инстаграм просто занимается подбором цветов», — говорит он.
«Перенос стиля» идёт по другому пути: нейронная сеть разбивает изображение на блоки, распознают его основные составляющие и сравнивают их с образцом, а затем соответственно изменяют картинку. Фактически ИИ способен отличить стиль от содержания. «Основной вывод данной работы состоит в том, что свёрточная нейронная сеть может разделять представление содержания и стиля. Таким образом, мы можем независимо изменять оба вида представлений и получать новые осмысленные изображения», — писали немецкие учёные два года назад.
За «нейронный перенос стиля» сразу ухватились разработчики — сейчас эту технику используют множество сервисов и приложений. Вероятно, усовершенствованная версия этого алгоритма применяется и в популярной Prisma. Как правило, «перенос» запускают в автоматическом режиме: нейронным сетям дают фотографию, они делают с ней нечто и выдают неожиданный результат — к удовольствию пользователей. Но в кино это недопустимо, поскольку режиссёр знает, какую картинку хочет получить на выходе. «Этот алгоритм, по своей сути — чёрный ящик, — говорит Джоши. — Если бы мы случайным образом перебирали варианты, это бы ни к чему не привело. Поэтому мы хотели использовать структурированный подход. Мы задались вопросом: „Каков разумный диапазон?“ Затем мы сошлись на том, как должна выглядеть картинка, и сделали обработку более предсказуемой».
После того, как Стюарт и Джоши путём проб и ошибок получили подходящий кадр, они смогли определить два основных параметра, от которых зависел результат — коэффициент передачи стиля и число итераций — и подобрать соответствующие значения. Настроив алгоритм, они обработали ключевые сцены фильма так, чтобы они напоминали картины импрессионистов. Новая работа, в которой киношники описывают процесс работы с ИИ, занимает всего три страницы и не претендует на звание «прорыва в информатике». Её основная задача — облегчить жизнь другим специалистам. «Мы хотели дать другим возможность использовать эту форму творческого самовыражения, — говорит Джоши.