Актриса из «Сумерек» стала соавтором научной работы

Кадр из фильма «Пойдём поплаваем», снятого Стюарт.
Кадр из фильма «Пойдём поплаваем», снятого Стюарт.

Актриса Кристен Стюарт (Kristen Jaymes Stewart), известная многим по фильму «Сумерки» стала соавтором научной работы. Статья, опубликованная в репозитории ArXiv.org, называется «Пробуждение импрессионизма к жизни в „Пойдём поплаваем“ с помощью нейронного переноса стиля» (Bringing Impressionism to Life with Neural Style Transfer in Come Swim).

Короткометражный фильм «Пойдём поплаваем» вышел в прокат 19 января 2017 года, это режиссёрский дебют Стюарт. В новой статье она и её коллеги — разработчик компании Adobe Systems Бхотик Джоши (Bhautik Joshi) и продюсер картины Дэвид Шапиро (David Shapiro) — рассказали, как им удалось приспособить популярный метод «нейронного переноса стиля» к созданию кино.

В 2015 году немецкие учёные представили искусственный интеллект, который мог перерисовать любое изображение в стиле известного художника — достаточно было показать ему пример и скормить фотографию. Их статью «Нейронный алгоритм художественного стиля» (A Neural Algorithm of Artistic Style) начали активно цитировать, о находке написали Wired и другие популярные журналы. Свёрточная нейронная сеть, созданная немецкими специалистами, работает совсем иначе, чем Instagram или Snapchat. Фильтры опираются на правила, заданные людьми. «Если выполняется такое-то условие, делай с изображением вот это», — поясняет Джоши. «Инстаграм просто занимается подбором цветов», — говорит он.

«Перенос стиля» идёт по другому пути: нейронная сеть разбивает изображение на блоки, распознают его основные составляющие и сравнивают их с образцом, а затем соответственно изменяют картинку. Фактически ИИ способен отличить стиль от содержания. «Основной вывод данной работы состоит в том, что свёрточная нейронная сеть может разделять представление содержания и стиля. Таким образом, мы можем независимо изменять оба вида представлений и получать новые осмысленные изображения», — писали немецкие учёные два года назад.

За «нейронный перенос стиля» сразу ухватились разработчики — сейчас эту технику используют множество сервисов и приложений. Вероятно, усовершенствованная версия этого алгоритма применяется и в популярной Prisma. Как правило, «перенос» запускают в автоматическом режиме: нейронным сетям дают фотографию, они делают с ней нечто и выдают неожиданный результат — к удовольствию пользователей. Но в кино это недопустимо, поскольку режиссёр знает, какую картинку хочет получить на выходе. «Этот алгоритм, по своей сути — чёрный ящик, — говорит Джоши. — Если бы мы случайным образом перебирали варианты, это бы ни к чему не привело. Поэтому мы хотели использовать структурированный подход. Мы задались вопросом: „Каков разумный диапазон?“ Затем мы сошлись на том, как должна выглядеть картинка, и сделали обработку более предсказуемой».

Использование алгоритма нейронного переноса стиля в фильме «Пойдём поплаваем». Слева — необработанное изображение, по центру — стилизованная картинка, справа — результат работы искусственного интеллекта.
Использование алгоритма нейронного переноса стиля в фильме «Пойдём поплаваем». Слева — необработанное изображение, по центру — стилизованная картинка, справа — результат работы искусственного интеллекта.

После того, как Стюарт и Джоши путём проб и ошибок получили подходящий кадр, они смогли определить два основных параметра, от которых зависел результат — коэффициент передачи стиля и число итераций — и подобрать соответствующие значения. Настроив алгоритм, они обработали ключевые сцены фильма так, чтобы они напоминали картины импрессионистов. Новая работа, в которой киношники описывают процесс работы с ИИ, занимает всего три страницы и не претендует на звание «прорыва в информатике». Её основная задача — облегчить жизнь другим специалистам. «Мы хотели дать другим возможность использовать эту форму творческого самовыражения, — говорит Джоши.