RuDALL-E — нейросеть, генерирующая картинки по текстовым описаниям на русском

Предположим, вы делаете ремонт на кухне и хотите, чтобы нейросеть сгенерировала для вас варианты интерьеров. Вы пишете текстовый запрос, немного ждёте — и перед вами на экране компьютера или смартфона появляются картинки — не найденные где-то в интернете, а «нарисованные» ИИ-моделью специально для вас. Это уже не фантастика, а реальность, которую создают специалисты в области искусственного интеллекта. Некоторое время назад мы писали о нейросетевой модели DALL·E от OpenAI, умеющей генерировать картинки по англоязычным описаниям. Сегодня же SberDevices, SberAI и SberCloud представили публике её русскоязычный аналог — ruDALL-E. Эта нейросетевая модель, как вы, наверное, уже догадались, генерирует картинки по описаниям на русском языке.

«Маленькая» версия модели выложена в открытом доступе — с её помощью можно создавать стоковые изображения или векторные иллюстрации, материалы для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Картинка, сгенерированная «маленькой» версией модели RuDALL-E по описанию «Набор предметов для чайной церемонии».

«Большая версия модельки будет доступна у нас в облаке, в ней, как и в оригинале, 12 млрд параметров, и её обучение — это самый большой в истории нашей страны нейросетевой проект — более 20000 GPU-дней на Nvidia V100 (одновременно мы задействовали до 512 карточек)», — пишет руководитель Управления экспериментальных систем машинного обучения департамента SberDevices Сергей Марков на своей странице в Facebook.

По словам авторов проекта, ruDALL-E обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию.

«Создание изображений при помощи ruDALL-E происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества, — сообщается в пресс-релизе «Сбера». — Таким образом можно получить неограниченное количество новых изображений, подходящих под указанные характеристики».

Сгенерированный моделью пейзаж.
Екатерина Шутова :