Новый AI Framework Text2Poster автоматически генерирует плакаты на основе текста

Плакаты широко используются в многочисленных коммерческих и некоммерческих контекстах для продвижения и распространения информации как вид медиа с художественными и практическими элементами. Например, компании электронной коммерции используют привлекательные баннеры для рекламы своей продукции. Веб-сайты общественных мероприятий, например, конференций, часто украшаются образовательными плакатами.

Text2Poster — уникальная система, автоматический генератор плакатов, которая использует обширную предварительно обученную визуальную и текстовую модель для создания соответствующих изображений фона из входных текстов, как показано на рисунке ниже.

Вот как объясняют процесс сами авторы (Chuhao Jin, Hongteng Xu, Ruihua Song, Zhiwu Lu): «Имитируя процесс ручного редактирования плакатов, наша система использует крупномасштабную предварительно обученную визуально-текстовую модель для получения фоновых изображений из заданных текстов, выстраивает тексты на изображениях итеративно с помощью каскадных автокодеров, и, наконец, стилизует тексты с помощью метода, основанного на сопоставлении. Мы обучаем модули системы с помощью стратегий слабого и самоконтролируемого обучения, что снижает потребность в меченых данных. Объективные и субъективные эксперименты показывают, что наш Text2Poster превосходит современные методы, включая академические исследования и коммерческое программное обеспечение, по качеству создаваемых постеров.«

Ссылка на Github проекта Text2Poster: https://github.com/chuhaojin/Text2Poster-ICASSP-22.

Чтобы проверить работу генератора плакатов достаточно запустить Python-файл, предварительно внеся свои данные. Пример кода смотрите на https://n-seti.ru/novyj-ai-framework-text2poster-avtomaticheski-generiruet-plakaty-na-osnove-teksta/.

Ниже результаты, которые получились у нас. Можно определенно сказать, что Text2Poster пока плохо понимает русский язык, зато понимает по-китайски. Также не понятно — ориентируется ли нейросеть на слова, указанные в заголовке и подзаголовке.

Хорошие ли плакаты получились на выходе? — Определенно не очень. Но сама мысль о том, что создание плакатов и постеров можно поставить на поток, довольно скоро начнет будоражить умы — и разработчиков, и предприимчивых людей.

А вот и плакаты от самих авторов: