Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

Новости: Наука и техника

Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Автор:	Softodrom.ru
Дата:	30.06.2019

Комментарии

» Оставьте первым свой комментарий

Новости > Наука и техника > Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

Все рубрики статей:

Топ-сегодня: Наука и техника

Студентов вузов будут отчислять по совету искусственного интеллекта
Как отметил Киясов, искусственный интеллект позволит исключить предвзятость со стороны преподавателей

Студенты из Сибири разработали беспилотный катафалк
В НТИ «Автонет» убеждены, что в будущем сфера ритуальных услуг претерпит цифровые изменения

Комбайны-беспилотники появятся в России к 2023 году
На сегодняшний день нейронная сеть способна выделять пять основных классов объектов полевой сцены

Таинственный манускрипт Войнича опять оказался подделкой
Таким образом, бремя доказательства переходит на специалистов, утверждающих, что она содержит осмысленный текст

MSCI собирается создать глобальную сеть спутникового доступа в интернет
Компания Microsat Systems Canada Inc. (MSCI) собирается создать глобальную сеть спутникового доступа в интернет

Новые статьи: Наука и техника

«Ростех» решит проблему парковок с помощью «пятнашек» и «каруселей»
Столичные власти предлагают возводить преимущественно механизированные паркинги, так как их внешний вид не испортит облик города, и такая парковка собирается за короткое время

В сети появился самый короткий тест на IQ
В Интернете появился самый короткий тест на IQ, состоящий всего из трех математических задач, более 80% не могут их правильно решить

6 млн россиян лишатся работы из-за роботизации
Развитие роботизации может привести к тому, что около 90% работы людей будет автоматизировано