Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию



Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Автор: Softodrom.ru
Дата:
» Оставьте первым свой комментарий

Новости > Наука и техника > Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию
Все рубрики статей:
Топ-сегодня: Наука и техника
Эксперты оценили разные варианты уничтожения человечества
В феврале 2021 года истекает договор между Россией и США об ограничении ядерных вооружений, подписанный Дмитрием Медведевым и Бараком Обамой, и стороны пока далеки от его продления
У Эйнштейна оказался ненормальный мозг
Законсервированный мозг Эйнштейна возили в контейнере и изучали
Еда будущего: чем мы будем питаться через 20 лет?
Гэй предрекает: насекомые, или мини-скот, станут одним из основных продуктов нашего рациона
Ученые выяснили, что чувствуют люди после смерти
После смерти люди осознают, что скончались и понимают, что происходит вокруг
ВМС США провели испытание футуристического оружия
ВМС США провели испытание рельсовой электромагнитной пушки. До сих подобное футуристическое оружие можно было увидеть только в компьютерных играх типа Quake
Новые статьи: Наука и техника
Путин утвердил стратегию развития искусственного интеллекта
Президент РФ Владимир Путин подписал указ, утверждающий национальную стратегию развития искусственного интеллекта до 2030 года
Депутат предложил блокировать антинаучные страницы в соцсетях
Используя такие ресурсы, люди получают ошибочные знания и могут нанести вред своему здоровью, а также ущерб благосостоянию
Минобороны РФ сообщило о разработке боевых электромобилей
За счет движения на электрической тяге будет обеспечено скрытное бесшумное выдвижение на огневые позиции
«Калашников» показал «экстремальный тест» АК-74М
В видео под названием «Как убить АК-74М? Стрельба очередями» специалист концерна тестирует автомат на прочность в режиме безостановочной стрельбы очередями
Росавиация разъяснила правила постановки дронов и квадрокоптеров на учет
С 27 сентября вступают в силу новые правила учета беспилотников максимальной взлетной массой от 250 грамм до 30 килограммов

Статистика | Рейтинги | Авторам | Реклама
Copyright © 1999-2019 Softodrom.ru
О перепечатках | Рассылки | Пользовательское соглашение | Политика конфиденциальности | О проекте | Карта сайта
Яндекс.Метрика 
В Опере нет автоматического способа добавить поиск по Софтодрому.
Чтобы вручную добавить поиск по Софтодрому, нужно сделать следующее:
  1. Нажать Ctrl+F12.
  2. Выбрать вкладку «Поиск».
  3. Нажать «Добавить» (Add).
  4. В появившемся окне:
    1. Заполнить название (Softodrom.ru).
    2. Заполнить адрес: https://www.softodrom.ru/Поиск/?text=%s&qs
      Если нет поля «адрес», то кликнуть на «Подробнее».
    3. Остальные поля заполнить по желанию.
  5. Нажать «ОК».