Новость дня: VK Pay представил виртуальную карту с бонусами за покупки

Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию




Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Автор: Softodrom.ru
Дата:
Новые статьи: Наука и техника
27.02.2021 22:27

«Ростех» разработал неуязвимый «антидронный» чемоданчик

Используемая мобильным комплексом «Защита» пассивная РЛС не требует разрешения на использование радиочастотных каналов, что облегчает ее применение в гражданской сфере


26.02.2021 19:24

Офицера российской армии осудили за продажу экипировки «солдата будущего»

Экипировка «Ратник» создана по модульной системе и включает в себя различные элементы защиты бойца и повышения его эффективности, в том числе современное оружие и электронные средства связи и разведки


25.01.2021 14:39

Россия отказалась от участия в совместной с США лунной программе

Российская сторона приняла решение не участвовать в программе создания совместной с США космической станции Deep Space Gateway на орбите Луны


22.01.2021 05:45

Вооруженные силы РФ получили первую партию Пенициллина

Первая партия новейших комплексов «Пенициллин» поступила в российскую армию


20.01.2021 16:51

ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка

ИИ-модель Microsoft заняла первое место в рейтинге с показателем в 90,3, в то время как среднее значение человеческих возможностей составляет 89,8 баллов


Популярное: Наука и техника
08.10.2009 14:21

Необычное облако над Москвой (видео)

В небе над Москвой появилось облако необычной формы


17.07.2009 17:09

Новая фотокамера будет обходиться без вспышки

Американские ученые создали новую систему, которая позволяет делать снимки без эффекта красных глаз и других артефактов изображения, вызываемых вспышкой


27.02.2021 22:27

«Ростех» разработал неуязвимый «антидронный» чемоданчик

Используемая мобильным комплексом «Защита» пассивная РЛС не требует разрешения на использование радиочастотных каналов, что облегчает ее применение в гражданской сфере


26.05.2010 22:53

Япония отправит на Луну роботов

Японцы обустроят на Луне базу управления экспедициями отряда роботов-исследователей


23.02.2011 21:55

«Марсонавты» отметили 23 февраля взлетом с «Красной планеты»

Добровольцы проекта «Марс-500» отметили День защитника Отечества взлетом посадочного модуля с поверхности «Красной планеты»


» Оставьте первым свой комментарий

Новости /
Наука и техника /
Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию
Все рубрики статей:
Статистика | Рейтинги | Авторам | Реклама
Copyright © 1999-2021 Softodrom.ru
О перепечатках | Рассылки | Пользовательское соглашение | Политика конфиденциальности | О проекте | Карта сайта
Яндекс.Метрика