Новость дня: В России предложили ввести нормы «цифрового ГТО»

Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию




Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Автор: Softodrom.ru
Дата:
Новые статьи: Наука и техника
07.09.2020 19:55

В России разработали предварительные стандарты безопасного интернета вещей

Технический комитет «Кибер-физические системы» и «Лаборатория Касперского» вынесли на публичное обсуждение серию предварительных национальных стандартов для безопасного интернета вещей


04.09.2020 14:21

Создание квантовых сенсоров в России может быть заморожено

«Ростех» предупредил о том, что Россия может остаться без квантовых сенсоров, если бюджет, выделенный государством на разработку этой технологии, будет секвестирован


04.09.2020 13:26

«Дорожную карту» по развитию в России квантовых коммуникаций урезали на 2,7 млрд руб

«Дорожная карта» по развитию в России квантовых коммуникаций стала вторым утвержденным документом по теме в рамках федерального проекта «Цифровые технологии»


31.08.2020 21:25

«Росэлектроника» создала самую компактную мобильную станцию спутниковой связи

Подключиться к такой сети могут до 255 пользователей, скорость передачи данных между абонентами составляет до 64 кбит/с


31.08.2020 21:17

«Калашников» показал новый пистолет-пулемет Калашникова ППК-20

При выполнении опытно-конструкторских работ за основу был принят пистолет-пулемет «Витязь-СН», разработанный на базе конструкции автомата Калашникова под требования специальных подразделений МВД России


Популярное: Наука и техника
29.09.2009 15:00

В Москве появился первый «умный» дом, управляемый компьютером

В рамках нового инновационного проекта «Цифровой район Жулебино» на юго-востоке столицы появился первый «умный дом», где практически всеми системами управляет компьютер


06.11.2009 21:48

Большой адронный коллайдер подавился бутербродом

Кусок бутерброда помешал новым научным открытиям


08.04.2011 22:13

Более половины россиян верят в существование инопланетян

Левада-Центр выяснил, сколько россиян верят в существование инопланетян


25.08.2009 13:22

НАСА предлагает России осуществить совместную экспедицию на Марс

В настоящее время Россия планирует слетать на Марс самостоятельно


26.11.2009 09:23

Лохотрон «Энергодоктор»: магнитная карточка от всех болезней

Еще никто не пострадал физически, но уже многие материально от нового способа отъема денег у населения


» Оставьте первым свой комментарий

Новости /
Наука и техника /
Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию
Все рубрики статей:
Статистика | Рейтинги | Авторам | Реклама
Copyright © 1999-2020 Softodrom.ru
О перепечатках | Рассылки | Пользовательское соглашение | Политика конфиденциальности | О проекте | Карта сайта
Яндекс.Метрика