Софтодром   

Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию



Новости    Наука и техника



Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.




Автор: Softodrom.ru
Дата:

21.04.2025 12:53

Путин поручил создать национальный суперкомпьютерный центр

Президент Владимир Путин утвердил перечень поручений по итогам пленарного заседания и посещения выставки Форума будущих технологий


20.04.2025 15:12

Первую широкополосную сеть 10G запустили в Китае

Huawei в сотрудничестве с China Unicom запустили первую в мире широкополосную сеть 10G


19.04.2025 15:39

Российский электромобиль Lada е-Largus оказался невостребованным

Спустя полгода после запуска производства в России на учет был поставлен всего лишь один экземпляр этой модели, а первая партия в 500 машин не выпущена до сих пор


18.04.2025 19:20

Минтранс анонсировал появление на дорогах беспилотных авто к 2027 году

В России разработана «Дорожная карта» по развитию беспилотных автомобилей до 2028 года


17.04.2025 17:09

Минцифры: ИИ может заменить половину чиновников

Искусственный интеллект может заменить половину чиновников, считает глава Минцифры России Максут Шадаев


Популярное: Наука и техника
22.12.2023 21:01

СМИ: проект Hyperloop близок к закрытию

Hyperloop — проект вакуумного поезда, предложенный в 2013 году Илоном Маском


20.12.2023 20:00

NASA протестировало лазерную систему связи и получило из космоса видео с котом

NASA объявило об успешной передаче информации с зонда Психея, направляющегося к одноименному астероиду, с помощью лазерной системы связи


04.11.2023 17:30

Учебники по китайскому и корейскому в России обошли по популярности немецкий

Спрос на учебники по европейским языкам в России значительно упал, но при этом растут продажи учебных пособий по китайскому и корейскому


29.02.2024 23:49

Минздрав зарегистрировал обновленную вакцину «Спутник V»

Регистрация «Спутника V» дала возможность перейти к испытаниям обновленной вакцины на подростках


12.12.2023 22:22

«Алиса» перестала подчиняться пользователям из-за сбоя

В работе устройств «Яндекса» для «умного» дома произошел сбой


Все рубрики статей (929 / 171):


Программы | Сайты для детей | Рейтинги | Статистика | Авторам | Рассылки
Copyright © 1999-2025 Softodrom.ru
Реклама | О проекте | О перепечатках | Пользовательское соглашение | Политика конфиденциальности | Карта сайта