Софтодром   


Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию



Новости    Наука и техника



Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, способную генерировать изображения с несколькими объектами на основе текстового описания. По словам разработчиков, в отличие от более ранних подобных алгоритмов text-to-image, которые были способны воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Как отмечают разработчики, сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный в Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. По словам разработчиков, технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.




Автор: Softodrom.ru
Дата:

23.05.2025 17:17

В Москве появился первый умный дом с Алисой

Яндекс объявил о запуске пилотного проекта по интеграции Алисы в умные здания


12.05.2025 16:47

В Японии проведут испытания электромагнитной пушки

Японское Министерство обороны анонсировало испытания рельсотрона — электромагнитной пушки


29.04.2025 21:33

Более 20 российских вузов будут готовить топ-специалистов в сфере ИИ к 2030 году

Завершен конкурсный отбор вузов, которые с 2025 по 2030 годы будут готовить специалистов в области искусственного интеллекта


29.04.2025 13:58

Amazon вывела на орбиту спутники — конкуренты Starlink

Спутниковый интернет от Amazon станет конкурентом Starlink от SpaceX Илона Маска


29.04.2025 13:35

Яндекс будет разрабатывать роботов-гуманоидов

Человекоподобные роботы не нуждаются в специальной инфраструктуре — они способны функционировать в той же среде, что и люди


Популярное: Наука и техника
22.12.2023 21:01

СМИ: проект Hyperloop близок к закрытию

Hyperloop — проект вакуумного поезда, предложенный в 2013 году Илоном Маском


20.12.2023 20:00

NASA протестировало лазерную систему связи и получило из космоса видео с котом

NASA объявило об успешной передаче информации с зонда Психея, направляющегося к одноименному астероиду, с помощью лазерной системы связи


04.11.2023 17:30

Учебники по китайскому и корейскому в России обошли по популярности немецкий

Спрос на учебники по европейским языкам в России значительно упал, но при этом растут продажи учебных пособий по китайскому и корейскому


29.02.2024 23:49

Минздрав зарегистрировал обновленную вакцину «Спутник V»

Регистрация «Спутника V» дала возможность перейти к испытаниям обновленной вакцины на подростках


12.12.2023 22:22

«Алиса» перестала подчиняться пользователям из-за сбоя

В работе устройств «Яндекса» для «умного» дома произошел сбой


Все рубрики статей (937 / 179):


Программы | Авторам | Рассылки | Реклама
Copyright © 1999-2025 Softodrom.ru
О проекте | О перепечатках | Пользовательское соглашение | Политика конфиденциальности | Карта сайта