Нейросеть YandexART научилась создавать короткие видео с движущимися объектами
Новости Интернет
Компания Яндекс представила бета-версию нейросети YandexART (Vi) для создания пятисекундных видео. Как говорится в сообщении компании, модель научилась воссоздавать плавные движения объектов в кадре, например, бег собаки, падение листа с дерева или взрыв фейерверка. Нейросеть могут использовать как обычные пользователи, чтобы создать, например, уникальную анимированную заставку на телефон, так и блогеры, мультипликаторы, креаторы и другие специалисты. YandexART (Vi) уже доступна в приложении Шедеврум.
Предыдущая версия модели для генерации видео по текстовому описанию была представлена в августе 2023 года. Прошлое решение позволяло получать анимации, которые выглядели так, будто двигалась камера, но не объект. Кроме того, от кадра к кадру объекты при генерации значительно менялись. YandexART (Vi) научилась воссоздавать реалистичные движения, а также учитывать связь между кадрами — благодаря этому видео получаются более цельными и плавными. Чтобы нейросеть могла справляться с этой задачей, ее обучили на роликах с движущимися объектами, например, с едущим автомобилем или крадущимся котом.
Нейросеть создает последовательность кадров, которые незаметно сменяют друг друга и образуют плавное видео. На вход модель получает текстовое описание от пользователя о том, что должно быть в кадре (например: «Носорог танцует хип-хоп в сумрачном лесу»), и создает картинку, с которой будет начинаться анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос.
Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть, которая создает и улучшает изображения и анимацию, а также обрабатывает загруженные фотографии в ответ на текстовые запросы. Она знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей. YandexART может качественно прорабатывать мелкие детали, работать в заданном художественном стиле и создавать фотореалистичные портреты. Нейросеть интегрирована в Шедеврум, используется в Яндекс Бизнесе, Директе, Браузере и Маркете. Кроме того, компании могут получить доступ к API YandexART в Yandex Cloud.
|
Ищете, где скачать бесплатные программы?
Скачать бесплатные программы для компьютера на Windows и смартфона на iOS или Android можно на Софтодроме. На данный момент в каталоге Софтодрома представлено более 13 000 бесплатных программ для Windows, iOS, Android и Linux.
|
|
