Сбер представил Kandinsky Video — первую в России нейросеть для создания видео
Сбер представил нейросеть Kandinsky Video. Как говорится в сообщении пресс-службы Сбера, это первая в России генеративная модель для создания полноценных видеороликов по текстовому описанию. Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду.
Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0.
Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Как отмечают разработчики, именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счет моделирования пролета камеры относительно статичной сцены.
Нейросеть Kandinsky Video создает видеоролики с разрешением 512×512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трех минут.
Ранее у активных пользователей Kandinsky 2.2 в тестовом режиме появилась возможность создания анимационных видеороликов. По одному запросу можно создать видео длиной в четыре секунды с выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640×640 пикселей. Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации.
Нейросеть разработали и обучили исследователи Sber AI при партнерской поддержке ученых из Института искусственного интеллекта AIRI на объединенном датасете Sber AI и компании SberDevices. В апреле 2023 года сервис на базе нейросети Kandinsky 2.1, стал самым быстрорастущим в мире, набрав миллион уникальных пользователей всего за четыре дня после выхода.
|
|
|
