Российская нейросеть научилась генерировать видео

Яндекс первым на российском рынке запустил технологию создания видео с помощью нейросети — сейчас новая функция Шедеврума находится в режиме тестирования и доступна активным пользователям.

Ролики создаются по текстовым запросам — видео может стать основой для музыкальных клипов, анимации, динамических аватарок в соцсетях и позволят воплотить в жизнь другие креативные идеи.

Чтобы сгенерировать видео, нужно описать текстом то, что хочется увидеть. В ответ Шедеврум предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. За основу берется выбранное пользователем изображение, затем генерируется набор его изменённых версий, а объединяет всё выбранный эффект. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение).

Кадры создаются при помощи метода каскадной диффузии: сначала в соответствии с запросом генерируются картинки, а затем поэтапно их разрешение увеличивается за счет дополнения деталями.

Длится генерируемое видео четыре секунды, его частота — 24 кадра в секунду. После публикации роликами можно поделиться с друзьями или сохранить в формате MP4.