Нейросеть научили создавать видео

Нейросеть научили создавать видео. Технологию внедрил “Яндекс” в свой “Шедеврум”, пишет rb.ru.

ИИ генерирует ролики по запросу пользователя. Они составляют не более 4-х секунд с частотой 24 кадра. Разработчики считают, что такие видео могут стать основой для музыкальных клипов, анимации, динамических аватарок в соцсетях.

Чтобы сгенерировать видео в “Шедевруме”, нужно описать текстом то, что хочется увидеть. После этого приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. После публикации видео им можно поделиться в соцсетях или скачать в формате MP4. Пока функция работает в тестовом режиме. 

Создавая видео, нейросеть основывается на выбранном пользователем изображении. Потом генерирует несколько его изменённых версий, накладывает на все один эффект. Их, кстати, сейчас семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение).

Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии “Шедеврум” генерирует отдельные изображения. Сначала нейросеть создаёт картинки по запросу, а затем увеличивает их разрешение и насыщает деталями. Ещё в “Шедевруме” можно создавать изображения и текстовые посты с заголовком и иллюстрацией. “Яндекс” представил приложение в апреле 2023 года.