«Шедеврум» работает так же, как большинство всем известных нейросетей: он умеет генерировать изображения по запросу пользователя, при этом учитывает все уточнения и детали, а также принимает во внимание заданную стилистику. Теперь все то же самое «Шедеврум» может сделать и с видео. Как обещают авторы, короткие ролики могут послужить основой для будущих музыкальных клипов, анимации, динамических аватарок — в общем, значительно упростят жизнь креаторам и развлекут обычных пользователей.
Нейросеть получила способность генерировать короткие ролики (длиной 4 секунды) с частотой 24 кадра в секунду. Для того, чтобы получить такое видео, нужно описать свою задумку в текстовом формате. Разумеется, приветствуется большая степень детализации: тогда результат точно будет соответствовать вашим ожиданиям. В ответ на сообщение пользователя приложение покажет 4 варианта первого изображения и целый набор анимационных эффектов, которые и создадут динамику в кадре. Сейчас их 7: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение). Монтировать финальный ролик нейросеть будет уже после того, как пользователь выберет наиболее понравившиеся ему варианты.
Механизм работает на основе метода каскадной диффузии: это значит, что итоговый ролик формируется из отдельных изображений, сгенерированных по изначальному запросу. Впоследствии кадры приобретают необходимые детали и хорошее разрешение. После всех этих махинаций «заказчик» получает готовое видео, которым можно не только поделиться в ленте приложения «Шедеврум», но и скачать в формате MP4.
Пока функция работает в режиме тестирования, но уже сейчас доступ к ней появился на аккаунтах, ранее активно работавших с нейросетью. Чтобы получить ее, нужно просто загрузить обновленную версию приложения, а увидеть готовые публикации смогут все, даже незарегистрированные пользователи. Если же вы хотите предложить коммерческое сотрудничество с использованием контента, сгенерированного «Шедеврумом», можно отправить запрос через форму обратной связи — ответ придет в течение 5 рабочих дней.
Напомним: «Шедеврум» от «Яндекса» появился в открытом доступе в апреле 2023 года и сразу занял первые позиции в российских топах App Store и Google Play. За прошедшее время его установили 5,8 млн пользователей, а сама нейросеть стала еще совершеннее. Новая функция создания видеороликов должна дополнить уже существующие возможности создания изображения, а также текстовых постов с заголовком и иллюстрацией.