Искусственный интеллект обладает множеством способностей. С одной стороны, стремительное развитие технологий может кого-то пугать, а с другой — это серьезно облегчает жизнь и двигает прогресс. Так, разработчики из Nvidia представили нейросеть, которая реалистично воссоздает человеческий голос, а еще через какое-то время слушатели впервые насладились законченной 10-й симфонией Бетховена. Все благодаря научному сотруднику из Федеральной политехнической школы Лозанны EPFL Флориану Коломбо, который смог воссоздать недостающий фрагмент музыкального произведения. И вот у Nvidia новая разработка, которая и вовсе кажется магией: нейросеть научилась подбирать звук для беззвучных видео.
Ученые из Университета Карнеги — Меллона с компанией Runway, разрабатывающей компьютерное программное обеспечение, представили технологию Soundify. Она способна подставлять подходящие звуки в видео, у которого отсутствует аудиодорожка. Над проектом работали Дэвид Чуан-Эн Лин, Анастасис Германидис, Инин Ши, Кристобаль Валенсуэла и Николас Мартеларо.
Чтобы сопоставить звук с изображением, ученые использовали отдельные программы для анализа аудио и видео. Прежде всего, они разделили исходный ролик по кадрам, анализируя цветовую гистограмму между соседними изображениями. Однако этого было недостаточно, чтобы нейросеть под названием CLIP смогла подставить звук. Далее исследователи классифицировали звуки на две категории. К первой они отнесли объекты на видео, которые производят конкретные четкие звуки. Ученые назвали их «эффектами». К ним отнесли в том числе звонок велосипеда, щелчок камеры и звук клавиатуры. Во вторую же группу вошли фоновые шумы: например, звуки кафе, аэропорта или улицы. Для определения аудио использовали библиотеку звуков Epidemic Sound, в которой собрано более 90 тысяч шумов.
Но и на этом работа ученых не закончилась. Следующим шагом они пропустили изображение через нейросеть, которая сделала метки на каждом кадре. Таким образом нейросеть подобрала пять наиболее подходящих звуков для сцены. По задумке создателей, технология изначально предлагает подставить на видео конкретный звуковой эффект, который ей кажется наиболее удачным, но пользователь может самостоятельно поменять его на один из пяти предложенных вариантов.
На последнем этапе алгоритм учитывает временные интервалы в видео, когда звук должен воспроизводиться, поскольку, как отметили в отчете ученые, объект может появляться и исчезать из кадра, удаляться и приближаться в видео. Несмотря на то, что технология уже хорошо развита, исследователям все еще есть к чему стремиться. К примеру, сейчас фоновый звук не получится настроить, если вдруг внезапно кадр леса сменится на городскую улицу. Так что, если изначально пользователь выбрал для изображения звук водопада, то нейросеть не додумается заменить его в следующем кадре с другой средой.