Новости — 12 октября 2022, 09:32

Закадровый перевод видео в «Яндекс Браузере» теперь многоголосый

В сентябре 2021-го «Яндекс» добавил закадровый перевод к англоязычным видео на YouTube, Vimeo и других платформах. Работает он следующим образом: нейросети распознают речь, затем определяют гендер говорящего, переводят его слова на русский и синтезируют голос. А что, если говорящих несколько? Над этой задачей разработчики «Яндекса» думали последний год. И придумали: теперь перевод видео в «Браузере» стал многоголосым. Этих голосов 12: шесть мужских и шесть женских. Они помогут воспринимать на слух ролики с большим количеством спикеров — будут читать по ролям.

Как, собственно, работает эта технология? Сперва нейросеть переводит речь в текстовый формат, следя за пунктуацией и границами предложений для правильной интонации в дальнейшем. Затем подключается вторая нейросеть. Она анализирует спектрограмму голоса — визуальное представление спектра частот сигнала, изменяющегося со временем. Попутно искусственный интеллект отмечает на аудиодорожке фрагменты, сказанные разными людьми. В этот момент и становится понятно, кто из спикеров что сказал. Но понятно становится пока только нейросети. 


Затем текст переводится на русский язык и наконец синтезируются голоса. Дело остается за малым: нейросети нужно совместить готовый перевод с видеорядом. Чтобы говорить одновременно с реальными спикерами, ИИ адаптируется на ходу. К примеру, если длина фраз на двух языках разнится, алгоритм ориентируется на таймкоды, а иногда даже ускоряет произношение, убирая ненужные паузы.

«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира», — сказал Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера». Вместе с коллегами они подсчитали, что около половины ютьюб-роликов на иностранных языках — это ролики с тремя и более спикерами. С двухголосой озвучкой воспринимать такой контент не очень удобно, поэтому к имеющимся двум разработчики добавили еще десять голосов. 

Впервые о своей новой технологии в «Яндексе» рассказали прошлым летом. Голосов тогда было еще мало, а разработчики собирали отзывы под несколькими роликами-примерами. Судя по всему, пользователей все устроило — пару месяцев спустя закадровый перевод внедрили на постоянной основе. За прошедший год алгоритмы стали значительно умнее. И дело не только в многоголосом переводе. Сперва нейросети воспринимали текст только на английском языке. Затем к нему добавились французский, немецкий, испанский и итальянский. В планах — новые языки, в частности китайский, и новые возможности. Так, например, сейчас «Яндекс» тестирует уникальную технологию автоматического закадрового перевода прямых трансляций на YouTube.

#INSERT_ARTICLE#

Подписывайтесь на наш Telegram-канал
Фото: кадр из фильма «Репродукция»
* Деятельность компании Meta Platforms Inc. (Facebook и Instagram) на территории РФ запрещена
** Признан иноагентом на территории РФ
Читайте также
Образ жизни — 17:00, 8 июля 2025
Интервью с создательницами FAR FROM HOME — того самого агентства, которое устраивает туры на концерты Леди Гаги, Бейонсе и Гарри Стайлса
Новости, Новости — 8 июля, 17:00
Режиссер «Злой» Джон М. Чу снимет фильм про машинки Hot Wheels
Новости — 27 июня, 13:33
ЕГЭ по селебоведению. Тест про школьные годы звезд
Новости, Новости — 8 июля, 13:50
Okko выпустит ремейк турецкого сериала «Черная любовь»
Новости — 8 июля, 13:05
«Фильм про меня, естественно, будут снимать». Интервью с актрисой Евой Смирновой
Новости, Новости — 8 июля, 11:47
Вышел трейлер сериала «Баранкины и камни силы»
Новости, Новости — 7 июля, 14:45
Эд Ширан и Дрейк: Apple Music выпустил рейтинг самых прослушиваемых песен десятилетия
Новости, Новости — 7 июля, 12:50
«Пролетая над гнездом кукушки» получит сериальный спин-офф
Новости, Новости — 5 июля, 16:50
Лиза Громова, Pompeya и UBEL выступят на фестивале «Антон тут рядом»
Кино — 5 июля, 12:53
Аронова в роли советской училки, Кошман в мире покера, горе-инкассатор Чепурченко и беременные в 16: что показали на VII фестивале «Пилот»
Новости, Новости — 4 июля, 19:16
Елена Кукояка рассказывает о материнстве в первом выпуске подкаста Иды Галич
Новости, Новости — 4 июля, 15:25
Свежее звучание и переосмысление хита: МакSим выпустила новую версию «Нежности»
Новости, Новости — 3 июля, 14:00
Создатель игры The Last of Us Нил Дракманн не будет работать над сериалом от HBO
Новости, Новости — 3 июля, 11:50
Евгений Цыганов исполнит главную роль в фильме «Человек, который смеется»
Новости, Новости — 2 июля, 19:00
Сериал «Медведь» продлили на пятый сезон
Новости, Новости — 2 июля, 18:00
Списки задач и предложенные посты: вышло обновление Telegram
Новости, Новости — 2 июля, 17:00
Netflix будет создавать персонализированные трейлеры с помощью ИИ
Новости, Новости — 2 июля, 15:50
Илья Соболев будет обучать стендапу в новом шоу на ТНТ
Новости, Новости — 2 июля, 13:38
«Краски – только мы»: группа «Сироткин» показала песню «Ты да я»
Новости, Новости — 2 июля, 11:24
Стартовало производство продолжения «Дьявол носит Prada»
Музыка — 1 июля, 20:00
Первый VK Fest в Казани: чак-чак с лицом Басты, эчпочмаки и 20 тысяч человек под открытым небом
Кино — 1 июля, 18:05
Крипто-коуч, мемуары и проклятие Таро: что смотреть в июле на PREMIER
Все звёзды и инфлюенсеры
Новости, Новости — 1 июля, 16:40
Райан Гослинг спасает человечество в трейлере фильма «Проект “Аве Мария”»
Новости, Новости — 1 июля, 15:10
AFELIA выпустила сингл «двинулась»
Новости, Новости — 1 июля, 13:45
«Приключения Электроника» получат ремейк
Новости, Новости — 1 июля, 11:40
Вышел трейлер «Государя» — сериала о жизни Петра I
Новости, Новости — 30 июня, 19:05
Объединение GLAM GO! вернулось с треком «Игра»
Новости, Новости — 30 июня, 15:50
Объявлен каст байопика о группе Scorpions
Новости, Новости — 30 июня, 13:39
Сергей Романович и Гоша Куценко в трейлере сериала «Хутор»
Кино — 29 июня, 15:03
Смерть единорога. Рецензия на фильм «Материалистка»
Новости, Новости — 27 июня, 19:20
Завершились съемки нового сезона «Бриджертонов»
Не одна дома 2
Бриджит Джонс: Без ума от мальчишки
8.1
Смерть единорога
5.1
Обезьяна
4.2
Денискины рассказы
(1 сезон)
8.3
Белый лотос
(3 сезон)
7.7
Микки-17
7.5
Кончится лето