Новости — 16 июля 2021, 14:13

«Яндекс.Браузер» научился переводить и дублировать видео в реальном времени

«Яндекс» все больше интегрирует «умные» технологии в свою деятельность. Недавно в приложении появилась новая камера, которая может распознавать предметы и искать о них необходимую информацию. Она же умеет идентифицировать текст на незнакомом языке. Сервис автоматически прогоняет слова с картинки через «Яндекс.Переводчик» и выдает пользователю адаптированную версию. «Яндекс.Браузер» предлагает сделать то же самое без загрузки отдельных изображений. Прямо на сайте можно открыть контекстное меню и выбрать перевод медиафайла, а можно поменять язык страницы полностью, захватив при этом картинки. Теперь «Яндекс» научился адаптировать на родной язык и видеоролики.

Компания представила первую версию машинного перевода видео. Функция будет доступна пользователям фирменного браузера. Как нейросеть справляется с поставленной задачей? В ход идут навыки «Яндекс.Переводчика», речевые технологии и биометрия. Последний пункт нужен для того, чтобы сервис распознал пол говорящего. Женскую речь на другом языке озвучивает женский голос, мужскую, соответственно, — мужской. Далее сгенерированные реплики накладываются на видео. При этом сравнивается длина фраз, произнесенных оригинальным голосом и переводчиком. Например, в английском языке предложения обычно короче, чем в русском, поэтому местами речь приходится замедлять или ускорять, а где-то — делать паузы. В итоге получается настоящий дубляж. 


Для демонстрации новых технологий «Яндекс» опубликовал два ролика. И там, и там вещает Дэвид Талбот, руководитель группы машинного перевода в «Яндексе». Он рассказывает о том, почему компании почти не берутся за перевод видео, какие есть сложности, и как они с командой придумали собственную технологию. На ютьюб-канале «Яндекса» висит оригинальное видео, в котором Дэвид говорит на английском языке. А в блоге компании опубликован скринкаст, который можно открыть в любом браузере. На втором ролике речь Талбота переводит нейросеть. Надо сказать, что звучит это достаточно складно и очень понятно. 

И это еще не окончательный вариант. В компании говорят, что разработка машинного перевода видео продолжается. Для того, чтобы улучшить технологию, «Яндекс» собирает отзывы пользователей. Для примера команда опубликовала несколько англоязычных роликов и перевела их с помощью новой технологии. Посмотреть, что получилось, можно в «Яндекс.Браузере» для Windows и macOS. Все видео собраны в специальном плейлисте на ютьюбе.

Подписывайтесь на наш Telegram-канал
Фото: Global Look Press
* Деятельность компании Meta Platforms Inc. (Facebook и Instagram) на территории РФ запрещена
** Признан иноагентом на территории РФ
Читайте также
Кино — 18:30, 10 июля 2025
Аронова в роли советской училки, Кошман в мире покера, горе-инкассатор Чепурченко и беременные в 16: что показали на VII фестивале «Пилот»
Новости, Новости — 10 июля, 18:30
Дженна Ортега в трейлере 2-го сезона «Уэнсдэй»
Новости — 27 июня, 13:33
ЕГЭ по селебоведению. Тест про школьные годы звезд
Новости, Новости — 10 июля, 17:30
Московское метро продлят до Троицка к 2030 году
Новости, Новости — 9 июля, 16:03
В России пройдет федеральный чемпионат по танцу FAME TO FLAME
Новости, Новости — 10 июля, 15:08
Теперь официально: Юра Борисов снимется в фильме Artificial Луки Гуаданьино
Новости, Новости — 10 июля, 11:17
История создания и закулисье «Смешариков» в шоу «Как это было с Яной Чуриковой»
Кино — 10 июля, 10:04
Любовь до гроба. Рецензия на фильм «Саван» Дэвида Кроненберга
Новости, Новости — 9 июля, 17:07
Крис Пратт вернется в сиквеле «Гарфилда»
Новости, Новости — 9 июля, 15:00
Основатель Twitter создал мессенджер, работающий без интернета
Новости, Новости — 9 июля, 13:00
Завершились съемки сериала «Айда!». В главных ролях — Никита Кологривый и Даниил Воробьев
Новости, Новости — 9 июля, 11:00
«Архстояние» анонсировало специальную ночную программу
Новости, Новости — 8 июля, 21:05
Google разрабатывает лекарство от рака с помощью ИИ
Новости, Новости — 8 июля, 17:00
Режиссер «Злой» Джон М. Чу снимет фильм про машинки Hot Wheels
Новости, Новости — 8 июля, 13:50
Okko выпустит ремейк турецкого сериала «Черная любовь»
Новости — 8 июля, 13:05
«Фильм про меня, естественно, будут снимать». Интервью с актрисой Евой Смирновой
Новости, Новости — 8 июля, 11:47
Вышел трейлер сериала «Баранкины и камни силы»
Новости, Новости — 7 июля, 14:45
Эд Ширан и Дрейк: Apple Music выпустил рейтинг самых прослушиваемых песен десятилетия
Новости, Новости — 7 июля, 12:50
«Пролетая над гнездом кукушки» получит сериальный спин-офф
Новости, Новости — 7 июля, 09:51
«Это все ради искусства»: Муся Тотибадзе и Доминик Мара релизнули совместный EP «Жаль, что я тебя не вспомню» и одноименный клип
Новости, Новости — 5 июля, 16:50
Лиза Громова, Pompeya и UBEL выступят на фестивале «Антон тут рядом»
Новости, Новости — 4 июля, 19:16
Елена Кукояка рассказывает о материнстве в первом выпуске подкаста Иды Галич
Все звёзды и инфлюенсеры
Новости, Новости — 4 июля, 15:25
Свежее звучание и переосмысление хита: МакSим выпустила новую версию «Нежности»
Новости, Новости — 3 июля, 14:00
Создатель игры The Last of Us Нил Дракманн не будет работать над сериалом от HBO
Новости, Новости — 3 июля, 11:50
Евгений Цыганов исполнит главную роль в фильме «Человек, который смеется»
Новости, Новости — 2 июля, 19:00
Сериал «Медведь» продлили на пятый сезон
Новости, Новости — 2 июля, 18:00
Списки задач и предложенные посты: вышло обновление Telegram
Новости, Новости — 2 июля, 17:00
Netflix будет создавать персонализированные трейлеры с помощью ИИ
Новости, Новости — 2 июля, 15:50
Илья Соболев будет обучать стендапу в новом шоу на ТНТ
Новости, Новости — 2 июля, 13:38
«Краски – только мы»: группа «Сироткин» показала песню «Ты да я»
Образ жизни — 2 июля, 12:48
Интервью с создательницами FAR FROM HOME — того самого агентства, которое устраивает туры на концерты Леди Гаги, Бейонсе и Гарри Стайлса
Не одна дома 2
Бриджит Джонс: Без ума от мальчишки
8.1
Смерть единорога
5.1
Обезьяна
4.2
Денискины рассказы
(1 сезон)
8.3
Белый лотос
(3 сезон)
7.7
Микки-17
7.5
Кончится лето