«Яндекс» все больше интегрирует «умные» технологии в свою деятельность. Недавно в приложении появилась новая камера, которая может распознавать предметы и искать о них необходимую информацию. Она же умеет идентифицировать текст на незнакомом языке. Сервис автоматически прогоняет слова с картинки через «Яндекс.Переводчик» и выдает пользователю адаптированную версию. «Яндекс.Браузер» предлагает сделать то же самое без загрузки отдельных изображений. Прямо на сайте можно открыть контекстное меню и выбрать перевод медиафайла, а можно поменять язык страницы полностью, захватив при этом картинки. Теперь «Яндекс» научился адаптировать на родной язык и видеоролики.
Компания представила первую версию машинного перевода видео. Функция будет доступна пользователям фирменного браузера. Как нейросеть справляется с поставленной задачей? В ход идут навыки «Яндекс.Переводчика», речевые технологии и биометрия. Последний пункт нужен для того, чтобы сервис распознал пол говорящего. Женскую речь на другом языке озвучивает женский голос, мужскую, соответственно, — мужской. Далее сгенерированные реплики накладываются на видео. При этом сравнивается длина фраз, произнесенных оригинальным голосом и переводчиком. Например, в английском языке предложения обычно короче, чем в русском, поэтому местами речь приходится замедлять или ускорять, а где-то — делать паузы. В итоге получается настоящий дубляж.
Для демонстрации новых технологий «Яндекс» опубликовал два ролика. И там, и там вещает Дэвид Талбот, руководитель группы машинного перевода в «Яндексе». Он рассказывает о том, почему компании почти не берутся за перевод видео, какие есть сложности, и как они с командой придумали собственную технологию. На ютьюб-канале «Яндекса» висит оригинальное видео, в котором Дэвид говорит на английском языке. А в блоге компании опубликован скринкаст, который можно открыть в любом браузере. На втором ролике речь Талбота переводит нейросеть. Надо сказать, что звучит это достаточно складно и очень понятно.
И это еще не окончательный вариант. В компании говорят, что разработка машинного перевода видео продолжается. Для того, чтобы улучшить технологию, «Яндекс» собирает отзывы пользователей. Для примера команда опубликовала несколько англоязычных роликов и перевела их с помощью новой технологии. Посмотреть, что получилось, можно в «Яндекс.Браузере» для Windows и macOS. Все видео собраны в специальном плейлисте на ютьюбе.