Еще в 2021-м сервис начал считывать иностранный текст с картинок и показывать его русскоязычную версию. Несколько месяцев спустя «Браузер» научился переводить и озвучивать видео с помощью нейросетей. К осени 2022-го функцию развернули шире, а закадровый перевод сделали многоголосым. Появилось 12 голосов озвучки: шесть мужских и шесть женских. Попутно «Яндекс» активно прокачивал технологию закадрового перевода прямых трансляций на YouTube.
С этой осени нейросетевой закадровый перевод трансляций в «Яндекс Браузере» стал доступен на всех YouTube-каналах. Функция работает в режиме открытого бета-тестирования. За год пользователи «Браузера» посмотрели более 20 тысяч часов видео в прямом эфире, а разработчики за это время значительно усовершенствовали технологию. В частности, они улучшили качество перевода и модифицировали инфраструктуру. За счет этого пропускная способность видеокарт, которые обрабатывают трансляции на серверах «Яндекса», увеличилась в два раза, а количество стримов, которые можно смотреть с переводом, — в 100 раз. Благодаря этому технологию открыли для всех YouTube-каналов.
Теперь новая функция доступна для трансляций на английском, немецком, французском, испанском и итальянском языках. А значит, на русском можно смотреть буквально любые стримы, не дожидаясь их окончания: от презентаций технологических новинок и игр до космических запусков и интервью с селебами. Сделать это можно через «Яндекс Браузер» на компьютере, смартфоне или планшете. Для того, чтобы оценить функцию, нужно просто открыть на YouTube любой прямой эфир на одном из поддерживаемых языков и нажать на кнопку «Перевести трансляцию».
Для реализации этой непростой технологической задачи разработчикам потребовалось пять нейросетей. Одновременно с этим «Яндекс» развивает генеративные нейросети нового поколения. В начале сентября компания представила YandexGPT 2 — новую версию нейросети, запущенной еще весной. В отличие от предшественницы эта нейросеть способна выполнять большее количество задач: подстраиваться под любую аудиторию и доступно объяснять любые понятия людям разных возрастов, помогать в рерайте, давать более полноценные ответы на вопросы и многое другое.