Разработчики из Nvidia считают так: искусственный интеллект уже неплохо копирует речь людей, но отличить голос живого человека от робота все еще очень просто. Вся проблема в том, что люди говорят со сложным ритмом, интонациями, каждый со своей скоростью и тембром. Эти детали нейросетям сложно воспроизвести. Точнее, было сложно до последнего времени. В Nvidia попытались сократить этот разрыв и, кажется, у них получилось. На конференции Interspeech 2021 компания представила свои новые технологии, которые позволяют «тренировать» ИИ собственным голосом и получать максимально приближенный к реальности результат.
Главная из них — RAD-TTS (она даже одержала победу на каком-то конкурсе). В основе этой технологии лежит идея восприятия человеческого голоса как музыкального произведения. Поэтому интерфейс RAD-TTS позволяет определять тональность, длительность и силу говорящего с максимальной точностью. Один из главных навыков этой технологии — произносить речь одного человека голосом другого. В ролике, опубликованном на ютьюб-канале Nvidia, видно, как мужчина зачитывает текст, а нейросеть, сохраняя его интонации и ритм, преобразует голос в женский. Впоследствии с RAD-TTS можно работать как с актером озвучки: попросить выделить определенные слова, изменить темп и много чего еще.
Для демонстрации собственных успехов Nvidia опубликовала серию роликов I Am AI («Я — искусственный интеллект»). Там демонстрируются многие технологии компании, но диктором зачастую выступает нейросеть. Сказать, что искусственно сгенерированный голос не отличить от человеческого, нельзя — это будет ложью. Но, возможно, это самый приближенный вариант из тех, что пока можно услышать. В перспективе подобные технологии могут использоваться не только для озвучивания, но и для воссоздания выступлений легендарных певцов, синхронного перевода, а также для помощи людям с нарушениями голоса.
Среди других относительно свежих разработок Nvidia — SDK Maxine и Canvas. Первая может создавать реалистичные аватары для видеоконференций. Для работы SDK Maxine нужна обычная фотография на вебку. На нее нейросеть наложит артикуляцию и сгенерирует анимированную картинку. А Canvas — это «умная» версия допотопного Paint. При помощи специальных инструментов там можно рисовать схематичные разноцветные картинки, а ИИ создаст из них реалистичные пейзажи. Причем результат преображения виден сразу, и выглядит это магически.