Пользователи «Яндекс.Браузера» получили возможность переводить видео с китайского языка на русский. Новая функция реализована за счёт специальной нейросети, которая использует огромный массив видео на китайском языке.
Для обучения нейросети команда разработчиков из Яндекса использовала 100 тыс. видеоматериалов с субтитрами на севернокитайском языке, наиболее распространённом на территории Китая.
Сам перевод осуществляется в несколько этапов. При этом нейросеть учитывает тон и контекст речи в видеопотоке. В Яндексе подчёркивают, что алгорим способен различать четыре тона — данные фонетические особенности произношения способны значительно менять смысл почти любого высказывания в китайском языке. Кроме того, платформа различает 6,5 тыс. иероглифов.
Для того, чтобы зритель мог воспользоваться переводом и озвучкой с китайского на русский язык в «Яндекс.Браузере», необходимо нажать кнопку «Перевести видео». Сообщается, что технологией уже можно воспользоваться на YouTube.
Ранее сообщалось о том, что «Яндекс» внедрил многоголосый закадровый перевод видео и возможность синхронного перевода прямых трансляций.
В переводе видео принимают участие сразу четыре нейросети. Одна из них распознаёт речь с последующим преобразованием в текстовый формат, ещё одна идентифицирует пол говорящего по биометрическим данным, третья определяет, в каких местах необходимо расставлять знаки препинания и выделить смысловые фрагменты. Наконец, четвёртая переводит текст.