Making sense of technology
искусственный интеллект

Яндекс запускает нейросетевой перевод видео на казахский язык

Новостная редакция · 4 октября, 2023 · 3 мин чтения

Яндекс Казахстан открывает доступ к контенту со всего мира — нейросети переведут видео с русского и английского на казахский.

Казахстанские интернет-пользователи смогут смотреть видео на казахском языке, даже если изначально ролик был записан на русском или английском. Функция автоперевода видео с помощью нейросетей доступна в Яндекс Браузере для мобильных устройств и компьютеров, а также в приложении Яндекс с Алисой для Android и iOS. Лекции и документальные видео, рецепты и пошаговые инструкции на русском и английском — всё это теперь можно смотреть на казахском языке.

Перевести можно ролики, размещённые на YouTube, VK, Vimeo, Twitch и Coursera. Для этого нужно установить или обновить до последней версии Браузер или приложение Яндекса, открыть в них нужное видео и нажать на кнопку «Перевести видео». Закадровый двухголосый перевод запустится через несколько секунд.

Для его создания нейросети анализируют звуковую дорожку ролика, отделяют голоса спикеров от остальных звуков (например, музыки и шума), распознают произнесённые слова и перекладывают их в текст. Затем нейросети расставляют в нём смысловые акценты и переводят всё на казахский с учётом пола спикеров. Это нужно для того, чтобы верно выбрать голос: мужчина будет говорить мужским голосом, женщина — женским.

Далее переведённый текст отправляется на озвучку. Кроме того, его нужно совместить с видеорядом, поскольку длина слов в казахском, английском и русском языках отличается. Нейросети сокращают паузы между словами или ускоряют темп речи там, где это необходимо.

Автор